DE112009000485T5 - Objektvergleich für Verfolgung, Indizierung und Suche - Google Patents
Objektvergleich für Verfolgung, Indizierung und Suche Download PDFInfo
- Publication number
- DE112009000485T5 DE112009000485T5 DE112009000485T DE112009000485T DE112009000485T5 DE 112009000485 T5 DE112009000485 T5 DE 112009000485T5 DE 112009000485 T DE112009000485 T DE 112009000485T DE 112009000485 T DE112009000485 T DE 112009000485T DE 112009000485 T5 DE112009000485 T5 DE 112009000485T5
- Authority
- DE
- Germany
- Prior art keywords
- signature
- match
- camera system
- image capture
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 99
- 230000006870 function Effects 0.000 claims description 63
- 230000001186 cumulative effect Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 34
- 230000009466 transformation Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 20
- 230000002123 temporal effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 238000000844 transformation Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 235000015055 Talinum crassifolium Nutrition 0.000 description 1
- 244000010375 Talinum crassifolium Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Nonlinear Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Sorting Of Articles (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
einer Bilderfassungsvorrichtung (102) mit einem Blickfeld, die Bilddaten erzeugt, die mehrere Bilder des Blickfeldes darstellen;
einem Objektdetektionsmodul (204), das mit der Bilderfassungsvorrichtung (102) verbunden ist und die Bilddaten empfängt, wobei das Objektdetektionsmodul (204) betriebsfähig ist, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen;
einem Objektverfolgungsmodul (206), das mit dem Objektdetektionsmodul (204) verbunden ist und betriebsfähig ist, um Fälle eines ersten Objekts, das in einer ersten Gruppe der mehreren Bilder detektiert wird, zeitlich zuzuordnen, wobei das erste Objekt eine erste Signatur aufweist, die Merkmale des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet sind; und
einem Übereinstimmungsklassifikator (218), der mit dem Objektverfolgungsmodul (206) verbunden ist, zum Vergleichen von Objektfällen, wobei der Übereinstimmungsklassifikator (218) betriebsfähig ist, um Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts...
Description
- Verwandte Anmeldungen
- Diese Anmeldung beansprucht den Nutzen unter 35 U. S. C. § 119(e) der vorläufigen US-Anmeldung Nr. 61/033 349 mit dem Titel ”Method of Dynamic Object and Event Classification”, eingereicht am 3. März 2008, und der vorläufigen US-Anmeldung Nr. 61/033 284 mit dem Titel ”Method and System for Tracking Objects Under Video Surveillance”, eingereicht am 3. März 2008, die beide durch den Hinweis in ihren Gesamtheiten hierin aufgenommen werden.
- Technisches Gebiet
- Diese Offenbarung bezieht sich im Allgemeinen, aber nicht ausschließlich auf eine Videoüberwachung und insbesondere auf den Vergleich von Objekten, die in mehreren Bildern dargestellt sind.
- Hintergrundinformationen
- Automatisierte Sicherheits- und Überwachungssysteme verwenden typischerweise Videokameras oder andere Bilderfassungsvorrichtungen oder Sensoren, um Bilddaten zu sammeln. In den einfachsten Systemen werden durch die Bilddaten dargestellte Bilder für eine zeitgleiche Rasterung durch Sicherheitspersonal angezeigt und/oder für eine spätere Bezugnahme nach einem Sicherheitsbruch aufgezeichnet. In diesen Systemen wird die Aufgabe der Detektion von interessierenden Objekten von einem menschlichen Beobachter durchgeführt. Ein signifikanter Vorteil tritt auf, wenn das System selbst die Objektdetektion und -verfolgung entweder teilweise oder vollständig durchführen kann.
- In einem typischen Überwachungssystem kann man beispielsweise an der Verfolgung eines detektieren Objekts wie z. B. eines Menschen, eines Fahrzeugs, eines Tiers, usw., das sich durch die Umgebung bewegt, interessiert sein.
- Existierende Systeme, die zur Verfolgung von detektierten Objekten in der Lage sind, versuchen, Objekte unter Verwendung von Bewegungsvorhersage und Verfolgung von ausgewählten Merkmalen in aufeinander folgenden Videoeinzelbildern zu verfolgen. Andere Verfahren, wie z. B. das SIFT-Verfahren, versuchen, das Aussehen eines Falls eines Objekts genau darzustellen, so dass die Darstellung verwendet werden kann, um mehrere Fälle eines Objekts ungeachtet ihrer zeitlichen Nähe zu vergleichen. Bekannte Verfolgungssysteme leiden jedoch unter einem oder mehreren (1) der Unfähigkeit, trainiert zu werden, (2) dem Mangel an Integration in Objektsuch-, Objektindizierungs- und Objektklassifikationssysteme, (3) einer ungeeigneten Objektverfolgungs- und Objektsuchleistung, und (4) ineffektiven Verfolgungsfähigkeiten über Kameras.
- Kurzbeschreibung der Zeichnungen
-
1 ist ein bildhaftes Diagramm eines Kamerasystems gemäß einem Ausführungsbeispiel. -
2 ist ein vereinfachtes Blockdiagramm von einer der Bilderfassungsvorrichtungen in dem in1 gezeigten System. -
3 ist ein Blockdiagramm, das ein Verfahren zum Erzeugen einer Eingabe für den Übereinstimmungsklassifikator von2 gemäß einem Ausführungsbeispiel darstellt. -
4 ist ein Blockdiagramm des Übereinstimmungsklassifikators von2 . -
5A ist ein Blockdiagramm, das einen der anfänglichen N – 1 Schritte in dem in4 gezeigten Übereinstimmungsklassifikator zeigt. -
5B ist eine Darstellung von Annahme- und Ablehnungsschwellenwerten, die in dem in5A gezeigten Schritt verwendet werden. -
6 ist ein Ablaufplan, der ein Verfahren zur Verwendung des Übereinstimmungsklassifikators gemäß einem Ausführungsbeispiel darstellt. -
7 ist ein Ablaufdiagramm eines Übereinstimmungsklassifikator-Trainingsverfahrens. -
8 ist ein Ablaufplan eines Übereinstimmungsklassifikator-Trainingsverfahrens. -
9 ist ein Ablaufplan eines weiteren Übereinstimmungsklassifikator-Trainingsverfahrens. -
10 ist ein Blockdiagramm eines Objektverfolgungssystems. -
11 ist ein Ablaufplan eines Objektverfolgungsverfahrens. -
12 ist ein Hybrid-Blockdiagramm und Ablaufplan eines weiteren Objektverfolgungssystems. -
13A und13B sind Hybrid-Blockdiagramme und Ablaufpläne eines Verfolgungsverfahrens zwischen Kameras. -
14 ist ein Blockdiagramm eines Objektindizierungssystems. -
15 ist ein bildhaftes Diagramm eines Objektsuchverfahrens. - Ausführliche Beschreibung von Ausführungsbeispielen
- Überblick
- Ein Kamerasystem umfasst eine Bilderfassungsvorrichtung, ein Objektdetektionsmodul, das mit der Bilderfassungsvorrichtung verbunden ist, ein Objektverfolgungsmodul, das mit dem Objektdetektionsmodul verbunden ist, und einen Übereinstimmungsklassifikator, der mit dem Objektverfolgungsmodul verbunden ist. Die Bilderfassungsvorrichtung weist ein Blickfeld auf und erzeugt Bilddaten, die mehrere Bilder des Blickfeldes darstellen. Das Objektdetektionsmodul empfängt die Bilddaten und ist betriebsfähig, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen. Das Objektverfolgungsmodul ist betriebsfähig, um Fälle eines ersten Objekts, das in einer ersten Gruppe der mehreren Bilder detektiert wird, zeitlich zuzuordnen. Das erste Objekt weist eine erste Signatur auf, die Merkmale des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet werden. Der Übereinstimmungsklassifikator ist betriebsfähig, um Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts abgeleitet sind, zu vergleichen. Das zweite Objekt wird in einem zweiten Bild detektiert, das von den Bildern der ersten Gruppe verschieden ist. Die zweite Signatur stellt Merkmale des zweiten Objekts dar, die vom zweiten Bild abgeleitet werden. Der Übereinstimmungsklassifikator analysiert den ersten Satz von Daten, um festzustellen, ob die zweite Signatur mit der ersten Signatur übereinstimmt oder nicht. Der Übereinstimmungsklassifikator arbeitet zum Vergleichen von Objektfällen in einer Weise, die zumindest teilweise durch einen Trainingsprozess festgelegt wurde, der den Übereinstimmungsklassifikator unter Verwendung eines Satzes von möglichen Objektmerkmalen automatisch konfiguriert.
- Ein Verfahren verfolgt ein durch ein Kamerasystem erfasstes Objekt. Das Verfahren erfasst erste und zweite Bilder eines Blickfeldes des Kamerasystems, detektiert ein erstes Objekt, das im ersten Bild erfasst ist, und ein zweites Objekt, das im zweiten Bild erfasst ist, und erzeugt eine erste Signatur des ersten Objekts und eine zweite Signatur des zweiten Objekts. Die erste Signatur stellt einen ersten Satz von Merkmalen des ersten Objekts dar und die zweite Signatur stellt einen zweiten Satz von Merkmalen des zweiten Objekts dar. Das Verfahren erzeugt Daten, die von der ersten und der zweiten Signatur abgeleitet sind. Die Daten entsprechen einer ersten Teilmenge von Merkmalen, die aus dem ersten Satz ausgewählt sind, und einer zweiten Teilmenge von Merkmalen, die aus dem zweiten Satz ausgewählt sind. Ein Trainingsprozess bestimmt automatisch die Merkmale des ersten und des zweiten Satzes, die für die Aufnahme in die erste und die zweite Teilmenge ausgewählt werden sollen. Das Verfahren analysiert die Daten, um festzustellen, ob das zweite Objekt ein Fall des ersten Objekts ist.
- Ein Verfahren erzeugt Indexelemente von Objekten in Bildern, die von einem Kamerasystem erfasst werden. Das Verfahren erfasst eine erste Gruppe von mehreren Bildern eines Objekts in einem Blickfeld des Kamerasystems, detektiert das Objekt in der ersten Gruppe von mehreren Bildern und erzeugt einen ersten Satz von Einzelbildsignaturen des Objekts. Die Einzelbildsignaturen des ersten Satzes entsprechen Merkmalen des Objekts, die von den mehreren Bildern der ersten Gruppe abgeleitet sind. Das Verfahren erzeugt eine erste mittlere Signatur des Objekts. Die erste mittlere Signatur ist ein Mittelwert der Einzelbildsignaturen des ersten Satzes. Die erste mittlere Signatur ist ein erstes Indexelement des Objekts. Das Verfahren erzeugt eine kumulative Signatur des Objekts. Die kumulative Signatur ist ein gewichteter Mittelwert der Einzelbildsignaturen des ersten Satzes. Das Verfahren erfasst ein zweites Bild des Objekts, detektiert das Objekt im zweiten Bild und erzeugt eine zweite Einzelbildsignatur, die vom zweiten Bild abgeleitet ist. Das Verfahren aktualisiert die kumulative Signatur durch Gewichten der zweiten Einzelbildsignatur und Mitteln der gewichteten zweiten Einzelbildsignatur mit der kumulativen Signatur. Das Verfahren stellt fest, ob die aktualisierte kumulative Signatur und die erste gemittelte Signatur als Übereinstimmung angenommen oder abgelehnt werden soll. Die erste mittlere Signatur wird auf der Basis der zweiten Einzelbildsignatur aktualisiert, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung angenommen werden. Eine zweite mittlere Signatur des Objekts wird auf der Basis der zweiten Einzelbildsignatur erzeugt, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung abgelehnt werden. Die zweite mittlere Signatur ist ein zweites Indexelement des Objekts.
- Ein Verfahren durchsucht Daten, um Bilder eines Objekts zu identifizieren, das von einem Kamerasystem erfasst wird. Das Verfahren erfasst ein erstes Objekt in einem Bild eines Blickfeldes des Kamerasystems. Das erste Objekt weist eine erste Signatur auf, die Merkmale des ersten Objekts darstellen. Das Verfahren zeigt ein Bild des ersten Objekts auf einer Anzeige an, nimmt eine Benutzereingabe an, die eine Auswahl des ersten Objekts angibt, und führt Feststellungen hinsichtlich dessen durch, ob die erste Signatur einer Gruppe von Signaturen entspricht, die einem Satz von Objekten entsprechen, die in Bildern des Blickfeldes des Kamerasystems erfasst wurden. Das Verfahren sendet eine Benachrichtigung, wenn eine zweite Signatur eines zweiten Objekts des Satzes mit der ersten Signatur übereinstimmt.
- Ein Kamerasystem umfasst eine Bilderfassungsvorrichtung, ein Objektdetektionsmodul, das mit der Bilderfassungsvorrichtung verbunden ist, eine Benutzerschnittstelle, die mit der Bilderfassungsvorrichtung verbunden ist, einen Übereinstimmungsklassifikator, ein Objektverfolgungsmodul, das mit dem Übereinstimmungsklassifikator und dem Objektdetektionsmodul verbunden ist, und ein Suchmodul, das mit dem Übereinstimmungsklassifikator und der Benutzerschnittstelle verbunden ist. Die Bilderfassungsvorrichtung weist ein Blickfeld auf und erzeugt Bilddaten, die mehrere Bilder des Blickfeldes darstellen. Das Objektdetektionsmodul empfängt die Bilddaten und ist betriebsfähig, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen. Die Benutzerschnittstelle umfasst eine Anzeige zum Anzeigen von Objekten, die vom Objektdetektionsmodul detektiert werden, und eine Eingabevorrichtung, die betriebsfähig ist, um Objekte, die vom Objektdetektionsmodul detektiert werden, in Reaktion auf Benutzerbefehle auszuwählen. Der Übereinstimmungsklassifikator ist betriebsfähig, um Objekte, die durch das Objektdetektionsmodul detektiert werden, zu vergleichen. Das Objektverfolgungsmodul ist betriebsfähig, um Fälle von Objekten, die vom Objektdetektionsmodul detektiert werden, zeitlich zuzuordnen, und ist auch betriebsfähig, um den Übereinstimmungsklassifikator heranzuziehen, um festzustellen, ob Fälle von Objekten zugeordnet werden sollen oder nicht. Das Suchmodul ist betriebsfähig, um gespeicherte Bilder von Objekten, die durch die Eingabevorrichtung ausgewählt werden, abzurufen, und ist auch betriebsfähig, um den Übereinstimmungsklassifikator heranzuziehen, um ein gespeichertes Bild eines ausgewählten Objekts aufzufinden.
- Kamerasystem
- Mit Bezug auf die vorstehend aufgelisteten Zeichnungen beschreibt dieser Abschnitt spezielle Ausführungsbeispiele und ihre ausführliche Konstruktion und Operation. Die hierin beschriebenen Ausführungsbeispiele werden nur zur Erläuterung und nicht zur Begrenzung dargelegt. Der Fachmann auf dem Gebiet wird angesichts der Lehren hierin erkennen, dass ein Bereich von Äquivalenten zu den hierin beschriebenen Beispielausführungsbeispielen besteht. Vor allem sind andere Ausführungsbeispiele möglich, Veränderungen können an den hierin beschriebenen Ausführungsbeispielen vorgenommen werden und es können Äquivalente zu den Komponenten, Teilen oder Schritten bestehen, die die beschriebenen Ausführungsbeispiele bilden.
- Wie ein Fachmann auf dem Gebiet angesichts dieser Offenbarung erkennen wird, können bestimmte Ausführungsbeispiele bestimmte Vorteile gegenüber dem bekannten Stand der Technik erreichen, einschließlich einiger oder aller der folgenden: (1) Vereinigung von Objektverfolgungs-, Objektindizierungs- und Objektsuchverfahren, (2) Implementieren eines trainierbaren Übereinstimmungsklassifikators für die Objektverfolgung, -indizierung und -suche, (3) Fähigkeit, nach Fällen eines Objekts zu suchen, das vor einer Regelverletzung erfasst wurde, (4) Fähigkeit, vorher erfasste Objekte zu erkennen, nachdem ein neuer Objekttyp zu einer Detektionsbibliothek hinzugefügt ist, (5) Fähigkeit, die Objektverfolgung, -indizierung und -suche an Umgebungsänderungen anzupassen, (6) Fähigkeit, neue Merkmale hinzuzufügen, um die Detektions- und Klassifikationsgenauigkeit zu optimieren, (7) Implementieren eines Verfolgungssystems mit hoher Geschwindigkeit, das eine genaue Verfolgung selbst bei relativ niedrigen Bildraten ermöglicht, (8) Implementieren eines genauen Verfolgungssystems an einer eingebetteten Plattform unter Verwendung einer kostengünstigen Hardware, (9) Fähigkeit, die Objektdetektionsgenauigkeit und Objektklassifikationsgenauigkeit durch Zurückführen von genauen Verfolgungsdaten zu verbessern, und (10) Fähigkeit, Objekte über Kameras in Echtzeit automatisch zu verfolgen. Diese und weitere Vorteile von verschiedenen Ausführungsbeispielen werden beim Lesen des Rests dieses Abschnitts ersichtlich.
- Der Deutlichkeit und Kürze halber werden bestimmte Aspekte von Komponenten oder Schritten von bestimmten Ausführungsbeispielen ohne übermäßiges Detail dargestellt, wenn ein solches Detail für den Fachmann auf dem Gebiet angesichts der Lehren hierin ersichtlich wäre und/oder wenn ein solches Detail ein Verständnis von relevanteren Aspekten der Ausführungsbeispiele verschleiern würde.
-
1 ist ein bildhaftes Diagramm eines Kamerasystems100 gemäß einem Ausführungsbeispiel. Das Kamerasystem100 umfasst Bilderfassungsvorrichtungen102 , eine Benutzerschnittstelle104 und eine entfernte Speicher/Verarbeitungseinheit106 (z. B. einen entfernten Server), die in einem Netzwerk108 miteinander verbunden sind. Das Netzwerk108 kann einen beliebigen Typ von verdrahtetem oder drahtlosem Netzwerk umfassen. Obwohl das Kamerasystem100 von1 mehrere Bilderfassungsvorrichtungen102 umfasst, die in einem Netzwerk verbunden sind, kann das Kamerasystem100 eine einzelne Bilderfassungsvorrichtung102 umfassen. Die Bilderfassungsvorrichtungen102 können ein internes Speichersystem110 mit einem Festplattenlaufwerk (HD)111 und einer Metadaten-Datenbank (DB)112 umfassen. Die Bilderfassungsvorrichtungen102 können beispielsweise ein Speichersystem umfassen, das in der im gemeinsamen Besitz stehenden US-Patentanmeldung Nrn. 12/105 971 und 12/105 893 mit dem Titel ”Content Aware Storage of Video Data” bzw. ”Extending the Operational Lifetime of a Hard-Disk Drive Used in Video Data Storage Applications” beschrieben ist, die beide durch den Hinweis in ihren Gesamtheiten hierin aufgenommen werden. Die Benutzerschnittstelle104 umfasst eine Anzeige114 und eine Eingabevorrichtung116 . Die Bilderfassungsvorrichtungen102 erfassen Bilder von ihrem jeweiligen Blickfeld und erzeugen Bilddaten, die die Bilder darstellen. Es soll selbstverständlich sein, dass Bilder sich auf Standbilder oder Bewegungsvideobilder beziehen können. Die Bilddaten werden über das Netzwerk108 zur Benutzerschnittstelle104 übertragen und Bilder von einem oder mehreren der Blickfelder werden auf der Anzeige114 dargestellt. Die Eingabevorrichtung116 ist betriebsfähig, um einem Benutzer zu ermöglichen, Benutzerrückmeldungsinformationen für das Kamerasystem100 bereitzustellen. Die Bilddaten können auch über das Netzwerk108 zur entfernten Speicher/Verarbeitungseinheit106 übertragen werden. -
2 ist ein vereinfachtes Blockdiagramm von einer der Bilderfassungsvorrichtungen102 . Die Bilderfassungsvorrichtung102 kann eine Videokamera mit hoher Auflösung wie z. B. eine Megapixel-Videokamera sein. Die Bilderfassungsvorrichtung102 kann auch Daten von außerhalb des sichtbaren Spektrums (z. B. Wärmeenergie) erfassen. Zusätzlich zum Speichersystem110 umfasst die Bilderfassungsvorrichtung102 eine Bildverarbeitungseinheit, die ein Videoanalysemodul200 zum Analysieren von Bildern, die durch die Bilderfassungsvorrichtung102 erfasst werden, umfasst. Die Bildverarbeitungseinheit muss nicht in einem Gehäuse202 der Bilderfassungsvorrichtung102 enthalten sein, wie in2 dargestellt. Überdies kann die entfernte Speicher/Verarbeitungseinheit106 auch eine Bildverarbeitungseinheit umfassen. - Das Videoanalysemodul
200 umfasst eine Anzahl von Modulen zum Durchführen von verschiedenen Aufgaben. Das Videoanalysemodul200 umfasst beispielsweise ein Objektdetektionsmodul204 zum Detektieren von Objekten, die im Blickfeld der Bilderfassungsvorrichtung102 erscheinen. Das Objektdetektionsmodul204 kann ein beliebiges bekanntes Objektdetektionsverfahren wie beispielsweise eine Bewegungsdetektion oder Fleckdetektion verwenden. Das Objektdetektionsmodul204 kann die Systeme umfassen und die Detektionsverfahren verwenden, die in der im gemeinsamen Besitz stehenden US-Patentanmeldung Nr. 10/884 486 mit dem Titel ”Methods and Systems for Detecting Objects of Interest in Spatio-Temporal Signals” beschrieben sind, deren gesamter Inhalt durch den Hinweis hierin aufgenommen wird. - Das Videoanalysemodul
200 umfasst auch ein Objektverfolgungsmodul206 , das mit dem Objektdetektionsmodul204 verbunden ist. Wie hierin verwendet, bedeutet der Begriff ”verbunden” direkt oder indirekt über eine oder mehrere Vermittler logisch oder physikalisch verbunden. Das Objektverfolgungsmodul206 ist betriebsfähig, um Fälle eines durch das Objektdetektionsmodul204 detektierten Objekts zeitlich zuzuordnen. Das Objektverfolgungsmodul206 erzeugt Metadaten entsprechend Objekten, die es verfolgt. Die Metadaten können Signaturen des Objekts entsprechen, die das Aussehen oder andere Merkmale des Objekts darstellen. Die Metadaten können zur Metadaten-Datenbank112 zur Speicherung übertragen werden. Das Objektverfolgungsmodul206 wird nachstehend genauer beschrieben. - Das Videoanalysemodul
200 umfasst auch ein zeitliches Objektklassifikationsmodul208 . Das zeitliche Objektklassifikationsmodul208 ist betriebsfähig, um ein Objekt gemäß seinem Typ (z. B. Mensch, Fahrzeug, Tier) durch Betrachten des Aussehens des Objekts über die Zeit zu klassifizieren. Mit anderen Worten, das Objektverfolgungsmodul206 verfolgt ein Objekt für mehrere Einzelbilder (d. h. mehrere Bilder) und das zeitliche Objektklassifikationsmodul208 bestimmt den Typ des Objekts auf der Basis seines Aussehens in den mehreren Einzelbildern. Das zeitliche Objektklassifikationsmodul208 kann Informationen hinsichtlich der Bahn eines Objekts (z. B. ob die Bahn glatt oder chaotisch ist, ob sich das Objekt bewegt oder bewegungslos ist) und das Vertrauen von Klassifikationen, die durch ein Objektklassifikationsmodul210 durchgeführt werden, die über mehrere Einzelbilder gemittelt werden, kombinieren. Klassifikationsvertrauenswerte, die durch das Objektklassifikationsmodul210 bestimmt werden, können beispielsweise auf der Basis der Gleichmäßigkeit der Bahn des Objekts eingestellt werden. Das zeitliche Objektklassifikationsmodul208 kann ein Objekt einer unbekannten Klasse zuweisen, bis das Objekt durch das Objektklassifikationsmodul eine ausreichende Anzahl von Malen klassifiziert wird und eine vorbestimmte Anzahl von Statistiken erhoben wurde. Beim Klassifizieren eines Objekts kann das zeitliche Objektklassifikationsmodul208 auch berücksichtigen, wie lange das Objekt im Blickfeld war. Das zeitliche Objektklassifikationsmodul208 kann eine Endbestimmung über die Klasse eines Objekts auf der Basis der vorstehend beschriebenen Informationen durchführen. Das zeitliche Objektklassifikationsmodul208 kann auch eine Hysteresemethode zum Ändern der Klasse eines Objekts verwenden. Beispielsweise kann ein Schwellenwert für den Übergang der Klassifikation eines Objekts von unbekannt zu einem Menschen festgelegt werden und dieser Schwellenwert kann größer sein als ein Schwellenwert für den entgegengesetzten Übergang (z. B. von einem Menschen zu unbekannt). Das zeitliche Objektklassifikationsmodul208 kann Metadaten in Bezug auf die Klasse eines Objekts erzeugen und die Metadaten können in der Metadaten-Datenbank112 gespeichert werden. - Das Videoanalysemodul
200 umfasst auch das Objektklassifikationsmodul210 , das mit dem Objektdetektionsmodul204 verbunden ist. Im Gegensatz zum zeitlichen Objektklassifikationsmodul208 bestimmt das Objektklassifikationsmodul210 den Typ eines Objekts auf der Basis eines einzelnen Falls (d. h. eines einzelnen Bildes) des Objekts. Das Objektklassifikationsmodul kann die Systeme umfassen und die Verfahren verwenden, die in der im gemeinsamen Besitz stehenden US-Patentanmeldung Nr. _/_,_ (Anwaltsregisternr. 37686/8:2) mit dem Titel ”Dynamic Object Classification” beschrieben sind, deren gesamter Inhalt durch den Hinweis hierin aufgenommen wird. Das zeitliche Objektklassifikationsmodul208 kann die vom Objektklassifikationsmodul210 durchgeführten Klassifikationen zusammenfassen. - Das Videoanalysemodul
200 umfasst auch ein Objektindizierungsmodul212 , das mit dem Speichersystem110 verbunden ist. Das Objektindizierungsmodul212 ist betriebsfähig, um Signaturen für Objekte zu erzeugen. Die Signaturen können in der Metadaten-Datenbank112 gespeichert werden und können als Indexelemente für Videobilder der Objekte wirken. Das Objektindizierungsmodul212 wird nachstehend genauer beschrieben. - Das Videoanalysemodul
200 umfasst auch ein Objektsuchmodul214 , das mit dem Speichersystem110 und der Benutzerschnittstelle104 verbunden ist. Das Objektsuchmodul214 ist betriebsfähig, um Signaturen zu durchsuchen, die im Speichersystem110 gespeichert sind, um zu identifizieren, ob ein Objekt in vorher erfassten Bildern vorhanden war. Das Objektsuchmodul214 wird nachstehend genauer beschrieben. - Das Videoanalysemodul
200 umfasst auch ein Objektkategorisierungsmodul216 , das mit dem Objektklassifikationsmodul210 verbunden ist. Das Objektkategorisierungsmodul216 ist betriebsfähig, um die Verfolgung zu priorisieren, wenn mehrere Objekte in einem Bild detektiert werden. Das Objektkategorisierungsmodul216 ist beispielsweise betriebsfähig, um Klassifikationsinformationen zu verwenden, die vom Objektklassifikationsmodul210 erzeugt werden, um eine Reihenfolge festzulegen, um zu versuchen, Objekte eines aktuellen Einzelbildes Objekten, die in vergangenen Einzelbildern detektiert wurden, zuzuordnen. Das Objektkategorisierungsmodul216 wird nachstehend genauer beschrieben. - Daten, die vom Videoanalysemodul
200 erzeugt werden, können von einer Regelmaschine220 verwendet werden, um festzustellen, ob eine oder mehrere vom Benutzer festgelegte Regeln verletzt wurden oder nicht. Die Regelmaschine220 kann beispielsweise einen Alarm auslösen, der auf der Anzeige114 der Benutzerschnittstelle dargestellt wird, wenn ein Mensch im Blickfeld von einer der Bilderfassungsvorrichtungen102 detektiert wird. - Wie hierin verwendet, ist der Begriff ”Modul” eine Komponente, die ein oder mehrere Hardware-Schaltungen oder -vorrichtungen und/oder eine oder mehrere Softwareroutinen, Funktionen, ein Objekt oder dergleichen umfassen kann. Ein Modul kann vollständig Hardware, vollständig Software sein, Firmware umfassen oder eine gewisse Kombination der vorangehenden umfassen. Wie hierin verwendet, bezieht sich der Begriff ”System” auf eine materielle Sache.
- Übereinstimmungsklassifikator
- Das Videoanalysemodul
200 umfasst auch einen Übereinstimmungsklassifikator218 , der mit dem Objektverfolgungsmodul206 , dem Objektindizierungsmodul212 und dem Objektsuchmodul214 verbunden ist. Der Übereinstimmungsklassifikator218 ist betriebsfähig, um ein Eingangsmuster z zu empfangen, das Signaturen von zwei Objekten darstellt, und festzustellen, ob die Signaturen übereinstimmen (z. B. ob die Signaturen ausreichend ähnlich sind). Der Übereinstimmungsklassifikator218 kann vom Objektverfolgungsmodul206 , vom Objektindizierungsmodul212 und vom Objektsuchmodul214 verwendet werden, um die Module bei ihren verschiedenen Operationen zu unterstützen. Folglich kann ein einheitliches Gerüst zum Verfolgen, Indizieren und Suchen über den Übereinstimmungsklassifikator218 erreicht werden. - Der Übereinstimmungsklassifikator
218 ist betriebsfähig, um Objekte auf der Basis der Signaturen (z. B. Merkmale oder Aussehenseigenschaften) der Objekte zu vergleichen. Der Übereinstimmungsklassifikator218 empfängt beispielsweise Daten (d. h. das Eingangsmuster z) in Bezug auf die Signaturen von zwei Objekten, die in verschiedenen Einzelbildern erfasst sind, und stellt fest, ob die Objekte demselben physikalischen Objekt entsprechen. - Eine Signatur eines Objekts kann aus einer Teilmenge von Merkmalen
F ^ = {fk1, fk2, ..., fkm} - Die Merkmale
f ^1, f ^2, ..., f ^m 218 mit sowohl Farb- als auch Schwarz-Weiß-Bildern arbeitet. Ein Bild eines Objekts kann in Bereiche oder Unterfenster unterteilt werden und die Merkmalef ^1, f ^2, ..., f ^m f ^1, f ^2, ..., f ^m 218 verwendet werden, um festzustellen, ob Objekte übereinstimmen oder nicht. Histogramme der Kantenorientierungen eines Objekts können beispielsweise für verschiedene Bereiche (z. B. Unterfenster) des Bildes des Objekts konstruiert werden. Mit anderen Worten, ein Bild eines Objekts kann in Unterfenster unterteilt werden und Kantenorientierungen können für jedes Pixel der Unterfenster berechnet werden. Die Kantenorientierung eines Pixels kann unter Verwendung eines steuerbaren Filters (z. B. unter Verwendung eines Gauß-Ableitungsfilters in mehreren Richtungen) abgeleitet werden. Ein Bild kann beispielsweise mit einer ersten Ableitung einer Gauß-Verteilung, die in null und 90 Grad orientiert ist, gefaltet werden, die als Basisfilter verwendet werden können, um zahlreiche Orientierungen zu synthetisieren. Gauß-Ableitungsantworten können in acht Orientierungen für jedes Pixel berechnet werden und für jedes Pixel kann die Orientierung mit der maximalen Antwort als Richtung für das Pixel gewählt werden. Die Verwendung eines steuerbaren Filters ermöglicht, dass dominante Richtungen den Pixeln eines Unterfensters zugewiesen werden, und ermöglicht, dass ein Histogramm der Richtungen für das Unterfenster konstruiert wird. Für ein gegebenes Pixel kann beispielsweise ein steuerbares Filter in mehreren Richtungen verwendet werden, um mehrere Antworten zu erzeugen, und die Richtung, die der maximalen Richtungsableitungsantwort entspricht, wird als Richtung des Pixels zugewiesen. Eine Signatur x eines Objekts kann die Eindeutigkeit des Objekts erfassen, während sie Aussehensvariationen unter verschiedenen Fällen des Objekts ermöglicht. Obwohl es nicht erforderlich ist, kann eine Signatur eines Objekts mit der für das Kamerasystem100 erhältlichen maximalen Auflösung berechnet werden und kann durch eine nachträgliche Abwärtsabtastung oder Kompression nicht beeinflusst werden. -
3 ist ein Blockdiagramm, das ein Verfahren300 zeigt, das verwendet werden kann, um eine Eingabe z für den Übereinstimmungsklassifikator218 auf der Basis einer Signatur x von einem ersten Objekt und einer Signatur y von einem zweiten Objekt zu erzeugen. Im Allgemeinen werden die Signaturen x und y vom ersten und vom zweiten Objekt kombiniert, um die Eingabe z zu bilden (Schritt302 ). Das Merkmalf ^1 f ^1 f ^1 f ^1 218 geliefert und der Übereinstimmungsklassifikator218 trifft eine Entscheidung hinsichtlich dessen, ob das erste und das zweite Objekt übereinstimmen. Wie nachstehend beschrieben, kann ein Trainingsprozess automatisch die besten Merkmale der Signaturen x und y zusammen mit der besten Kombination oder dem besten Abstandsmaß wählen, um ein hohes Niveau an Genauigkeit beim Vergleich von Objekten zu erreichen. Die Ausgabe des Übereinstimmungsklassifikators218 kann einem Entscheidungsschrittwert s(z) entsprechen, wie nachstehend beschrieben. Der Entscheidungsschrittwert s(z) kann angeben, ob das erste und das zweite Objekt übereinstimmen, und kann einen Wert umfassen, der einem Vertrauensniveau in seiner Entscheidung entspricht. - Der Übereinstimmungsklassifikator
218 kann durch ein Klassifikationsproblem dargestellt werden, das im Allgemeinen durch eine Klassifikatorfunktion Γ(z) definiert ist, wobei zwei Objekte, die durch das Eingangsmuster z dargestellt sind, als Übereinstimmung deklariert werden, wenn Γ(z) > 0, oder als Nicht-Übereinstimmung, wenn Γ(z) < 0. Im Allgemeinen wird die Klassifikatorfunktion Γ(z) mit einem Satz von Parametern parametrisiert und die Eingabe z besteht aus einer Kombination der vorstehend beschriebenen Merkmale. Die Größe der Ausgabe der Klassifikatorfunktion kann das Vertrauensniveau des Übereinstimmungsklassifikators218 in seiner Entscheidung widerspiegeln. Dieses Vertrauensniveau kann ein Maß der Ähnlichkeit (oder Unähnlichkeit) bilden. - Ein Ausführungsbeispiel der Struktur des Übereinstimmungsklassifikators
218 wird nun mit Bezug auf4 –6 genauer beschrieben. Der Übereinstimmungsklassifikator218 umfasst mehrere Schritte400 (N Entscheidungsschritte), die in einer Kaskadenkonfiguration konfiguriert sind (d. h. Schritt 1, gefolgt von Schritt 2, gefolgt von Schritt 3, ..., gefolgt von Schritt N), wie in4 gezeigt. Die N Schritte arbeiten zum Feststellen, ob zwei Signaturen übereinstimmen oder nicht. Im Gegensatz zu einem bekannten Kaskadenklassifikationssystem, das in Paul Viola & Michael Jones, "Robust Real-Time Face Detection", International Journal of Computer Vision, S. 137–154 (2004), vorgeschlagen ist, ist jeder der anfänglichen N – 1 Schritte des vorliegenden Ausführungsbeispiels betriebsfähig, um eine von drei Entscheidungen zu treffen: (1) Annehmen von zwei Objekten als Übereinstimmung, (2) Ablehnen der Objekte als Übereinstimmung (d. h. Deklarieren als Nicht-Übereinstimmung) und (3) Weiterleiten der Entscheidung zum nächsten Schritt. Die Eingabe z wird beispielsweise zu Schritt 1 geliefert und Schritt 1 entscheidet, ob (1) die Objekte als Übereinstimmung angenommen werden sollen, (2) die Objekte als Übereinstimmung abgelehnt werden sollen, oder (3) die Entscheidung zu Schritt 2 weitergeleitet werden soll. Die Entscheidung zum Annehmen, Ablehnen oder Weiterleiten basiert auf einem durch den Schritt erzeugten Wert (d. h. dem Entscheidungsschrittwert s(z)). Der letzte oder N-te Schritt ist betriebsfähig, um entweder (1) die Objekte als Übereinstimmung anzunehmen oder (2) die Objekte als Übereinstimmung abzulehnen. -
5A ist ein Blockdiagramm, das einen der anfänglichen N – 1 Schritte400 genauer zeigt. Jeder Schritt400 umfasst eine oder mehrere Stufen500 . Für jede der Stufen500 wird eine Kombination (z. B. ein Abstandsmaß oder eine Verkettung) von einem der Merkmalef ^1, f ^2, ..., f ^m f ^1, f ^2, ..., f ^m 502 dargestellt) und zu ihrer entsprechenden Stufe500 geliefert. Eine Kombination des Merkmalsf ^1 f ^1 500 geliefert werden. Jede Stufe500 weist daher eine entsprechende Merkmalskombination auf, die ihr zugeordnet ist. Die Stufen/Merkmals-Kombination kann durch einen Lernalgorithmus während eines Trainingsprozesses vorbestimmt werden, wie nachstehend beschrieben. Überdies kann eine zur ersten Stufe (Stufe 1) von5 gelieferte Merkmalskombination beispielsweise verschieden sein von oder dieselbe sein wie die zur zweiten Stufe (Stufe 2) gelieferte Merkmalskombination. - Im Allgemeinen kann eine Stufe
500 durch eine Stufenfunktion g dargestellt werden, die folgendermaßen definiert ist:g:(x, y) → γ g ∊ G (x, y) ∊ z und γ ∊ [–1, 1] (2) 500 geliefert wird, als Abstandsmaß d betrachtet werden. Der Satz G kann daher als G = D × T geschrieben werden, wobei D ein Satz aller möglichen Abstandsmaße ist, die in Schritt302 von3 berechnet werden (z. B. d ∊ D, d: (x, y) → z) und T einen Satz von möglichen Transformationen (d. h. Abbildungen) darstellt, so dass für t ∊ T, t:z → γ. Folglich kann die Stufenfunktion g die folgende erweiterte Form annehmen:gi(f ^ x / k, f ^ y / k) = t(d(f ^ x / k, f ^ y / k)) (3) - Eine Stufe
500 stellt eine Diskriminantenfunktion dar, die einen Gewichtsvektor w ⇀ und eine Aktivierungsfunktion β umfasst. Wie vorstehend angegeben, können die Merkmalef ^1, f ^2, ..., f ^m gi(d ⇀k) = βi(w ⇀i·d ⇀k) (4) w ⇀i·d ⇀k d ⇀k d ⇀k w ⇀i 500 während des Trainings automatisch bestimmt, wie nachstehend beschrieben. - Jeder Schritt
400 ist eine lineare Kombination (durch den Skalierungs- und Summierblock502 dargestellt) von einer oder mehreren der Stufen500 . Mit anderen Worten, die Skalarwerte γ der Stufen500 werden skaliert und summiert, um den Entscheidungsschrittwert s(z) zu erzeugen. Im Allgemeinen kann diese Funktion mathematisch wie folgt dargestellt werden: - Da s(z) (d. h. der Entscheidungsschrittwert) eine konvexe Kombination von Stufen ist, weisen s(z) und g(x, y) denselben Bereich auf. Gewichtungskoeffizienten α werden durch einen Lernalgorithmus während des Trainings gewählt. Der Entscheidungsschrittwert wird mit einem oder beiden eines Annahmeschwellenwerts τa und eines Ablehnungsschwellenwerts τr verglichen (durch den Block
506 dargestellt), um festzustellen, ob zwei Objekte übereinstimmen, die Objekte als Übereinstimmung abgelehnt werden sollen oder die Entscheidung zum nächsten Schritt400 weitergeleitet werden soll. Der Vergleich kann folgendermaßen dargestellt werden:Annehmen, wenn τa < s(z) ≤ 1 Weiterleiten, wenn τr < s(z) ≤ τa Ablehnen, wenn –1 < s(z) ≤ τr (6) -
5B stellt ein Beispiel des Annahme- und des Ablehnungsschwellenwerts im Intervall [–1, +1] dar. Der Annahmeschwellenwert τa und der Ablehnungsschwellenwert τr werden während des Trainings durch einen Lernalgorithmus auf der Basis von benutzerspezifischen falsch positiven und falsch negativen Raten gewählt. Jeder Schritt400 kann Werte für τa und τr aufweisen, die verschieden sind von oder dieselben sind wie die anderen Schritte400 . Eine Entscheidung zum ”Annehmen” impliziert, dass der Klassifikator zuversichtlich ist, dass zwei Objekte übereinstimmen. Eine Entscheidung zum ”Weiterleiten” impliziert, dass der Klassifikator unsicher ist und die Entscheidung zum nächsten Schritt verschiebt. Eine Entscheidung zum ”Ablehnen” impliziert, dass der Klassifikator zuversichtlich ist, dass zwei Objekte nicht übereinstimmen. In irgendeinem Schritt wird, wenn die Entscheidung nicht darin besteht, zum nächsten Schritt400 ”weiterzuleiten”, die Annahme/Ablehnungs-Entscheidung an diesem Punkt getroffen und die Auswertung ist vollständig. Der Entscheidungsschrittwert s(z) in diesem Schritt ist der Ausgangswert für den Übereinstimmungsklassifikator218 . Der Entscheidungsschrittwert kann einem Entscheidungsvertrauensniveau für den entsprechenden Schritt400 entsprechen. Ein Entscheidungsschrittwert nahe eins kann beispielsweise darstellen, dass der entsprechende Schritt400 zuversichtlicher ist, dass zwei Objekte übereinstimmen, im Vergleich zu einem Entscheidungsschrittwert, der geringfügig über dem Annahmeschwellenwert τa liegt. Alternativ kann eine Erhöhung des Entscheidungsschrittwerts nicht notwendigerweise einem höheren Entscheidungsvertrauensniveau entsprechen (d. h. eine Wahrscheinlichkeit, dass die Entscheidung korrekt war). Das Vertrauensniveau, das jedem Entscheidungsschrittwert zugeordnet ist, kann während des Trainings empirisch abgeschätzt werden, wenn Objekte mit verschiedenen Entscheidungsschrittwerten korrekt und falsch verglichen werden. Die Vertrauensniveaus der Entscheidungsschrittwerte werden nachstehend genauer beschrieben. Wie vorstehend angegeben, wird die Endstufe (Stufe N) im Übereinstimmungsklassifikator218 dazu gezwungen, immer anzunehmen oder abzulehnen:Annehmen, wenn 0 < s(z) ≤ 1 Ablehnen, wenn –1 < s(z) ≤ 0 (7) -
6 ist ein Ablaufplan, der einen Operationsablauf600 des Übereinstimmungsklassifikators218 als Beispiel darstellt. Zuerst werden die Signaturen eines ersten und eines zweiten Objekts kombiniert (Schritt602 ). Das erste und das zweite Objekt können demselben physikalischen Objekt entsprechen. Schritt602 korreliert mit Schritt302 von3 . Die Eingabe z wird zum ersten Schritt400 des Übereinstimmungsklassifikators218 übertragen (Schritt604 ). Die kombinierten Merkmale (z. B. die Abstandsmaße), die der ersten bis S-ten Stufe500 entsprechen, werden in der Eingabe z identifiziert und aus dieser gewählt (Schritt606 ). Alternativ können anstelle der Übertragung der Eingabe z zum ersten Schritt400 die kombinierten Merkmale, die von den Stufen500 des ersten Schritts400 verwendet werden, ausgewählt werden und nur diese kombinierten Merkmale können zum ersten Schritt400 übertragen werden. Die kombinierten Merkmale werden zu ihren jeweiligen Stufen500 geliefert und die Stufen500 bilden die kombinierten Merkmale auf Skalarwerte γ ab (Schritt608 ). Die Skalarwerte werden skaliert (d. h. gewichtet) und summiert, um einen Entscheidungsschrittwert s(z) zu erzeugen (Schritt610 ). Der Entscheidungsschrittwert wird mit einem oder mehreren des Annahmeschwellenwerts τa und des Ablehnungsschwellenwerts τr verglichen (Schritt612 ). Wenn der Entscheidungsschrittwert größer ist als der Annahmeschwellenwert τa, werden das erste und das zweite Objekt als Übereinstimmung angenommen (Schritt614 ). Wenn der Entscheidungsschrittwert geringer als oder gleich dem Ablehnungsschwellenwert τr ist, werden das erste und das zweite Objekt als Übereinstimmung abgelehnt (Schritt616 ). Wenn der Entscheidungsschrittwert größer ist als der Ablehnungsschwellenwert τr, aber geringer als oder gleich dem Annahmeschwellenwert τa ist, wird die Eingabe z zum zweiten Schritt400 weitergeleitet (oder als Alternative werden nur diejenigen Merkmalskombinationen, die vom zweiten Schritt400 verwendet werden, zum zweiten Schritt400 übertragen) (Schritt618 ). Das erste und das zweite Objekt können in irgendeinem Schritt400 innerhalb der Kaskade als Übereinstimmung angenommen oder abgelehnt werden. - Training des Übereinstimmungsklassifikators
- Ein Verfahren zum Trainieren des Übereinstimmungsklassifikators
218 wird nun beschrieben. Herkömmliche Klassifikatoren können mit dem Lernalgorithmus AdaBoost oder einer gewissen Variante von AdaBoost trainiert werden. Obwohl AdaBoost in einigen Anwendungen seinen Wert bewiesen hat, haben der Algorithmus und die Zielfunktion, die in diesem Lernprozess verwendet wird, gewisse Begrenzungen. Damit AdaBoost wirksam ist, können beispielsweise Abstandsmaße von übereinstimmenden und nicht-übereinstimmenden Objekten einander nicht signifikant im Merkmalsraum überlappen. Mit anderen Worten, die Merkmale der Objekte sollten einen Klassifikationsraum gut trennen. Da AdaBoost schwache Lerner verwendet, kann überdies eine große Sammlung von schwachen Lernern erforderlich sein, um einen vollständigen Klassifikator zu bilden, der in der Lage ist, eine gewünschte Genauigkeit zu erreichen. - Gemäß einem Ausführungsbeispiel wird eine alternative Zielfunktion und ein Lernalgorithmus, der Sequentielle Diskriminantenfehlerminimierung (SDEM) genannt wird, verwendet, um den Übereinstimmungsklassifikator
218 zu trainieren. SDEM wurde in Saptharishi, "Sequential Discriminant Error Minimization: The Theory and its Application to Real-Time Video Object Recognition" (Carnegie Mellon University, 2005), vorgeschlagen, dessen gesamter Inhalt durch den Hinweis hierin aufgenommen wird. SDEM kann Merkmale oder Abstandsmaße behandeln, die einen Klassifikationsraum nicht notwendigerweise gut auftrennen. Im Gegensatz zu AdaBoost und anderen ähnlichen Unterstützungsverfahren kann SDEM schwache Lerner oder andere Diskriminantenfunktionen verwenden, die nicht notwendigerweise als schwach betrachtet werden. Folglich kann die Anzahl von Schritten400 und Stufen500 eines Objektklassifikators unter Verwendung von SDEM zum Training im Vergleich zu AdaBoost signifikant geringer sein. Für ein gegebenes Merkmal ist SDEM häufig in der Lage, den besten Klassifikator für den entsprechenden Merkmalsraum zu lernen. Die besten Merkmale von Objekten, Abstandsmaße und Transformationen können automatisch für ein gegebenes Klassifikationsproblem ausgewählt werden. - Im Allgemeinen wird der SDEM-Algorithmus verwendet, um die Kombination von Stufen
500 für jeden Schritt400 zu trainieren. Wie in Gleichung (3) definiert, umfasst eine Stufe500 eine Stufenfunktion gi(x, y), die gleich einer Transformation t eines Abstandsmaßes d von Merkmalenf ^ x / k f ^ y / k t(d(f ^ x / k, f ^ y / k)) f ^k 500 zu einem Schritt400 hinzugefügt wird, die Leistung des Objektklassifikators maximiert wird. Mit anderen Worten, der SDEM-Algorithmus wählt die Transformation t, das Abstandsmaß d und das Merkmalf ^k f ^k, f ^k, ∊^(g) g(f ^ x / k, f ^ y / k) = min∀(k,j)∀t∈T{∊ ^(t(dj(f ^ x / k, f ^ y / k)))} (8) - Wenn jede Stufe
500 zu einem Schritt400 hinzugefügt wird, kann es n eindeutige Merkmalstypen und b eindeutige Abstandsmaße geben. Folglich können insgesamt n × b Paare (f ^k, 500 hinzugefügt wird. Eine der Eigenschaften des SDEM-Algorithmus besteht darin, dass, wenn eine Stufe500 zu einem Schritt400 hinzugefügt wird, das Hinzufügen der Stufe500 die Leistung des Objektklassifikators an dem Trainingsdatensatz verbessert. Wenn eine neue Stufe nicht identifiziert werden kann, die die Leistung des Objektklassifikators verbessert, endet der SDEM-Algorithmus automatisch. Anstatt zu warten, bis der SDEM-Algorithmus automatisch endet, kann alternativ eine Anzahl von Stufen500 eines Schritts400 durch einen Benutzer bestimmt werden. Mit anderen Worten, der SDEM-Algorithmus beendet das Training, wenn eine maximale Anzahl von Stufen500 , die vom Benutzer festgelegt werden, erreicht ist oder wenn keine Stufe500 hinzugefügt werden kann, die die Leistung verbessert. - Der SDEM-Algorithmus wählt eine Reihe von Merkmalen, Abstandsmaßen und Transformationen derart aus, dass, wenn sie kombiniert werden, die Reihe ein einzelnes der Merkmale/Abstandsmaße/Transformationen übertrifft. Obwohl das Seitenverhältnis eines Objekts beispielsweise ein schlechtes Merkmal für die Verwendung zum Vergleich sein könnte, kann, wenn es mit lokalen Gradienteninformationen kombiniert wird, das Seitenverhältnis die Übereinstimmungsgenauigkeit, die den lokalen Gradienteninformationen allein entspricht, verbessern. Eine Anzahl von einfachen Merkmalen, Abstandsmaßen und Transformationen kann kombiniert werden, um einen sehr genauen Übereinstimmungsklassifikator
218 zu erzeugen. Die Trainingsaufgabe erzeugt Supermerkmale durch Kombinieren eines Satzes von Aussehensmerkmalen und Abstandsmaßen für zwei Objekte. - Die Trainingsaufgabe zum Aufbauen der Stufen
500 des ersten Schritts400 wird nun mit Bezug auf7 und8 genauer beschrieben. Die folgende Beschreibung ist auch auf die Stufen500 der anderen Schritte400 anwendbar.7 ist ein Blockdiagramm eines Verfahrens700 zum Erzeugen von Trainingsdaten. Eine Sequenz von Bildern von Objekten kann einem Benutzer zur Überprüfung hinsichtlich dessen, ob die Bilder demselben Objekt oder verschiedenen Objekten entsprechen, präsentiert werden. Zwei Bilder können beispielsweise dem Benutzer zur Überprüfung gleichzeitig präsentiert oder nacheinander präsentiert werden. Wenn die Bilder demselben Objekt entsprechen, wird ein Übereinstimmungsbeispiel erzeugt (Schritt702 ). Wenn die Bilder verschiedenen Objekten entsprechen, wird ein Nicht-Übereinstimmungs-Beispiel erzeugt (Schritt704 ). Abstandsmaße d1, d2, ..., dm werden für die Merkmale des Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiels verwendet. Den Merkmalenf ^1,f ^2, ..., f ^k f ^1, f ^2, ..., f ^k f ^1 f ^1, f ^2, ..., f ^k f ^1 f ^1 f ^1 f ^1 f ^1, f ^2, ..., f ^k 218 zu trainieren (Schritt706 ). -
8 ist ein Ablaufplan eines Trainingsverfahrens800 , das verwendet werden kann, um den Übereinstimmungsklassifikator218 zu trainieren. Die Kombinationen von Merkmalenf ^1, f ^2, ..., f ^m 802 ) werden identifiziert und dem Abstandsmaß (z. B. d1, d2) zugeordnet, die verwendet wurden, um die Merkmale zu kombinieren (Schritte804a ,804b ,804c ). Für das Abstandsmaß d1 werden beispielsweise die Kombinationen des geeigneten Merkmals f ^, die unter Verwendung von d1 gebildet werden, identifiziert (Schritt804a ). - Nachdem die Merkmalskombinationen
802 , die den Abstandsmaßen d1, d2, ..., dm entsprechen, identifiziert sind, wird die beste Transformation t für jedes der Abstandsmaße d1, d2, ..., dm ausgewählt (Schritte806a ,806b und806c ). Da ein spezielles Merkmal f ^ jedem Abstandsmaß zugeordnet ist, wird die beste Transformation nicht nur für das Abstandsmaß, sondern auch für das Merkmal, das dem Abstandsmaß zugeordnet ist, ausgewählt. Die Transformationen können auf der Basis von Standard-Optimierungsverfahren ausgewählt werden. Eine Transformation t kann als Entscheidungsgrenze betrachtet werden, die die Merkmalskombinationen802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele trennt. Folglich entspricht die beste Transformation t einer Entscheidungsgrenze, die die Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele für das entsprechende Merkmal f ^ und Abstandsmaß am besten trennt. Im Zusammenhang mit der Diskriminantenfunktion, die aus dem Gewichtsvektorw ⇀i w ⇀i, - Nachdem die Transformationen für die Abstandsmaße d1, d2, ..., dm ausgewählt sind, wird ein Wert einer Zielfunktion entsprechend jeder Abstandsmaß/Transformations-Kombination berechnet (Schritte
808a ,808b und808c ). Die Zielfunktion kann zu einem Maß von Fehlern proportional sein (z. B. Deklarieren einer Übereinstimmung als Nicht-Übereinstimmung oder umgekehrt) oder sie kann eine nicht-lineare, aber monoton veränderliche Funktion der Klassifikationsfehler sein. Die berechneten Werte der Zielfunktion können mit der Anzahl und/oder Schwere von Klassifikationsfehlern in Zusammenhang stehen, die von den verschiedenen Abstandsmaß/Transformations-Kombinationen gemacht werden. Ein erster berechneter Wert kann beispielsweise mit der Anzahl von Klassifikationsfehlern in Zusammenhang stehen, der vom Abstandsmaß d1 und seiner entsprechenden Transformation gemacht werden. Die berechneten Werte der Zielfunktion werden verglichen und die Abstandsmaß/Transformations-Kombination, die den maximalen berechneten Wert aufweist, wird für die erste Stufe500 des ersten Schritts400 ausgewählt (Schritt810 ). - Nachdem das Abstandsmaß (und sein zugehöriges Merkmal) und die Transformation für die erste Stufe
500 ausgewählt sind, werden die Merkmalskombinationen802 der verschiedenen Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele unter Berücksichtigung der von der ersten Stufe500 getroffenen Entscheidungen mit verschiedenen Gewichten gewichtet (Schritt812 ). Jede der Merkmalskombinationen802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele kann man sich als Datenpunkten im Funktionsraum entsprechend vorstellen. Die Merkmalskombinationen802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele können als Funktion dessen gewichtet werden, wie nahe ihre entsprechenden Datenpunkte an der durch die erste Stufe500 dargestellten Entscheidungsgrenze liegen. Die Merkmalskombinationen802 , die Datenpunkten nahe der Entscheidungsgrenze im Merkmalsraum entsprechen, können beispielsweise mit höheren Gewichten im Vergleich zu Merkmalskombinationen802 mit Datenpunkten, die von der Entscheidungsgrenze weit weg liegen, gewichtet werden, so dass eine zweite Stufe500 trainiert werden kann, indem man sich mehr auf diejenigen Merkmalskombinationen802 konzentriert, die die erste Stufe500 etwas verwirrt haben. Der Abstand zwischen einem Datenpunkt und der Entscheidungsgrenze der ersten Stufe500 kann mit dem Skalarwert γ in Beziehung stehen, der für das dem Datenpunkt entsprechende Beispiel berechnet wurde. - Nachdem die Merkmalskombinationen
802 der Beispiele gewichtet sind, werden die besten Transformationen wieder für die Abstandsmaße d1, d2, ..., dm ausgewählt (Schritte806a ,806b und806c werden wiederholt). Die Merkmalskombinationen802 , die den Abstandsmaßen d1, d2, ..., dm entsprechen, werden jedoch nun gewichtet und die beste Transformation t für jedes der Abstandsmaße d1, d2, ..., dm wird unter Berücksichtigung der ersten Stufe500 ausgewählt. Die beste Transformation t kann der Transformation entsprechen, die zur größten Erhöhung des Zielfunktionswerts führt. Die Werte der Zielfunktion werden wieder berechnet und verglichen, um das Abstandsmaß/die Transformation für die zweite Stufe500 zu bestimmen (Schritte808a ,808b ,808c und810 werden wiederholt). Um eine dritte Stufe500 aufzubauen, werden die Merkmalskombinationen802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele erneut gewichtet, wobei den Beispielen, die für die erste und die zweite Stufe500 etwas verwirrend waren, höhere Gewichte gegeben werden. Wieder werden die Schritte806a ,806b und806c wiederholt, aber die Merkmalskombinationen802 , die den Abstandsmaßen d1, d2, ..., dm entsprechen, werden nun erneut gewichtet und die beste Transformation t für jedes der Abstandsmaße d1, d2, ..., dm wird unter Berücksichtigung der ersten und zweiten Stufe500 ausgewählt. Die Werte der Zielfunktion werden wieder berechnet und verglichen, um das Abstandsmaß/die Transformation für die dritte Stufe500 zu bestimmen (Schritte808a ,808b ,808c und810 werden wiederholt). Der Prozess des Auswählens des besten Abstandsmaßes, der besten Transformation und der Gewichtung der Merkmalskombinationen802 der Beispiele über jede Iteration des Trainings einer neuen Stufe kann sich als Gradientenanstieg im Funktionsraum oder als Prozess zum Erhöhen des Gesamtwerts der Zielfunktion vorgestellt werden. - Sobald der erste Schritt
400 trainiert ist, werden die Schwellenwerte τa und τr derart ausgewählt, dass gewünschte falsch positive und falsch negative Raten erreicht werden können. Wenn die Stufen500 für den ersten Schritt400 konstruiert werden, werden überdies die Gewichtungskoeffizienten α auch ausgewählt. Wenn jede Stufe500 zum ersten Schritt400 hinzugefügt wird, werden beispielsweise die Gewichtungskoeffizienten α für die Stufen eingestellt, um die Werte für die Gewichtungskoeffizienten α zu finden, die der niedrigsten Gesamtfehlerrate für den ersten Schritt400 entsprechen. Die Gewichtungskoeffizienten α können beispielsweise unter Verwendung einer Liniensuchoptimierungsstrategie ausgewählt werden. - Nachdem der erste Schritt
400 trainiert ist, können die Stufen500 eines zweiten Schritts400 trainiert werden. Weniger als alle der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele, die zum Trainieren des ersten Schritts400 verwendet werden, können jedoch verwendet werden, um den zweiten Schritt400 zu trainieren. Beispielsweise können nur diejenigen Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele, die der erste Schritt400 weder annehmen noch ablehnen konnte, zum Trainieren des zweiten Schritts400 verwendet werden. Mit anderen Worten, der zweite Schritt400 wird mit den Beispielen trainiert, die einen entsprechenden Entscheidungsschrittwert hatten, der größer war als der Ablehnungsschwellenwert τr, aber geringer als oder gleich dem Annahmeschwellenwert τa war. Dies ermöglicht, dass sich der zweite Schritt400 nur auf diejenigen Beispiele konzentriert, die der erste Schritt400 verwirrend fand. - Sobald der Übereinstimmungsklassifikator
218 mit den Beispielen trainiert ist, kann der Übereinstimmungsklassifikator218 durch andere Trainingsschritte fortfahren, um die für die verschiedenen Stufen500 ausgewählten Abstandsmaße/Transformationen zu verfeinern. Eine Methode hoher Ebene für das Trainieren des Übereinstimmungsklassifikators218 ist im Ablaufplan von9 gezeigt, der ein Trainingsverfahren900 darstellt. Bilddaten901 (z. B. rohe Videodaten) werden zu einem einfachen Basis- oder Keimsystem geliefert, das zu einer Basisdetektion, -verfolgung und -klassifikation von Objekten in der Lage ist. Das Basissystem detektiert, verfolgt und klassifiziert Objekte, die in den Bilddaten901 dargestellt sind, und erzeugt Metadaten, die den Objekten entsprechen (Schritt902 ). Das Basissystem wählt einen Satz von Objekten aus, die detektiert und verfolgt werden (Schritt904 ). Die Auswahl der Objekte kann von der Menge an Zeit abhängen, die sich ein Objekt im Blickfeld einer Bilderfassungsvorrichtung102 befand, oder kann davon abhängen, wie zuversichtlich das Basissystem bei seiner Klassifikation eines Objekts war. Andere Regeln können festgelegt werden, um vorzugeben, ob ein Objekt durch das Basissystem ausgewählt wird oder nicht. - Bilder der Objekte, die vom Basissystem ausgewählt werden, werden einem Benutzer auf einer Anzeige präsentiert, so dass der Benutzer die Objekte als Übereinstimmungs- oder Nicht-Übereinstimmungs-Beispiele manuell bezeichnen kann. Der Benutzer bezeichnet die Objekte manuell und die bezeichneten Beispiele werden zum trainierten Übereinstimmungsklassifikator
218 geliefert (Schritt906 ). Merkmalskombinationen können für die bezeichneten Beispiele unter Verwendung der Abstandsmaße d1, d2, ..., dm berechnet werden. Die Merkmalskombinationen der manuell bezeichneten Beispiele können den vorstehend beschriebenen Merkmalskombinationen802 entsprechen. Der Übereinstimmungsklassifikator218 wird mit den Merkmalskombinationen802 trainiert, wie z. B. gemäß dem Trainingsverfahren800 , wie vorstehend mit Bezug auf8 beschrieben (Schritt800 ). Bilddaten901 werden zum Übereinstimmungsklassifikator218 geliefert. Der Übereinstimmungsklassifikator218 stellt fest, ob Objekte, die in den Bilddaten901 dargestellt sind, übereinstimmen oder nicht, und erzeugt Metadaten, die übereinstimmende und nicht-übereinstimmende Objekte darstellen (Schritt910 ). Jeder Übereinstimmung und Nicht-Übereinstimmung, die vom Übereinstimmungsklassifikator218 erzeugt wird, ist ein Übereinstimmungsvertrauensniveau zugeordnet. Das Übereinstimmungsvertrauensniveau entspricht dem Entscheidungsschrittwert des Schritts400 , der die Übereinstimmung oder Nicht-Übereinstimmung deklariert hat. Die durch den Übereinstimmungsklassifikator218 erzeugten Übereinstimmungsvertrauensniveaus werden analysiert, um Fälle von Objekten zu identifizieren, die für den Übereinstimmungsklassifikator218 verwirrend waren (z. B. Übereinstimmungen und Nicht-Übereinstimmungen mit niedrigen Übereinstimmungsvertrauensniveaus). Die Leistung des Übereinstimmungsklassifikators218 wird ausgewertet, um festzustellen, ob die Leistung des Übereinstimmungsklassifikators annehmbar ist (Schritt912 ). - Um festzustellen, ob die Leistung des Übereinstimmungsklassifikators annehmbar ist, kann ein zerlegter Testsatz verwendet werden, wobei Übereinstimmungen und Nicht-Übereinstimmungen des zerlegten Testsatzes vor der Klassifikation durch den Übereinstimmungsklassifikator
218 bekannt sind. Die Bilddaten901 , die zum Übereinstimmungsklassifikator218 geliefert werden, können dem zerlegten Testsatz entsprechen, und die durch den trainierten Objektklassifikator durchgeführten Klassifikationen können mit den tatsächlichen Übereinstimmungen und Nicht-Übereinstimmungen verglichen werden. Aus diesem Vergleich kann die Leistung des Übereinstimmungsklassifikators218 bestimmt werden. Wenn die Leistung nicht gleich der oder über irgendeinem vordefinierten Leistungsniveau liegt, werden die verwirrenden Objekte für den Benutzer für manuelle Bezeichnungen dargestellt (Schritt904 ). Der Benutzer bezeichnet die verwirrenden Objekte und die neuen bezeichneten Übereinstimmungen und Nicht-Übereinstimmungen werden verwendet, um den Übereinstimmungsklassifikator218 erneut zu trainieren (Schritte906 und908 ). Wenn der Übereinstimmungsklassifikator218 erneut trainiert wird, können die Abstandsmaß/Transformations-Kombinationen für die verschiedenen Stufen500 auf der Basis der neuen bezeichneten Beispiele aktualisiert werden. Der erneut trainierte Übereinstimmungsklassifikator wird verwendet, um Objekte zu klassifizieren, die in den Bilddaten901 dargestellt sind, und die Leistung des erneut trainierten Übereinstimmungsklassifikators wird ausgewertet (Schritte910 und912 ). Der Neutrainingsprozess kann fortfahren, bis die Leistung des Übereinstimmungsklassifikators218 annehmbar ist. Wenn die Leistung des Übereinstimmungsklassifikators218 annehmbar ist, kann er eingesetzt werden (Schritt914 ). Der Trainingsprozess kann in die folgenden Schritte umgestaltet werden: - 1. Manuelles Bezeichnen eines gewissen kleinen Bruchteils eines Datensatzes.
- 2. Trainieren eines Übereinstimmungsklassifikators
218 unter Verwendung des Bruchteils des Datensatzes. - 3. Verwenden eines neu trainierten Klassifikators, um den vollständigen Datensatz automatisch zu bezeichnen.
- 4. Auswählen eines Satzes von automatisch bezeichneten Datenpunkten, die für den Übereinstimmungsklassifikator
218 verwirrend waren. - 5. Manuelles Bezeichnen der verwirrenden Datenpunkte.
- 6. Wiederholen des Trainings mit allen neuen bezeichneten Datenpunkten.
- 7. Gehen zu Schritt 3.
- In Anbetracht der Architektur des Übereinstimmungsklassifikators
218 mit Schritten von Stufen kann ein neuer Schritt zum Übereinstimmungsklassifikator218 hinzugefügt werden. Dieser neue Schritt kann trainiert werden, um Fehler zu korrigieren, die vom Übereinstimmungsklassifikator218 gemacht wurden. Alternativ kann ein neuer Schritt trainiert werden, um den letzten oder N-ten Schritt des Übereinstimmungsklassifikators218 zu ersetzen. Nachdem der Übereinstimmungsklassifikator218 durch den vorstehend beschriebenen Prozess trainiert ist, kann der Übereinstimmungsklassifikator218 verschiedene Operationen durchführen, wie z. B. Verfolgen, Erzeugen von Indexelementen und Durchführen von Suchen auf Objektbasis (z. B. Aussehensbasis). Mit anderen Worten, der Übereinstimmungsklassifikator218 muss nicht separat für jede seiner verschiedenen Operationen trainiert werden. - Die Weise, in der der Übereinstimmungsklassifikator
218 arbeitet, um Objektfälle zu vergleichen, wurde zumindest teilweise durch einen Trainings- oder Selbstlernprozess bestimmt, der den Übereinstimmungsklassifikator218 automatisch unter Verwendung eines Satzes von möglichen Objektmerkmalen konfiguriert. Diese Konfiguration kann eine oder mehrere der folgenden Bestimmungen umfassen: (1) Auswählen, welche Merkmale aus dem Satz von möglichen Merkmalen verwendet werden sollen; (2) Bestimmen der Reihenfolge, in der die ausgewählten Merkmale ausgewertet werden; (3) Bestimmen, wie mehrere Merkmale kombiniert werden (d. h. die zum Kombinieren von mehreren Variablen verwendeten Gewichtungskoeffizienten); (4) Auswählen von Abstandsmaßen aus einem Satz von verfügbaren Abstandsmaßen (z. B. L2, Manhattan, Bhattacharyya). Weitere Aspekte des Übereinstimmungsklassifikators218 können während des Trainingsprozesses konfiguriert werden. Der Trainingsprozess kann offline vor dem Einsatz des Übereinstimmungsklassifikators218 und/oder online während des Online-Betriebs des Übereinstimmungsklassifikators218 stattfinden. - Übereinstimmungsvertrauen
- Der Entscheidungsschrittwert s(z) ist mit der Abschätzung des Übereinstimmungsklassifikators hinsichtlich dessen, wie ähnlich er denkt, dass zwei Objekte sind, korreliert (z. B. Übereinstimmungsvertrauen). Die Korrelation kann nicht linear sein, d. h. der Schritt
400 kann einen hohen positiven Wert erzeugen, aber die Objekte können nicht übereinstimmen. Durch den Trainingsprozess gilt typischerweise, je höher der Wert von s(z) ist, desto weniger wahrscheinlich hat Schritt400 einen Fehler gemacht. Das Vertrauensniveau, das einem bestimmten Wert von s(z) zugeordnet ist, kann berechnet werden, indem zuerst eine Indikatorfunktion ε(Γ(z)) definiert wird, in der gilt: - Eine Vertrauensfunktion Ψ(Γ(z)) kann als Wahrscheinlichkeit, dass der Schritt
400 zwei Fälle als Übereinstimmung deklariert hat und dass es für eine Ausgabe von s(z) = v korrekt war, definiert werden. Folglich kann für ein kleines Quantisierungsintervall [v – Δ, v + Δ] die Vertrauensfunktion folgendermaßen ausgedrückt werden:Ψ(Γ(z)) = Pε,Ω|Γ(ε(Γ(z)) = 0, ω = Übereinstimmung|s(z) < v + Δ) – Pε,Ω|Γ(ε(Γ(z)) = 0, ω = Übereinstimmung|s(z) < v – Δ) (10) - Es ist zu beachten, dass betrachtet werden kann, dass der Schritt
400 zwei Fälle als Übereinstimmung deklariert, wenn s(z) > 0, d. h. P.Ω|Γ(ω = Übereinstimmung|s(z) > 0) = 1. Für v > 0, kann folglich die Gleichung (10) ausgedrückt werden als:Ψ(Γ(z)) = Pε|Ω,Γ(ε(Γ(z)) = 0|ω = Übereinstimmung, 0 < s(z) ≤ v + Δ) – Pε|Ω,Γ(ε(Γ(z)) = 0|ω = Übereinstimmung, 0 < s(z) < v – Δ) (11) - Gleichung (11) stellt die wahre positive Rate dar, wenn v ∊ [Δ, 1 – Δ] und s(z) ∊ [v – Δ, v + Δ].
- Ebenso kann das Vertrauen eines Schritts
400 beim Deklarieren, dass das Objekt zur negativen Klasse für v ≤ –Δ gehört, ausgedrückt werden als:Ψ(Γ(z)) = Pε|Ω,Γ(ε(Γ(z)) = 0|ω = keine Übereinstimmung, v + Δ ≤ s(z) ≤ 0) – Pε|Ω,Γ(ε(Γ(z)) = 0|ω = keine Übereinstimmung, v – Δ < s(z) ≤ 0) (12) - Gleichung (12) stellt die wahre negative Rate dar, wenn v ∊ [–1 +Δ, –Δ] und s(z) ∊ [v – Δ, v + Δ]. Wenn die Wahrscheinlichkeit (wie in Gleichungen (11) und (12) definiert), dass der Schritt
400 für irgendeinen beobachteten Ausgangswert s(z) = v korrekt ist, hoch ist, dann wird folglich Schritt400 als in seiner Antwort vertrauenswürdig betrachtet. Für diese Selbstbewertung des Vertrauens wird ein Wahrscheinlichkeitsmaßp ^ε|Ω,Γ 400 für diesen Ausgangswert als unsicher oder verwirrt betrachtet. Unsichere Klassifikationen werden zum nächsten Schritt400 weitergeleitet. Somit kann die Vertrauensfunktion Ψ(Γ(z)) während des Trainings verwendet werden, um die Objekte, die für einen Übereinstimmungsklassifikator218 verwirrend sind, zu identifizierten. Wenn Diskriminantenfunktionen, die die Stufen500 bilden, eine gute Näherung für die optimale Bayes-Entscheidungsgrenze sind, dann steht der Entscheidungsschrittwert s(z) monoton mit der Vertrauensfunktion Ψ(Γ(z)) in Beziehung. Für die anfänglichen Schritte400 kann der Objektklassifikator sich nicht gut der Bayes-Entscheidungsgrenze nähern. Folglich können der Entscheidungsschrittwert s(u) für einen gegebenen Schritt400 und die Vertrauensfunktion Ψ(Γ(z)) nicht immer monoton in Beziehung stehen. - Die Vertrauensfunktion Ψ(Γ(z)) kann verwendet werden, um den Annahmeschwellenwert τa und den Ablehnungsschwellenwert τr für die verschiedenen Schritte
400 zu bestimmen. Im Gegensatz zu anderen Kaskaden-Klassifikatorarchitekturen kann, wenn die Vertrauensfunktion Ψ(Γ(z)) für Übereinstimmungen mit dem Entscheidungsschrittwert s(z) monoton zunimmt, der Annahmeschwellenwert τa derart gewählt werden, dass wahre positive Einschränkungen erfüllt werden. Wenn die Vertrauensfunktion Ψ(Γ(z)) nicht mit dem Entscheidungsschrittwert s(z) monoton zunimmt, dann kann der Annahmeschwellenwert τa bei 1 gesättigt bleiben, d. h. keine Fälle werden als Übereinstimmungen im entsprechenden Schritt400 angenommen. Der Mangel an Monotonie deutet darauf hin, dass im Übereinstimmungsbereich die Entscheidungsgrenze den optimalen Bayes-Klassifikator nicht ausreichend gut widerspiegelt. Ebenso wird der Ablehnungsschwellenwert τr gewählt, wenn das Nicht-Übereinstimmungs-Vertrauen monoton mit dem Entscheidungsschrittwert s(z) in Beziehung steht. In der Praxis kann die Nicht-Übereinstimmungs-Klasse weitaus dichter im Merkmalsraum besetzt sein als die Übereinstimmungsklasse. Obwohl die monotone Beziehung für die Übereinstimmungsklasse in frühen Schritten nicht existieren kann, existiert sie folglich sehr wahrscheinlich für die Nicht-Übereinstimmungs-Klasse in den frühen Schritten. Das Übereinstimmungsvertrauensniveau, das dem Übereinstimmungsklassifikator218 entspricht, ist das Klassifikationsvertrauen, das dem Entscheidungsschrittwert s(z) zugeordnet ist, der durch den Schritt400 erzeugt wird, der eine Übereinstimmung entweder angenommen oder abgelehnt hat. - Verfolgung
- Die Verfolgung kann man sich als Auffinden eines Objekts in jedem Videobild oder Bild und Feststellen von Entsprechungen zwischen sich bewegenden Objekten über Einzelbilder vorstellen. Die Verfolgung kann innerhalb einer einzelnen Bilderfassungsvorrichtung
102 oder über mehrere Bilderfassungsvorrichtungen102 durchgeführt werden. Im Allgemeinen kann das Objektverfolgungsmodul206 eine Objektbewegung zwischen Einzelbildern als Hinweis für die Verfolgung verwenden, während es sich auch auf den Übereinstimmungsklassifikator218 für die Verfolgung verlässt. Die Verwendung des Übereinstimmungsklassifikators218 für die Verfolgung kann eine genau Verfolgung ermöglichen, selbst wenn eine gewisse Verstopfung vorhanden ist, die Bewegung etwas unregelmäßig ist und eine ziemliche Anzahl von kreuzenden Objekten im Blickfeld einer Bilderfassungsvorrichtung102 vorhanden sind. -
10 ist ein Blockdiagramm eines Systems1000 , das vom Objektverfolgungsmodul206 zum Verfolgen von Objekten verwendet wird. Das Objektverfolgungsmodul206 umfasst ein Bewegungsmodellierungsmodul1002 , das betriebsfähig ist, um Änderungen des Orts eines Objekts zwischen aufeinander folgenden Bildern oder Einzelbildern eines Blickfeldes einer Bilderfassungsvorrichtung102 abzuschätzen. Das Bewegungsmodellierungsmodul1002 kann den Ort und die Größe eines Objekts in einem neuen Einzelbild auf der Basis seiner vorher abgeschätzten Bahn und Geschwindigkeit vorhersagen. Das Bewegungsmodellierungsmodul1002 kann verwendet werden, um Beobachtungen von Objekten in einem aktuellen Einzelbild durch ihre Wahrscheinlichkeit oder Probabilität, dass sie einem speziellen Objekt entsprechen, das verfolgt wird, einzustufen. Das Objektverfolgungsmodul206 kann eine Liste von verfolgten Objekten oder Zielen erzeugen, die in vorherigen Einzelbildern detektiert wurden. Die Liste von verfolgten Objekten kann beispielsweise zehn Objekte umfassen, das aktuelle Einzelbild kann fünf detektierte Objekte umfassen und eine Einstufung (z. B. eins bis fünf, wobei eins die höchste Einstufung ist) der fünf detektierten Objekte kann für jedes der zehn verfolgten Objekte auf der Basis von Übereinstimmungswahrscheinlichkeits-Informationen erzeugt werden. Das Objektverfolgungsmodul206 kann eine Identifikationsnummer oder einen anderen Typ von Identifikationssymbol für jedes Objekt, das es verfolgt, erzeugen. Das Bewegungsmodellierungsmodul1002 kann ein Kalman-Filter verwenden, um die Position und Geschwindigkeit eines Objekts vorherzusagen. - Nachdem das Bewegungsmodellierungsmodul
1002 Objekte des aktuellen Einzelbildes durch ihre Wahrscheinlichkeit für die Entsprechung zu verfolgten Objekten einstuft, kann das Objektverfolgungsmodul206 den Übereinstimmungsklassifikator218 heranziehen, um festzustellen, ob ein Objekt des aktuellen Einzelbildes einem verfolgten Objekt entspricht. Für ein gegebenes verfolgtes Objekt kann das Objektverfolgungsmodul206 den Übereinstimmungsklassifikator218 heranziehen, um zuerst festzustellen, ob das höchste eingestufte Objekt des aktuellen Einzelbildes dem verfolgten Objekt entspricht. Überdies kann das Objektverfolgungsmodul206 Übereinstimmungswahrscheinlichkeits-Informationen verwenden, um eine Reihenfolge für die verfolgten Objekte zu bestimmen. Wenn beispielsweise das Bewegungsmodellierungsmodul1002 feststellt, dass die Wahrscheinlichkeit einer Übereinstimmung zwischen einem ersten verfolgten Objekt und seinem höchsten eingestuften Objekt größer ist als die Wahrscheinlichkeit einer Übereinstimmung zwischen einem zweiten verfolgten Objekt und seinem höchsten eingestuften Objekt, dann kann das Objektverfolgungsmodul206 den Übereinstimmungsklassifikator218 heranziehen, um zu versuchen, das erste verfolgte Objekt mit seinem höchsten eingestuften Objekt zu vergleichen, bevor es versucht, das zweite verfolgte Objekt mit seinem höchsten eingestuften Objekt zu vergleichen. Obwohl das Bewegungsmodellierungsmodul1002 als vor dem Übereinstimmungsklassifikator218 verwendet beschrieben wurde, kann das Bewegungsmodellierungsmodul100 vor oder nach dem Übereinstimmungsklassifikator218 verwendet werden. Im Allgemeinen kann das Bewegungsmodellierungsmodul1002 in Verbindung mit dem Übereinstimmungsklassifikator218 verwendet werden. Das Bewegungsmodellierungsmodul1002 kann verwendet werden, um zu helfen, das Vertrauen einer Übereinstimmung oder Nicht-Übereinstimmung, die durch den Übereinstimmungsklassifikator218 deklariert wird, zu bestimmen. Der Übereinstimmungsklassifikator218 kann beispielsweise deklarieren, dass zwei Objekte eine Übereinstimmung sind, aber das Bewegungsmodellierungsmodul1002 kann feststellen, dass die zwei Objekte im Blickfeld zu weit auseinander liegen, als dass sie demselben Objekt entsprechen. In diesem Fall kann das Bewegungsmodellierungsmodul1002 verwendet werden, um den Annahmeschwellenwert τa zu erhöhen. Das Übereinstimmungsvertrauensniveau das dem Übereinstimmungsklassifikator218 zugeordnet ist, kann dann in Verbindung mit Feststellungen analysiert werden, die vom Bewegungsmodellierungsmodul1002 durchgeführt werden, um eine Übereinstimmung oder Nicht-Übereinstimmung zu deklarieren. -
11 ist ein Ablaufplan eines Verfolgungsprozesses1100 , der vom Objektverfolgungsmodul206 verwendet werden kann. Ein erstes Objekt wird in einem ersten Bild erfasst und detektiert (Schritt1102 ). Eine erste Signatur des ersten Objekts wird erzeugt (Schritt1104 ). Die erste Signatur kann eines oder mehrere der vorstehend beschriebenen Merkmale umfassen. Das erste Objekt kann in der Liste von verfolgten Objekten enthalten sein. Ein zweites Objekt wird in einem zweiten Bild erfasst und detektiert (Schritt1106 ). Das Objektverfolgungsmodul206 kann das Bewegungsmodellierungsmodul1102 verwenden, um die Wahrscheinlichkeit des zweiten Objekts für eine Entsprechung mit dem ersten Objekt auf der Basis der abgeschätzten Bahn und Geschwindigkeit des ersten Objekts einzustufen (Schritt1108 ). Eine zweite Signatur des zweiten Objekts wird erzeugt (Schritt1110 ). Die zweite Signatur kann eines oder mehrere der vorstehend beschriebenen Merkmale umfassen. Schritt1110 muss nicht nach Schritt1108 stattfinden (d. h. die zweite Signatur kann erzeugt werden, bevor das Bewegungsmodellierungsmodul1102 verwendet wird). Die erste und die zweite Signatur werden kombiniert, wie vorstehend beschrieben (Schritt1112 ). Die verschiedenen Merkmale (z. B. Histogramme) werden beispielsweise kombiniert. Die kombinierten Signaturen werden zum Übereinstimmungsklassifikator218 übertragen und der Übereinstimmungsklassifikator218 stellt fest, ob die erste und die zweite Signatur übereinstimmen (Schritt1114 ). Der Übereinstimmungsklassifikator218 deklariert eine Übereinstimmung oder eine Nicht-Übereinstimmung zusammen mit einem Übereinstimmungsvertrauensniveau. Wenn der Übereinstimmungsklassifikator218 feststellt, dass die erste und die zweite Signatur übereinstimmen, wird die erste Signatur aktualisiert, wie nachstehend beschrieben, und andere Metadaten können erzeugt werden, wie z. B., jedoch nicht begrenzt auf Bewegungsinformationen (z. B. Geschwindigkeit, Bahn), Informationen, die der Anzahl von Einzelbildern entsprechen, in denen das erste Objekt detektiert wird, den Ort und die Größe des Objekts (z. B. die Größe eines Begrenzungskastens, der das Objekt umgibt), den Typ des Objekts (z. B. Klassifikationsbezeichnung, die durch das zeitliche Objektklassifikationsmodul208 bestimmt wird), ein Klassifikationsvertrauensniveau und ein Übereinstimmungsvertrauensniveau. - Wie vorstehend beschrieben, kann der Übereinstimmungsklassifikator
218 Objektsignaturen verwenden, um festzustellen, ob Objekte übereinstimmen (d. h. ob Objekte Fälle voneinander sind). Verschiedene Signaturen können für jedes Objekt erzeugt werden. Eine Einzelbildsignatur und eine kumulative Signatur können beispielsweise vom Übereinstimmungsklassifikator218 während der Verfolgung verwendet werden. Eine Einzelbildsignatur (z. B. eine momentane Signatur) kann das Aussehen eines Objekts in einem speziellen Videobild (d. h. einem Einzelbild des Objekts) darstellen. Eine Einzelbildsignatur kann eines oder mehrere der vorstehend beschriebenen Merkmale (z. B. Histogramme) umfassen, die auf der Basis des entsprechenden Einzelbildes berechnet werden. Eine Einzelbildsignatur kann für jeden Fall eines Objekts erzeugt werden. Die im vorherigen Absatz beschriebene zweite Signatur kann eine Einzelbildsignatur sein. Eine kumulative Signatur kann ein gewichteter Mittelwert einer Sequenz von Einzelbildsignaturen sein. Eine kumulative Signatur kann das Aussehen eines verfolgten Objekts (z. B. ein Objekt in der Liste von verfolgten Objekten) darstellen. Die Verwendung einer kumulativen Signatur für ein verfolgtes Objekt anstelle einer Einzelbildsignatur kann gegen Rauschen robuster sein, da eine kumulative Signatur über mehrere Einzelbilder gemittelt wird. Die im vorherigen Absatz beschriebene erste Signatur kann eine kumulative Signatur sein. - Eine kumulative Signatur kann aktualisiert werden, sobald ein verfolgtes Objekt mit einem neuen Fall durch den Übereinstimmungsklassifikator
218 verglichen wird. Die kumulative Signatur kann beispielsweise in Echtzeit aktualisiert werden, wenn neue Bilder eines Objekts erfasst werden. Überdies kann der Beitrag jeder Einzelbildsignatur entsprechend der Zeit verringert (z. B. exponential verringert) werden. Folglich können die jüngsten Einzelbildsignaturen am meisten zu einer kumulativen Signatur beitragen. Eine kumulative Signatur kann mathematisch wie folgt dargestellt werden:cObjekt = ρCObjekt + (1 – ρ)iBeobachtung (13) - Ein dritter Typ von Signatur – eine mittlere Signatur – kann auch für ein Objekt erzeugt werden. Wie eine kumulative Signatur umfasst eine mittlere Signatur eines Objekts Beiträge von Einzelbildsignaturen des Objekts. Im Gegensatz zur kumulativen Signatur werden jedoch die Einzelbildsignaturen, die zur mittleren Signatur beitragen, nicht unterschiedlich gewichtet. Mit anderen Worten, die Beiträge von Einzelbildsignaturen werden nicht gemäß der Zeit verringert. Folglich kann eine mittlere Signatur die Summe eines Satzes von Einzelbildsignaturen, dividiert durch die Anzahl von Einzelbildsignaturen des Satzes, darstellen. Die folgende Gleichung ist eine mathematische Darstellung einer mittleren Signatur aObjekt eines Objekts: wobei das Objekt für n Einzelbilder verfolgt wurde und ki die Einzelbildsignatur für das i-te Einzelbild darstellt. Die mittlere Signatur kann in Echtzeit aktualisiert werden, wenn neue Einzelbildsignaturen erzeugt werden.
- Die Kategorie oder Klasse von Objekten kann auch während der Verfolgung berücksichtigt werden. In vielen Anwendungen werden spezielle Kategorien oder Klassen (z. B. Menschen, Fahrzeuge, Tiere) von Objekten verfolgt. Das Objektkategorisierungsmodul
216 ist betriebsfähig, um ein Objekt in jedem Einzelbild als eine der interessierenden Klassen oder als ”unbekannt” zu kategorisieren. Das Objektkategorisierungsmodul216 ist betriebsfähig, um Objektklasseninformationen und andere Informationen zu verwenden, um eine Reihenfolge zu erzeugen, in der verfolgte Objekte mit Objekten eines aktuellen Einzelbildes verglichen werden. Die ”Bedeutung” eines verfolgten Objekts kann beispielsweise der Anzahl von Einzelbildern entsprechen, in denen das verfolgte Objekt als etwas anderes als ”unbekannt” klassifiziert wurde. Folglich können verrauschte Beobachtungen, die sich bewegenden Blättern, Wasser, Kamerarauschen und dergleichen entsprechen, eine geringe Bedeutung aufweisen, da die verrauschten Beobachtungen gewöhnlich als ”unbekannt” klassifiziert werden. Das Objektkategorisierungsmodul216 kann versuchen, verrauschte Beobachtungen als letztes zu vergleichen, was die Möglichkeit für einen Vergleich einer ”unbekannten” Beobachtung mit einem interessierenden Objekt wie z. B. einem Menschen oder Fahrzeug verringern kann. Das Objektkategorisierungsmodul216 kann nützlich sein, wenn eine große Anzahl von Objekten in einem aktuellen Einzelbild erfasst werden und nicht ausreichend Betriebsmittel zur Verfügung stehen können, um alle Objekte zu verfolgen. In diesem Fall kann die ”Bedeutung” von verfolgten Objekten verwendet werden, um eine Reihenfolge für die Verfolgung zu bestimmen, in der die wichtigsten Objekte zuerst verfolgt werden. -
12 ist ein Hybrid-Blockdiagramm und -Ablaufplan eines Verfahrens1200 zum Verfolgen eines Objekts unter Verwendung von Klasseninformationen und der Module, die an diesem Verfahren beteiligt sind. Objekte werden in einem aktuellen Einzelbild detektiert und das Objektklassifikationsmodul210 klassifiziert die Objekte des aktuellen Einzelbildes als entweder Mitglied von einer der Objektklassen (z. B. Mensch, Fahrzeug) oder als ”unbekannt”. Daten, die die klassifizierten Objekte1202 darstellen, werden zum Bewegungsmodellierungsmodul902 geliefert. Daten, die eine Liste von verfolgten Objekten darstellen, werden auch vom Objektkategorisierungsmodul216 zum Bewegungsmodellierungsmodul902 geliefert. Die verfolgten Objekte sind Objekte, die in jüngeren Einzelbildern beobachtet wurden. Das Objektkategorisierungsmodul216 identifiziert die ”Bedeutung” jedes verfolgten Objekts auf der Basis der Anzahl von Einzelbildern, in denen das zeitliche Objektklassifikationsmodul208 anzeigt, dass das verfolgte Objekt als Mitglied einer interessierenden Klasse klassifiziert wurde. Ein Benutzer kann beispielsweise festlegen, dass Menschen und/oder Fahrzeuge interessierende Klassen sind. In je mehr Einzelbildern ein verfolgtes Objekt durch das Objektklassifikationsmodul210 als Mensch oder Fahrzeug klassifiziert wird, desto größer ist folglich die ”Bedeutung” des verfolgten Objekts. Das Objektkategorisierungsmodul216 kann die Liste von verfolgten Objekten gemäß der Bedeutung sortieren. Die vom Objektkategorisierungsmodul216 zum Bewegungsmodellierungsmodul902 gelieferten Daten geben die Bedeutung von jedem der verfolgten Objekte an und umfassen auch Bewegungsinformationen (z. B. Position, Bahn, Geschwindigkeit) für jedes der verfolgten Objekte. - Das Bewegungsmodellierungsmodul
902 empfängt die Daten, die die Liste von verfolgten Objekten darstellen, und die Daten, die die klassifizierten Objekte1202 darstellen. Das Bewegungsmodellierungsmodul902 beginnt mit dem wichtigsten verfolgten Objekt von der Liste (z. B. einem ersten verfolgten Objekt) und stuft die klassifizierten Objekte1202 auf der Basis ihrer Wahrscheinlichkeit für die Entsprechung mit dem ersten verfolgten Objekt ein. Signaturen von wahrscheinlichen Übereinstimmungen werden mit der Signatur des ersten verfolgten Objekts kombiniert und die kombinierten Signaturen werden zum Übereinstimmungsklassifikator218 übertragen, um festzustellen, ob ein klassifiziertes Objekt1202 mit dem ersten verfolgten Objekt übereinstimmt. Wenn ein klassifiziertes Objekt1202 mit dem ersten verfolgten Objekt übereinstimmt, werden Bewegungsinformationen (z. B. Position, Bahn, Geschwindigkeit) und Aussehensinformationen (z. B. kumulative Signatur) des ersten verfolgten Objekts aktualisiert (Schritt1204 ). Wenn ein klassifiziertes Objekt1202 mit dem ersten verfolgten Objekt übereinstimmt, wird außerdem die Klasse des klassifizierten Objekts zum zeitlichen Objektklassifikationsmodul208 übertragen, so dass die ”Bedeutung” des ersten verfolgten Objekts aktualisiert werden kann. Wenn keines der klassifizierten Objekte1202 mit dem ersten verfolgten Objekt übereinstimmt, werden Informationen erzeugt, um eine Nicht-Übereinstimmung anzugeben. Die Informationen, die eine Nicht-Übereinstimmung angeben, können zum zeitlichen Objektklassifikationsmodul208 übertragen werden und die ”Bedeutung” des ersten verfolgten Objekts kann aktualisiert werden. - Wenn ein verfolgtes Objekt für eine vorbestimmte Menge an Zeit nicht verglichen wird (z. B. kann das Objekt die Szene verlassen haben), kann die Liste von verfolgten Objekten durch Entfernen des verfolgten Objekts aktualisiert werden (Schritt
1206 ). Wenn ein verfolgtes Objekt von der Liste entfernt wird, können die Informationen des Objekts (z. B. Identifikationsnummer, Signatur, Klasse) zur Metadaten-Datenbank112 zur Speicherung übertragen werden. Wenn ein klassifiziertes Objekt1202 nicht mit irgendeinem der verfolgten Objekte übereinstimmt, kann das klassifizierte Objekt1202 zur Liste von verfolgten Objekten hinzugefügt werden (Schritt1206 ). - Das Kamerasystem
100 kann auch betriebsfähig sein, um eine Verfolgung zwischen Kameras oder eine Verfolgung zwischen mehreren Bilderfassungsvorrichtungen102 durchzuführen.13A und13B sind Hybrid-Blockdiagramme und -Ablaufpläne von Verfolgungsprozessen1300 und1301 zwischen Kameras, die von einer Sendekamera bzw. einer Empfangskamera verwendet werden. Eine erste Bilderfassungsvorrichtung102 (z. B. die Sendekamera) detektiert ein Objekt in ihrem Blickfeld und verfolgt das Objekt für eine Anzahl von Einzelbildern. Die Signatur des verfolgten Objekts1302 kann zu anderen Bilderfassungsvorrichtungen102 (z. B. Empfangskameras) geleitet werden (Schritt1304 ). Die Signatur, die geleitet wird, kann eine mittlere Signatur des verfolgten Objekts1302 sein. Die Signatur kann zu allen Bilderfassungsvorrichtungen102 des Kamerasystems100 oder zu bestimmten Bilderfassungsvorrichtungen102 gemäß einer Leitweglenkungstabelle1306 übertragen werden. Die Leitweglenkungstabelle1306 kann Informationen umfassen, die der Wahrscheinlichkeit entsprechen, dass ein Objekt im Blickfeld einer Empfangskamera innerhalb eines bestimmten Zeitraums erschienen ist oder erscheint, nachdem oder während das Objekt im Blickfeld der Sendekamera erscheint. Die Leitweglenkungsinformationen werden über die Zeit erzeugt, wenn die Sendekamera Signaturen zu Empfangskameras sendet, und wenn die Empfangskameras zur Sendekamera Übereinstimmungsbenachrichtigungs-Informationen1308 zurückmelden, die auf Übereinstimmungen und/oder Nicht-Übereinstimmungen hinweisen. Eine Empfangskamera, die von der Sendekamera weit entfernt angeordnet ist, kann beispielsweise selten, wenn überhaupt, eine Übereinstimmung melden, da ein Objekt, das von der Sendekamera verfolgt wird, von der Empfangskamera nicht innerhalb eines vorbestimmten Zeitraums erfasst werden kann (z. B. kann sich das Objekt nicht schnell genug zwischen dem Blickfeld der Sendekamera und dem Blickfeld der Empfangskamera bewegen). - Folglich können Wahrscheinlichkeitsinformationen verwendet werden, um Signaturen selektiv zu bestimmten Kameras zu übertragen, um andere Kameras nicht mit Vergleichsaufgaben zu belasten, wenn die Wahrscheinlichkeit dafür, dass die anderen Kameras das Objekt innerhalb eines vorbestimmten Zeitraums erfassen, niedrig ist.
- Die Übereinstimmungsbenachrichtigungs-Informationen
1308 werden von einem Übereinstimmungsbenachrichtigungs-Antwortsender1310 empfangen, der die Übereinstimmungsbenachrichtigungs-Informationen1308 verwendet, um die Wahrscheinlichkeiten der Leitweglenkungstabellen zu aktualisieren. Wenn beispielsweise eine Empfangskamera eine Übereinstimmung meldet, kann der Übereinstimmungsbenachrichtigungs-Antwortsender1310 die Wahrscheinlichkeit in der Leitweglenkungstabelle erhöhen, die dieser Empfangskamera entspricht. Die Übereinstimmungsbenachrichtigungs-Informationen1308 können auch Signaturinformationen umfassen, die dem Objekt entsprechen, das von einer Empfangskamera verglichen wird. Der Übereinstimmungsbenachrichtigungs-Antwortsender kann die Signatur des Objekts aktualisieren, wenn eine Empfangskamera eine Übereinstimmung detektiert, und die aktualisierte Signatur in der Metadaten-Datenbank112 speichern. Informationen, die die Empfangskamera identifizieren, die das Objekt verglichen hat, können auch in der Metadaten-Datenbank112 gespeichert werden. - Wie in
13B gezeigt, wird eine Objektsignatur, die von der Sendekamera zu einer zweiten Bilderfassungsvorrichtung102 (z. B. Empfangskamera) übertragen wird, in einer Übereinstimmungsdatenbank1312 der Empfangskamera gespeichert. Die Übereinstimmungsdatenbank1312 kann ein Teil des Speichersystems100 sein. Die Signatur des Objekts wird mit einer oder mehreren aktiven Signaturen von Objekten, die von der Empfangskamera verfolgt werden, kombiniert. Die aktiven Signaturen der verfolgten Objekte können mittlere Signaturen sein und können in der Metadaten-Datenbank112 der Empfangskamera gespeichert werden. Die kombinierten Signaturen werden zum Übereinstimmungsklassifikator218 der Empfangskamera übertragen und der Übereinstimmungsklassifikator218 versucht, die Signaturen für eine vorbestimmte Anzahl von Einzelbildern zu vergleichen (Schritt1314 ). Wenn der Übereinstimmungsklassifikator218 feststellt, dass die übertragene Signatur nicht mit einer der aktiven Signaturen für die vorbestimmte Anzahl von Einzelbildern übereinstimmt, wird die übertragene Signatur aus der Übereinstimmungsdatenbank1312 entfernt (Schritt1316 ). Die Leitweglenkungstabelle der Empfangskamera wird aktualisiert (z. B. wird die Wahrscheinlichkeit einer Übereinstimmung, die der Sendekamera entspricht, verringert) und die Empfangskamera benachrichtigt die Sendekamera über die Nicht-Übereinstimmung (Schritt1318 ). Wenn der Übereinstimmungsklassifikator218 feststellt, dass die übertragene Signatur mit einer der aktiven Signaturen übereinstimmt, kann die entsprechende aktive Signatur aktualisiert werden (z. B. wird die übertragene Signatur mit der aktiven Signatur gemittelt) und in der Metadaten-Datenbank112 der Empfangskamera gespeichert werden und/oder die übertragene Signatur kann in der Metadaten-Datenbank112 der Empfangskamera als neue Signatur für das Objekt gespeichert werden (Schritt1320 ). Die Leitweglenkungstabelle der Empfangskamera wird dann aktualisiert (z. B. wird die Wahrscheinlichkeit einer Übereinstimmung, die der Sendekamera entspricht, erhöht) und die Empfangskamera benachrichtigt die Sendekamera über die Übereinstimmung (Schritt1318 ). - Eine Verfolgung zwischen Kameras kann für eine automatische Kamerakalibrierung verwendet werden. Wenn beispielsweise der Ort eines Objekts im Blickfeld von jeder von mehreren Bilderfassungsvorrichtungen
102 bekannt ist und wenn die ungefähre Größe des Objekts bekannt ist, dann können der Abstand zwischen den Bilderfassungsvorrichtungen102 und ihre relative Orientierung berechnet werden. Nach der Kalibrierung kann der Ort eines Objekts, das von den mehreren Bilderfassungsvorrichtungen102 gleichzeitig verfolgt wird, in Koordinaten der dreidimensionalen (3-D) ”Welt” bestimmt werden. Folglich kann das System die Bewegung von Objekten nicht nur in einer zweidimensionalen Bildebene, sondern auch in 3-D analysieren. - Durch Implementieren des Objektverfolgungsmoduls
206 und des Übereinstimmungsklassifikators218 kann die Objektverfolgung gegenüber bekannten Verfolgungssystemen signifikant verbessert werden. Überdies können Daten, die vom Objektverfolgungsmodul206 erzeugt werden, zum Objektdetektionsmodul204 und zum Objektklassifikationsmodul210 geliefert werden, um die Objektdetektion und Objektklassifikation zu verbessern. Außerdem können Objekte in Echtzeit genau verfolgt werden. - Indizierung
- Die Signaturen von Objekten wirken als Indexelemente für die Bilder oder Videoclips, in denen die Objekte erfasst werden. Die Indexelemente ermöglichen das Abrufen der Videoclips der Objekte, wenn die Objekte ausgewählt werden. Die Signaturen können in der Metadaten-Datenbank
112 gespeichert werden. Die Signaturen können im Vergleich zu den Bildern oder Videoclips, die zu den Objekten gehören, kompakt sein. Überdies können die Signaturen eine Suche auf Objektbasis ermöglichen. Sobald eine Signatur für ein Objekt erzeugt ist, können Verfolgungs- und Suchprozesse von Videobildern des Objekts unabhängig sein. Folglich müssen Videoinformationen nicht unkomprimiert sein, um Suchvorgänge durchzuführen, und der Suchprozess kann gegenüber unkomprimierten Artefakten und/oder schlechter Videoqualität robust sein. - Jedem Objekt kann mehr als eine Signatur zugeordnet sein. Ein Objekt kann beispielsweise mehrere Einzelbildsignaturen und kumulative und mittlere Signaturen mit den Einzelbildsignaturen aufweisen. Die mittlere Signatur eines Objekts kann zum Wirken als Indexelement für das Objekt nützlich sein.
- Eine einzelne mittlere Signatur, die über die ganze Dauer berechnet wird, in der ein Objekt verfolgt wird, kann jedoch nicht geeignet sein, um eine Suche auf Objektbasis zu ermöglichen, da das Aussehen eines Objekts multimodal sein kann oder über die Zeit variieren kann (z. B. eine Vorderansicht eines Objekts gegenüber einer Seitenansicht, Beleuchtungsänderungen, Ansichten von verschiedenen Teilen des Objekts). Folglich ist das Objektindizierungsmodul
212 betriebsfähig, um zu bestimmen, wann eine neue mittlere Signatur für ein Objekt erzeugt werden soll. Überdies kann das Objektindizierungsmodul212 betriebsfähig sein, um den Übereinstimmungsklassifikator218 heranzuziehen, um festzustellen, ob das Aussehen eines Objekts sich genügend geändert hat oder nicht, so dass eine neue mittlere Signatur für das Objekt erzeugt werden sollte. -
14 ist ein Blockdiagramm, das zeigt, wie der Übereinstimmungsklassifikator218 für die Indizierung verwendet werden kann. Wenn eine neue Einzelbildsignatur1402 eines Objekts von einem neuen Fall eines Objekts erzeugt wird und der neue Fall durch den Übereinstimmungsklassifikator218 mit einem verfolgten Objekt verglichen wird, wird die kumulative Signatur1404 des verfolgten Objekts in Bezug auf die Einzelbildsignatur1402 aktualisiert. Nachdem die kumulative Signatur1404 aktualisiert ist, wird die kumulative Signatur1404 mit der mittleren Signatur1406 des verfolgten Objekts kombiniert. Die kombinierten Signaturen1408 werden zum Übereinstimmungsklassifikator218 geliefert. Wenn der Übereinstimmungsklassifikator218 feststellt, dass die kumulative Signatur1404 und die mittlere Signatur1406 übereinstimmen, wird die mittlere Signatur in Bezug auf die Einzelbildsignatur1402 aktualisiert (Block1410 ). Wenn der Übereinstimmungsklassifikator218 feststellt, dass die kumulative Signatur1404 und die mittlere Signatur1406 nicht übereinstimmen, wird eine neue mittlere Signatur unter Verwendung der Einzelbildsignatur1402 erzeugt (Block1412 ). Die neue mittlere Signatur kann in der Metadaten-Datenbank112 als zweites Indexelement für das Objekt gespeichert werden. Wenn das verfolgte Objekt mehrere mittlere Signaturen aufweist, kann die kumulative Signatur1404 mit jeder der mehreren mittleren Signaturen verglichen werden und eine neue mittlere Signatur kann erzeugt werden, wenn die kumulative Signatur1404 keiner der mehreren mittleren Signaturen entspricht. Wie vorstehend beschrieben, kann derselbe Übereinstimmungsklassifikator218 , der zum Verfolgen von Objekten verwendet wird, verwendet werden, um merkliche Änderungen des Aussehens eines Objekts zu detektieren, und folglich kann ein neues Indexelement unter Verwendung des Übereinstimmungsklassifikators218 erzeugt werden. - Suche
- Die Signaturen oder Indexelemente, die in der Metadaten-Datenbank
112 gespeichert werden, können das schnelle Durchsuchen einer großen Datenbank von Objekten nach einem spezifischen Objekt erleichtern, da aktuelle Pixelinformationen von Videobildern nicht erneut verarbeitet werden müssen. Das Objektsuchmodul214 kann denselben Übereinstimmungsklassifikator218 , der zum Verfolgen und Indizieren verwendet wird, zum Suchen nach einem spezifischen Objekt verwenden. Der Übereinstimmungsklassifikator218 ermöglicht zusammen mit den Signaturen von Objekten Suchvorgänge auf Objektbasis sowohl in historischem Video als auch Echtzeit-Videomitschnitten. -
15 ist ein bildhaftes Diagramm eines Suchprozesses1500 , der nur als Beispiel vom Kamerasystem100 durchgeführt werden kann; der Prozess1500 ist mit einem beliebigen geeigneten Kamerasystem betriebsfähig. Eine der Bilderfassungsvorrichtungen102 erfasst ein Bild eines Referenzobjekts und das Bild des Referenzobjekts wird auf der Anzeige114 der Benutzerschnittstelle104 angezeigt. Das Referenzobjekt kann für den Benutzer beispielsweise durch Darstellen eines Kastenumrisses um das Bild des Referenzobjekts hervorgehoben werden. Der Benutzer kann die Eingabevorrichtung116 verwenden, um das Referenzobjekt auszuwählen. Die Eingabevorrichtung116 kann beispielsweise eine Maus umfassen und der Benutzer kann mit einem Zeiger auf das Bild des Referenzobjekts unter Verwendung der Maus klicken. Folglich kann das Bild des Referenzobjekts als Hyper-Tag (etwas ähnlich zu einem Hyperlink in einer HTML-Seite) betrachtet werden. Wenn der Benutzer das Referenzobjekt auswählt, wird die Auswahl auf die Identifikationsnummer des Referenzobjekts abgebildet, die vom Objektverfolgungsmodul206 der Bilderfassungsvorrichtung102 erzeugt wird, die das Bild des Referenzobjekts erfasst hat (Schritt1502 ). Die Identifikationsnummer des Referenzobjekts wird vom Objektsuchmodul214 verwendet, um die Signatur des Referenzobjekts aus der Metadaten-Datenbank112 abzurufen (Schritt1504 ). Die abgerufene Signatur kann die mittlere Signatur des Referenzobjekts sein, und wenn das Referenzobjekt mehrere mittlere Signaturen aufweist, können die mehreren mittleren Signaturen abgerufen werden. - Zusätzlich zur mittleren Signatur kann eine oder mehrere schnelle Signaturen des Referenzobjekts aus der Metadaten-Datenbank
112 abgerufen werden. Eine schnelle Signatur kann ein einfacher Aussehensdeskriptor sein, der aus einer mittleren Signatur berechnet wird. Die schnelle Signatur kann berechnet werden, indem einige der Merkmale, die in der mittleren Signatur enthalten sind, verworfen werden, indem beispielsweise die Anzahl von Intervallbereichen in einem Histogramm verringert wird, oder indem eine Statistik über die Merkmale (z. B. maximale oder Entropiestatistik) berechnet wird. Die schnelle Signatur kann verwendet werden, um den Suchraum von gespeicherten Signaturen schnell zu verringern, indem Kandidatenobjekte entfernt werden, die sehr wahrscheinlich mit dem ersten Objekt nicht übereinstimmen. Zusätzlich zur schnellen Signatur können andere Kriterien vom Objektsuchmodul214 verwendet werden, um offensichtliche Nicht-Übereinstimmungen schnell auszuschneiden. Das Objektsuchmodul214 kann beispielsweise die Klasse des Referenzobjekts verwenden, um Kandidatenobjekte zu beseitigen. Überdies kann das Objektsuchmodul214 Kandidatenobjekte auf der Basis der Zeit beseitigen (z. B. Kandidatenobjekte beseitigen, die vor einem vorbestimmten Zeitrahmen detektiert wurden) und/oder auf der Basis von einer oder mehreren Regelverletzungen, die dem Referenzobjekt zugeordnet sind (z. B. Kandidatenobjekte beseitigen, die keine ähnlichen Regelverletzungen ausgelöst haben). - Die schnelle(n) Signatur(en) des ersten Objekts wird (werden) zu den anderen Bilderfassungsvorrichtungen
102 über das Kameranetzwerk108 übertragen. Die Metadaten-Datenbanken112 der anderen Bilderfassungsvorrichtungen102 werden nach schnellen Signaturen von Kandidatenobjekten durchsucht, die mit der (den) schnellen Signatur(en) des Referenzobjekts übereinstimmen. Die Objektsuchmodule214 der anderen Bilderfassungsvorrichtungen102 vergleichen die schnelle(n) Signatur(en) des Referenzobjekts mit den schnellen Signaturen der Kandidatenobjekte durch Berechnen eines Abstandsmaßes zwischen den Signaturen. Das Abstandsmaß kann dann mit einem vorbestimmten Schwellenwert verglichen werden. Der Schwellenwert kann derart festgelegt werden, dass die falsch negative Rate (z. B. die Rate des Verwerfens von Übereinstimmungen) niedrig ist, aber die falsch positive Rate (z. B. die Rate der Annahme von Nicht-Übereinstimmungen) hoch sein kann. Wenn die Objektsuchmodule214 feststellen, dass eine oder mehrere schnelle Signaturen der Kandidatenobjekte mit der schnellen Signatur des Referenzobjekts übereinstimmen, rufen die Objektsuchmodule214 die mittleren Signaturen der entsprechenden Kandidatenobjekte ab. - Die mittleren Signaturen der Kandidatenobjekte werden zur Bilderfassungsvorrichtung
102 , die das Bild des Referenzobjekts erfasst hat, oder zur entfernten Speicher/Verarbeitungseinheit106 übertragen (Schritt1510 ). Der Übereinstimmungsklassifikator218 der Bilderfassungsvorrichtung102 oder der Übereinstimmungsklassifikator218 der entfernten Speicher/Verarbeitungseinheit106 wird verwendet, um die mittlere(n) Signatur(en) des Referenzobjekts mit den mittleren Signaturen der Kadidatenobjekte zu vergleichen (Schritt1512 ). Der Übereinstimmungsklassifikator218 vergleicht die mittleren Signaturen mit Verwerfungs-Nicht-Übereinstimmungen und mit Einstufungsübereinstimmungen auf der Basis des Übereinstimmungsvertrauensniveaus, das den Übereinstimmungen zugeordnet ist. Sobald die Übereinstimmungen eingestuft sind, kann eine Liste mit Darstellungen der eingestuften Übereinstimmungen auf der Anzeige114 dargestellt werden (Schritt1514 ). Außerdem werden Videobilder, die den Kandidatenobjekten der Übereinstimmungen entsprechen, über das Kameranetzwerk108 von einer oder mehreren der Speichersysteme110 oder von der entfernten Speicher/Verarbeitungseinheit106 abgerufen. Der Benutzer kann eine Darstellung eines Kandidatenobjekts aus der Liste auswählen und die Videobilder des ausgewählten Kandidatenobjekts können auf der Anzeige114 dargestellt werden. - Die Metadaten-Datenbank
112 der Bilderfassungsvorrichtung102 , die das Bild des Referenzobjekts erfasst hat, kann auch durchsucht werden, um Signaturen von potentiellen Übereinstimmungen zu identifizieren, ähnlich zum vorstehend beschriebenen Prozess1500 . Das Objektsuchmodul214 der Bilderfassungsvorrichtung102 kann beispielsweise die schnellen Signaturen zuerst durchsuchen und dann den Übereinstimmungsklassifikator218 heranziehen, um die mittlere Signatur das Referenzobjekts mit der mittleren Signatur der potentiellen Übereinstimmungen zu vergleichen. Obwohl der Prozess1500 das Vergleichen mit den Übereinstimmungsklassifikatoren218 umfasst, die entweder in der Bilderfassungsvorrichtung102 , die das Bild des Referenzobjekts erfasst hat, oder in der entfernten Speicher/Verarbeitungseinheit106 angeordnet sind, kann überdies ein Übereinstimmungsklassifikator218 , der irgendeiner anderen Bilderfassungsvorrichtung102 zugeordnet ist, verwendet werden. Mit anderen Worten, der Vergleich kann an einer oder mehreren Bilderfassungsvorrichtungen102 oder an der entfernten Speicher/Verarbeitungseinheit106 durchgeführt werden. - Der Übereinstimmungsklassifikator
218 und das Objektsuchmodul214 ermöglichen eine Form von Suche, die als ”Klicken und Suchen” bezeichnet werden kann. Ein Benutzer kann historisches Video von einer Vielfalt von Bilderfassungsvorrichtungen102 durchsehen. Wenn ein spezielles Objekt interessant erscheint, kann der Benutzer nach allen Objekten suchen, die wie das spezielle Objekt aussehen. Überdies können Videoclips von ähnlich aussehenden Objekten für den Benutzer wiedergegeben werden. Die Suche kann über alle Bilderfassungsvorrichtungen102 des Kamerasystems100 oder über irgendeine vom Benutzer festgelegte Teilmenge durchgeführt werden. Da das Video nicht erneut verarbeitet werden muss, um eine Suche durchzuführen, kann die Suche schnell durchgeführt werden. - Der Übereinstimmungsklassifikator
218 und das Objektsuchmodul214 ermöglichen auch eine Form von Suche, die als ”Klicken und Verfolgen” bezeichnet werden kann. Zusätzlich zum Durchführen von Suchvorgängen in Bezug auf historisches Video können Suchvorgänge für Fälle eines Objekts durchgeführt werden, das gerade in einem Live-Videomitschnitt erschienen ist. Ganz wie die Verfolgung zwischen Kameras fordert die Benutzerschnittstelle104 (in Reaktion auf eine Benutzerauswahl) an, dass die Bilderfassungsvorrichtung102 , die ein interessierendes Objekt erfasst hat, die Signatur des Objekts zu den Bilderfassungsvorrichtungen102 im Netzwerk108 überträgt. Wenn eine Übereinstimmung festgestellt wird, wird die Benutzerschnittstelle104 benachrichtigt und die Bilder des interessierenden Objekts werden auf der Anzeige114 dargestellt. - Während des Durchsehens von Videodaten, die von einer Objektsuche abgerufen werden, kann ein Benutzer eine Übereinstimmung für gültig oder ungültig erklären. Für jede Übereinstimmung, die von einem Benutzer für gültig erklärt wird, kann eine Verknüpfung in der Metadaten-Datenbank
112 erzeugt werden und die entsprechenden Signaturen können aktualisiert werden. Für ungültige Übereinstimmungen können Signaturen als Ausschließungen der Übereinstimmung gegenüber der Signatur des Objekts bezeichnet werden. Benutzerüberprüfungsdaten können in der Metadaten-Datenbank gespeichert werden und später abgerufen werden, um den Übereinstimmungsklassifikator218 erneut zu trainieren, was zu einer weiteren Verbesserung von Suchergebnissen und Verfolgungsergebnissen zwischen Kameras sowie Verfolgungsergebnissen innerhalb einer Kamera führt. Außerdem kann die Benutzerüberprüfung verwendet werden, um Suchergebnisse abzustimmen. - Anwendungen
- Die vorstehend beschriebenen Systeme und Verfahren können verwendet werden, um eine Anzahl von Anwendungen zu erzeugen. Beispiele von einigen dieser Anwendungen werden in den folgenden Absätzen dargestellt.
- Im Vergleich zu bekannten Systemen, die Verfolgungsinformationen nur dann erzeugen, wenn eine von einer Regelmaschine festgelegte Regel verletzt wurde, erzeugt das Kamerasystem
100 reiche Verfolgungsmetadaten, ob eine Regel verletzt wird oder nicht. Dies ermöglicht eine nachträgliche Suche oder das Durchsuchen von Videobildern, die erfasst wurden, bevor eine Regel verletzt wird. Da Metadaten erzeugt werden, die Objektaussehenseigenschaften umfassen, kann überdies ein Objekt als Mitglied einer neu erzeugten Objektklasse erkannt werden, selbst wenn ein Bild des Objekts vor der Erzeugung der neuen Objektklasse erfasst wurde. - Bekannte Verfolgungssysteme haben Probleme, dass sie Objekte aus dem Auge verlieren. Wenn beispielsweise eine Person hinter einer Parkbank geht, könnten die Beine der Person nicht sichtbar sein. Ein bekanntes Verfolgungssystem könnte der Meinung sein, dass die Person zu kurz ist, als dass sie eine Person ist. Folglich kann die Person verfolgt werden, bis die Person hinter der Parkbank geht. Da das Kamerasystem
100 viele verschiedene Aussehenseigenschaften verwenden kann, kann das Kamerasystem100 vermeiden, Objekte aus dem Auge zu verlieren, wenn sie immer noch innerhalb des Blickfeldes vorhanden sind. Überdies kann der Übereinstimmungsklassifikator 218 im Vergleich zu bekannten Systemen die Verfolgung an Umgebungsänderungen anpassungsfähiger machen und kann die Detektion über verschiedene Kameratypen (und von Kamera zu Kamera im Allgemeinen) verbessern. - Da der Übereinstimmungsklassifikator
218 trainierbar ist, können neue Merkmale von Objekten ausgewählt werden, um die Detektions- und Verfolgungsgenauigkeit zu verbessern. Der Übereinstimmungsklassifikator218 kann die Merkmale, die am wichtigsten sind, in der Trainingsphase vor dem Einsatz lernen und kann auch lernen, während er sich am Einsatzort befindet, um die Verfolgungsgenauigkeit zu verbessern. - Durch Herstellen von semantischen Verknüpfungen zwischen Videoströmen und detektierten Objekten kann ein Videoverlauf für ein spezielles Objekt erzeugt werden. Durch Auswählen eines menschlichen Objekts kann ein Benutzer beispielsweise automatisch Videoclips laden, die zeigen, wo die Person vorher von anderen Kameras detektiert wurde. Der Benutzer kann dann Begleiter der fraglichen Person bemerken und kann diese Begleiter auswählen und ihre Videoverläufe betrachten. Da Metadaten, die der Aussehenssignatur des Objekts entsprechen, in der Datenbank mit Videodaten verknüpft sind, die dem Ort entsprechen, wo es detektiert wurde, kann das Bild selbst als auswählbare Verknüpfung zum Durchsuchen der Datenbank verwendet werden.
- Wenn ein Objekt von einer Bilderfassungsvorrichtung
102 erfasst wird, können die beschriebenen Systeme und Verfahren auch verwendet werden, um alle anderen Bilderfassungsvorrichtungen102 zu benachrichtigen und in Anspruch zu nehmen, so dass sie automatisch beginnen können, nach demselben Objekt zu suchen und einen Alarm zu erzeugen, wenn es detektiert wird. Eine individuelle Person kann beispielsweise durch ein Casino verfolgt werden, das von Dutzenden von Kameras mit benachbarten, überlappenden Blickfeldern überwacht wird, einfach indem auf ein Bild geklickt wird und das System angewiesen wird, das Bild über alle Kameras zu verfolgen. Sobald eine Aussehenssignatur der Person detektiert wird, lenkt das System automatisch Live-Videodaten von der entsprechenden Kamera zu einem Monitor, der ermöglicht, dass Sicherheitspersonal die Person visuell verfolgt. Wenn sich die Person in das Blickfeld der nächsten Kamera bewegt, wird der Video-Mitschnitt automatisch umgeschaltet, so dass es nicht erforderlich ist, dass das Sicherheitspersonal zwischen den Kameras hin und herschaltet, um die Verfolgung des Weges der Person fortzusetzen. - Das Kamerasystem
100 kann automatisch Fußgänger erkennen, die ein geparktes Auto verlassen, und kann sie später mit Leuten vergleichen, die in das Auto einsteigen. Wenn eine Person, die in ein Auto einsteigt, nicht von der ursprünglichen Gruppe ist, die in dem Auto angekommen ist, kann Sicherheitspersonal alarmiert werden. Videoclips werden automatisch mit dem Alarm gesandt, so dass es leicht ist, zu überprüfen und schnell zu bestimmen, ob ein Problem vorliegt. Ein Sicherheitsbediensteter kann dann wählen, entweder den Autoeigentümer zu informieren (wenn das Auto durch das Autokennzeichen registriert ist) oder die Polizei herbeizurufen. - Mit der Fähigkeit, Objekte zu verfolgen, kann ein Betrug detektiert werden, indem der Weg von individuellen Käufern durch ein Einzelhandelsgeschäft verfolgt wird. Mit dieser Fähigkeit kann dem offenbarten System gelehrt werden, zu überprüfen, ob Käufer, die ein Geschäft mit Ware verlassen, eine Kasse besucht haben und die Ware erworben haben, bevor sie das Geschäft verlassen. Das System kann auch feststellen, ob Kunden an einer Rückgabetheke direkt von ihren Autos kamen, oder ob sie zuerst durch das Geschäft gelaufen sind, Produkte aus dem Geschäft ausgewählt haben und versuchten, sie zurückzugeben, also ob sie die Produkte erworben hätten. Dem Rückgabethekenbediensteten kann ein Clip des Kunden, der das Geschäft betritt, und seines Weges durch das Geschäft als Überprüfung gezeigt werden.
- In Kombination mit dem Objektvergleich kann die Leistung von Gesichtserkennungs- und Autokennzeichen-Erkennungssystemen verbessert werden. Der Objektvergleich kann eine gute Verfolgungsfähigkeit durch das Gesamtaussehen und die Bewegung bereitstellen und kann Leute in irgendeiner Orientierung verfolgen, nicht nur dann, wenn sie so ausgerichtet sind, dass sie der Kamera zugewandt sind.
- Das Kamerasystem
100 kann auch dazu konfiguriert sein, eine anomale Aktivität durch Überwachen von Fahrzeug- und Fußgängermuster über Tage oder Wochen automatisch zu erkennen. Risikoreiche Einrichtungen, die über potentielle Terroristenaktivitäten besorgt sind, können von diesem Merkmal profitieren. Wenn das Kamerasystem100 wiederholt ein Fahrzeug erkennt, das für einen verlängerten Zeitraum geparkt ist, ohne dass jemand das Fahrzeug verlässt, kann ein Alarm wegen verdächtiger Aktivität erzeugt werden, um Sicherheitspersonal herbeizurufen, um die Videodaten zu überprüfen. Alternativ kann der Objektvergleich in Kombination mit einem Gesichtserkennungssystem Personen erkennen, die wiederholt in einer Einrichtung herumlaufen. Eine solche Handlung kann einen Kriminellen erfassen, der eine Einrichtung auskundschaftet. In einem anderen Beispiel kann das Kamerasystem100 beispielsweise, wenn uniformierte Angestellte regelmäßig einen speziellen Pausenraum oder Lagerraum besuchen, dieses Muster erkennen. Wenn jemand, der keine solche Uniform trägt, einen dieser Räume betritt, kann das Kamerasystem100 später mit einem automatischen Alarm reagieren. - Das Kamerasystem
100 kann verwendet werden, um zu messen, wie viele Leute beispielsweise an einer Kasse in einer Schlange stehen, und um einen Alarm entsprechend einer Regel einer Regelmaschine zu erzeugen. Außerdem kann das Kamerasystem100 verwendet werden, um zu messen, wie lange jede Person in der Schlange stand, da das System100 jede Person verfolgen kann. Wenn eine Person zu lang in der Schlange stand, kann eine Regel der Regelmaschine verletzt werden und ein Alarm kann erzeugt werden, um Unterstützung herbeizurufen (z. B. ein Alarm, um eine neue Kassenschlange zu öffnen). Überdies kann für Manager eine Statistik erzeugt werden, um zu helfen, die Kundendienstleistung zu messen. - Das Kamerasystem
100 kann verwendet werden, um zu helfen, Kindesentführungen beispielsweise in Einzelhandelsgeschäften zu verhindern. Das Kamerasystem100 kann Kinder, wenn sie ein Geschäft betreten, und einen Erwachsenen, der das Kind begleitet, erkennen. Das Kamerasystem100 kann auch einen Erwachsenen, dem das Kind nahe bleibt, während er durch das Geschäft geht, erkennen. Wenn das Kind das Geschäft verlässt, ohne dass der Erwachsene das Kind begleitet, kann ein Alarm erzeugt werden. Das Kamerasystem100 kann auch den Ort des Erwachsenen identifizieren, so dass er benachrichtigt werden kann. - Das Kamerasystem
100 kann verwendet werden, um verlorene Kinder in Einzelhandelsgeschäften aufzufinden. Wenn beispielsweise ein Elternteil sein Kind verliert und einen Sicherheitsbediensteten benachrichtigt, kann der Sicherheitsbedienstete ein Bild des Elternteils finden, auf das Bild klicken, um andere Videobilder zu durchsuchen, und ein Bild identifizieren, als das Elternteil das Geschäft mit dem Kind betreten hat. Der Sicherheitsbedienstete kann dann auf ein Bild des Kindes klicken und die Bilderfassungsvorrichtung102 durchsuchen, die zuletzt ein Bild des Kindes erfasst hat. Dies findet den Ort des Kindes im Geschäft schnell auf. - Das Kamerasystem
100 kann verwendet werden, um ein Problem zu verhindern, das ”Sweetheart-Betrug” genannt wird, der passiert, wenn eine Kassenperson absichtlich den Strichcode eines kostengünstigen Gegenstandes einliest, während sie so tut, als ob sie den Strichcode eines teureren Gegenstandes einlesen würde. Das Kamerasystem100 kann mit den Kassen-(Point of Sale, POS)Datenausgängen einer Registrierkasse verbunden sein und kann das Aussehen von Produkten mit den Strichcodeinformationen vergleichen. Über einen Zeitraum kann das Kamerasystem100 automatisch in der Metadaten-Datenbank112 Aussehenssignaturen für verschiedene Produkte erzeugen. Nachdem das Kamerasystem100 ein Niveau an Genauigkeit für die Produkterkennung erreicht hat, was das Kamerasystem100 selbst bestimmen kann, kann es automatisch beginnen, Alarme zu erzeugen, sobald die Strichcodeinformationen nicht mit dem abgetasteten Bild übereinstimmen. - Das Kamerasystem
100 kann automatisch ein Video für höhere Priorität auf der Basis seiner Ähnlichkeit zu Filmmaterial, in dem ein kritisches Ereignis detektiert wird, kennzeichnen. Wenn beispielsweise ein Laptop von einem Arbeitsbereich gestohlen wird, kann das Kamerasystem100 das Laptop automatisch von historischem Video erkennen können und kann die Person erkennen, die dem Laptop am nächsten war, als es verloren gegangen ist. Das Kamerasystem100 kann dann automatisch alle Videobilder der verdächtigen Person als von höherer Priorität für die Speicherung, Zurückbehaltung oder das Abrufen und Durchsehen durch Sicherheitspersonal festlegen. - Abschluss
- Die Verfahren und Systeme, die hierin dargestellt und beschrieben sind, können in einer Vielfalt von Formen sowohl aktiv als auch inaktiv existieren. Sie können beispielsweise teilweise oder vollständig als ein oder mehrere Softwareprogramme existieren, die aus Programmanweisungen in Quellencode, Objektcode, ausführbarem Code oder anderen Formaten bestehen. Irgendeines der obigen kann in komprimierter oder unkomprimierter Form auf einem computerlesbaren Medium, das Speichervorrichtungen umfasst, verkörpert sein. Beispielhafte computerlesbare Speichervorrichtungen umfassen einen RAM (Direktzugriffsspeicher), ROM (Festwertspeicher), EPROM (löschbarer, programmierbarer ROM), EEPROM (elektrisch löschbarer, programmierbarer ROM), Flash-Speicher eines herkömmlichen Computersystems und magnetische oder optische Platten oder Bänder.
- Die vorstehend verwendeten Begriffe und Beschreibungen sind nur zur Erläuterung dargelegt und sind nicht als Begrenzungen gemeint. Der Übereinstimmungsklassifikator
218 kann beispielsweise ein Teil sein von – und die Klassifikationsverfahren können durchgeführt werden an – einer entfernten Verarbeitungseinheit wie z. B. der entfernten Speicher/Verarbeitungseinheit106 (1 ), einem Computer, der der Benutzerschnittstelle104 zugeordnet ist, einem anderen Knoten im Kameranetzwerk108 oder einem anderen Server, wie z. B. einem an einem zentralen Ort oder in einem anderen Netzwerk. Der Fachmann auf dem Gebiet wird erkennen, dass viele Variationen, Verbesserungen und Modifikationen der hierin beschriebenen Konzepte möglich sind, ohne von den zugrunde liegenden Prinzipien der Erfindung abzuweichen. Der Schutzbereich der Erfindung sollte daher nur durch die folgenden Ansprüche und ihre Äquivalente bestimmt sein. - Zusammenfassung
- Ein Kamerasystem (
100 ) umfasst eine Bilderfassungsvorrichtung (102 ), ein Objektdetektionsmodul (204 ), ein Objektverfolgungsmodul (206 ) und einen Übereinstimmungsklassifikator (218 ). Das Objektdetektionsmodul (204 ) empfängt Bilddaten und detektiert Objekte, die in einem oder mehreren der Bilder erscheinen. Das Objektverfolgungsmodul (206 ) ordnet Fälle eines ersten Objekts, das in einer ersten Gruppe der Bilder detektiert wird, zeitlich zu. Das erste Objekt weist eine erste Signatur auf, die Merkmale des ersten Objekts darstellt. Der Übereinstimmungsklassifikator (218 ) vergleicht Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts, das in einem zweiten Bild detektiert wird, abgeleitet sind. Die zweite Signatur stellt Merkmale des zweiten Objekts dar, die vom zweiten Bild abgeleitet sind. Der Übereinstimmungsklassifikator (218 ) stellt fest, ob die zweite Signatur mit der ersten Signatur übereinstimmt. Ein Trainingsprozess konfiguriert den Übereinstimmungsklassifikator (218 ) automatisch unter Verwendung eines Satzes von möglichen Objektmerkmalen. - ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Nicht-Patentliteratur
-
- Paul Viola & Michael Jones, ”Robust Real-Time Face Detection”, International Journal of Computer Vision, S. 137–154 (2004) [0047]
- Saptharishi, ”Sequential Discriminant Error Minimization: The Theory and its Application to Real-Time Video Object Recognition” (Carnegie Mellon University, 2005) [0056]
Claims (60)
- Kamerasystem (
100 ) mit: einer Bilderfassungsvorrichtung (102 ) mit einem Blickfeld, die Bilddaten erzeugt, die mehrere Bilder des Blickfeldes darstellen; einem Objektdetektionsmodul (204 ), das mit der Bilderfassungsvorrichtung (102 ) verbunden ist und die Bilddaten empfängt, wobei das Objektdetektionsmodul (204 ) betriebsfähig ist, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen; einem Objektverfolgungsmodul (206 ), das mit dem Objektdetektionsmodul (204 ) verbunden ist und betriebsfähig ist, um Fälle eines ersten Objekts, das in einer ersten Gruppe der mehreren Bilder detektiert wird, zeitlich zuzuordnen, wobei das erste Objekt eine erste Signatur aufweist, die Merkmale des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet sind; und einem Übereinstimmungsklassifikator (218 ), der mit dem Objektverfolgungsmodul (206 ) verbunden ist, zum Vergleichen von Objektfällen, wobei der Übereinstimmungsklassifikator (218 ) betriebsfähig ist, um Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts abgeleitet sind, zu vergleichen, wobei das zweite Objekt in einem zweiten Bild detektiert wird, das von den Bildern der ersten Gruppe verschieden ist, und die zweite Signatur Merkmale des zweiten Objekts darstellt, die vom zweiten Bild abgeleitet sind, wobei der Übereinstimmungsklassifikator (218 ) den ersten Satz von Daten analysiert, um festzustellen, ob die zweite Signatur mit der ersten Signatur übereinstimmt oder nicht, wobei die Weise, in der der Übereinstimmungsklassifikator (218 ) arbeitet, um Objektfälle zu vergleichen, zumindest teilweise durch einen Trainingsprozess bestimmt wurde, der den Übereinstimmungsklassifikator (218 ) unter Verwendung eines Satzes von möglichen Objektmerkmalen automatisch konfiguriert. - Kamerasystem (
100 ) nach Anspruch 1, wobei das zweite Objekt ein Fall des ersten Objekts ist. - Kamerasystem (
100 ) nach Anspruch 1, wobei die zweite Signatur in Echtzeit erzeugt wird. - Kamerasystem (
100 ) nach Anspruch 1, wobei der Übereinstimmungsklassifikator (218 ) N Entscheidungsschritte (400 ) umfasst, die in einer Kaskadenkonfiguration konfiguriert sind, wobei die N Entscheidungsschritte (400 ) betriebsfähig sind, um festzustellen, ob das erste Objekt und das zweite Objekt übereinstimmen, wobei mindestens einer der N Entscheidungsschritte (400 ) betriebsfähig ist, um entweder (a) das erste Objekt und das zweite Objekt als Übereinstimmung anzunehmen, (b) das erste Objekt und das zweite Objekt als Übereinstimmung abzulehnen, oder (c) einen nächsten Schritt heranzuziehen, um festzustellen, ob das zweite Objekt mit dem ersten Objekt übereinstimmt oder nicht. - Kamerasystem (
100 ) nach Anspruch 4, wobei der mindestens eine der N Entscheidungsschritte (400 ) eine Stufe (500 ) zum Abbilden eines Teils der Daten auf einen Skalarwert, der mit einem Übereinstimmungsvertrauen korreliert, umfasst. - Kamerasystem (
100 ) nach Anspruch 5, wobei die erste Signatur Aussehensmerkmale des ersten Objekts darstellt und ein erstes Kantenorientierungshistogramm des ersten Objekts umfasst und die zweite Signatur Aussehensmerkmale des zweiten Objekts darstellt und ein zweites Kantenorientierungshistogramm des zweiten Objekts umfasst. - Kamerasystem (
100 ) nach Anspruch 6, wobei das erste und das zweite Kantenorientierungshistogramm unter Verwendung eines steuerbaren Filters erzeugt werden. - Kamerasystem (
100 ) nach Anspruch 6, wobei das erste und das zweite Kantenorientierungshistogramm kombiniert werden, um den Teil der Daten zu erzeugen. - Kamerasystem (
100 ) nach Anspruch 8, wobei das erste und das zweite Kantenorientierungshistogramm durch eine Verkettung kombiniert werden. - Kamerasystem (
100 ) nach Anspruch 6, wobei die erste Signatur eine erste Gruppe von mehreren Kantenorientierungshistogramm umfasst, die einem ersten Satz von verschiedenen räumlichen Bereichen des ersten Objekts entsprechen, und die zweite Signatur eine zweite Gruppe von mehreren Kantenorientierungshistogrammen umfasst, die einem zweiten Satz von verschiedenen räumlichen Bereichen des zweiten Objekts entsprechen, wobei die verschiedenen räumlichen Bereiche des zweiten Satzes den verschiedenen räumlichen Bereichen des ersten Satzes entsprechen. - Kamerasystem (
100 ) nach Anspruch 6, wobei die erste Signatur ein erstes Farbtonhistogramm und ein erstes Intensitätshistogramm des ersten Objekts umfasst und die zweite Signatur ein zweites Farbtonhistogramm und ein zweites Intensitätshistogramm des zweiten Objekts umfasst. - Kamerasystem (
100 ) nach Anspruch 6, wobei die erste Signatur eine erste Gruppe von mehreren Farbtonhistogrammen umfasst, die einem ersten Satz von verschiedenen räumlichen Bereichen des ersten Objekts entsprechen, und die zweite Signatur eine zweite Gruppe von mehreren Farbtonhistogrammen umfasst, die einem zweiten Satz von verschiedenen räumlichen Bereichen des zweiten Objekts entsprechen, wobei die verschiedenen räumlichen Bereiche des zweiten Satzes den verschiedenen räumlichen Bereichen des ersten Satzes entsprechen. - Kamerasystem (
100 ) nach Anspruch 6, wobei die erste Signatur eine erste Gruppe von mehreren Intensitätshistogrammen umfasst, die einem ersten Satz von verschiedenen räumlichen Bereichen des ersten Objekts entsprechen, und die zweite Signatur eine zweite Gruppe von mehreren Intensitätshistogrammen umfasst, die einem zweiten Satz von verschiedenen räumlichen Bereichen des zweiten Objekts entsprechen, wobei die verschiedenen räumlichen Bereiche des zweiten Satzes den verschiedenen räumlichen Bereichen des ersten Satzes entsprechen. - Kamerasystem (
100 ) nach Anspruch 1, wobei der Übereinstimmungsklassifikator (218 ) N Entscheidungsschritte (400 ) umfasst, die in einer Kaskadenkonfiguration konfiguriert sind, wobei jeder der N Entscheidungsschritte (400 ) eine oder mehrere Stufen (500 ) zum Abbilden von Teilen der Daten auf Skalarwerte umfasst, wobei eine erste der Stufen (500 ) eine erste Diskriminantenfunktion zum Bestimmen eines ersten Skalarwerts umfasst, eine zweite der Stufen (500 ) eine zweite Diskriminantenfunktion zum Bestimmen eines zweiten Skalarwerts umfasst, und die erste und die zweite Diskriminantenfunktion aus einer Gruppe ausgewählt sind, die aus mehreren Diskriminantenfunktonen von verschiedenen Typen besteht. - Kamerasystem (
100 ) nach Anspruch 1, wobei die erste Signatur eine kumulative Signatur des ersten Objekts ist, die von den Bildern der ersten Gruppe abgeleitet ist, und die zweite Signatur eine Einzelbildsignatur des zweiten Objekts ist, die vom zweiten Bild abgeleitet ist. - Kamerasystem (
100 ) nach Anspruch 15, wobei die kumulative Signatur des ersten Objekts ein gewichteter Mittelwert von Einzelbildsignaturen des ersten Objekts ist, die von den Bildern der ersten Gruppe abgeleitet sind. - Kamerasystem (
100 ) nach Anspruch 1, wobei das Objektverfolgungsmodul (206 ) ein Bewegungsmodellierungsmodul (1002 ) umfasst, das betriebsfähig ist, um Änderungen des Orts von Objekten zwischen aufeinander folgenden Bildern des Blickfeldes abzuschätzen, wobei das Bewegungsmodellierungsmodul (1002 ) betriebsfähig ist, um in Verbindung mit dem Übereinstimmungsklassifikator (218 ) verwendet zu werden, um festzustellen, ob das zweite Objekt ein Fall des ersten Objekts ist. - Kamerasystem (
100 ) nach Anspruch 1, wobei die Bilderfassungsvorrichtung (102 ) eine erste von mehreren Bilderfassungsvorrichtungen (102 ) ist, die in einem Netzwerk (108 ) miteinander verbunden sind, wobei die mehreren Bilderfassungsvorrichtungen (102 ) eine zweite Bilderfassungsvorrichtung (102 ) umfassen, wobei die erste Gruppe von Bildern durch die erste Bilderfassungsvorrichtung (102 ) erfasst wird und das zweite Bild von der zweiten Bilderfassungsvorrichtung (102 ) erfasst wird. - Kamerasystem (
100 ) nach Anspruch 18, wobei die erste Bilderfassungsvorrichtung (102 ) ein Gehäuse (202 ) umfasst, der Übereinstimmungsklassifikator (218 ) in dem Gehäuse (202 ) enthalten ist und die zweite Bilderfassungsvorrichtung (102 ) betriebsfähig ist, um die zweite Signatur des zweiten Objekts zum Übereinstimmungsklassifikator (218 ) der ersten Bilderfassungsvorrichtung (102 ) zu übertragen. - Kamerasystem (
100 ) nach Anspruch 19, wobei der Übereinstimmungsklassifikator (218 ) feststellt, dass die zweite Signatur, die von der zweiten Bilderfassungsvorrichtung (102 ) übertragen wird, und die erste Signatur des ersten Objekts übereinstimmen, und die erste Bilderfassungsvorrichtung (102 ) betriebsfähig ist, um die zweite Bilderfassungsvorrichtung (102 ) über die Übereinstimmung zu benachrichtigen. - Kamerasystem (
100 ) nach Anspruch 18, wobei der Übereinstimmungsklassifikator (218 ) ein Teil eines Prozessors ist, der von der ersten und der zweiten Bilderfassungsvorrichtung (102 ) entfernt ist, und die erste und die zweite Bilderfassungsvorrichtung (102 ) betriebsfähig sind, um die erste bzw. die zweite Signatur zum Prozessor zu übertragen. - Kamerasystem (
100 ) nach Anspruch 21, wobei der Prozessor betriebsfähig ist, um eine Benachrichtigung zu einer oder beiden der ersten und der zweiten Bilderfassungsvorrichtung (102 ) zu übertragen, wenn der Prozessor feststellt, dass die erste und die zweite Signatur übereinstimmen. - Kamerasystem (
100 ) nach Anspruch 1, wobei das zweite Objekt eines von mehreren Objekten ist, die im zweiten Bild detektiert werden, und das erste Objekt eines von mehreren verfolgten Objekten ist, die durch das Objektverfolgungsmodul (206 ) verfolgt werden, wobei das Kamerasystem (100 ) ferner umfasst: ein Objektklassifikationsmodul (210 ), wobei das Objektklassifikationsmodul (210 ) betriebsfähig ist, um Objekte als Mitglieder oder Nicht-Mitglieder einer Objektklasse zu klassifizieren; und ein Objektkategorisierungsmodul (216 ), das mit dem Übereinstimmungsklassifikator (218 ) und dem Objektklassifikationsmodul (210 ) verbunden ist, wobei das Objektkategorisierungsmodul (216 ) betriebsfähig ist, um eine Reihenfolge zu bestimmen, in der der Übereinstimmungsklassifikator (218 ) versucht, die verfolgten Objekte mit den mehreren Objekten, die im zweiten Bild detektiert werden, zu vergleichen, wobei die Reihenfolge auf Klassifikationen der verfolgten Objekte basiert, die durch das Objektklassifikationsmodul (210 ) bestimmt werden. - Kamerasystem (
100 ) nach Anspruch 1, wobei die erste Signatur eine kumulative Signatur ist, die einen gewichteten Mittelwert von Einzelbildsignaturen des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet sind, die zweite Signatur eine Einzelbildsignatur des zweiten Objekts darstellt, die vom zweiten Bild abgeleitet ist, und der Übereinstimmungsklassifikator (218 ) feststellt, dass das zweite Objekt ein Fall des ersten Objekts ist. - Kamerasystem (
100 ) nach Anspruch 24, das ferner umfasst: eine Datenbank (112 ) zum Speichern von mittleren Signaturen von detektierten Objekten, wobei die mittleren Signaturen Indexelemente der detektierten Objekte sind; und ein Objektindizierungsmodul (212 ), das mit dem Übereinstimmungsklassifikator (218 ) und der Datenbank (112 ) verbunden ist, wobei das Objektindizierungsmodul (212 ) betriebsfähig ist, um eine erste mittlere Signatur für das erste Objekt zu erzeugen, wobei die erste mittlere Signatur einen Mittelwert der Einzelbildsignaturen des ersten Objekts darstellt, wobei das Objektindizierungsmodul (212 ) betriebsfähig ist, um die erste mittlere Signatur zur Datenbank (112 ) zur Speicherung zu liefern. - Kamerasystem (
100 ) nach Anspruch 25, wobei die Daten, die von der ersten Signatur des ersten Objekts und der zweiten Signatur des zweiten Objekts abgeleitet sind, ein erster Satz von Daten sind, das Objektindizierungsmodul (212 ) betriebsfähig ist, um den Übereinstimmungsklassifikator (218 ) heranzuziehen, um festzustellen, ob die zweite Signatur des zweiten Objekts zur ersten mittleren Signatur beitragen soll, und der Übereinstimmungsklassifikator (218 ) betriebsfähig ist, um einen zweiten Satz von Daten zu analysieren, die die erste Signatur und die erste mittlere Signatur darstellen, um festzustellen, ob die erste Signatur und die erste mittlere Signatur übereinstimmen. - Kamerasystem (
100 ) nach Anspruch 26, wobei das Objektindizierungsmodul (212 ) betriebsfähig ist, um die erste mittlere Signatur mit Beiträgen von der zweiten Signatur zu aktualisieren, wenn der Übereinstimmungsklassifikator (218 ) feststellt, dass die erste Signatur mit der ersten mittleren Signatur übereinstimmt. - Kamerasystem (
100 ) nach Anspruch 26, wobei das Objektindizierungsmodul (212 ) betriebsfähig ist, um eine zweite mittlere Signatur für das erste Objekt zu erzeugen, wenn der Übereinstimmungsklassifikator (218 ) feststellt, dass die erste Signatur nicht mit der ersten mittleren Signatur übereinstimmt, die zweite mittlere Signatur Beiträge von der zweiten Signatur umfasst und das Objektindizierungsmodul (212 ) betriebsfähig ist, um die erste und die zweite mittlere Signatur zur Datenbank (112 ) zur Speicherung zu liefern. - Kamerasystem (
100 ) nach Anspruch 28, wobei die erste mittlere Signatur eine erste Ansicht des ersten Objekts darstellt und die zweite mittlere Signatur eine zweite Ansicht des ersten Objekts darstellt. - Kamerasystem (
100 ) nach Anspruch 1, das ferner umfasst: eine Datenbank (112 ) zum Speichern von Signaturen von detektierten Objekten, wobei die Datenbank (112 ) einen Index für Bilder der detektierten Objekte vorsieht; eine Benutzerschnittstelle (104 ), die mit der Bilderfassungsvorrichtung (102 ) verbunden ist und eine Anzeige (114 ) zum Darstellen der mehreren Bilder des Blickfeldes für einen Benutzer umfasst, wobei die Benutzerschnittstelle (104 ) eine Eingabevorrichtung (116 ) umfasst, die eine Benutzerauswahl eines Objekts, das in einem oder mehreren der mehreren Bilder erscheint, ermöglicht, wobei ein Bild der ersten Gruppe, das eine Darstellung des ersten Objekts umfasst, auf der Anzeige (114 ) dargestellt wird, und das erste Objekt durch den Benutzer ausgewählt wird; und ein Suchmodul (214 ), das mit der Benutzerschnittstelle (104 ), der Datenbank (112 ) und dem Übereinstimmungsklassifikator (218 ) verbunden ist, wobei das Suchmodul (214 ) betriebsfähig ist, um die in der Datenbank (112 ) gespeicherten Signaturen zu durchsuchen, um zu identifizieren, ob das erste Objekt in einer zweiten Gruppe von Bildern der detektierten Objekte erscheint, wobei das Suchmodul (214 ) betriebsfähig ist, um den Übereinstimmungsklassifikator (218 ) heranzuziehen, um festzustellen, ob die erste Signatur des ersten Objekts mit einer oder mehreren der in der Datenbank (112 ) gespeicherten Signaturen übereinstimmt. - Kamerasystem (
100 ) nach Anspruch 30, wobei der Übereinstimmungsklassifikator (218 ) betriebsfähig ist, um Vertrauensniveaus von Übereinstimmungen zu erzeugen, die zwischen der ersten Signatur und den zweiten Signaturen, die in der Datenbank (112 ) gespeichert sind, gemacht werden, und das Suchmodul (214 ) betriebsfähig ist, um eine Liste von Übereinstimmungen zu erzeugen, die gemäß den Vertrauensniveaus organisiert ist. - Kamerasystem (
100 ) nach Anspruch 31, wobei die in der Datenbank (112 ) gespeicherten Signaturen mittlere Signaturen der detektierten Objekte umfassen, die Mittelwerte von Einzelbildsignaturen darstellen, die von Bildern der zweiten Gruppe abgeleitet sind, in denen die detektierten Objekte erscheinen, und die in der Datenbank (112 ) gespeicherten Signaturen schnelle Signaturen der detektierten Objekte umfassen, die vereinfachte Versionen der mittleren Signaturen darstellen. - Kamerasystem (
100 ) nach Anspruch 32, wobei das erste Objekt eine schnelle Signatur umfasst, die eine vereinfachte Version der ersten Signatur darstellt, und das Suchmodul (214 ) betriebsfähig ist, um die schnelle Signatur des ersten Objekts mit den in der Datenbank (112 ) gespeicherten schnellen Signaturen zu vergleichen, um ein Segment der detektierten Objekte zu identifizieren, die nicht dem ersten Objekt entsprechen. - Kamerasystem (
100 ) nach Anspruch 33, wobei die von der ersten Signatur des ersten Objekts und der zweiten Signatur des zweiten Objekts abgeleiteten Daten ein erster Satz von Daten sind und der Übereinstimmungsklassifikator (218 ) betriebsfähig ist, um einen zweiten Satz von Daten zu analysieren, die die erste Signatur des ersten Objekts und die mittleren Signaturen der detektierten Objekte darstellen, die keine Mitglieder des Segments sind. - Kamerasystem (
100 ) nach Anspruch 31, wobei der Übereinstimmungsklassifikator (218 ) feststellt, dass die erste Signatur mit einer Signatur eines ersten der detektierten Objekte übereinstimmt, das Suchmodul (214 ) betriebsfähig ist, um Bilddaten, die ein Bild des ersten der detektierten Objekte darstellen, zur Übertragung zur Benutzerschnittstelle (104 ) abzurufen. - Kamerasystem (
100 ) nach Anspruch 31, wobei die Bilderfassungsvorrichtung (102 ) eine erste von mehreren Bilderfassungsvorrichtungen (102 ) ist, die in einem Netzwerk (108 ) miteinander verbunden sind, und die mehreren Bilderfassungsvorrichtungen (102 ) eine zweite Bilderfassungsvorrichtung (102 ) umfassen. - Kamerasystem (
100 ) nach Anspruch 36, wobei die Bilder der ersten Gruppe durch die erste Bilderfassungsvorrichtung (102 ) erfasst werden und die Bilder der zweiten Gruppe durch die zweite Bilderfassungsvorrichtung (102 ) erfasst werden. - Kamerasystem (
100 ) nach Anspruch 37, wobei die zweite Bilderfassungsvorrichtung (102 ) ein Gehäuse (202 ) umfasst und der Übereinstimmungsklassifikator (218 ) in dem Gehäuse (202 ) enthalten ist. - Kamerasystem (
100 ) nach Anspruch 37, wobei der Übereinstimmungsklassifikator (218 ) ein Teil eines Prozessors ist, der von der ersten und der zweiten Bilderfassungsvorrichtung (102 ) entfernt ist. - Verfahren zum Verfolgen eines Objekts, das von einem Kamerasystem (
100 ) erfasst wird, wobei das Verfahren umfasst: Erfassen von ersten und zweiten Bildern eines Blickfeldes des Kamerasystems (100 ); Detektieren eines ersten Objekts, das im ersten Bild erfasst wird, und eines zweiten Objekts, das im zweiten Bild erfasst wird; Erzeugen einer ersten Signatur des ersten Objekts und einer zweiten Signatur des zweiten Objekts, wobei die erste Signatur einen ersten Satz von Merkmalen des ersten Objekts darstellt und die zweite Signatur einen zweiten Satz von Merkmalen des zweiten Objekts darstellt; Erzeugen von Daten, die von der ersten und der zweiten Signatur abgeleitet sind, wobei die Daten einer ersten Teilmenge von Merkmalen, die aus dem ersten Satz ausgewählt sind, und einer zweiten Teilmenge von Merkmalen, die aus dem zweiten Satz ausgewählt sind, entsprechen, wobei ein Trainingsprozess die Merkmale des ersten und des zweiten Satzes, die für den Einschluss in die erste und die zweite Teilmenge ausgewählt werden sollen, automatisch bestimmt; und Analysieren der Daten, um festzustellen, ob das zweite Objekt ein Fall des ersten Objekts ist. - Verfahren nach Anspruch 40, das ferner das Feststellen, dass das zweite Objekt ein Fall des ersten Objekts ist, umfasst.
- Verfahren nach Anspruch 40, wobei die zweite Signatur in Echtzeit erzeugt wird.
- Verfahren nach Anspruch 40, wobei Teile der ersten und der zweiten Signatur kombiniert werden, um die Daten zu erzeugen.
- Verfahren nach Anspruch 43, wobei das Kamerasystem (
100 ) einen Übereinstimmungsklassifikator (218 ) umfasst und der Übereinstimmungsklassifikator (218 ) N Entscheidungsschritte (400 ) umfasst, die in einer Kaskadenkonfiguration konfiguriert sind, wobei jeder der N Entscheidungsschritte (400 ) eine oder mehrere Stufen (500 ) zum Analysieren von Teilen der Daten umfasst. - Verfahren nach Anspruch 44, wobei die erste Teilmenge von Merkmalen Aussehensmerkmale mit einem ersten Kantenorientierungshistogramm des ersten Objekts sind und die zweite Teilmenge von Merkmalen Aussehensmerkmale mit einem zweiten Kantenorientierungshistogramm des zweiten Objekts sind.
- Verfahren nach Anspruch 45, wobei eine Stufe (
500 ) einen Teil der Daten, die vom ersten und vom zweiten Kantenorientierungshistogramm abgeleitet sind, auf einen Skalarwert abbildet, der ein Maß der Ähnlichkeit darstellt. - Verfahren nach Anspruch 40, wobei die erste Signatur eine kumulative Signatur ist, die einen gewichteten Mittelwert von Einzelbildsignaturen darstellt, die von mehreren Bildern des ersten Objekts abgeleitet sind, wobei das Verfahren ferner umfasst: Aktualisieren der ersten Signatur des ersten Objekts, wenn das zweite Objekt ein Fall des ersten Objekts ist, wobei die zweite Signatur gewichtet und mit der kumulativen Signatur gemittelt wird.
- Verfahren nach Anspruch 40, wobei das Kamerasystem (
100 ) eine erste und eine zweite Bilderfassungsvorrichtung (102 ) umfasst, die in einen Netzwerk (108 ) miteinander verbunden sind, wobei die erste und die zweite Bilderfassungsvorrichtung (102 ) ein erstes Blickfeld bzw. ein zweites Blickfeld aufweisen, wobei das Blickfeld des Kamerasystems (100 ) dem ersten Blickfeld und dem zweiten Blickfeld in Kombination entspricht, wobei das erste Bild des ersten Objekts durch die zweite Bilderfassungsvorrichtung (102 ) erfasst wird und das zweite Bild des zweiten Objekts durch die erste Bilderfassungsvorrichtung (102 ) erfasst wird. - Verfahren nach Anspruch 48, wobei die zweite Bilderfassungsvorrichtung (
102 ) einen Übereinstimmungsklassifikator (218 ) zum Analysieren der Daten umfasst, wobei das Verfahren ferner umfasst: Übertragen der zweiten Signatur von der ersten Bilderfassungsvorrichtung (102 ) zur zweiten Bilderfassungsvorrichtung (102 ). - Verfahren nach Anspruch 48, wobei ein Prozessor, der von der ersten und der zweiten Bilderfassungsvorrichtung (
102 ) entfernt ist, einen Übereinstimmungsklassifikator (218 ) zum Analysieren der Daten umfasst, wobei das Verfahren ferner umfasst: Übertragen der ersten und der zweiten Signatur von der ersten bzw. der zweiten Bilderfassungsvorrichtung (102 ) zum Prozessor. - Verfahren zum Erzeugen von Indexelementen von Objekten in Bildern, die von einem Kamerasystem (
100 ) erfasst werden, wobei das Verfahren umfasst: Erfassen einer ersten Gruppe von mehreren Bildern eines Objekts in einem Blickfeld des Kamerasystems (100 ); Detektieren des Objekts in der ersten Gruppe von mehreren Bildern; Erzeugen eines ersten Satzes von Einzelbildsignaturen des Objekts, wobei die Einzelbildsignaturen des ersten Satzes Merkmalen des Objekts entsprechen, die von den mehreren Bildern der ersten Gruppe abgeleitet sind; Erzeugen einer ersten mittleren Signatur des Objekts, wobei die erste mittlere Signatur ein Mittelwert der Einzelbildsignaturen des ersten Satzes ist und die erste mittlere Signatur ein erstes Indexelement des Objekts ist; Erzeugen einer kumulativen Signatur des Objekts, wobei die kumulative Signatur ein gewichteter Mittelwert der Einzelbildsignaturen des ersten Satzes ist; Erfassen eines zweiten Bildes des Objekts; Detektieren des Objekts im zweiten Bild; Erzeugen einer zweiten Einzelbildsignatur, die vom zweiten Bild abgeleitet ist; Aktualisieren der kumulativen Signatur durch Gewichten der zweiten Einzelbildsignatur und Mitteln der gewichteten zweiten Einzelbildsignatur mit der kumulativen Signatur; und Feststellen, ob die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung angenommen oder abgelehnt werden sollen, wobei die erste mittlere Signatur auf der Basis der zweiten Einzelbildsignatur aktualisiert wird, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung angenommen werden, und eine zweite mittlere Signatur des Objekts auf der Basis der zweiten Einzelbildsignatur erzeugt wird, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung abgelehnt werden, wobei die zweite mittlere Signatur ein zweites Indexelement des Objekts ist. - Verfahren nach Anspruch 51, das ferner umfasst: Ablehnen der aktualisierten kumulativen Signatur und der ersten mittleren Signatur als Übereinstimmung; und Speichern des ersten und des zweiten Indexelements des Objekts in einer Datenbank (
112 ). - Verfahren nach Anspruch 52, wobei die erste mittlere Signatur eine erste Ansicht des Objekts darstellt und die zweite mittlere Signatur eine zweite Ansicht des Objekts darstellt.
- Verfahren zum Durchsuchen von Daten, um Bilder eines Objekts zu identifizieren, das von einem Kamerasystem (
100 ) erfasst wird, wobei das Verfahren umfasst: Erfassen eines ersten Objekts in einem Bild eines Blickfeldes des Kamerasystems (100 ), wobei das erste Objekt eine erste Signatur aufweist, die Merkmale des ersten Objekts darstellt; Anzeigen eines Bildes des ersten Objekts auf einer Anzeige (114 ); Annehmen einer Benutzereingabe, die eine Auswahl des ersten Objekts angibt; Durchführen von Bestimmungen hinsichtlich dessen, ob die erste Signatur mit einer oder mehreren Signaturen einer Gruppe übereinstimmt, die einem Satz von Objekten entsprechen, die in Bildern des Blickfeldes erfasst werden; und Senden einer Benachrichtigung, wenn eine zweite Signatur eines zweiten Objekts des Satzes mit der ersten Signatur übereinstimmt. - Verfahren nach Anspruch 54, wobei die Benachrichtigung das Anzeigen eines Bildes des zweiten Objekts auf der Anzeige (
114 ) umfasst. - Verfahren nach Anspruch 54, wobei das Kamerasystem (
100 ) eine erste und eine zweite Bilderfassungsvorrichtung (102 ) umfasst, die miteinander und mit der Anzeige (114 ) über ein Netzwerk (108 ) verbunden sind, wobei die erste und die zweite Bilderfassungsvorrichtung (102 ) ein erstes Blickfeld bzw. ein zweites Blickfeld aufweisen, wobei das Blickfeld des Kamerasystems (100 ) dem ersten Blickfeld und dem zweiten Blickfeld in Kombination entspricht, wobei das Bild des ersten Objekts durch die erste Bilderfassungsvorrichtung (102 ) erzeugt wird und die Bilder des zweiten Objekts durch die zweite Bilderfassungsvorrichtung (102 ) erfasst werden. - Verfahren nach Anspruch 54, wobei das erste Objekt eine schnelle Signatur umfasst, die eine vereinfachte Version der ersten Signatur darstellt, und die Objekte des Satzes schnelle Signaturen umfassen, die vereinfachte Versionen der Gruppe von Signaturen darstellen, wobei das Verfahren ferner umfasst: Vergleichen der schnellen Signatur des ersten Objekts mit den schnellen Signaturen der Objekte des Satzes vor dem Durchführen von Bestimmungen hinsichtlich dessen, ob die Signaturen der Gruppe mit der ersten Signatur übereinstimmen.
- Verfahren nach Anspruch 54, das ferner das Abrufen der Gruppe von Signaturen von einer Datenbank (
112 ) umfasst. - Kamerasystem (
100 ) mit: einer Bilderfassungsvorrichtung (102 ) mit einem Blickfeld, die Bilddaten erzeugt, die mehrere Bilder des Blickfeldes darstellen; einem Objektdetektionsmodul (204 ), das mit der Bilderfassungsvorrichtung (102 ) verbunden ist und die Bilddaten empfängt, wobei das Objektdetektionsmodul (204 ) betriebsfähig ist, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen; einer Benutzerschnittstelle (104 ), die mit der Bilderfassungsvorrichtung (102 ) verbunden ist, wobei die Benutzerschnittstelle (104 ) eine Anzeige (114 ) zum Anzeigen von Objekten, die vom Objektdetektionsmodul (204 ) detektiert werden, und eine Eingabevorrichtung (116 ), die betriebsfähig ist, um Objekte, die durch das Objektdetektionsmodul (204 ) detektiert werden, in Reaktion auf Benutzerbefehle auszuwählen, umfasst; einem Übereinstimmungsklassifikator (218 ), der betriebsfähig ist, um Objekte, die durch das Objektdetektionsmodul (204 ) detektiert werden, zu vergleichen; einem Objektverfolgungsmodul (206 ), das mit dem Übereinstimmungsklassifikator (218 ) und dem Objektdetektionsmodul (204 ) verbunden ist, wobei das Objektverfolgungsmodul (206 ) betriebsfähig ist, um Fälle von Objekten, die durch das Objektdetektionsmodul (204 ) detektiert werden, zeitlich zuzuordnen, wobei das Objektverfolgungsmodul (206 ) betriebsfähig ist, um den Übereinstimmungsklassifikator (218 ) heranzuziehen, um festzustellen, ob Fälle von Objekten zugeordnet werden sollen oder nicht; und einem Suchmodul (214 ), das mit dem Übereinstimmungsklassifikator (218 ) und der Benutzerschnittstelle (104 ) verbunden ist, wobei das Suchmodul (214 ) betriebsfähig ist, um gespeicherte Bilder von Objekten, die durch die Eingabevorrichtung (116 ) ausgewählt werden, abzurufen, wobei das Suchmodul (214 ) betriebsfähig ist, um den Übereinstimmungsklassifikator (218 ) heranzuziehen, um ein gespeichertes Bild eines ausgewählten Objekts aufzufinden. - Kamerasystem (
100 ) nach Anspruch 59, das ferner ein Objektindizierungsmodul (212 ) umfasst, das mit dem Übereinstimmungsklassifikator (218 ) und dem Objektdetektionsmodul (204 ) verbunden ist, wobei das Objektindizierungsmodul (212 ) betriebsfähig ist, um ein oder mehrere Indexelemente für Objekte zu erzeugen, die durch das Objektdetektionsmodul (204 ) detektiert werden, wobei das Objektindizierungsmodul (212 ) betriebsfähig ist, um den Übereinstimmungsklassifikator (218 ) heranzuziehen, um festzustellen, ob ein neues Indexelement für ein detektiertes Objekt erzeugt werden soll.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US3334908P | 2008-03-03 | 2008-03-03 | |
US3328408P | 2008-03-03 | 2008-03-03 | |
US61/033,349 | 2008-03-03 | ||
US61/033,284 | 2008-03-03 | ||
PCT/US2009/035915 WO2009111498A2 (en) | 2008-03-03 | 2009-03-03 | Object matching for tracking, indexing, and search |
Publications (1)
Publication Number | Publication Date |
---|---|
DE112009000485T5 true DE112009000485T5 (de) | 2011-03-17 |
Family
ID=41056612
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112009000480T Ceased DE112009000480T5 (de) | 2008-03-03 | 2009-03-03 | Dynamische Objektklassifikation |
DE112009000485T Pending DE112009000485T5 (de) | 2008-03-03 | 2009-03-03 | Objektvergleich für Verfolgung, Indizierung und Suche |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112009000480T Ceased DE112009000480T5 (de) | 2008-03-03 | 2009-03-03 | Dynamische Objektklassifikation |
Country Status (7)
Country | Link |
---|---|
US (14) | US8934709B2 (de) |
KR (3) | KR101607224B1 (de) |
CN (3) | CN101965576B (de) |
DE (2) | DE112009000480T5 (de) |
GB (6) | GB2491987B (de) |
TW (4) | TWI534719B (de) |
WO (2) | WO2009111499A2 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012107392B3 (de) * | 2012-08-13 | 2013-12-12 | Chui-Min Chiu | Rundum Sicherung für ein Kraftfahrzeug |
DE102012223121A1 (de) | 2012-12-13 | 2014-06-18 | Cassidian Optronics Gmbh | Verfahren zur Verfolgung wenigstens eines Objekts und Überwachungsvorrichtung |
Families Citing this family (610)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
US10271017B2 (en) | 2012-09-13 | 2019-04-23 | General Electric Company | System and method for generating an activity summary of a person |
US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
US10535192B2 (en) | 2005-10-26 | 2020-01-14 | Cortica Ltd. | System and method for generating a customized augmented reality environment to a user |
US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
US9489431B2 (en) | 2005-10-26 | 2016-11-08 | Cortica, Ltd. | System and method for distributed search-by-content |
US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
US10360253B2 (en) | 2005-10-26 | 2019-07-23 | Cortica, Ltd. | Systems and methods for generation of searchable structures respective of multimedia data content |
US8266185B2 (en) | 2005-10-26 | 2012-09-11 | Cortica Ltd. | System and methods thereof for generation of searchable structures respective of multimedia data content |
US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
US9466068B2 (en) | 2005-10-26 | 2016-10-11 | Cortica, Ltd. | System and method for determining a pupillary response to a multimedia data element |
US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
US9191626B2 (en) | 2005-10-26 | 2015-11-17 | Cortica, Ltd. | System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto |
US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
US9477658B2 (en) | 2005-10-26 | 2016-10-25 | Cortica, Ltd. | Systems and method for speech to speech translation using cores of a natural liquid architecture system |
US9529984B2 (en) | 2005-10-26 | 2016-12-27 | Cortica, Ltd. | System and method for verification of user identification based on multimedia content elements |
US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
US10698939B2 (en) | 2005-10-26 | 2020-06-30 | Cortica Ltd | System and method for customizing images |
US9953032B2 (en) | 2005-10-26 | 2018-04-24 | Cortica, Ltd. | System and method for characterization of multimedia content signals using cores of a natural liquid architecture system |
US10635640B2 (en) | 2005-10-26 | 2020-04-28 | Cortica, Ltd. | System and method for enriching a concept database |
US9767143B2 (en) | 2005-10-26 | 2017-09-19 | Cortica, Ltd. | System and method for caching of concept structures |
US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
US11620327B2 (en) | 2005-10-26 | 2023-04-04 | Cortica Ltd | System and method for determining a contextual insight and generating an interface with recommendations based thereon |
US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
US10191976B2 (en) | 2005-10-26 | 2019-01-29 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
US10380164B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for using on-image gestures and multimedia content elements as search queries |
US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
US20140093844A1 (en) * | 2005-10-26 | 2014-04-03 | Cortica, Ltd. | Method for identification of food ingredients in multimedia content |
US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US9558449B2 (en) | 2005-10-26 | 2017-01-31 | Cortica, Ltd. | System and method for identifying a target area in a multimedia content element |
US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
US8312031B2 (en) | 2005-10-26 | 2012-11-13 | Cortica Ltd. | System and method for generation of complex signatures for multimedia data content |
US9031999B2 (en) | 2005-10-26 | 2015-05-12 | Cortica, Ltd. | System and methods for generation of a concept based database |
US9639532B2 (en) | 2005-10-26 | 2017-05-02 | Cortica, Ltd. | Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts |
US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US20160321253A1 (en) | 2005-10-26 | 2016-11-03 | Cortica, Ltd. | System and method for providing recommendations based on user profiles |
CN101443789B (zh) | 2006-04-17 | 2011-12-28 | 实物视频影像公司 | 使用统计像素建模的视频分割 |
US10733326B2 (en) | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
GB2491987B (en) | 2008-03-03 | 2013-03-27 | Videoiq Inc | Method of searching data for objects identified by object detection |
JP5141317B2 (ja) * | 2008-03-14 | 2013-02-13 | オムロン株式会社 | 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器 |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
EP4336447A1 (de) | 2008-05-20 | 2024-03-13 | FotoNation Limited | Aufnahme und verarbeitung von bildern mittels monolithischer kamera anordnung mit heterogenem bildwandler |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
EP2288520B1 (de) * | 2008-06-25 | 2014-09-24 | Autoliv Development AB | Vorrichtung zum erfassen von objekten in der nähe eines fahrzeugs |
US8855360B2 (en) * | 2008-07-23 | 2014-10-07 | Qualcomm Technologies, Inc. | System and method for face tracking |
US9633275B2 (en) | 2008-09-11 | 2017-04-25 | Wesley Kenneth Cobb | Pixel-level based micro-feature extraction |
US8433175B2 (en) * | 2008-10-28 | 2013-04-30 | Yahoo! Inc. | Video comparing using fingerprint representations |
US8004576B2 (en) * | 2008-10-31 | 2011-08-23 | Digimarc Corporation | Histogram methods and systems for object recognition |
JP5279517B2 (ja) * | 2009-01-09 | 2013-09-04 | キヤノン株式会社 | 物体検知装置及び物体検知方法 |
DE102009000173A1 (de) * | 2009-01-13 | 2010-07-15 | Robert Bosch Gmbh | Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm |
US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
US8494909B2 (en) | 2009-02-09 | 2013-07-23 | Datalogic ADC, Inc. | Automatic learning in a merchandise checkout system with visual recognition |
US20100306067A1 (en) * | 2009-05-30 | 2010-12-02 | Richard Hui | Automated sell system |
TWI401473B (zh) * | 2009-06-12 | 2013-07-11 | Chung Shan Inst Of Science | 影像式夜間行人偵測系統及方法 |
US20120189204A1 (en) * | 2009-09-29 | 2012-07-26 | Johnson Brian D | Linking Disparate Content Sources |
WO2011041904A1 (en) | 2009-10-07 | 2011-04-14 | Telewatch Inc. | Video analytics method and system |
WO2011041903A1 (en) | 2009-10-07 | 2011-04-14 | Telewatch Inc. | Video analytics with pre-processing at the source end |
US9712498B2 (en) | 2009-10-14 | 2017-07-18 | Trice Imaging, Inc. | Systems and devices for encrypting, converting and interacting with medical images |
US11948678B2 (en) * | 2009-10-14 | 2024-04-02 | Trice Imaging, Inc. | Systems and devices for encrypting, converting and interacting with medical images |
US11206245B2 (en) * | 2009-10-14 | 2021-12-21 | Trice Imaging, Inc. | Systems and devices for encrypting, converting and interacting with medical images |
US9087080B2 (en) | 2009-10-14 | 2015-07-21 | Trice Imaging, Inc. | Systems and methods for converting and delivering medical images to mobile devices and remote communications systems |
US11462314B2 (en) | 2009-10-14 | 2022-10-04 | Trice Imaging, Inc. | Systems and devices for encrypting, converting and interacting with medical images |
JP5385752B2 (ja) * | 2009-10-20 | 2014-01-08 | キヤノン株式会社 | 画像認識装置、その処理方法及びプログラム |
CN102483763B (zh) * | 2009-11-04 | 2013-09-25 | 松下电器产业株式会社 | 信息分类装置、信息分类方法及其程序 |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
AU2009243528B2 (en) * | 2009-12-04 | 2013-08-01 | Canon Kabushiki Kaisha | Location-based signature selection for multi-camera object tracking |
DE102009055127A1 (de) * | 2009-12-22 | 2011-06-30 | Robert Bosch GmbH, 70469 | Vorrichtung und Verfahren zum Überwachen von Videoobjekten |
US20110182497A1 (en) * | 2010-01-22 | 2011-07-28 | Aricent Inc. | Cascade structure for classifying objects in an image |
MX2012009579A (es) * | 2010-02-19 | 2012-10-01 | Toshiba Kk | Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento. |
US9082278B2 (en) * | 2010-03-19 | 2015-07-14 | University-Industry Cooperation Group Of Kyung Hee University | Surveillance system |
TW201136315A (en) * | 2010-04-13 | 2011-10-16 | Hon Hai Prec Ind Co Ltd | Monitoring system and method |
US8909950B1 (en) | 2010-04-18 | 2014-12-09 | Aptima, Inc. | Systems and methods of power management |
US20110264530A1 (en) | 2010-04-23 | 2011-10-27 | Bryan Santangelo | Apparatus and methods for dynamic secondary content and data insertion and delivery |
US9143739B2 (en) | 2010-05-07 | 2015-09-22 | Iwatchlife, Inc. | Video analytics with burst-like transmission of video data |
JP5848754B2 (ja) | 2010-05-12 | 2016-01-27 | ペリカン イメージング コーポレイション | 撮像装置アレイおよびアレイカメラのためのアーキテクチャ |
US9135514B2 (en) * | 2010-05-21 | 2015-09-15 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
NL2004829C2 (en) * | 2010-06-07 | 2011-12-08 | Univ Amsterdam | Method for automated categorization of human face images based on facial traits. |
TW201206192A (en) * | 2010-07-23 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Detection device and method |
US9020216B2 (en) | 2010-07-28 | 2015-04-28 | Varian Medical Systems, Inc. | Knowledge-based automatic image segmentation |
US8780162B2 (en) | 2010-08-04 | 2014-07-15 | Iwatchlife Inc. | Method and system for locating an individual |
US8860771B2 (en) | 2010-08-04 | 2014-10-14 | Iwatchlife, Inc. | Method and system for making video calls |
CA2748059A1 (en) | 2010-08-04 | 2012-02-04 | Iwatchlife Inc. | Method and system for initiating communication via a communication network |
US8781152B2 (en) | 2010-08-05 | 2014-07-15 | Brian Momeyer | Identifying visual media content captured by camera-enabled mobile device |
US8615105B1 (en) * | 2010-08-31 | 2013-12-24 | The Boeing Company | Object tracking system |
US20120057629A1 (en) * | 2010-09-02 | 2012-03-08 | Fang Shi | Rho-domain Metrics |
US10645344B2 (en) | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
US9177259B1 (en) * | 2010-11-29 | 2015-11-03 | Aptima Inc. | Systems and methods for recognizing and reacting to spatiotemporal patterns |
US8498444B2 (en) | 2010-12-13 | 2013-07-30 | Texas Instruments Incorporated | Blob representation in video processing |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US9615064B2 (en) | 2010-12-30 | 2017-04-04 | Pelco, Inc. | Tracking moving objects using a camera network |
US9268996B1 (en) | 2011-01-20 | 2016-02-23 | Verint Systems Inc. | Evaluation of models generated from objects in video |
CN102622366B (zh) * | 2011-01-28 | 2014-07-30 | 阿里巴巴集团控股有限公司 | 相似图像的识别方法和装置 |
US8675953B1 (en) * | 2011-02-02 | 2014-03-18 | Intuit Inc. | Calculating an object size using images |
US8737688B2 (en) | 2011-02-10 | 2014-05-27 | William A. Murphy | Targeted content acquisition using image analysis |
US8600172B2 (en) | 2011-03-16 | 2013-12-03 | Sensormatic Electronics, LLC | Video based matching and tracking by analyzing one or more image abstractions |
US9785835B2 (en) * | 2011-03-22 | 2017-10-10 | Rochester Institute Of Technology | Methods for assisting with object recognition in image sequences and devices thereof |
EP2689362A1 (de) * | 2011-03-23 | 2014-01-29 | Hologic, Inc. | Verfahren zum automatischen platzieren von zuvor klassifizierten bildern unter bildern von zielobjekten einer probe |
US8724890B2 (en) * | 2011-04-06 | 2014-05-13 | GM Global Technology Operations LLC | Vision-based object detection by part-based feature synthesis |
US8588534B2 (en) | 2011-05-06 | 2013-11-19 | Microsoft Corporation | Staged element classification |
EP2708019B1 (de) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systeme und verfahren zum senden und empfangen von arraykamera-bilddaten |
CN102831385B (zh) * | 2011-06-13 | 2017-03-01 | 索尼公司 | 多相机监控网络中的目标识别设备和方法 |
DE102011105356A1 (de) * | 2011-06-22 | 2012-12-27 | Audi Ag | Verfahren zur Auslösung wenigstens einer irreversiblen Rückhalteeinrichtung eines Kraftfahrzeugs |
US20120328184A1 (en) * | 2011-06-22 | 2012-12-27 | Feng Tang | Optically characterizing objects |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US8799201B2 (en) * | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
JP5848551B2 (ja) * | 2011-08-26 | 2016-01-27 | キヤノン株式会社 | 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム |
US9367770B2 (en) | 2011-08-30 | 2016-06-14 | Digimarc Corporation | Methods and arrangements for identifying objects |
US11288472B2 (en) | 2011-08-30 | 2022-03-29 | Digimarc Corporation | Cart-based shopping arrangements employing probabilistic item identification |
US10474858B2 (en) | 2011-08-30 | 2019-11-12 | Digimarc Corporation | Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
US8917913B2 (en) * | 2011-09-22 | 2014-12-23 | International Business Machines Corporation | Searching with face recognition and social networking profiles |
KR101175597B1 (ko) * | 2011-09-27 | 2012-08-21 | (주)올라웍스 | 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 |
IN2014CN02708A (de) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
US20130085893A1 (en) | 2011-09-30 | 2013-04-04 | Ebay Inc. | Acquisition and use of query images with image feature data |
US9977987B2 (en) * | 2011-10-03 | 2018-05-22 | Hewlett-Packard Development Company, L.P. | Region selection for counterfeit determinations |
KR101668930B1 (ko) * | 2011-11-14 | 2016-10-24 | 인텔 코포레이션 | 비디오 분석 인코딩 |
EP2600109A3 (de) * | 2011-11-30 | 2015-03-25 | Sony Ericsson Mobile Communications AB | Verfahren zur Kalibrierung einer Sensoreinheit und diese umfassendes Zubehörteil |
US9342735B2 (en) | 2011-12-01 | 2016-05-17 | Finding Rover, Inc. | Facial recognition lost pet identifying system |
FR2983607B1 (fr) * | 2011-12-02 | 2014-01-17 | Morpho | Procede et dispositif de suivi d'un objet dans une sequence d'au moins deux images |
US8891907B2 (en) | 2011-12-06 | 2014-11-18 | Google Inc. | System and method of identifying visual objects |
EP2788839A4 (de) * | 2011-12-06 | 2015-12-16 | Thomson Licensing | Verfahren und system zum antworten auf benutzergesten zur auswahl von in drei dimensionen angezeigten objekten |
US10095954B1 (en) * | 2012-01-17 | 2018-10-09 | Verint Systems Ltd. | Trajectory matching across disjointed video views |
US9898682B1 (en) | 2012-01-22 | 2018-02-20 | Sr2 Group, Llc | System and method for tracking coherently structured feature dynamically defined within migratory medium |
US9917739B2 (en) | 2012-02-20 | 2018-03-13 | Aptima, Inc. | Systems and methods for network pattern matching |
EP2817955B1 (de) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systeme und verfahren zur manipulation von bilddaten aus einem erfassten lichtfeld |
US8798325B2 (en) * | 2012-02-21 | 2014-08-05 | Xerox Corporation | Efficient and fault tolerant license plate matching method |
US8737745B2 (en) | 2012-03-27 | 2014-05-27 | The Nielsen Company (Us), Llc | Scene-based people metering for audience measurement |
US9185456B2 (en) * | 2012-03-27 | 2015-11-10 | The Nielsen Company (Us), Llc | Hybrid active and passive people metering for audience measurement |
TWI479431B (zh) * | 2012-04-03 | 2015-04-01 | Univ Chung Hua | 物件追蹤方法 |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
US9374399B1 (en) | 2012-05-22 | 2016-06-21 | Google Inc. | Social group suggestions within a social network |
US8688782B1 (en) * | 2012-05-22 | 2014-04-01 | Google Inc. | Social group suggestions within a social network |
JP2015534734A (ja) | 2012-06-28 | 2015-12-03 | ペリカン イメージング コーポレイション | 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
US9449259B1 (en) * | 2012-07-25 | 2016-09-20 | Hrl Laboratories, Llc | Opportunistic cascade and cascade training, evaluation, and execution for vision-based object detection |
US10368010B2 (en) * | 2012-07-31 | 2019-07-30 | Nec Corporation | Image processing system, image processing method, and program |
CA2822217A1 (en) | 2012-08-02 | 2014-02-02 | Iwatchlife Inc. | Method and system for anonymous video analytics processing |
US9443414B2 (en) | 2012-08-07 | 2016-09-13 | Microsoft Technology Licensing, Llc | Object tracking |
SG11201500910RA (en) | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US9471838B2 (en) | 2012-09-05 | 2016-10-18 | Motorola Solutions, Inc. | Method, apparatus and system for performing facial recognition |
US9081466B2 (en) | 2012-09-10 | 2015-07-14 | Sap Se | Dynamic chart control that triggers dynamic contextual actions |
US10783584B1 (en) | 2012-09-10 | 2020-09-22 | Allstate Insurance Company | Recommendation of insurance products based on an inventory analysis |
BR112015005258A2 (pt) * | 2012-09-13 | 2017-07-04 | Nec Corp | sistema de processamento de imagem, método de processamento de imagem e programa |
US9256807B1 (en) * | 2012-09-27 | 2016-02-09 | Google Inc. | Generating labeled images |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
JP2014071832A (ja) * | 2012-10-01 | 2014-04-21 | Toshiba Corp | 物体検出装置及びその検出方法 |
US20140098991A1 (en) * | 2012-10-10 | 2014-04-10 | PixArt Imaging Incorporation, R.O.C. | Game doll recognition system, recognition method and game system using the same |
US9727586B2 (en) * | 2012-10-10 | 2017-08-08 | Samsung Electronics Co., Ltd. | Incremental visual query processing with holistic feature feedback |
US9224184B2 (en) | 2012-10-21 | 2015-12-29 | Digimarc Corporation | Methods and arrangements for identifying objects |
US9489635B1 (en) * | 2012-11-01 | 2016-11-08 | Google Inc. | Methods and systems for vehicle perception feedback to classify data representative of types of objects and to request feedback regarding such classifications |
JP5936993B2 (ja) | 2012-11-08 | 2016-06-22 | 東芝テック株式会社 | 商品認識装置及び商品認識プログラム |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9197861B2 (en) | 2012-11-15 | 2015-11-24 | Avo Usa Holding 2 Corporation | Multi-dimensional virtual beam detection for video analytics |
US10009579B2 (en) | 2012-11-21 | 2018-06-26 | Pelco, Inc. | Method and system for counting people using depth sensor |
US9367733B2 (en) | 2012-11-21 | 2016-06-14 | Pelco, Inc. | Method and apparatus for detecting people by a surveillance system |
US10509963B2 (en) | 2012-12-20 | 2019-12-17 | Microsoft Technology Licensing, Llc | Discovering authoritative images of people entities |
US8867789B2 (en) * | 2013-01-14 | 2014-10-21 | Cyberlink Corp. | Systems and methods for tracking an object in a video |
KR20140092211A (ko) * | 2013-01-15 | 2014-07-23 | 삼성전자주식회사 | 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 |
US8874471B2 (en) * | 2013-01-29 | 2014-10-28 | Wal-Mart Stores, Inc. | Retail loss prevention using biometric data |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
US10546204B1 (en) | 2013-03-05 | 2020-01-28 | Amazon Technologies, Inc. | Item information discovery with a wearable device |
WO2014138695A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for measuring scene information while capturing images using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
IN2013CH01043A (de) * | 2013-03-12 | 2015-08-14 | Yahoo Inc | |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
EP2973476A4 (de) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systeme und verfahren zur stereobildgebung mit kameraarrays |
US9762865B2 (en) | 2013-03-15 | 2017-09-12 | James Carey | Video identification and analytical recognition system |
US11743431B2 (en) | 2013-03-15 | 2023-08-29 | James Carey | Video identification and analytical recognition system |
US11039108B2 (en) | 2013-03-15 | 2021-06-15 | James Carey | Video identification and analytical recognition system |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9639747B2 (en) * | 2013-03-15 | 2017-05-02 | Pelco, Inc. | Online learning method for people detection and counting for retail stores |
US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
JP6273685B2 (ja) * | 2013-03-27 | 2018-02-07 | パナソニックIpマネジメント株式会社 | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 |
US20140317078A1 (en) * | 2013-04-18 | 2014-10-23 | SkillPages Holdings Limited | Method and system for retrieving information |
CA3056190A1 (en) | 2013-04-19 | 2014-10-19 | James Carey | Video identification and analytical recognition system |
US9471849B2 (en) * | 2013-05-05 | 2016-10-18 | Qognify Ltd. | System and method for suspect search |
CA2815161A1 (en) | 2013-05-06 | 2014-11-06 | Hydro-Quebec | Quantitative analysis of signal related measurements for trending and pattern recognition |
US10949804B2 (en) | 2013-05-24 | 2021-03-16 | Amazon Technologies, Inc. | Tote based item tracking |
US10984372B2 (en) | 2013-05-24 | 2021-04-20 | Amazon Technologies, Inc. | Inventory transitions |
US10860976B2 (en) | 2013-05-24 | 2020-12-08 | Amazon Technologies, Inc. | Inventory tracking |
US9542585B2 (en) * | 2013-06-06 | 2017-01-10 | Apple Inc. | Efficient machine-readable object detection and tracking |
US10176456B2 (en) | 2013-06-26 | 2019-01-08 | Amazon Technologies, Inc. | Transitioning items from a materials handling facility |
US10176513B1 (en) * | 2013-06-26 | 2019-01-08 | Amazon Technologies, Inc. | Using gestures and expressions to assist users |
US10268983B2 (en) * | 2013-06-26 | 2019-04-23 | Amazon Technologies, Inc. | Detecting item interaction and movement |
US10296814B1 (en) | 2013-06-27 | 2019-05-21 | Amazon Technologies, Inc. | Automated and periodic updating of item images data store |
WO2015017796A2 (en) | 2013-08-02 | 2015-02-05 | Digimarc Corporation | Learning systems and methods |
US10353982B1 (en) | 2013-08-13 | 2019-07-16 | Amazon Technologies, Inc. | Disambiguating between users |
WO2015026874A1 (en) | 2013-08-19 | 2015-02-26 | Nant Holdings Ip, Llc | Metric based recognition, systems and methods |
US9454827B2 (en) | 2013-08-27 | 2016-09-27 | Qualcomm Incorporated | Systems, devices and methods for tracking objects on a display |
JP6253311B2 (ja) * | 2013-08-28 | 2017-12-27 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10366306B1 (en) | 2013-09-19 | 2019-07-30 | Amazon Technologies, Inc. | Item identification among item variations |
US10515309B1 (en) | 2013-09-20 | 2019-12-24 | Amazon Technologies, Inc. | Weight based assistance determination |
US10664795B1 (en) | 2013-09-20 | 2020-05-26 | Amazon Technologies, Inc. | Weight based item tracking |
US10796358B1 (en) | 2013-09-24 | 2020-10-06 | Amazon Technologies, Inc. | Identifying companion gestures and behavior |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
KR102126868B1 (ko) * | 2013-11-15 | 2020-06-25 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
US11615460B1 (en) | 2013-11-26 | 2023-03-28 | Amazon Technologies, Inc. | User path development |
US10438259B1 (en) | 2013-12-09 | 2019-10-08 | Amazon Technologies, Inc. | Propagating and presenting user specific information |
US10510109B1 (en) | 2013-12-09 | 2019-12-17 | Amazon Technologies, Inc. | Controlling routing of output information to output devices |
US10319021B1 (en) | 2013-12-17 | 2019-06-11 | Amazon Technologies, Inc. | Notifying users of item expiration |
US10322881B1 (en) | 2013-12-17 | 2019-06-18 | Amazon Technologies, Inc. | Notifying users to provide picked items to a drop off location for processing |
EP2887258A1 (de) * | 2013-12-18 | 2015-06-24 | Microsoft Technology Licensing, LLC | Objektverfolgung |
US10929661B1 (en) * | 2013-12-19 | 2021-02-23 | Amazon Technologies, Inc. | System for user identification |
US9778817B2 (en) | 2013-12-31 | 2017-10-03 | Findo, Inc. | Tagging of images based on social network tags or comments |
US8886387B1 (en) | 2014-01-07 | 2014-11-11 | Google Inc. | Estimating multi-vehicle motion characteristics by finding stable reference points |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
KR102213867B1 (ko) * | 2014-03-12 | 2021-02-08 | 에스케이플래닛 주식회사 | 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
US20150262236A1 (en) | 2014-03-13 | 2015-09-17 | Ebay Inc. | Follow-up messages after in-store shopping |
TWI505113B (zh) * | 2014-03-18 | 2015-10-21 | Vivotek Inc | 監視系統及其影像搜尋方法 |
US10657411B1 (en) | 2014-03-25 | 2020-05-19 | Amazon Technologies, Inc. | Item identification |
US10713614B1 (en) | 2014-03-25 | 2020-07-14 | Amazon Technologies, Inc. | Weight and vision based item tracking |
US10040628B1 (en) | 2014-03-25 | 2018-08-07 | Amazon Technologies, Inc. | Item replacement assistance |
US10332183B1 (en) | 2014-03-28 | 2019-06-25 | Amazon Technologies, Inc. | Fulfilling items to users |
US10163149B1 (en) | 2014-03-28 | 2018-12-25 | Amazon Technologies, Inc. | Providing item pick and place information to a user |
EP2933753A1 (de) | 2014-04-14 | 2015-10-21 | Sequeris | Verfahren und Vorrichtung zur Steuerung der von einem IT-System ausgeführten Aktionen |
US9412048B2 (en) | 2014-04-21 | 2016-08-09 | Haier Us Appliance Solutions, Inc. | Systems and methods for cookware detection |
US9449220B2 (en) * | 2014-04-21 | 2016-09-20 | Haier Us Appliance Solutions, Inc. | Systems and methods for cookware detection |
US9509960B2 (en) * | 2014-05-08 | 2016-11-29 | Verizon Patent And Licensing Inc. | Vehicle anomaly detection and reporting |
US20150339324A1 (en) * | 2014-05-20 | 2015-11-26 | Road Warriors International, Inc. | System and Method for Imagery Warehousing and Collaborative Search Processing |
US10140483B1 (en) | 2014-06-17 | 2018-11-27 | Amazon Technologies, Inc. | Antenna embedded inventory shelf |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
US10410170B1 (en) | 2014-06-18 | 2019-09-10 | Amazon Technologies, Inc. | Propagating and expiring presentation information |
US10303133B1 (en) | 2014-06-23 | 2019-05-28 | Amazon Technologies, Inc. | Presenting predicted items to users |
US10339493B1 (en) | 2014-06-24 | 2019-07-02 | Amazon Technologies, Inc. | Associating users with totes |
US11030541B1 (en) * | 2014-06-24 | 2021-06-08 | Amazon Technologies, Inc. | Proactive resolution of event information |
US10242393B1 (en) | 2014-06-24 | 2019-03-26 | Amazon Technologies, Inc. | Determine an item and user action in a materials handling facility |
US9836655B2 (en) * | 2014-06-24 | 2017-12-05 | Nec Corporation | Information processing apparatus, information processing method, and computer-readable medium |
US9501915B1 (en) | 2014-07-07 | 2016-11-22 | Google Inc. | Systems and methods for analyzing a video stream |
US10140827B2 (en) | 2014-07-07 | 2018-11-27 | Google Llc | Method and system for processing motion event notifications |
US9420331B2 (en) | 2014-07-07 | 2016-08-16 | Google Inc. | Method and system for categorizing detected motion events |
CN105323572A (zh) * | 2014-07-10 | 2016-02-10 | 坦亿有限公司 | 立体影像处理系统、装置与方法 |
JPWO2016016984A1 (ja) * | 2014-07-31 | 2017-06-01 | 日立マクセル株式会社 | 撮像装置およびその被写体追尾方法 |
US10176449B1 (en) | 2014-08-08 | 2019-01-08 | Amazon Technologies, Inc. | Timeout durations for radio frequency identification tags |
US10769579B1 (en) | 2014-09-08 | 2020-09-08 | Amazon Technologies, Inc. | Tote association |
US10268984B1 (en) | 2014-09-29 | 2019-04-23 | Amazon Technologies, Inc. | Inventory item release locations |
EP3467776A1 (de) | 2014-09-29 | 2019-04-10 | Fotonation Cayman Limited | Systeme und verfahren zur dynamischen kalibrierung von array-kameras |
US11851279B1 (en) | 2014-09-30 | 2023-12-26 | Amazon Technologies, Inc. | Determining trends from materials handling facility information |
USD782495S1 (en) | 2014-10-07 | 2017-03-28 | Google Inc. | Display screen or portion thereof with graphical user interface |
US10217223B2 (en) | 2014-10-28 | 2019-02-26 | Hewlett-Packard Development Company, L.P. | Image data segmentation |
DE102014221888A1 (de) * | 2014-10-28 | 2016-04-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld |
US10643174B1 (en) * | 2014-12-11 | 2020-05-05 | Amazon Technologies, Inc. | Dynamic item facing |
US9928708B2 (en) | 2014-12-12 | 2018-03-27 | Hawxeye, Inc. | Real-time video analysis for security surveillance |
JP6417917B2 (ja) * | 2014-12-15 | 2018-11-07 | カシオ計算機株式会社 | 商品登録装置、緊急通報方法及び緊急通報装置 |
US9791541B2 (en) * | 2014-12-19 | 2017-10-17 | The Boeing Company | System and method to improve object tracking using multiple tracking systems |
US9940726B2 (en) * | 2014-12-19 | 2018-04-10 | The Boeing Company | System and method to improve object tracking using tracking fingerprints |
US9996818B1 (en) | 2014-12-19 | 2018-06-12 | Amazon Technologies, Inc. | Counting inventory items using image analysis and depth information |
US10671856B1 (en) | 2014-12-19 | 2020-06-02 | Amazon Technologies, Inc. | Detecting item actions and inventory changes at an inventory location |
US10169677B1 (en) | 2014-12-19 | 2019-01-01 | Amazon Technologies, Inc. | Counting stacked inventory using image analysis |
US10169660B1 (en) | 2014-12-19 | 2019-01-01 | Amazon Technologies, Inc. | Counting inventory items using image analysis |
US10552750B1 (en) | 2014-12-23 | 2020-02-04 | Amazon Technologies, Inc. | Disambiguating between multiple users |
US10475185B1 (en) | 2014-12-23 | 2019-11-12 | Amazon Technologies, Inc. | Associating a user with an event |
US10438277B1 (en) | 2014-12-23 | 2019-10-08 | Amazon Technologies, Inc. | Determining an item involved in an event |
US10134004B1 (en) | 2014-12-23 | 2018-11-20 | Amazon Technologies, Inc. | Processing image data from a camera cluster |
US10291862B1 (en) | 2014-12-23 | 2019-05-14 | Amazon Technologies, Inc. | Camera hierarchy for monitoring large facilities |
US10108157B1 (en) | 2014-12-23 | 2018-10-23 | Amazon Technologies, Inc. | Reducing power consumption and data transmission |
US10696454B1 (en) | 2014-12-26 | 2020-06-30 | Amazon Technologies, Inc. | Combination carrying device |
CN104537359B (zh) * | 2015-01-15 | 2019-02-15 | 浙江宇视科技有限公司 | 一种车辆目标检测方法及装置 |
KR102366522B1 (ko) * | 2015-02-09 | 2022-02-23 | 한화테크윈 주식회사 | 물체 검출 방법 및 이 방법을 채용한 감시 시스템 |
WO2016144741A1 (en) | 2015-03-06 | 2016-09-15 | Illinois Tool Works Inc. | Sensor assisted head mounted displays for welding |
EP3268949B1 (de) | 2015-03-09 | 2021-05-26 | Illinois Tool Works Inc. | Verfahren und vorrichtung zur bereitstellung visueller informationen in zusammenhang mit schweissvorgängen |
US10210464B2 (en) * | 2015-03-11 | 2019-02-19 | Qualcomm Incorporated | Online training for object recognition system |
WO2016146847A1 (en) * | 2015-03-19 | 2016-09-22 | Idaso Limited | A method of analysing a multimedia file |
US11523090B2 (en) * | 2015-03-23 | 2022-12-06 | The Chamberlain Group Llc | Motion data extraction and vectorization |
US10810539B1 (en) * | 2015-03-25 | 2020-10-20 | Amazon Technologies, Inc. | Re-establishing tracking of a user within a materials handling facility |
US10679177B1 (en) | 2015-03-25 | 2020-06-09 | Amazon Technologies, Inc. | Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility |
US10586203B1 (en) | 2015-03-25 | 2020-03-10 | Amazon Technologies, Inc. | Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility |
US11205270B1 (en) | 2015-03-25 | 2021-12-21 | Amazon Technologies, Inc. | Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility |
US9977242B2 (en) | 2015-03-26 | 2018-05-22 | Illinois Tool Works Inc. | Control of mediated reality welding system based on lighting conditions |
US9666160B2 (en) * | 2015-03-26 | 2017-05-30 | Illinois Tool Works Inc. | Control of mediated reality welding system based on lighting conditions |
US10853757B1 (en) | 2015-04-06 | 2020-12-01 | Position Imaging, Inc. | Video for real-time confirmation in package tracking systems |
US11416805B1 (en) | 2015-04-06 | 2022-08-16 | Position Imaging, Inc. | Light-based guidance for package tracking systems |
US11501244B1 (en) | 2015-04-06 | 2022-11-15 | Position Imaging, Inc. | Package tracking systems and methods |
US9501707B2 (en) * | 2015-04-16 | 2016-11-22 | Xerox Corporation | Method and system for bootstrapping an OCR engine for license plate recognition |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
US10043078B2 (en) * | 2015-04-21 | 2018-08-07 | Placemeter LLC | Virtual turnstile system and method |
US20160335432A1 (en) * | 2015-05-17 | 2016-11-17 | Bitdefender IPR Management Ltd. | Cascading Classifiers For Computer Security Applications |
US10552933B1 (en) | 2015-05-20 | 2020-02-04 | Digimarc Corporation | Image processing methods and arrangements useful in automated store shelf inspections |
US10007849B2 (en) * | 2015-05-29 | 2018-06-26 | Accenture Global Solutions Limited | Predicting external events from digital video content |
US9361011B1 (en) | 2015-06-14 | 2016-06-07 | Google Inc. | Methods and systems for presenting multiple live video feeds in a user interface |
US9870620B2 (en) | 2015-06-18 | 2018-01-16 | The Johns Hopkins University | Non-linear associator and motion discriminator |
US10891736B1 (en) | 2015-06-23 | 2021-01-12 | Amazon Technologies, Inc. | Associating an agent with an event using motion analysis |
US10388019B1 (en) | 2015-06-23 | 2019-08-20 | Amazon Technologies, Inc. | Associating an agent with an event based on multiple inputs |
US10363632B2 (en) | 2015-06-24 | 2019-07-30 | Illinois Tool Works Inc. | Time of flight camera for welding machine vision |
US10787187B1 (en) | 2015-06-26 | 2020-09-29 | Amazon Technologies, Inc. | Self-bagging carts |
CN104994296A (zh) * | 2015-07-02 | 2015-10-21 | 安徽状元郎电子科技有限公司 | 一种教师自动跟踪摄像系统 |
US9911290B1 (en) | 2015-07-25 | 2018-03-06 | Gary M. Zalewski | Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts |
CA2994712A1 (en) * | 2015-08-04 | 2017-02-09 | James Carey | Video identification and analytical recognition system |
EP3133455B1 (de) * | 2015-08-17 | 2021-04-14 | Honda Research Institute Europe GmbH | Vorrichtung zum autonomen oder teilweise autonomen fahren eines fahrzeugs mit einem kommunikationsmodul zum erhalt zusätzlicher daten von einem fahrzeugfahrer und entsprechendes verfahren |
CN105187785B (zh) * | 2015-08-31 | 2018-05-11 | 桂林电子科技大学 | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 |
US9817471B2 (en) * | 2015-09-04 | 2017-11-14 | Panasonic Intellectual Property Corporation Of America | Method for adding information and server apparatus |
US10616465B2 (en) * | 2015-09-16 | 2020-04-07 | Microsoft Technology Licensing, Llc | Bandwidth efficient video surveillance system |
US10592742B1 (en) | 2015-09-28 | 2020-03-17 | Amazon Technologies, Inc. | Agent re-identification |
US10089505B1 (en) | 2015-09-29 | 2018-10-02 | Amazon Technologies, Inc. | Inventory tracking using RFID |
US10262172B1 (en) | 2015-09-29 | 2019-04-16 | Amazon Technologies, Inc. | Inventory tracking using RFID |
US10037449B1 (en) | 2015-09-29 | 2018-07-31 | Amazon Technologies, Inc. | Inventory tracking using RFID |
EP3862948A1 (de) * | 2015-09-30 | 2021-08-11 | The Nielsen Company (US), LLC | Interaktives produktaudit mit einer mobilen vorrichtung |
TWI621076B (zh) * | 2015-10-19 | 2018-04-11 | 陳冠魁 | 結帳管理系統 |
CN107037962B (zh) | 2015-10-23 | 2020-06-16 | 株式会社摩如富 | 图像处理装置、电子设备以及图像处理方法 |
CN105357475A (zh) * | 2015-10-28 | 2016-02-24 | 小米科技有限责任公司 | 用于视频播放的方法及装置 |
US9959468B2 (en) * | 2015-11-06 | 2018-05-01 | The Boeing Company | Systems and methods for object tracking and classification |
TWI587246B (zh) * | 2015-11-20 | 2017-06-11 | 晶睿通訊股份有限公司 | 影像物件判別方法及其具有影像物件判別功能的攝影系統 |
KR102410268B1 (ko) * | 2015-11-20 | 2022-06-20 | 한국전자통신연구원 | 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치 |
US11037015B2 (en) | 2015-12-15 | 2021-06-15 | Cortica Ltd. | Identification of key points in multimedia data elements |
US11195043B2 (en) | 2015-12-15 | 2021-12-07 | Cortica, Ltd. | System and method for determining common patterns in multimedia content elements based on key points |
JP6708218B2 (ja) * | 2015-12-16 | 2020-06-10 | 日本電気株式会社 | 情報処理装置、侵入検知方法及びコンピュータプログラム |
EP3391339A2 (de) * | 2015-12-18 | 2018-10-24 | Iris Automation, Inc. | System für visuelles echtzeitsituationsbewusstsein |
GB2545900B (en) | 2015-12-21 | 2020-08-12 | Canon Kk | Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras |
US10121121B1 (en) | 2015-12-28 | 2018-11-06 | Amazon Technologies, Inc. | Smart shelves |
WO2017120375A1 (en) * | 2016-01-05 | 2017-07-13 | Wizr Llc | Video event detection and notification |
US10650368B2 (en) * | 2016-01-15 | 2020-05-12 | Ncr Corporation | Pick list optimization method |
US10008115B2 (en) * | 2016-02-29 | 2018-06-26 | Analog Devices Global | Visual vehicle parking occupancy sensor |
JP2017156956A (ja) * | 2016-03-01 | 2017-09-07 | 株式会社東芝 | 機器選択装置、その方法及びそのプログラム |
US9911055B2 (en) * | 2016-03-08 | 2018-03-06 | Conduent Business Services, Llc | Method and system for detection and classification of license plates |
US11030775B2 (en) | 2016-03-17 | 2021-06-08 | Flir Systems, Inc. | Minimal user input video analytics systems and methods |
US10735659B2 (en) | 2016-03-17 | 2020-08-04 | Flir Systems, Inc. | Rotation-adaptive video analytics camera and method |
TWI759286B (zh) | 2016-03-17 | 2022-04-01 | 加拿大商艾維吉隆股份有限公司 | 用於藉由機器學習訓練物件分類器之系統及方法 |
US10071306B2 (en) | 2016-03-25 | 2018-09-11 | Zero Latency PTY LTD | System and method for determining orientation using tracking cameras and inertial measurements |
US10486061B2 (en) | 2016-03-25 | 2019-11-26 | Zero Latency Pty Ltd. | Interference damping for continuous game play |
US10277831B2 (en) * | 2016-03-25 | 2019-04-30 | Fuji Xerox Co., Ltd. | Position identifying apparatus and method, path identifying apparatus, and non-transitory computer readable medium |
US10717001B2 (en) | 2016-03-25 | 2020-07-21 | Zero Latency PTY LTD | System and method for saving tracked data in the game server for replay, review and training |
US9916496B2 (en) | 2016-03-25 | 2018-03-13 | Zero Latency PTY LTD | Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects |
US10421012B2 (en) | 2016-03-25 | 2019-09-24 | Zero Latency PTY LTD | System and method for tracking using multiple slave servers and a master server |
TWI553592B (zh) * | 2016-03-29 | 2016-10-11 | Next Animation Studio Ltd | The method of tracking objects in the video |
JP2019513274A (ja) * | 2016-03-29 | 2019-05-23 | ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. | 品物の設置、特定および計数のためのシステムおよび方法 |
DE102016206361A1 (de) * | 2016-04-15 | 2017-10-19 | Robert Bosch Gmbh | Kameraeinrichtung für den Außenbereich eines Gebäudes |
US10558627B2 (en) * | 2016-04-21 | 2020-02-11 | Leantaas, Inc. | Method and system for cleansing and de-duplicating data |
US10586023B2 (en) | 2016-04-21 | 2020-03-10 | Time Warner Cable Enterprises Llc | Methods and apparatus for secondary content management and fraud prevention |
US10319198B2 (en) | 2016-05-02 | 2019-06-11 | Focal Systems, Inc. | Expedited checkout system through portable checkout units |
US9984314B2 (en) * | 2016-05-06 | 2018-05-29 | Microsoft Technology Licensing, Llc | Dynamic classifier selection based on class skew |
US10522013B2 (en) | 2016-05-20 | 2019-12-31 | Vivint, Inc. | Street watch |
KR102386982B1 (ko) * | 2016-05-26 | 2022-04-14 | 삼성에스디에스 주식회사 | 영상 분석을 이용한 카메라 캘리브레이션 방법 및 그 장치 |
US10506237B1 (en) | 2016-05-27 | 2019-12-10 | Google Llc | Methods and devices for dynamic adaptation of encoding bitrate for video streaming |
US10121515B2 (en) | 2016-06-06 | 2018-11-06 | Avigilon Corporation | Method, system and computer program product for interactively identifying same individuals or objects present in video recordings |
US10402643B2 (en) * | 2016-06-15 | 2019-09-03 | Google Llc | Object rejection system and method |
US10133942B2 (en) | 2016-07-05 | 2018-11-20 | Nauto Global Limited | System and method for automatic driver identification |
US10037471B2 (en) * | 2016-07-05 | 2018-07-31 | Nauto Global Limited | System and method for image analysis |
US10957171B2 (en) * | 2016-07-11 | 2021-03-23 | Google Llc | Methods and systems for providing event alerts |
US10380429B2 (en) | 2016-07-11 | 2019-08-13 | Google Llc | Methods and systems for person detection in a video feed |
US10192415B2 (en) | 2016-07-11 | 2019-01-29 | Google Llc | Methods and systems for providing intelligent alerts for events |
US10223067B2 (en) | 2016-07-15 | 2019-03-05 | Microsoft Technology Licensing, Llc | Leveraging environmental context for enhanced communication throughput |
KR101917354B1 (ko) * | 2016-07-18 | 2018-11-09 | 단국대학교 천안캠퍼스 산학협력단 | 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법 |
US9916493B2 (en) | 2016-08-03 | 2018-03-13 | At&T Intellectual Property I, L.P. | Method and system for aggregating video content |
WO2018031678A1 (en) | 2016-08-09 | 2018-02-15 | Nauto Global Limited | System and method for precision localization and mapping |
US10751609B2 (en) | 2016-08-12 | 2020-08-25 | Zero Latency PTY LTD | Mapping arena movements into a 3-D virtual world |
US11436553B2 (en) | 2016-09-08 | 2022-09-06 | Position Imaging, Inc. | System and method of object tracking using weight confirmation |
TWI622938B (zh) * | 2016-09-13 | 2018-05-01 | 創意引晴(開曼)控股有限公司 | 避免辨識結果混淆之影像辨識方法 |
US10733460B2 (en) | 2016-09-14 | 2020-08-04 | Nauto, Inc. | Systems and methods for safe route determination |
JP6940612B2 (ja) | 2016-09-14 | 2021-09-29 | ナウト, インコーポレイテッドNauto, Inc. | ニアクラッシュ判定システムおよび方法 |
TWI617930B (zh) * | 2016-09-23 | 2018-03-11 | 李雨暹 | 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置 |
RU2632473C1 (ru) * | 2016-09-30 | 2017-10-05 | ООО "Ай Ти Ви групп" | Способ обмена данными между ip видеокамерой и сервером (варианты) |
CA3032198A1 (en) | 2016-10-25 | 2018-05-03 | Owl Cameras, Inc. | Video-based data collection, image capture and analysis configuration |
US10246014B2 (en) | 2016-11-07 | 2019-04-02 | Nauto, Inc. | System and method for driver distraction determination |
DE112016007457A5 (de) * | 2016-11-21 | 2019-08-14 | Robert Bosch Gmbh | Anzeigevorrichtung für eine überwachungsanlage eines überwachungsbereiches, überwachungsanlage mit der anzeigevorrichtung, verfahren zur überwachung eines überwachungsbereiches mit einer überwachungsanlage und computerprogramm zur durchführung des verfahrens |
GB2556923B (en) * | 2016-11-25 | 2020-04-15 | Canon Kk | Generation of VCA Reference results for VCA Auto-setting |
CN106454991B (zh) * | 2016-11-28 | 2019-06-11 | 陕西尚品信息科技有限公司 | 一种移动机器人网络中的高效路由方法 |
WO2018102919A1 (en) | 2016-12-05 | 2018-06-14 | Avigilon Corporation | System and method for appearance search |
CA3046035A1 (en) | 2016-12-05 | 2018-06-14 | Avigilon Coporation | System and method for cnn layer sharing |
KR20180068578A (ko) | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법 |
EP3340106B1 (de) * | 2016-12-23 | 2023-02-08 | Hexagon Technology Center GmbH | Verfahren und system zur zuweisung von speziellen klassen von interesse in messdaten |
US11300662B1 (en) | 2016-12-27 | 2022-04-12 | Amazon Technologies, Inc. | Detecting and locating interactions using LIDAR devices |
US10839203B1 (en) * | 2016-12-27 | 2020-11-17 | Amazon Technologies, Inc. | Recognizing and tracking poses using digital imagery captured from multiple fields of view |
CN108303698B (zh) * | 2016-12-29 | 2021-05-04 | 宏达国际电子股份有限公司 | 追踪系统、追踪装置及追踪方法 |
US11798064B1 (en) | 2017-01-12 | 2023-10-24 | Digimarc Corporation | Sensor-based maximum-likelihood estimation of item assignments |
US10637814B2 (en) | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Communication routing based on physical status |
US11094212B2 (en) | 2017-01-18 | 2021-08-17 | Microsoft Technology Licensing, Llc | Sharing signal segments of physical graph |
US10635981B2 (en) * | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Automated movement orchestration |
US10679669B2 (en) | 2017-01-18 | 2020-06-09 | Microsoft Technology Licensing, Llc | Automatic narration of signal segment |
US10437884B2 (en) | 2017-01-18 | 2019-10-08 | Microsoft Technology Licensing, Llc | Navigation of computer-navigable physical feature graph |
US10606814B2 (en) | 2017-01-18 | 2020-03-31 | Microsoft Technology Licensing, Llc | Computer-aided tracking of physical entities |
US10482900B2 (en) | 2017-01-18 | 2019-11-19 | Microsoft Technology Licensing, Llc | Organization of signal segments supporting sensed features |
US10909371B2 (en) | 2017-01-19 | 2021-02-02 | Samsung Electronics Co., Ltd. | System and method for contextual driven intelligence |
WO2018135881A1 (en) | 2017-01-19 | 2018-07-26 | Samsung Electronics Co., Ltd. | Vision intelligence management for electronic devices |
WO2018144650A1 (en) | 2017-01-31 | 2018-08-09 | Focal Systems, Inc. | Automated checkout system through mobile shopping units |
US10275687B2 (en) * | 2017-02-16 | 2019-04-30 | International Business Machines Corporation | Image recognition with filtering of image classification output distribution |
US10754514B1 (en) * | 2017-03-01 | 2020-08-25 | Matroid, Inc. | Machine learning in video classification with schedule highlighting |
KR20200023266A (ko) | 2017-03-17 | 2020-03-04 | 뉴럴라 인코포레이티드 | 심층 신경망 및 신경망 애플리케이션을 위한 데이터 스트림에 태그 지정 및 라벨링하기 위한 온라인의 점진적 실시간 학습 |
US10482625B1 (en) | 2017-03-28 | 2019-11-19 | Amazon Technologies, Inc. | Calibration of networked imaging devices to a global color space |
EP3383055A1 (de) * | 2017-03-28 | 2018-10-03 | Rohde & Schwarz GmbH & Co. KG | Verfahren und vorrichtung zur überwachung von daten im zusammenhang mit rundfunk und/oder streaming |
US10943465B1 (en) | 2017-03-28 | 2021-03-09 | Amazon Technologies, Inc. | Device notification and aggregation |
US10699421B1 (en) | 2017-03-29 | 2020-06-30 | Amazon Technologies, Inc. | Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras |
US10223591B1 (en) | 2017-03-30 | 2019-03-05 | Amazon Technologies, Inc. | Multi-video annotation |
US11055872B1 (en) * | 2017-03-30 | 2021-07-06 | Hrl Laboratories, Llc | Real-time object recognition using cascaded features, deep learning and multi-target tracking |
JP7120250B2 (ja) * | 2017-03-31 | 2022-08-17 | 横河電機株式会社 | 画像ベースによる異常検知の方法およびシステム |
CN108734061A (zh) * | 2017-04-19 | 2018-11-02 | 台达电子工业股份有限公司 | 人员检测器的非警戒区域设定系统及其设定方法 |
US10600206B2 (en) * | 2017-04-28 | 2020-03-24 | Htc Corporation | Tracking system and method thereof |
KR102486986B1 (ko) | 2017-05-04 | 2023-01-10 | 한화테크윈 주식회사 | 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 |
EP3622438A4 (de) | 2017-05-09 | 2021-03-10 | Neurala, Inc. | Systeme und verfahren zur ermöglichung von kontinuierlichem speicherbegrenztem lernen in künstlicher intelligenz und tiefenlernenden kontinuierlich arbeitenden anwendungen über vernetzte rechnerkanten |
US10671050B2 (en) * | 2017-05-11 | 2020-06-02 | Turing Video, Inc. | Surveillance system with intelligent robotic surveillance device |
US10963740B2 (en) | 2017-05-12 | 2021-03-30 | Focal Systems, Inc. | Automatic labeling of products via expedited checkout system |
US11475671B2 (en) | 2017-05-26 | 2022-10-18 | Turing Video | Multiple robots assisted surveillance system |
US10599950B2 (en) | 2017-05-30 | 2020-03-24 | Google Llc | Systems and methods for person recognition data management |
US11783010B2 (en) | 2017-05-30 | 2023-10-10 | Google Llc | Systems and methods of person recognition in video streams |
WO2018229550A1 (en) | 2017-06-16 | 2018-12-20 | Nauto Global Limited | System and method for adverse vehicle event determination |
WO2018229548A2 (en) | 2017-06-16 | 2018-12-20 | Nauto Global Limited | System and method for contextualized vehicle operation determination |
WO2018229549A2 (en) * | 2017-06-16 | 2018-12-20 | Nauto Global Limited | System and method for digital environment reconstruction |
CN109937343B (zh) * | 2017-06-22 | 2023-06-13 | 百度时代网络技术(北京)有限公司 | 用于自动驾驶车辆交通预测中的预测轨迹的评估框架 |
US11257057B1 (en) | 2017-06-22 | 2022-02-22 | Amazon Technologies, Inc. | Secure dual-monitor point-of-sale system |
US10491808B1 (en) | 2017-06-27 | 2019-11-26 | Amazon Technologies, Inc. | Detecting sunlight in images |
US10650246B1 (en) | 2017-06-27 | 2020-05-12 | Amazon Technologies, Inc. | System for determining a camera radiance |
US10863105B1 (en) | 2017-06-27 | 2020-12-08 | Amazon Technologies, Inc. | High dynamic range imaging for event detection and inventory management |
WO2019008581A1 (en) | 2017-07-05 | 2019-01-10 | Cortica Ltd. | DETERMINATION OF DRIVING POLICIES |
WO2019008734A1 (ja) * | 2017-07-07 | 2019-01-10 | 日本電気株式会社 | 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体 |
US11899707B2 (en) | 2017-07-09 | 2024-02-13 | Cortica Ltd. | Driving policies determination |
US10332272B2 (en) | 2017-08-07 | 2019-06-25 | Caterpillar Inc. | Systems and methods for testing an automatic perception system |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US10769500B2 (en) * | 2017-08-31 | 2020-09-08 | Mitsubishi Electric Research Laboratories, Inc. | Localization-aware active learning for object detection |
US11284062B2 (en) * | 2017-09-05 | 2022-03-22 | Texas Instruments Incorporated | Automotive display validation |
US10621406B2 (en) | 2017-09-15 | 2020-04-14 | Key Technology, Inc. | Method of sorting |
TWI624793B (zh) * | 2017-09-19 | 2018-05-21 | 財團法人成大研究發展基金會 | 物件偵測的適應系統與方法 |
US11134227B2 (en) | 2017-09-20 | 2021-09-28 | Google Llc | Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment |
US10664688B2 (en) | 2017-09-20 | 2020-05-26 | Google Llc | Systems and methods of detecting and responding to a visitor to a smart home environment |
US11232294B1 (en) | 2017-09-27 | 2022-01-25 | Amazon Technologies, Inc. | Generating tracklets from digital imagery |
US10599395B1 (en) * | 2017-10-11 | 2020-03-24 | Amperity, Inc. | Dynamically merging database tables |
US10417882B2 (en) | 2017-10-24 | 2019-09-17 | The Chamberlain Group, Inc. | Direction sensitive motion detector camera |
US11023707B2 (en) | 2017-10-27 | 2021-06-01 | Avigilon Corporation | System and method for selecting a part of a video image for a face detection operation |
DE102017219402A1 (de) * | 2017-10-27 | 2019-05-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum erkennen und verfolgen von objekten in einer videosequenz |
US11003916B2 (en) * | 2017-11-03 | 2021-05-11 | Toyota Research Institute, Inc. | Systems and methods for object historical association |
JP7070584B2 (ja) * | 2017-11-07 | 2022-05-18 | 日本電気株式会社 | 判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム |
US11328513B1 (en) | 2017-11-07 | 2022-05-10 | Amazon Technologies, Inc. | Agent re-verification and resolution using imaging |
US10127440B1 (en) * | 2017-11-16 | 2018-11-13 | Eagle Eye Networks | Insect indicia-based alert suppression apparatus, system, and method of operation |
CN108040295B (zh) * | 2017-11-17 | 2021-05-07 | 上海哔哩哔哩科技有限公司 | 众裁方法、服务器、用户端及众裁系统 |
US10506202B2 (en) | 2017-11-20 | 2019-12-10 | Cisco Technology, Inc. | System and method for protecting critical data on camera systems from physical attack |
US10417501B2 (en) * | 2017-12-06 | 2019-09-17 | International Business Machines Corporation | Object recognition in video |
US10185628B1 (en) * | 2017-12-07 | 2019-01-22 | Cisco Technology, Inc. | System and method for prioritization of data file backups |
CN107818571B (zh) * | 2017-12-11 | 2018-07-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
US10956726B1 (en) | 2017-12-12 | 2021-03-23 | Amazon Technologies, Inc. | Obfuscating portions of video data |
US11284041B1 (en) | 2017-12-13 | 2022-03-22 | Amazon Technologies, Inc. | Associating items with actors based on digital imagery |
US10699152B1 (en) | 2017-12-13 | 2020-06-30 | Amazon Technologies, Inc. | Image data illumination detection |
US10664962B1 (en) | 2017-12-13 | 2020-05-26 | Amazon Technologies, Inc. | Determining direction of illumination |
US11030442B1 (en) | 2017-12-13 | 2021-06-08 | Amazon Technologies, Inc. | Associating events with actors based on digital imagery |
WO2019116497A1 (ja) * | 2017-12-14 | 2019-06-20 | 日本電気株式会社 | 識別装置、識別方法、および記憶媒体 |
US11153474B2 (en) | 2017-12-27 | 2021-10-19 | Ubicquia Iq Llc | Automated scope limiting for video analytics |
US10963940B2 (en) | 2017-12-29 | 2021-03-30 | Ebay Inc. | Computer vision, user segment, and missing item determination |
US10475191B2 (en) * | 2018-01-17 | 2019-11-12 | Sensormatic Electronics, LLC | System and method for identification and suppression of time varying background objects |
US20190236305A1 (en) * | 2018-01-29 | 2019-08-01 | International Business Machines Corporation | Detecting unauthorized use of sensitive information in content communicated over a network |
US10678848B2 (en) | 2018-02-12 | 2020-06-09 | Wipro Limited | Method and a system for recognition of data in one or more images |
TWI666595B (zh) * | 2018-02-26 | 2019-07-21 | 財團法人工業技術研究院 | 物件標示系統及方法 |
US11392131B2 (en) | 2018-02-27 | 2022-07-19 | Nauto, Inc. | Method for determining driving policy |
CA3088781A1 (en) * | 2018-03-23 | 2019-09-26 | Avigilon Coporation | Method and system for interfacing with a user to facilitate an image search for an object-of-interest |
CN110324528A (zh) * | 2018-03-28 | 2019-10-11 | 富泰华工业(深圳)有限公司 | 摄像装置、影像处理系统及方法 |
US10929675B2 (en) * | 2018-03-29 | 2021-02-23 | Ncr Corporation | Decentralized video tracking |
TWI661721B (zh) * | 2018-04-03 | 2019-06-01 | 奇景光電股份有限公司 | 動作偵測電路與方法 |
CN110348270B (zh) * | 2018-04-03 | 2023-06-09 | 扬智科技股份有限公司 | 影像物件辨识方法与影像物件辨识系统 |
US10999524B1 (en) | 2018-04-12 | 2021-05-04 | Amazon Technologies, Inc. | Temporal high dynamic range imaging using time-of-flight cameras |
CN110415264B (zh) * | 2018-04-25 | 2023-10-24 | 奇景光电股份有限公司 | 动作检测电路与方法 |
US11436648B1 (en) | 2018-05-04 | 2022-09-06 | Allstate Insurance Company | Processing system having a machine learning engine for providing a surface dimension output |
US11257132B1 (en) | 2018-05-04 | 2022-02-22 | Allstate Insurance Company | Processing systems and methods having a machine learning engine for providing a surface dimension output |
US10679362B1 (en) * | 2018-05-14 | 2020-06-09 | Vulcan Inc. | Multi-camera homogeneous object trajectory alignment |
US11120070B2 (en) * | 2018-05-21 | 2021-09-14 | Microsoft Technology Licensing, Llc | System and method for attribute-based visual search over a computer communication network |
US10708484B2 (en) | 2018-06-20 | 2020-07-07 | Amazon Technologies, Inc. | Detecting interference between time-of-flight cameras using modified image sensor arrays |
US10674063B2 (en) | 2018-06-20 | 2020-06-02 | Amazon Technologies, Inc. | Synchronizing time-of-flight cameras |
US11468698B1 (en) | 2018-06-28 | 2022-10-11 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
US11468681B1 (en) | 2018-06-28 | 2022-10-11 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
US11482045B1 (en) | 2018-06-28 | 2022-10-25 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
CN108833928B (zh) * | 2018-07-03 | 2020-06-26 | 中国科学技术大学 | 交通监控视频编码方法 |
US11100367B2 (en) | 2018-07-12 | 2021-08-24 | EMC IP Holding Company LLC | Dynamic digital information retrieval implemented via artificial intelligence |
US10846544B2 (en) | 2018-07-16 | 2020-11-24 | Cartica Ai Ltd. | Transportation prediction system and method |
US10846554B2 (en) | 2018-07-17 | 2020-11-24 | Avigilon Corporation | Hash-based appearance search |
WO2020014766A1 (en) * | 2018-07-18 | 2020-01-23 | Laganiere Robert | System and method for tracking customer movements in a customer service environment |
US10681338B1 (en) | 2018-07-24 | 2020-06-09 | Amazon Technologies, Inc. | Detecting interference in depth images captured using overlapping depth cameras |
US10650547B2 (en) * | 2018-07-26 | 2020-05-12 | Microsoft Technology Licensing, Llc | Blob detection using feature match scores |
US11164037B2 (en) | 2018-08-01 | 2021-11-02 | International Business Machines Corporation | Object instance ambiguity resolution |
CN109284673B (zh) * | 2018-08-07 | 2022-02-22 | 北京市商汤科技开发有限公司 | 对象跟踪方法及装置、电子设备及存储介质 |
US11244509B2 (en) * | 2018-08-20 | 2022-02-08 | Fisher-Rosemount Systems, Inc. | Drift correction for industrial augmented reality applications |
EP3834132A4 (de) | 2018-09-20 | 2022-06-29 | Avigilon Corporation | Bereichsvorschlag mit tracker-feedback |
KR20210092720A (ko) * | 2018-09-21 | 2021-07-26 | 포지션 이미징 인코포레이티드 | 기계 학습 보조된 자기 개선형 객체 식별 시스템 및 방법 |
US11013140B1 (en) | 2018-09-25 | 2021-05-18 | Amazon Technologies, Inc. | Wall-mounted cable housing assemblies |
US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
US11126870B2 (en) | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
US11181911B2 (en) | 2018-10-18 | 2021-11-23 | Cartica Ai Ltd | Control transfer of a vehicle |
US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
US11188763B2 (en) * | 2019-10-25 | 2021-11-30 | 7-Eleven, Inc. | Topview object tracking using a sensor array |
US11700356B2 (en) * | 2018-10-26 | 2023-07-11 | AutoBrains Technologies Ltd. | Control transfer of a vehicle |
US10748038B1 (en) * | 2019-03-31 | 2020-08-18 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
US20200160089A1 (en) * | 2018-11-15 | 2020-05-21 | International Business Machines Corporation | Visual pattern recognition with selective illumination for assisted inspection |
US10872424B2 (en) | 2018-11-19 | 2020-12-22 | Accenture Global Solutions Limited | Object tracking using object attributes |
JP6810359B2 (ja) * | 2018-11-22 | 2021-01-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、プログラム |
US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
KR102002024B1 (ko) * | 2018-12-06 | 2019-07-22 | 주식회사 아임클라우드 | 객체 라벨링 처리 방법 및 객체 관리 서버 |
US11386306B1 (en) * | 2018-12-13 | 2022-07-12 | Amazon Technologies, Inc. | Re-identification of agents using image analysis and machine learning |
US10915783B1 (en) | 2018-12-14 | 2021-02-09 | Amazon Technologies, Inc. | Detecting and locating actors in scenes based on degraded or supersaturated depth data |
US20220012501A1 (en) * | 2018-12-14 | 2022-01-13 | Xovis Ag | Method and arrangement for determining a group of persons to be considered |
US11126861B1 (en) | 2018-12-14 | 2021-09-21 | Digimarc Corporation | Ambient inventorying arrangements |
WO2020131033A1 (en) * | 2018-12-18 | 2020-06-25 | Rovi Guides, Inc. | Systems and methods for automated tracking using a client device |
KR20200084395A (ko) * | 2018-12-20 | 2020-07-13 | 삼성전자주식회사 | 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법 |
EP3677871B1 (de) * | 2019-01-03 | 2023-08-16 | Leica Geosystems AG | Messsystem |
US11089232B2 (en) | 2019-01-11 | 2021-08-10 | Position Imaging, Inc. | Computer-vision-based object tracking and guidance module |
US10805556B1 (en) | 2019-01-22 | 2020-10-13 | Amazon Technologies, Inc. | Storage units with shifted-lens cameras |
US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
US10776695B1 (en) | 2019-03-08 | 2020-09-15 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
US11699078B2 (en) | 2019-03-08 | 2023-07-11 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
US11163820B1 (en) | 2019-03-25 | 2021-11-02 | Gm Cruise Holdings Llc | Object search service employing an autonomous vehicle fleet |
US10789527B1 (en) | 2019-03-31 | 2020-09-29 | Cortica Ltd. | Method for object detection using shallow neural networks |
US11908242B2 (en) * | 2019-03-31 | 2024-02-20 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
US10796444B1 (en) | 2019-03-31 | 2020-10-06 | Cortica Ltd | Configuring spanning elements of a signature generator |
US11544505B1 (en) * | 2019-04-01 | 2023-01-03 | Alarm.Com Incorporated | Semi-supervised learning based on clustering objects in video from a property |
CN110097724B (zh) * | 2019-04-24 | 2021-06-29 | 苏州浪潮智能科技有限公司 | 一种基于fpga的物品自动看护方法及系统 |
DE102019207700A1 (de) * | 2019-05-27 | 2020-12-03 | Zf Friedrichshafen Ag | Klassifikationsvorrichtung zur Objektdetektion in Umfeldsensordaten und Verfahren |
US11580785B1 (en) | 2019-06-10 | 2023-02-14 | Amazon Technologies, Inc. | Detecting interactions with non-discretized items and associating interactions with actors using digital images |
US11927472B1 (en) | 2019-06-26 | 2024-03-12 | Amazon Technologies, Inc. | Modular storage systems |
KR20210009066A (ko) | 2019-07-16 | 2021-01-26 | 삼성전자주식회사 | 사용자의 의도를 추정하는 방법 및 장치 |
US10894627B1 (en) | 2019-08-09 | 2021-01-19 | Amazon Technologies, Inc. | Pinch-sealed adhesive sleeves |
US11138477B2 (en) * | 2019-08-15 | 2021-10-05 | Collibra Nv | Classification of data using aggregated information from multiple classification modules |
WO2021034681A1 (en) | 2019-08-16 | 2021-02-25 | Bossa Nova Robotics Ip, Inc. | Systems and methods for image capture and shelf content detection |
US11109310B1 (en) | 2019-09-17 | 2021-08-31 | Amazon Technologies, Inc. | Infrastructure-based access point load balancing |
MX2022003020A (es) | 2019-09-17 | 2022-06-14 | Boston Polarimetrics Inc | Sistemas y metodos para modelado de superficie usando se?ales de polarizacion. |
US11012601B1 (en) | 2019-09-23 | 2021-05-18 | Amazon Technologies, Inc. | Dual camera module systems |
US11403849B2 (en) * | 2019-09-25 | 2022-08-02 | Charter Communications Operating, Llc | Methods and apparatus for characterization of digital content |
US11804076B2 (en) * | 2019-10-02 | 2023-10-31 | University Of Iowa Research Foundation | System and method for the autonomous identification of physical abuse |
CA3157197A1 (en) | 2019-10-07 | 2021-04-15 | Boston Polarimetrics, Inc. | Systems and methods for surface normals sensing with polarization |
TWI699708B (zh) * | 2019-10-09 | 2020-07-21 | 鼎天國際股份有限公司 | 貨櫃空間計算裝置 |
JP7518609B2 (ja) * | 2019-11-07 | 2024-07-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN114746873A (zh) * | 2019-11-20 | 2022-07-12 | 贝宝公司 | 利用先前交易的交易后数据以允许使用近期交易数据的技术 |
CN110971819A (zh) * | 2019-11-24 | 2020-04-07 | 西安呱牛信息技术有限公司 | 基于卫星导航用于拍摄的无人机路径控制方法及其系统 |
US11322037B2 (en) | 2019-11-25 | 2022-05-03 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
US11721231B2 (en) | 2019-11-25 | 2023-08-08 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
US10769807B1 (en) * | 2019-11-25 | 2020-09-08 | Pet3D Corp | System, method, and apparatus for clothing a pet |
CN110969115B (zh) * | 2019-11-28 | 2023-04-07 | 深圳市商汤科技有限公司 | 行人事件的检测方法及装置、电子设备和存储介质 |
KR102558903B1 (ko) | 2019-11-30 | 2023-07-24 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
US11893795B2 (en) | 2019-12-09 | 2024-02-06 | Google Llc | Interacting with visitors of a connected home environment |
US11083102B1 (en) | 2019-12-10 | 2021-08-03 | Amazon Technologies, Inc. | Modular distribution frames and assemblies |
US12026619B1 (en) | 2019-12-11 | 2024-07-02 | Amazon Technologies, Inc. | Slimmable neural network architecture search optimization |
FR3104774B1 (fr) * | 2019-12-11 | 2022-01-07 | Bull Sas | Procédé de suivi d’un élément, dispositif électronique et produit programme d’ordinateur associés |
US10748022B1 (en) | 2019-12-12 | 2020-08-18 | Cartica Ai Ltd | Crowd separation |
US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
US11587384B1 (en) | 2019-12-13 | 2023-02-21 | Amazon Technologies, Inc. | Group determination and association |
US20210188205A1 (en) * | 2019-12-19 | 2021-06-24 | Zf Friedrichshafen Ag | Vehicle vision system |
US11100702B2 (en) | 2019-12-27 | 2021-08-24 | Industrial Technology Research Institute | 3D image labeling method based on labeling information of 2D image and 3D image labeling device |
JP7462769B2 (ja) | 2020-01-29 | 2024-04-05 | イントリンジック イノベーション エルエルシー | 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法 |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11410122B1 (en) | 2020-01-31 | 2022-08-09 | Amazon Technologies, Inc. | Determining inventory levels using switch-equipped strips and patterns of activated or deactivated indicators |
EP4274268A3 (de) * | 2020-02-05 | 2024-01-10 | C2RO Cloud Robotics Inc. | System und verfahren zur datenschutzbewussten analyse von videoströmen |
US20210264226A1 (en) * | 2020-02-24 | 2021-08-26 | Thales Canada Inc. | Method for semantic object detection with knowledge graph |
US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
US11755989B2 (en) | 2020-03-27 | 2023-09-12 | Toshiba Global Commerce Solutions Holdings Corporation | Preventing theft at retail stores |
CN111405203B (zh) * | 2020-03-30 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种画面切换的确定方法、装置、电子设备及存储介质 |
US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
US11398094B1 (en) | 2020-04-06 | 2022-07-26 | Amazon Technologies, Inc. | Locally and globally locating actors by digital cameras and machine learning |
US11443516B1 (en) | 2020-04-06 | 2022-09-13 | Amazon Technologies, Inc. | Locally and globally locating actors by digital cameras and machine learning |
KR20210128736A (ko) | 2020-04-17 | 2021-10-27 | 삼성전자주식회사 | 멀티 카메라를 포함하는 전자 장치 및 촬영 방법 |
US11295167B2 (en) | 2020-04-27 | 2022-04-05 | Toshiba Global Commerce Solutions Holdings Corporation | Automated image curation for machine learning deployments |
US11138439B1 (en) * | 2020-04-30 | 2021-10-05 | Honeywell International Inc. | Systems and methods for detecting patterns within video content |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US11937019B2 (en) * | 2021-06-07 | 2024-03-19 | Elementary Robotics, Inc. | Intelligent quality assurance and inspection device having multiple camera modules |
US11756424B2 (en) | 2020-07-24 | 2023-09-12 | AutoBrains Technologies Ltd. | Parking assist |
US11972610B2 (en) | 2020-09-11 | 2024-04-30 | Sensormatic Electronics, LLC | Multi-pass object tracking system utilizing single object tracking in a multi object tracking use case for higher accuracy |
KR102448267B1 (ko) | 2020-09-23 | 2022-09-28 | 임진성 | 다층구조의 물탱크 |
IL301731A (en) * | 2020-10-08 | 2023-05-01 | Edgy Bees Ltd | Improving geographic registration through object recognition based on machine learning |
US11896144B1 (en) | 2020-12-03 | 2024-02-13 | Amazon Technologies, Inc. | Determining inventory levels using rotatable counting devices and visual imagery |
US11514766B1 (en) | 2020-12-10 | 2022-11-29 | Amazon Technologies, Inc. | Detecting interactions with storage units based on RFID signals and auxiliary signals |
KR102271379B1 (ko) * | 2020-12-16 | 2021-06-30 | 주식회사 두잉랩 | 영상 내의 객체를 인식하여 판별하는 방법 및 서버 |
JP2024507765A (ja) * | 2021-02-12 | 2024-02-21 | ワイズ ラブズ,インコーポレイテッド | エッジデバイスに展開されたモデルによる機械学習への自己教師あり共同アプローチ |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11676384B2 (en) | 2021-03-15 | 2023-06-13 | Sensormatic Electronics, LLC | Object counting system for high volume traffic |
US11676383B2 (en) * | 2021-03-15 | 2023-06-13 | Sensormatic Electronics, LLC | Object counting system for high volume traffic |
CN113033551A (zh) * | 2021-03-16 | 2021-06-25 | 北京嘀嘀无限科技发展有限公司 | 对象检测的方法、装置、设备和存储介质 |
EP4064120B1 (de) * | 2021-03-25 | 2023-07-26 | Axis AB | Verfahren zur bestimmung von bildern, die wahrscheinlich eine falsch-negative objektdetektion aufweisen |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11810350B2 (en) | 2021-05-21 | 2023-11-07 | Western Digital Technologies, Inc. | Processing of surveillance video streams using image classification and object detection |
KR102343051B1 (ko) * | 2021-06-17 | 2021-12-24 | 주식회사 인피닉 | 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
KR102343049B1 (ko) * | 2021-06-17 | 2021-12-24 | 주식회사 인피닉 | 인공지능 학습을 위한 이미지 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
KR102356907B1 (ko) * | 2021-06-17 | 2022-02-08 | 주식회사 인피닉 | 인공지능 학습용 데이터의 메타데이터 입력 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
US11810361B2 (en) | 2021-06-25 | 2023-11-07 | Western Digital Technologies, Inc. | Site-based calibration of object detection parameters |
US11940320B1 (en) | 2021-06-25 | 2024-03-26 | Amazon Technologies, Inc. | Compressing load signal transmissions |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
US11635167B1 (en) | 2021-09-09 | 2023-04-25 | Amazon Technologies, Inc. | Quick-connect camera mounts with multiple degrees of freedom |
US11483479B1 (en) | 2021-09-24 | 2022-10-25 | Amazon Technologies, Inc. | Targeted image stabilization |
US11743580B1 (en) | 2022-05-16 | 2023-08-29 | Motorola Solutions, Inc. | Method and system for controlling operation of a fixed position camera |
US11893847B1 (en) | 2022-09-23 | 2024-02-06 | Amazon Technologies, Inc. | Delivering items to evaluation rooms while maintaining customer privacy |
DE102023200345A1 (de) | 2023-01-18 | 2024-07-18 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Verarbeiten eines Digitalbildes zur Anomalieoder Normalitätsdetektion |
CN118018865B (zh) * | 2024-03-14 | 2024-06-07 | 四川省寰宇众恒科技有限公司 | 全天候场景的物体跨镜头追踪方法及系统 |
Family Cites Families (104)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4760604A (en) | 1985-02-15 | 1988-07-26 | Nestor, Inc. | Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier |
US4639784A (en) * | 1985-02-19 | 1987-01-27 | Rca Corporation | Video signal recursive filter adaptively controlled responsive to the history of image motion |
US4779095A (en) * | 1986-10-28 | 1988-10-18 | H & G Systems, Inc. | Image change detection system |
US4931868A (en) * | 1988-05-31 | 1990-06-05 | Grumman Aerospace Corporation | Method and apparatus for detecting innovations in a scene |
US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
US5091780A (en) | 1990-05-09 | 1992-02-25 | Carnegie-Mellon University | A trainable security system emthod for the same |
KR920003198A (ko) * | 1990-07-06 | 1992-02-29 | 카가야세이치 | 화상처리에 의한 이동물체검출방법 및 그 장치와 이 장치를 사용한 거리측정 장치 |
US5253070A (en) | 1990-12-31 | 1993-10-12 | Goldstar Co., Ltd. | System and method for automatically detecting a variation of video information |
US5268967A (en) * | 1992-06-29 | 1993-12-07 | Eastman Kodak Company | Method for automatic foreground and background detection in digital radiographic images |
EP0644414B1 (de) | 1993-08-19 | 2001-11-21 | Hitachi, Ltd. | Klassifikation und Prüfvorrichtung für Teilchen in einer Flüssigkeit |
US5473737A (en) * | 1993-10-12 | 1995-12-05 | International Business Machines Corporation | Method and apparatus for displaying a composite image made up of a foreground image and a background image |
WO1996009598A1 (en) * | 1994-09-20 | 1996-03-28 | Neopath, Inc. | Cytological slide scoring apparatus |
US5825936A (en) * | 1994-09-22 | 1998-10-20 | University Of South Florida | Image analyzing device using adaptive criteria |
US5793888A (en) * | 1994-11-14 | 1998-08-11 | Massachusetts Institute Of Technology | Machine learning apparatus and method for image searching |
US6741655B1 (en) | 1997-05-05 | 2004-05-25 | The Trustees Of Columbia University In The City Of New York | Algorithms and system for object-oriented content-based video search |
US6301370B1 (en) | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
US7634662B2 (en) * | 2002-11-21 | 2009-12-15 | Monroe David A | Method for incorporating facial recognition technology in a multimedia surveillance system |
US6226388B1 (en) * | 1999-01-05 | 2001-05-01 | Sharp Labs Of America, Inc. | Method and apparatus for object tracking for automatic controls in video devices |
US6377296B1 (en) * | 1999-01-28 | 2002-04-23 | International Business Machines Corporation | Virtual map system and method for tracking objects |
US6577762B1 (en) * | 1999-10-26 | 2003-06-10 | Xerox Corporation | Background surface thresholding |
US6940998B2 (en) * | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
DE10136739A1 (de) | 2000-08-10 | 2002-02-21 | Univ Ilmenau Tech | Verfahren zur Realisierung eines lernfähigen, adaptiven Klassifikators |
US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
US8711217B2 (en) * | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US7099510B2 (en) | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
US20090231436A1 (en) * | 2001-04-19 | 2009-09-17 | Faltesek Anthony E | Method and apparatus for tracking with identification |
US20020176001A1 (en) * | 2001-05-11 | 2002-11-28 | Miroslav Trajkovic | Object tracking based on color distribution |
FI20011370A (fi) * | 2001-06-27 | 2002-12-28 | Nokia Corp | Biotunnistusmenetelmä ja sitä hyödyntävä laite |
US7167576B2 (en) * | 2001-07-02 | 2007-01-23 | Point Grey Research | Method and apparatus for measuring dwell time of objects in an environment |
KR100792283B1 (ko) * | 2001-08-07 | 2008-01-07 | 삼성전자주식회사 | 이동물체 자동 추적장치 및 방법 |
JP2003058861A (ja) * | 2001-08-15 | 2003-02-28 | Communication Research Laboratory | データエラーの検出方法及び装置、ソフトウェア並びにその記憶媒体 |
US6970083B2 (en) * | 2001-10-09 | 2005-11-29 | Objectvideo, Inc. | Video tripwire |
WO2003032248A1 (en) * | 2001-10-11 | 2003-04-17 | Exscientia, Llc | Method and apparatus for learning to classify patterns and assess the value of decisions |
KR100459893B1 (ko) * | 2002-01-08 | 2004-12-04 | 삼성전자주식회사 | 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치 |
US20030204368A1 (en) | 2002-03-29 | 2003-10-30 | Emre Ertin | Adaptive sequential detection network |
JP3999561B2 (ja) | 2002-05-07 | 2007-10-31 | 松下電器産業株式会社 | 監視システムと監視カメラ |
JP3767692B2 (ja) * | 2002-05-08 | 2006-04-19 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
CN1456970A (zh) * | 2002-05-10 | 2003-11-19 | 天瀚科技股份有限公司 | 动态影像内的物件的替换方法 |
US7227988B2 (en) * | 2002-07-01 | 2007-06-05 | Xerox Corporation | Prioritized PDL segmentation producing two bit selector |
US7020337B2 (en) * | 2002-07-22 | 2006-03-28 | Mitsubishi Electric Research Laboratories, Inc. | System and method for detecting objects in images |
US7489802B2 (en) | 2002-09-10 | 2009-02-10 | Zeev Smilansky | Miniature autonomous agents for scene interpretation |
US7221775B2 (en) * | 2002-11-12 | 2007-05-22 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
US6993960B2 (en) | 2002-12-26 | 2006-02-07 | Woodward Governor Company | Method and apparatus for detecting combustion instability in continuous combustion systems |
JP4228745B2 (ja) | 2003-03-28 | 2009-02-25 | 株式会社日立製作所 | 多スペクトル撮像画像解析装置 |
GB2402796B (en) | 2003-06-12 | 2005-04-20 | Phasor Ltd | A method and device for identifying information on the surface of an article |
US7627171B2 (en) * | 2003-07-03 | 2009-12-01 | Videoiq, Inc. | Methods and systems for detecting objects of interest in spatio-temporal signals |
US20050114278A1 (en) | 2003-08-29 | 2005-05-26 | Mahesh Saptharishi | System and methods for incrementally augmenting a classifier |
WO2005029264A2 (en) * | 2003-09-19 | 2005-03-31 | Alphatech, Inc. | Tracking systems and methods |
US7450735B1 (en) * | 2003-10-16 | 2008-11-11 | University Of Central Florida Research Foundation, Inc. | Tracking across multiple cameras with disjoint views |
US20050104958A1 (en) * | 2003-11-13 | 2005-05-19 | Geoffrey Egnal | Active camera video-based surveillance systems and methods |
US20050105764A1 (en) * | 2003-11-17 | 2005-05-19 | Mei Han | Video surveillance system with connection probability computation that is a function of object size |
JP2007519986A (ja) | 2003-11-18 | 2007-07-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 導出されたフィンガープリントのマッチングによるデータオブジェクトのマッチング |
KR100627500B1 (ko) * | 2004-03-10 | 2006-09-21 | 엘지전자 주식회사 | 모바일폰의 단문 메시지 제공시스템 및 그 제공방법 |
WO2006083283A2 (en) * | 2004-06-01 | 2006-08-10 | Sarnoff Corporation | Method and apparatus for video surveillance |
US7738705B2 (en) * | 2004-06-30 | 2010-06-15 | Stefano Casadei | Hierarchical method and system for pattern recognition and edge detection |
US7639840B2 (en) * | 2004-07-28 | 2009-12-29 | Sarnoff Corporation | Method and apparatus for improved video surveillance through classification of detected objects |
WO2006012645A2 (en) * | 2004-07-28 | 2006-02-02 | Sarnoff Corporation | Method and apparatus for total situational awareness and monitoring |
JP4180027B2 (ja) * | 2004-08-27 | 2008-11-12 | 株式会社豊田中央研究所 | 顔部品位置検出装置及び方法並びにプログラム |
JP4130820B2 (ja) * | 2004-08-27 | 2008-08-06 | 株式会社豊田中央研究所 | 顔中心位置検出装置及び方法並びにプログラム |
US7450766B2 (en) * | 2004-10-26 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Classifier performance |
WO2006097681A1 (en) | 2005-03-17 | 2006-09-21 | British Telecommunications Public Limited Company | Method of tracking objects in a video sequence |
WO2006100743A1 (ja) | 2005-03-18 | 2006-09-28 | Fujitsu Limited | 表示機能付情報メディア |
US8139896B1 (en) | 2005-03-28 | 2012-03-20 | Grandeye, Ltd. | Tracking moving objects accurately on a wide-angle video |
US7760908B2 (en) * | 2005-03-31 | 2010-07-20 | Honeywell International Inc. | Event packaged video sequence |
US20080291278A1 (en) | 2005-04-05 | 2008-11-27 | Objectvideo, Inc. | Wide-area site-based video surveillance system |
US7366972B2 (en) | 2005-04-29 | 2008-04-29 | Microsoft Corporation | Dynamically mediating multimedia content and devices |
US7657100B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for enabling image recognition and searching of images |
US7643674B2 (en) * | 2005-05-12 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture |
US20090041297A1 (en) * | 2005-05-31 | 2009-02-12 | Objectvideo, Inc. | Human detection and tracking for security applications |
WO2006137071A2 (en) | 2005-06-23 | 2006-12-28 | Israel Aerospace Industries Ltd. | A system and method for tracking moving objects |
EP1748378B1 (de) * | 2005-07-26 | 2009-09-16 | Canon Kabushiki Kaisha | Bildaufnahmegerät und -verfahren |
US8284254B2 (en) * | 2005-08-11 | 2012-10-09 | Sightlogix, Inc. | Methods and apparatus for a wide area coordinated surveillance system |
US20070058836A1 (en) * | 2005-09-15 | 2007-03-15 | Honeywell International Inc. | Object classification in video data |
US8310554B2 (en) * | 2005-09-20 | 2012-11-13 | Sri International | Method and apparatus for performing coordinated multi-PTZ camera tracking |
TW200713021A (en) | 2005-09-29 | 2007-04-01 | Univ Nat Cheng Kung | Hybrid picture classification method |
JP4241709B2 (ja) * | 2005-10-11 | 2009-03-18 | ソニー株式会社 | 画像処理装置 |
US7519567B2 (en) | 2005-10-31 | 2009-04-14 | Hewlett-Packard Development Company, L.P. | Enhanced classification of marginal instances |
US7646922B2 (en) * | 2005-12-30 | 2010-01-12 | Honeywell International Inc. | Object classification in video images |
US7716157B1 (en) | 2006-01-26 | 2010-05-11 | Adobe Systems Incorporated | Searching images with extracted objects |
US8571272B2 (en) * | 2006-03-12 | 2013-10-29 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
US7949186B2 (en) * | 2006-03-15 | 2011-05-24 | Massachusetts Institute Of Technology | Pyramid match kernel and related techniques |
JP4556891B2 (ja) * | 2006-03-17 | 2010-10-06 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
KR20060031832A (ko) * | 2006-03-22 | 2006-04-13 | 뷰웨이 주식회사 | 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템 |
US7523081B1 (en) * | 2006-03-22 | 2009-04-21 | Google Inc. | Method and apparatus for producing a signature for an object |
CN101051385B (zh) * | 2006-04-07 | 2011-11-23 | 欧姆龙株式会社 | 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置 |
US20070237387A1 (en) * | 2006-04-11 | 2007-10-11 | Shmuel Avidan | Method for detecting humans in images |
US8009861B2 (en) | 2006-04-28 | 2011-08-30 | Vobile, Inc. | Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures |
KR101180160B1 (ko) * | 2006-05-22 | 2012-09-10 | 엑시스 에이비 | 비디오 감시 카메라에 의해 검출되는 물체의 특성을 식별하는 방법 및 장치 |
US8929587B2 (en) | 2006-05-31 | 2015-01-06 | Thomson Licensing | Multi-tracking of video objects |
US8184166B2 (en) * | 2006-07-06 | 2012-05-22 | Nokia Corporation | Method, device, mobile terminal and computer program product for a camera motion detection based scheme for improving camera input user interface functionalities |
US20080052262A1 (en) | 2006-08-22 | 2008-02-28 | Serhiy Kosinov | Method for personalized named entity recognition |
US8165397B2 (en) | 2006-12-04 | 2012-04-24 | Lockheed Martin Company | Identifying descriptor for person or object in an image |
US7898576B2 (en) | 2007-02-28 | 2011-03-01 | Honeywell International Inc. | Method and system for indexing and searching objects of interest across a plurality of video streams |
US7925112B2 (en) | 2007-02-28 | 2011-04-12 | Honeywell International Inc. | Video data matching using clustering on covariance appearance |
US8559516B2 (en) | 2007-06-14 | 2013-10-15 | Sony Corporation | Video sequence ID by decimated scene signature |
US8094971B2 (en) * | 2007-09-05 | 2012-01-10 | Seiko Epson Corporation | Method and system for automatically determining the orientation of a digital image |
KR100903961B1 (ko) | 2007-12-17 | 2009-06-25 | 한국전자통신연구원 | 시그니처 파일을 이용한 고차원 데이터 색인 및 검색방법과 그 시스템 |
GB2491987B (en) | 2008-03-03 | 2013-03-27 | Videoiq Inc | Method of searching data for objects identified by object detection |
US8427552B2 (en) | 2008-03-03 | 2013-04-23 | Videoiq, Inc. | Extending the operational lifetime of a hard-disk drive used in video data storage applications |
WO2009140819A1 (en) | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for facilitating the search of video content |
EP2321964B1 (de) | 2008-07-25 | 2018-12-12 | Google LLC | Verfahren und vorrichtung zur erkennung duplikatsverdächtiger videos anhand perzeptueller videosignaturen |
AU2008264232B2 (en) | 2008-12-30 | 2012-05-17 | Canon Kabushiki Kaisha | Multi-modal object signature |
JP4725690B2 (ja) | 2009-01-23 | 2011-07-13 | 日本電気株式会社 | 映像識別子抽出装置 |
US8625033B1 (en) | 2010-02-01 | 2014-01-07 | Google Inc. | Large-scale matching of audio and video |
-
2009
- 2009-03-03 GB GB1211437.7A patent/GB2491987B/en active Active
- 2009-03-03 US US12/397,287 patent/US8934709B2/en active Active
- 2009-03-03 DE DE112009000480T patent/DE112009000480T5/de not_active Ceased
- 2009-03-03 TW TW104131589A patent/TWI534719B/zh active
- 2009-03-03 WO PCT/US2009/035916 patent/WO2009111499A2/en active Application Filing
- 2009-03-03 GB GB1014670.2A patent/GB2471036B/en active Active
- 2009-03-03 GB GB1211440.1A patent/GB2492248B/en active Active
- 2009-03-03 WO PCT/US2009/035915 patent/WO2009111498A2/en active Application Filing
- 2009-03-03 TW TW104114228A patent/TWI508003B/zh active
- 2009-03-03 TW TW098106915A patent/TWI489394B/zh active
- 2009-03-03 US US12/397,276 patent/US8224029B2/en active Active
- 2009-03-03 CN CN2009801073331A patent/CN101965576B/zh active Active
- 2009-03-03 GB GB1211439.3A patent/GB2492247B/en active Active
- 2009-03-03 CN CN200980107334.6A patent/CN101965729B/zh active Active
- 2009-03-03 GB GB1014669.4A patent/GB2470520B/en active Active
- 2009-03-03 KR KR1020107022071A patent/KR101607224B1/ko active IP Right Grant
- 2009-03-03 GB GB1211438.5A patent/GB2492246B/en active Active
- 2009-03-03 DE DE112009000485T patent/DE112009000485T5/de active Pending
- 2009-03-03 KR KR1020107022074A patent/KR101564383B1/ko active IP Right Grant
- 2009-03-03 CN CN201610958333.4A patent/CN106657812B/zh active Active
- 2009-03-03 KR KR1020157030507A patent/KR101592889B1/ko active IP Right Grant
- 2009-03-03 TW TW098106916A patent/TWI506565B/zh active
-
2012
- 2012-07-06 US US13/543,668 patent/US8655020B2/en active Active
-
2014
- 2014-02-18 US US14/183,201 patent/US9317753B2/en active Active
- 2014-02-18 US US14/183,154 patent/US9076042B2/en active Active
- 2014-12-05 US US14/562,572 patent/US9697425B2/en active Active
- 2014-12-05 US US14/562,552 patent/US10133922B2/en active Active
-
2016
- 2016-03-11 US US15/068,433 patent/US9830511B2/en active Active
-
2017
- 2017-05-25 US US15/605,818 patent/US10127445B2/en active Active
- 2017-11-03 US US15/802,936 patent/US10339379B2/en active Active
-
2018
- 2018-11-07 US US16/183,669 patent/US10417493B2/en active Active
-
2019
- 2019-06-14 US US16/442,266 patent/US11176366B2/en active Active
- 2019-08-02 US US16/530,861 patent/US10699115B2/en active Active
-
2021
- 2021-10-07 US US17/496,048 patent/US11669979B2/en active Active
Non-Patent Citations (2)
Title |
---|
Paul Viola & Michael Jones, "Robust Real-Time Face Detection", International Journal of Computer Vision, S. 137-154 (2004) |
Saptharishi, "Sequential Discriminant Error Minimization: The Theory and its Application to Real-Time Video Object Recognition" (Carnegie Mellon University, 2005) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012107392B3 (de) * | 2012-08-13 | 2013-12-12 | Chui-Min Chiu | Rundum Sicherung für ein Kraftfahrzeug |
DE102012223121A1 (de) | 2012-12-13 | 2014-06-18 | Cassidian Optronics Gmbh | Verfahren zur Verfolgung wenigstens eines Objekts und Überwachungsvorrichtung |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112009000485T5 (de) | Objektvergleich für Verfolgung, Indizierung und Suche | |
KR102462572B1 (ko) | 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법 | |
Boom et al. | A research tool for long-term and continuous analysis of fish assemblage in coral-reefs using underwater camera footage | |
CN110188807B (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
DE112017006136T5 (de) | System und Verfahren zur CNN-Schichtenteilung | |
DE112011102294T5 (de) | Optimierung der Ermittlung menschlicher Aktivität aus Videomaterial | |
Hong et al. | Fast multi-feature pedestrian detection algorithm based on histogram of oriented gradient using discrete wavelet transform | |
DE102015207047A1 (de) | Verfahren und System automatisierten Sequenzieren von Fahrzeugen in nebeneinander angeordneten Durchfahrtskonfigurationen über eine bildbasierte Einstufung | |
Jiao et al. | Traffic behavior recognition from traffic videos under occlusion condition: a Kalman filter approach | |
Ariffa Begum et al. | Performance analysis of machine learning classification algorithms in static object detection for video surveillance applications | |
Zheng et al. | Multispectral image fusion for vehicle identification and threat analysis | |
Neogi et al. | Visual Perception for Smart City Defense Administration and Intelligent Premonition Framework Based on DNN | |
Pava et al. | Object Detection and Motion Analysis in a Low Resolution 3-D Model | |
Nouyed et al. | Face detection on surveillance images | |
Usman et al. | Eggplant Leaf Semantic Segmentation in Aerial Imagery for Precision Agriculture | |
Lavanya et al. | Survey on Abnormal Event Detection and Signalling in Multiple Video Surveillance Scenes Using CNN | |
Hultström | Image based wheel detection using random forest classification | |
DE202023105957U1 (de) | Ein Tracker-System zur Identifizierung von Entitäten | |
CN117037058A (zh) | 一种基于边缘计算的分布式智慧港口安检方法 | |
van Elk | Computational Intelligence in Traffic Sign Recognition | |
Volna et al. | Automatic character plate recognition system. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R082 | Change of representative |
Representative=s name: HOFSTETTER, SCHURACK & PARTNER PATENT- UND REC, DE |
|
R081 | Change of applicant/patentee |
Owner name: AVO USA HOLDING 2 CORPORATION, BILLERICA, US Free format text: FORMER OWNER: VIDEOIQ, INC., BEDFORD, MASS., US Effective date: 20150127 Owner name: AVIGILON PATENT HOLDING 2 CORPORATION, CA Free format text: FORMER OWNER: VIDEOIQ, INC., BEDFORD, MASS., US Effective date: 20150127 Owner name: AVIGILON ANALYTICS CORPORATION, CA Free format text: FORMER OWNER: VIDEOIQ, INC., BEDFORD, MASS., US Effective date: 20150127 |
|
R082 | Change of representative |
Representative=s name: HOFSTETTER, SCHURACK & PARTNER PATENT- UND REC, DE Effective date: 20150127 Representative=s name: ZIMMERMANN & PARTNER PATENTANWAELTE MBB, DE Effective date: 20150127 |
|
R081 | Change of applicant/patentee |
Owner name: AVIGILON PATENT HOLDING 2 CORPORATION, CA Free format text: FORMER OWNER: AVO USA HOLDING 2 CORPORATION, BILLERICA, MASS., US Owner name: AVIGILON ANALYTICS CORPORATION, CA Free format text: FORMER OWNER: AVO USA HOLDING 2 CORPORATION, BILLERICA, MASS., US |
|
R082 | Change of representative |
Representative=s name: SCHUMACHER & WILLSAU PATENTANWALTSGESELLSCHAFT, DE Representative=s name: HOFSTETTER, SCHURACK & PARTNER PATENT- UND REC, DE Representative=s name: ZIMMERMANN & PARTNER PATENTANWAELTE MBB, DE |
|
R012 | Request for examination validly filed | ||
R081 | Change of applicant/patentee |
Owner name: AVIGILON ANALYTICS CORPORATION, CA Free format text: FORMER OWNER: AVIGILON PATENT HOLDING 2 CORPORATION, VANCOUVER, CA |
|
R082 | Change of representative |
Representative=s name: SCHUMACHER & WILLSAU PATENTANWALTSGESELLSCHAFT, DE Representative=s name: HOFSTETTER, SCHURACK & PARTNER PATENT- UND REC, DE Representative=s name: ZIMMERMANN & PARTNER PATENTANWAELTE MBB, DE |
|
R082 | Change of representative |
Representative=s name: SCHUMACHER & WILLSAU PATENTANWALTSGESELLSCHAFT, DE Representative=s name: ZIMMERMANN & PARTNER PATENTANWAELTE MBB, DE |
|
R016 | Response to examination communication | ||
R082 | Change of representative |
Representative=s name: SCHUMACHER & WILLSAU PATENTANWALTSGESELLSCHAFT, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009000000 Ipc: G06V0010000000 |
|
R081 | Change of applicant/patentee |
Owner name: MOTOROLA SOLUTIONS, INC., CHICAGO, US Free format text: FORMER OWNER: AVIGILON ANALYTICS CORPORATION, VANCOUVER, CA |