DE102015207047A1

DE102015207047A1 - Method and system automated sequencing of vehicles in side-by-side transit configurations via image-based classification

Info

Publication number: DE102015207047A1
Application number: DE102015207047.6A
Authority: DE
Inventors: Orhan BULAN; Edgar A. Bernal; Aaron M. Burry; Yusuf Oguzhan Artan
Original assignee: Xerox Corp
Current assignee: Conduent Business Services LLC
Priority date: 2014-04-25
Filing date: 2015-04-17
Publication date: 2015-10-29

Abstract

Diese Offenbarung stellt ein Verfahren und System zum automatisierten Sequenzieren von Fahrzeugen in nebeneinander angeordneten Durchfahrtskonfigurationen über eine bildbasierte Einstufung bereit. Gemäß einem Ausführungsbeispiel beinhaltet ein automatisiertes Sequenzierverfahren ein computerimplementiertes Verfahren zum automatisierten Sequenzieren von Fahrzeugen in einer nebeneinander angeordneten Durchfahrt, wobei das Verfahren Folgendes umfasst: a) eine Bilderfassungsvorrichtung, die ein Video eines Zusammenlaufpunktbereichs erfasst, der mit mehreren Spuren von zusammenlaufendem Verkehr assoziiert ist; b) Detektieren in dem Video eines Fahrzeugs, während dieses den Zusammenlaufpunktbereich durchquert; c) Einstufen des detektierten Fahrzeugs, das mit der Durchquerung des Zusammenlaufpunktbereichs assoziiert ist, als aus einer der zusammenlaufenden Spuren kommend; und d) Aggregieren von Fahrzeugeinstufungen, die in Schritt c) ausgeführt werden, um eine Zusammenlaufabfolge von detektierten Fahrzeugen zu generieren.This disclosure provides a method and system for automated sequencing of vehicles in side-by-side transit configurations via image-based classification. According to one embodiment, an automated sequencing method includes a computer-implemented method for automated sequencing of vehicles in a side-by-side transit, the method comprising: a) an image capture device that captures a video of a merge point area associated with multiple tracks of contiguous traffic; b) detecting in the video of a vehicle as it traverses the confluence point area; c) ranking the detected vehicle associated with traversing the confluence point area as coming from one of the converging tracks; and d) aggregating vehicle ratings performed in step c) to generate a merged sequence of detected vehicles.

Description

ALLGEMEINER STAND DER TECHNIKGENERAL PRIOR ART

Aufgrund eines erhöhten Kundendurchsatzes in Bezug auf herkömmliche Durchfahrtskonfigurationen mit einem Bestellpunkt ist eine nebeneinander angeordnete Durchfahrtskonfiguration zu einer Standardkonfiguration, die von neu gebauten Schnellservice-Restaurants verwendet wird, sowie zu einer Konfiguration geworden, zu der viele vorhandene Restaurants wechseln. Wenngleich die nebeneinander angeordnete Durchfahrtskonfiguration Vorteile im Hinblick auf die maximale Kundendurchfahrtsrate pro Stunde aufweist, die ein Restaurant erzielen kann, und so die Anzahl der „Wegfahr”-Ereignisse (bei denen ein Kunde ankommt, beschließt, dass die Schlange zu lang ist oder er länger als geplant warten muss, und sich dann entschließt, wegzufahren) verringert wird, stellt die nebeneinander angeordnete Durchfahrt neue Herausforderungen für Restaurantleiter und -mitarbeiter dar. Eine solche Herausforderung ist die Bestimmung einer korrekten Kundenbestellabfolge, da Fahrzeuge ab dem Zeitpunkt der Aufgabe der Bestellung durch den Kunden bis zu dem Zeitpunkt, an dem der Kunde die bestellte Ware empfängt, aufgrund der parallelen Natur der Konfiguration vermischt werden können, siehe US-Patentschrift Nr. 8,401,230 , erteilt am 19. März 2013, an Kozitsky et al. und mit der Bezeichnung „SIGNATURE BASED DRIVE-THROUGH ORDER TRACKING SYSTEM AND METHOD,“ und US-Anmeldung Nr. 14/022,488, eingereicht am 9. September 2013 von Loce et al. und mit der Bezeichnung „DETERMINING SOURCE LANE OF MOVING ITEM MERGING INTO DESTINATION LANE”. Da zwei separate Spuren mit Bestellkonsolen vorhanden sind und dann die zwei separaten Spuren zwecks Zahlung und Abholung wieder zu einer einzigen Spur zusammenlaufen, können die zwei separaten Bestellpunkte und das erneute Zusammenlaufen der Spuren eine Diskrepanz zwischen der Abfolge, in der die Kundenbestellungen aufgenommen wurden, und der Abfolge verursachen, in der die Fahrzeuge an den Zahlungs- und Abholschaltern ankommen. Dieses „Aus der Reihenfolge bringen” kann zu falschen Preisen, die dem Kunden abgehalten werden, und/oder zur Auslieferung des falschen Essens an den Kunden führen, was erheblich zur Unzufriedenheit des Kunden beiträgt. Selbst wenn die Genauigkeit der ausgelieferten Bestellungen aufrechterhalten wird, führen diese aus der Reihenfolge gebrachten Ereignisse zu einem erheblichen Zeitverlust, d. h. Ineffizienzen, da die Mitarbeiter das bestellte Essen manuell neu sequenzieren müssen, um es mit der Abfolge von Fahrzeugen in der Abholwarteschlange in Einklang zu bringen. Due to increased customer throughput relative to conventional transit configurations with a reorder point, a side-by-side transiting configuration has become a standard configuration used by newly built quick service restaurants as well as a configuration to which many existing restaurants change. Although the side-by-side transit configuration has advantages in terms of the maximum customer throughput rate per hour a restaurant can achieve, and thus the number of "drive-away" events (which a customer arrives at decides that the queue is too long or longer as planned, and then decides to drive away), the side-by-side passage presents new challenges to restaurant managers and staff. One such challenge is determining a correct customer ordering sequence, since vehicles will be delivered from the time the order is placed Customers can be mixed up to the moment when the customer receives the ordered goods, due to the parallel nature of the configuration, see U.S. Patent No. 8,401,230 , issued March 19, 2013, to Kozitsky et al. and U.S. Patent Application No. 14 / 022,488, filed September 9, 2013 by Loce et al., and entitled " SIGNATURE BASED DRIVE-THROUGH ORDER TRACKING SYSTEM AND METHOD, " and entitled "DETERMINING SOURCE LANE OF MOVING ITEM MERGING INTO DESTINATION LANE". Since there are two separate lanes with order consoles, and then the two separate lanes converge to a single lane for payment and collection, the two separate order points and the reconnection of lanes may create a mismatch between the order in which the customer orders were received and cause the sequence in which the vehicles arrive at the payment and collection counters. This "getting out of order" can result in false prices being given to the customer and / or delivery of the wrong food to the customer, which significantly contributes to customer dissatisfaction. Even if the accuracy of delivered orders is maintained, these out-of-order events result in significant time wasting, ie, inefficiencies, as employees must manually re-sequence the ordered food to match the sequence of vehicles in the pick-up queue ,

KURZBESCHREIBUNG SUMMARY

In einer Ausführungsform dieser Offenbarung ist ein automatisiertes Sequenzierverfahren ein computerimplementiertes Verfahren zum automatisierten Sequenzieren von Fahrzeugen, die von mehreren Spuren in eine einzige Spur zusammenlaufen, wobei das Verfahren Folgendes umfasst: a) eine Bilderfassungsvorrichtung, die ein Video eines Zusammenlaufpunktbereichs erfasst, der mit mehreren Spuren von zusammenlaufendem Verkehr assoziiert ist; b) Detektieren in dem Video eines Fahrzeugs, während dieses den Zusammenlaufpunktbereich durchquert; c) Einstufen des detektierten Fahrzeugs, das mit der Durchquerung des Zusammenlaufpunktbereichs assoziiert ist, als aus den zusammenlaufenden Spuren kommend; und d) Aggregieren von Fahrzeugeinstufungen, die in Schritt c) ausgeführt werden, um eine Zusammenlaufabfolge von detektierten Fahrzeugen zu generieren. In einer anderen Ausführungsform dieser Offenbarung ist ein Bildverarbeitungssystem beschrieben, das folgendes umfasst: einen Prozessor und einen Speicher, der mit dem Prozessor wirkverbunden ist, wobei der Prozessor und der Speicher Anweisungen ausführen, um ein Verfahren zum automatisierten Sequenzieren von Fahrzeugen auszuführen, die von mehreren Spuren zu einer einzigen Spur zusammenlaufen, wobei das Verfahren Folgendes umfasst: a) eine Bilderfassungsvorrichtung, die ein Video eines Zusammenlaufpunktbereichs erfasst, der mit mehreren Spuren von zusammenlaufendem Verkehr assoziiert ist; b) Detektieren in dem Video eines Fahrzeugs, während dieses den Zusammenlaufpunktbereich durchquert; c) Einstufen des detektierten Fahrzeugs, das mit der Durchquerung des Zusammenlaufpunktbereichs assoziiert ist, als aus den zusammenlaufenden Spuren kommend; und d) Aggregieren von Fahrzeugeinstufungen, die in Schritt c) ausgeführt werden, um eine Zusammenlaufabfolge von detektierten Fahrzeugen zu generieren. In noch einer anderen Ausführungsform dieser Offenbarung ist ein System zum Aktualisieren einer Ereignisabfolge beschrieben, wobei das System eine automatische Sequenziervorrichtung umfasst, die einen Speicher und einen Prozessor umfasst und mit dem Prozessor verbunden ist, um Folgendes zu konfigurieren: Empfangen einer Anzahl einzelner Bestellanfragen von den zwei Bestellpunkten, wobei jede Bestellanfrage empfangen wird, wenn sich ein Fahrzeug an einem der zwei Bestellpunkte befindet; Aufnehmen von Videodaten eines Spurzusammenlaufpunktbereichs von mindestens einer Bildquelle, wobei der Zusammenlaufpunktbereich mit der Konvergenz von zwei Fahrzeug-Warteschlangenspuren von zwei jeweiligen Bestellpunkten zu einer einzigen Warteschlangenspur assoziiert ist; Verarbeiten eines von Rahmen und mindestens eines Bereichs von Interesse (ROI) in Rahmen der Videodaten, um ein Fahrzeug zu detektieren, das mindestens einen Abschnitt des Fahrzeugs in dem Spurzusammenlaufpunktbereich aufweist; Verfolgen einer Bewegung jedes detektierten Fahrzeugs durch den Spurzusammenlaufpunktbereich über eine Reihe von Rahmen, bis sich das detektierte Fahrzeug außerhalb des Spurzusammenlaufpunktbereichs befindet; als Reaktion auf das detektierte und verfolgte Fahrzeug, das mit dem Spurzusammenlaufpunktbereich assoziiert ist, Einstufen eines oder mehrerer Videorahmen als ein Fahrzeug, das von einer äußeren Spur kommt, die dem Bestellpunkt A assoziiert ist, oder ein Fahrzeug aufweisend, das von einer inneren Spur kommt, die mit dem Bestellpunkt B assoziiert ist; und Aktualisieren einer Abfolge der Bestellungen, um sie mit der bestimmten Abfolge von Fahrzeugen in der einzigen Warteschlangenspur in Einklang zu bringen.In one embodiment of this disclosure, an automated sequencing method is a computer-implemented method for automated sequencing of vehicles converging from multiple lanes into a single lane, the method comprising: a) an image capture device that captures a video of a merge point range that is multi-lane associated with converged traffic; b) detecting in the video of a vehicle as it traverses the confluence point area; c) ranking the detected vehicle associated with traversing the confluence point area as coming from the converging tracks; and d) aggregating vehicle ratings performed in step c) to generate a merged sequence of detected vehicles. In another embodiment of this disclosure, an image processing system is described, comprising: a processor and memory operatively connected to the processor, wherein the processor and the memory execute instructions to execute a method for automated sequencing of vehicles that includes a plurality of vehicles Tracks converge to a single track, the method comprising: a) an image capture device that captures a video of a merge point area associated with multiple tracks of converging traffic; b) detecting in the video of a vehicle as it traverses the confluence point area; c) ranking the detected vehicle associated with traversing the confluence point area as coming from the converging tracks; and d) aggregating vehicle ratings performed in step c) to generate a merged sequence of detected vehicles. In yet another embodiment of this disclosure, a system for updating an event sequence is described, the system comprising an automatic sequencer comprising a memory and a processor and connected to the processor for configuring: receiving a number of individual order requests from the two order points, each order request being received when a vehicle is at one of the two order points; Capturing video data of a track merge point area from at least one image source, wherein the merge point area is associated with the convergence of two vehicle queue tracks from two respective reorder points to a single queue track; Processing one of frames and at least one region of interest (ROI) within the video data to detect a vehicle having at least a portion of the vehicle in the track merge point region; Tracking a movement each detected vehicle through the track merge point area over a series of frames until the detected vehicle is outside the track merge point area; in response to the detected and tracked vehicle associated with the track merge point area, ranking one or more video frames as a vehicle coming from an outer track associated with the order point A, or having a vehicle coming from an inner track that is associated with the order point B; and updating a sequence of orders to align them with the particular sequence of vehicles in the single queue track.

KURZBESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

1 und 2 stellen eine Abfolge von Videobeispielen dar, die Verdeckungen von Fahrzeug zu Fahrzeug zeigen, die mit einer nebeneinander angeordneten Durchfahrtsspurenkonfiguration assoziiert sind. 1 and 2 Figures 12-16 illustrate a sequence of video examples showing vehicle-to-vehicle obstructions associated with a side-by-side through lane configuration.

3 ist ein Flussdiagramm eines Verfahrens zum Verfolgen eines Fahrzeugs über eine bildbasierte Einstufung gemäß einem Ausführungsbeispiel dieser Offenbarung. 3 FIG. 10 is a flowchart of a method of tracking a vehicle via image based ranking according to one embodiment of this disclosure. FIG.

4, 5 und 6 sind Bilder von Fahrzeugen, die einen Zusammenlaufpunktbereich überqueren, der mit einer nebeneinander angeordneten Durchfahrtsspur assoziiert ist, wobei die Fahrzeuge von einer äußeren Punktspur kommen. 4 . 5 and 6 are images of vehicles crossing a confluence point area associated with a side-by-side driveway, the vehicles coming from an outer point track.

7, 8 und 9 sind Bilder von Fahrzeugen, die einen Zusammenlaufpunktbereich überqueren, der mit einer nebeneinander angeordneten Durchfahrtsspur assoziiert ist, wobei die Fahrzeuge von einer inneren Punktspur kommen. 7 . 8th and 9 are images of vehicles crossing a confluence point area associated with a side-by-side driveway, the vehicles coming from an inner dot track.

10 stellt einen Vergleich von Fahrzeugverfolgungsbereichen, die mit einer Zusammenlaufbereichseinstufung gemäß dieser Offenbarung assoziiert sind, und einer Fahrzeugverfolgung von einem Bestellpunkt zu dem Zusammenlaufbereich gemäß anderen Verfahren dar. 10 FIG. 12 illustrates a comparison of vehicle tracking ranges associated with a confluence score according to this disclosure and a vehicle tracking from a time of ordering to the gathering range according to other methods. FIG.

11 ist ein Flussdiagramm, das eine Übersicht über ein Verfahren zum Aktualisieren einer Bestellabfolge gemäß der vorliegenden Offenbarung beschreibt. 11 FIG. 10 is a flowchart describing an overview of a method for updating a order sequence according to the present disclosure. FIG.

12 ist eine schematische Darstellung eines visionsbasierten Systems zum automatischen Generieren einer Bestellabfolge, die mit einer Abfolge übereinstimmt, in der mehrere Subjekte in eine vereinte Warteschlangenspur übergehen. 12 Figure 4 is a schematic representation of a vision-based system for automatically generating a ordering sequence that matches a sequence in which multiple subjects transition to a unified queue track.

13A bis B ist ein ausführliches Flussdiagramm, das ein Verfahren zum automatischen Generieren einer Ereignisabfolge beschreibt, die mit einer Abfolge übereinstimmt, in der mehrere Subjekte von mehreren Warteschlangen zu einer einzigen Schlange zusammenlaufen. 13A to B is a detailed flowchart describing a method for automatically generating an event sequence that matches a sequence in which multiple subjects from multiple queues converge into a single queue.

14 zeigt einen Probenbildrahmen, der einen Warteschlangenbereich in einem Kamerasichtfeld aufweist. 14 shows a sample image frame having a queue area in a camera field of view.

AUSFÜHRLICHE BESCHREIBUNG DETAILED DESCRIPTION

Diese Offenbarung stellt ein bild- oder videobasiertes Verfahren und System zum automatischen Sequenzieren nach dem Zusammenlauf bereit, die nicht auf die Verfolgung von Fahrzeugen von einem Bestellpunkt setzen. Ein Ansatz, der auf der Verfolgung eines Objekts basiert, würde Fahrzeuge an dem Bestellpunkt detektieren und ihre Position über Zeiten (d. h. über Rahmen) hinweg verfolgen und basierend auf der zeitlichen Abfolge von Fahrzeugpositionen eine Bestimmung dahingehend vornehmen, welches Fahrzeug den Zusammenlaufpunkt zuerst durchquert. Im Gegensatz dazu funktioniert die vorgeschlagene Offenbarung durch Detektieren von Fahrzeugen, während sie einen Zusammenlaufpunkt überqueren, und stuft die Fahrzeuge als von einer inneren oder äußeren Spur stammend ein. Das Verfahren und System setzen auf eine Offline-Trainingsstufe, in der Merkmale von manuell gekennzeichneten Proben von Fahrzeugen, die einen Zusammenlaufpunkt überqueren, extrahiert und zwecks Training in einen Klassifikator gespeist werden; der trainierte Klassifikator wird anschließend als ein Online-Klassifikatormodul während des Systembetriebs verwendet. This disclosure provides a video or video-based method and system for automatically sequencing post-merge that does not rely on tracking vehicles from a reorder point. An approach based on the tracking of an object would detect vehicles at the order point and track their position over times (i.e., over frames) and make a determination based on the time sequence of vehicle positions as to which vehicle traverses the point of collision first. In contrast, the proposed disclosure works by detecting vehicles as they cross a confluence point and classifies the vehicles as originating from an inner or outer lane. The method and system rely on an off-line training stage where features of manually identified samples of vehicles crossing a confluence point are extracted and fed into a classifier for training; the trained classifier is then used as an online classifier module during system operation.

Die vorliegende Offenbarung stellt ein bild- oder videobasiertes Verfahren und System zum automatischen Sequenzieren nach dem Zusammenlauf bereit, die nicht auf die Verfolgung von Fahrzeugen von einem Bestellpunkt setzen. Das Verfahren und System funktionieren durch Detektieren von Fahrzeugen, während sie einen Zusammenlaufpunkt überqueren, und stuft die Fahrzeuge als von der inneren oder äußeren Spur stammend ein, die mit der nebeneinander angeordneten Durchfahrtskonfiguration assoziiert ist. Das Verfahren und System umfassen die folgenden Module: (1) Ein Videoaufnahmemodul, das mindestens eine Videokamera aufweist, die Videos der Durchfahrt von Interesse aufnimmt; (2) ein Fahrzeugdetektionsmodul, das Fahrzeuge detektiert, während sie den Zusammenlaufpunkt überqueren, mittels z. B. Bewegungs- oder Vordergrunddetektion; (3) ein Fahrzeugverfolgungsmodul, das detektierte Fahrzeuge verfolgt, bis sie den überwachten Zusammenlaufpunktbereich verlassen; (4) ein Klassifikatormodul, das bestimmt. ob die detektierten Fahrzeuge von der inneren oder äußeren Durchfahrtsspur kommen; und (5) ein Zusammenlaufpunkt-Abfolgebestimmungsmodul, das Ausgaben des Klassifikatormoduls gemäß der Ausgabe des Verfolgungsmoduls vorübergehend aggregiert. Das System setzen auf eine Offline-Stufe, in der Merkmale von manuell gekennzeichneten Proben von Fahrzeugen, die den Zusammenlaufpunkt überqueren, extrahiert und zwecks Training in einen Klassifikator gespeist werden; der trainierte Klassifikator wird dann für den normalen Systembetrieb in die Online-Stufe integriert. The present disclosure provides a video or video-based method and system for automated post-merge sequencing that does not rely on tracking vehicles from a reorder point. The method and system function by detecting vehicles as they cross a confluence point and classify the vehicles as being from the inner or outer lane originating associated with the side-by-side drive-through configuration. The method and system include the following modules: (1) a video capture module having at least one video camera that receives videos of transit of interest; (2) a vehicle detection module which detects vehicles as they cross the confluence point by means of e.g. B. motion or foreground detection; (3) a vehicle tracking module that tracks detected vehicles until they leave the monitored convergence point area; (4) a classifier module that determines. whether the detected vehicles come from the inner or outer passage lane; and (5) a merge point sequence determination module that temporarily aggregates outputs of the classifier module according to the output of the tracking module. The system sets an off-line stage where features of manually marked samples of vehicles crossing the confluence point are extracted and fed into a classifier for training; the trained classifier is then integrated into the online stage for normal system operation.

Wie oben im Abschnitt Allgemeiner Stand der Technik erläutert, ist aufgrund eines erhöhten Kundendurchsatzes in Bezug auf herkömmliche Durchfahrtskonfigurationen mit einem Bestellpunkt eine nebeneinander angeordnete Durchfahrtskonfiguration zur Standardkonfiguration geworden, die von neu gebauten Schnellservice-Restaurants verwendet wird, sowie zu einer Konfiguration, zu der viele vorhandene Restaurants wechseln. Wenngleich diese Konfiguration Vorteile im Hinblick auf die maximale Kundendurchfahrtsrate pro Stunde aufweist, die ein Restaurant erzielen kann, und so die Anzahl der „Wegfahr”-Ereignisse (bei denen ein Kunde ankommt, beschließt, dass die Schlange zu lang ist, und sich dann entschließt, wegzufahren) verringert wird, stellt sie neue Herausforderungen für Restaurantleiter und -mitarbeiter dar. Eine solche Herausforderung ist die Bestimmung der richtigen Kundenbestellungsabfolge, da Fahrzeuge zwischen dem Zeitpunkt der Bestellungsaufgabe bis zu dem Zeitpunkt, an dem der Kunde die Bestellung empfängt, aufgrund der parallelen Natur der Konfiguration vermischt werden können, siehe US-Patentschrift Nr. 8,401,230 , erteilt am 19. März 2013, an Kozitsky et al. und mit der Bezeichnung „SIGNATURE BASED DRIVE-THROUGH ORDER TRACKING SYSTEM AND METHOD,“ und US-Anmeldung Nr. 14/022,488, eingereicht am 9. September 2013 von Loce et al. und mit der Bezeichnung „DETERMINING SOURCE LANE OF MOVING ITEM MERGING INTO DESTINATION LANE”. Da zwei separate Spuren mit Bestellkonsolen vorhanden sind und dann die zwei separaten Spuren zwecks Zahlung und Abholung wieder zu einer einzigen Spur zusammenlaufen, können die zwei separaten Bestellpunkte und das erneute Zusammenlaufen der Spuren eine Diskrepanz zwischen der Abfolge, in der die Kundenbestellungen aufgenommen wurden, und der Abfolge verursachen, in der die Fahrzeuge an den Zahlungs- und Abholschaltern ankommen. Dieses „Aus der Reihenfolge bringen” kann zu falschen Preisen, die dem Kunden abgehalten werden, und/oder zur Auslieferung des falschen Essens an den Kunden führen, was erheblich zur Unzufriedenheit des Kunden beiträgt. Selbst wenn die Genauigkeit der ausgelieferten Bestellungen aufrechterhalten wird, führen diese aus der Reihenfolge gebrachten Ereignisse zu einem erheblichen Zeitverlust, d. h. Ineffizienz, da die Mitarbeiter die Essensbestellungen manuell neu sequenzieren müssen, um sie mit der Abfolge von Fahrzeugen in der Abholwarteschlange in Einklang zu bringen. Ein automatisiertes Verfahren zum genauen Bestimmen einer Abfolge nach dem Zusammenlauf mittels einer Videokamera, um Fahrzeuge an jedem Bestellpunkt zu identifizieren und die identifizierten Fahrzeuge durch den Zusammenlaufpunkt zu verfolgen, erfordert eine genaue und zuverlässige Verfolgung, um die Gesamtgenauigkeit der Zusammenlaufsequenzierung aufrechtzuerhalten. Je nach dem Blickwinkel der Videokamera in Bezug auf den Zusammenlaufpunktbereich kann eine genaue Verfolgung von Fahrzeugen schwierig sein, da ein Fahrzeug in einer Spur (üblicherweise die Spur näher zur Kamera) Fahrzeuge in der anderen Spur (üblicherweise die Spur, die weiter von der Kamera entfernt ist) teilweise verdecken kann, wie in 1 und 2 dargestellt, wo das Fahrzeug 12 das Fahrzeug 10 verdeckt.As discussed in the Background section above, due to increased customer throughput with respect to conventional transit configurations with a reorder point, a side-by-side transiting configuration has become the standard configuration used by newly built quick service restaurants, as well as many existing configurations Change restaurants. Although this configuration has advantages in terms of the maximum customer throughput rate per hour a restaurant can achieve, and thus the number of "drive-away" events (which a customer arrives at decides that the queue is too long and then decides Such a challenge is determining the right customer order sequence, since vehicles run parallel between the time the order is placed and the time the customer receives the order Nature of the configuration can be mixed, see U.S. Patent No. 8,401,230 , issued March 19, 2013, to Kozitsky et al. and U.S. Patent Application No. 14 / 022,488, filed September 9, 2013 by Loce et al., and entitled " SIGNATURE BASED DRIVE-THROUGH ORDER TRACKING SYSTEM AND METHOD, " and entitled "DETERMINING SOURCE LANE OF MOVING ITEM MERGING INTO DESTINATION LANE". Since there are two separate lanes with order consoles, and then the two separate lanes converge to a single lane for payment and collection, the two separate order points and the reconnection of lanes may create a mismatch between the order in which the customer orders were received and cause the sequence in which the vehicles arrive at the payment and collection counters. This "getting out of order" can result in false prices being given to the customer and / or delivery of the wrong food to the customer, which significantly contributes to customer dissatisfaction. Even if the accuracy of delivered orders is maintained, these out-of-order events result in a significant loss of time, inefficiency, as employees must manually re-sequence the food orders to align them with the sequence of vehicles in the pick queue. An automated method of accurately determining a sequence after merging by means of a video camera to identify vehicles at each reorder point and track the identified vehicles through the merge point requires accurate and reliable tracking to maintain the overall accuracy of the merge sequencing. Depending on the viewing angle of the video camera with respect to the fulcrum area, accurate tracking of vehicles may be difficult since a vehicle in one lane (usually the lane closer to the camera) will have vehicles in the other lane (usually the lane farther from the camera is partially obscure, as in 1 and 2 shown where the vehicle 12 the vehicle 10 covered.

Andere Patentschriften/Patentanmeldungen, die eine automatisierte Zusammenlaufpunkt-Bestellungsbestimmung offenbaren, schließen signaturbasierte Bestellverfolgung ein, wie in der US-Patentschrift Nr. 8,401,230 offenbart, die am 19. März 2013 an Kozitsky et al. mit der Bezeichnung „SIGNATURE BASED DRIVE-THROUGH ORDER TRACKING SYSTEM AND METHOD” erteilt wurde. Die Verwendung von Stolperdrähten für eine automatisierte Sequenzierung von Videos ist in der US-Patentanmeldung Nr. 13/975,245 offenbart, die am 23. August 2013 von Gross et al. unter der Bezeichnung „SYSTEM AND METHOD FOR AUTOMATED SEQUENCING OF VEHICLE UNDER LOW SPEED CONDITIONS FROM VIDEO” eingereicht wurde. Ein auf Stereo-Vision basierendes System zur Detektion eines Zusammenlaufs beim Überqueren ist in der US-Patentanmeldung Nr. 14/022,488 offenbart, die am 9. September 2013 von Loce et al. unter der Bezeichnung „DETERMINING SOURCE LANE OF MOVING ITEM MERGING INTO DESTINATION LANE” eingereicht wurde.Other patents / patent applications disclosing an automated collation point ordering determination include signature-based order tracking, as disclosed in U.S.P. U.S. Patent No. 8,401,230 disclosed on March 19, 2013 to Kozitsky et al. named "SIGNATURE BASED DRIVE-THROUGH ORDER TRACKING SYSTEM AND METHOD". The use of tripwires for automated sequencing of video is disclosed in U.S. Patent Application No. 13 / 975,245, issued August 23, 2013 to Gross et al. filed under the name "SYSTEM AND METHOD FOR AUTOMATED SEQUENCING OF VEHICLE AND LOW SPEED CONDITIONS FROM VIDEO". A stereo-vision based cross-over detection system is disclosed in U.S. Patent Application No. 14 / 022,488, issued September 9, 2013 to Loce et al. under the name "DETERMINING SOURCE LANE OF MOVING ITEM MERGING INTO DESTINATION LANE".

Die US-Patentanmeldung Nr. 14/260,915 offenbart ein automatisiertes Verfahren und System zur automatischen Zusammenlaufsequenzierung, die die Detektion von Fahrzeugen an ihrem jeweiligen Bestellpunkt und ihre Verfolgung beinhalten, bis sie einen Zusammenlaufpunkt überqueren. Ein solches Verfahren macht eine genaue Bewegungs-/Vordergrunddetektion und Verfolgung erforderlich, um die Gesamtgenauigkeit der Zusammenlaufsequenzierung aufrechtzuerhalten. Je nach dem Blickwinkel der Kamera in Bezug auf den Zusammenlaufpunktbereich kann eine genaue Detektion und Verfolgung von Fahrzeugen schwierig sein, da Fahrzeuge in einer Spur, üblicherweise der Spur näher zur Kamera, Fahrzeuge in der anderen Spur, üblicherweise der Spur, die weiter von der Kamera entfernt ist), teilweise von der Kamerasicht verdecken kann, wie in 1 und 2 dargestellt wo der Lieferwagen die Limousine verdeckt. Diese Offenbarung stellt ein bild- oder videobasiertes Verfahren und System zum automatischen Sequenzieren nach dem Zusammenlauf bereit, wobei das Verfahren und System nicht auf die Verfolgung von Fahrzeugen von einem Bestellpunkt setzen, sondern durch Detektieren von Fahrzeugen, während diese einen Bestellpunkt überqueren, und basierend auf ihrem Erscheinungsbild, Einstufen der Fahrzeuge als von einer inneren oder äußeren Spur kommend, die mit einer Durchfahrt assoziiert ist, d. h. zwei Spuren vor dem Zusammenlaufpunkt, funktionieren. Das Verfahren und System weisen die folgenden Module auf, wie in 3 dargestellt:

(1) Ein Videoaufnahmemodul 50, das mindestens eine Videokamera aufweist, die ein Video des Zusammenlaufpunktbereichs von Interesse aufnimmt;
(2) Ein Fahrzeugdetektionsmodul 52, z. B. Bewegungs- oder Vordergrunddetektion, das Fahrzeuge detektiert, während sie den Zusammenlaufpunkt überqueren;
(3) Ein Fahrzeugverfolgungsmodul 54, das Fahrzeuge verfolgt, während sie den Zusammenlaufpunkt überqueren, und sie weiter verfolgt, bis sie den Bereich verlassen;
(4) Ein Klassifikatormodul 56, das bestimmt, ob die detektierten Fahrzeuge von der inneren oder äußeren Durchfahrtsspur kommen; und
(5) Ein Zusammenlaufpunkt-Abfolgebestimmungsmodul 58, das Ausgaben des Klassifikatormoduls in Übereinstimmung mit der Ausgabe des Verfolgungsmoduls vorübergehend aggregiert und eine Bestimmung bezüglich der beobachteten Zusammenlaufabfolge vornimmt.

U.S. Patent Application No. 14 / 260,915 discloses an automated method and system for automatic collation sequencing that involves detecting vehicles at their respective ordering point and tracking them until they cross a confluence point. Such a procedure makes accurate motion / foreground detection and tracking is required to maintain the overall accuracy of the collation sequencing. Depending on the viewing angle of the camera relative to the point of collision, accurate detection and tracking of vehicles may be difficult, as vehicles in one lane, usually the lane closer to the camera, vehicles in the other lane, usually the lane further from the camera removed), partially obscured by the camera view, as in 1 and 2 pictured where the van conceals the limousine. This disclosure provides a video or video-based method and system for automatic sequencing post-merge, wherein the method and system do not rely on tracking vehicles from a reorder point, but by detecting vehicles as they cross a reorder point and based on their appearance, classifying the vehicles as coming from an inner or outer lane associated with a passage, ie two lanes before the point of confluence. The method and system have the following modules, as in 3 shown:

(1) A video recording module 50 having at least one video camera receiving a video of the confluence point area of interest;
(2) A vehicle detection module 52 , z. Motion or foreground detection, which detects vehicles as they cross the confluence point;
(3) A vehicle tracking module 54 Tracing vehicles as they cross the confluence point and keep pursuing them until they leave the area;
(4) A classifier module 56 determining whether the detected vehicles come from the inner or outer transit lane; and
(5) A merge point sequence determination module 58 that temporarily aggregates outputs of the classifier module in accordance with the output of the tracking module and makes a determination regarding the observed merge sequence.

Das Verfahren und System weisen eine Offline-Stufe auf, in der Merkmale von manuell gekennzeichneten Proben von Fahrzeugen, die den Zusammenlaufpunkt überqueren, extrahiert und zwecks Training in einen Klassifikator gespeist werden. Danach wird der trainierte Klassifikator während des Online-Betriebs des Systems in das Klassifikatormodul aufgenommen.The method and system include an off-line stage in which features of manually identified samples of vehicles crossing the confluence point are extracted and fed into a classifier for training. Thereafter, the trained classifier is included in the classifier module during on-line operation of the system.

Ein Prinzip, an dem das offenbarte automatisierte Sequenzierverfahren ausgeführt wird, basiert auf der Tatsache, dass das Erscheinungsbild von Fahrzeugen, die einen Zusammenlaufpunkt überqueren, je nach dem Bestellpunkt, von dem sie kommen, erheblich variiert, wie durch die Bilder in 4 bis 9 dargestellt. Die Bilder in 4 bis 6 stellen das Erscheinungsbild von Fahrzeugen dar, die von einer äußeren Bestellpunktspur kommen, während die Bilder in 7 bis 9 das Erscheinungsbild von Fahrzeugen darstellen, die von einer inneren Bestellpunktspur kommen, die mit einem Durchfahrtsschauplatz assoziiert ist, wie in 1 dargestellt. Das offenbarte Verfahren und System erlernt die erforderlichen bildbasierten Merkmale, um eine Differenzierung zwischen den Fahrzeugerscheinungsbildern, die mit der inneren und der äußeren Spur assoziiert sind, zu ermöglichen, und trifft eine Entscheidung dahingehend, von welcher Spur jedes neue ankommende Fahrzeug kommt, ausgehend von seinem Erscheinungsbild und den erlernten Erscheinungsbildunterschieden. Verschiedene Aspekte des Verfahrens und Systems werden nachstehend ausführlicher beschrieben. One principle on which the disclosed automated sequencing method is performed is based on the fact that the appearance of vehicles crossing a confluence point varies considerably depending on the order point from which they come, as illustrated by the pictures in FIG 4 to 9 shown. The pictures in 4 to 6 represent the appearance of vehicles coming from an outside ordering point track while the images in 7 to 9 represent the appearance of vehicles coming from an inner order point lane associated with a transit venue, as in 1 shown. The disclosed method and system learns the image-based features required to enable differentiation between the vehicle appearances associated with the inner and outer lanes, and makes a decision as to which lane each new arriving vehicle will come from Appearance and learned differences in appearance. Various aspects of the method and system are described in more detail below.

1) Videoaufnahmemodul 50 1) Video recording module 50

Das Videoaufnahmemodul umfasst mindestens eine Videokamera, die ein Video eines Bereichs von Interesse aufnimmt. Im Hinblick auf die räumlichen oder zeitlichen Auflösungen sind keine spezifischen Anforderungen erforderlich. Allerdings sind herkömmliche Überwachungskameras typischerweise IP-(Internet Protocol)-Kameras mit Pixelauflösungen von VGA (Video Graphics Array) und darüber (640 × 480) und Bildrahmenraten von 15 fps (Rahmen pro Sekunde) und darüber. Zum Beispiel eine RGB(Rot Grün Blau)-Kompaktkamera mit einer Auflösung von 1280 × 720 Pixel und einer Bildrahmenrate von 30 fps gemäß einem Ausführungsbeispiel dieser Offenbarung. The video capture module includes at least one video camera that captures a video of a region of interest. With regard to the spatial or temporal resolutions, no specific requirements are required. However, conventional surveillance cameras are typically IP (Internet Protocol) cameras with pixel resolutions of VGA (Video Graphics Array) and above (640x480) and frame rates of 15 fps (frames per second) and above. For example, an RGB (Red Green Blue) compact camera having a resolution of 1280 × 720 pixels and an image frame rate of 30 fps according to an embodiment of this disclosure.

2) Fahrzeugdetektionsmodul 52 2) Vehicle detection module 52

Ein Fahrzeugdetektionsmodul detektiert die Gegenwart von Fahrzeugen, während sie den Zusammenlaufpunktbereich betreten. Gemäß einem Ausführungsbeispiel des Algorithmus wird eine Detektion eines sich bewegenden Fahrzeugs durch zeitliche Differenzierung von Rahmen ausgeführt. Andere Bewegungs- und Vordergrunddetektionsansätze wie diejenigen, die auf einer Hintergrundschätzung und -subtraktion basieren, und optischer Fluss können verwendet werden. Als Alternative und wie in der Beschreibung des Klassifikatormoduls dargestellt, kann das Einstufungsmodul verwendet werden, um eine Fahrzeugdetektion zusätzlich zu der Bestimmung auszuführen, d. h. Einstufung, von welcher Bestellspur, d. h. dem inneren oder äußeren Bestellpunkt, das Fahrzeug kommt, ausgehend von einer rahmenweise Basis. Nachdem ein Fahrzeug detektiert ist, wird ein Tracker ausgelöst, um das Voranschreiten des Fahrzeugs zu überwachen, während es den Zusammenlaufpunktbereich überquert. Das Fahrzeugdetektionsmodul wird nur dann betätigt, wenn bestimmt wird, dass das Fahrzeug nicht bereits verfolgt wird, da das System unter der Voraussetzung arbeitet, dass zu einem bestimmten Zeitpunkt höchstens ein Fahrzeug den Zusammenlaufpunktbereich überqueren kann.A vehicle detection module detects the presence of vehicles as they enter the confluence point area. According to an embodiment of the algorithm, detection of a moving vehicle is performed by time differentiation of frames. Other motion and foreground detection approaches, such as those based on background estimation and subtraction, and optical flow may be used. Alternatively, and as shown in the description of the classifier module, the rating module may be used to perform vehicle detection in addition to the determination, ie, ranking, from which order lane, ie, interior or exterior Order point, the vehicle comes, starting from a frame-by-frame basis. After a vehicle is detected, a tracker is triggered to monitor the progression of the vehicle as it traverses the confluence point area. The vehicle detection module is operated only when it is determined that the vehicle is not already being tracked because the system operates on the premise that at most one vehicle can cross the confluence point area at a particular time.

3) Fahrzeugverfolgungsmodul 54 3) Vehicle tracking module 54

Ein Fahrzeugverfolgungsmodul verfolgt die Position eines detektierten Fahrzeugs, während sich dieses über den Zusammenlaufpunktbereich bewegt. Beispiele von videobasierten Objektverfolgungsalgorithmen, die verwendet werden können, schließen das Mean Shift Tracking, Punkt- und globale merkmalsbasierte Algorithmen, Silhouette/Kontur und Partikelfilter-Tracker ein. Gemäß einem Ausführungsbeispiel stellt das lokale Objektverfolgungsmodul Übereinstimmungen zwischen mehreren Detektionen eines Objekts über verschiedene Rahmen her. Zu diesem Zweck kann das Verfolgungsmodul eine temporäre Abfolge ausgeben, die Daten entspricht, die die Position des detektierten Fahrzeugs über den Bereich von Rahmen beschreiben, in denen es innerhalb des überwachten Bereichs vorhanden ist. Genauer kann das lokale Verfolgungsmodul für jedes verfolgte Objekt seine Position in Pixelkoordinaten und die entsprechende Bildrahmenzahl über den Bereich von Rahmenausgeben, für den das Objekt innerhalb des überwachten Bereichs bleibt. Dieses Modul führt eine Verfolgung an dem Zusammenlaufpunktbereich aus und ist erforderlich, um zu verhindern, dass ein einziges Fahrzeug in dem Bereich mehrere Fahrzeugdetektionssignale auslöst. Insbesondere beinhaltet im Gegensatz zu dem offenbarten Verfahren und System ein anderer Ansatz eine automatische Zusammenlauflösung, die die Verfolgung von Fahrzeugen den gesamten Weg von dem Bestellpunkt bis zu dem Zusammenlaufpunkt beinhaltet. Je nach den Kamerawinkeln, die für ein bestimmtes Restaurant verfügbar sind, kann die Leistung dieses Ansatzes durch schwerwiegende Verdeckungen beeinträchtigt sein, wie in 1 dargestellt. Im Falle des gegenwärtig offenbarten Verfahrens und Systems sind Verdeckungen jedoch nur selten von Bedeutung, da die Verfolgung ausgeführt wird, nachdem ein Zusammenlauf in einem Bereich der Durchfahrt stattgefunden hat, die für jeweils nur ein Fahrzeug Platz hat. Die zwei Verfolgungsbereiche werden in 10 verglichen, wo die Strecken, die von der anderen Verfolgungslösung unterstützt werden, die Pfeile 62 und 64 aufweisen, und der Verfolgungsbereich, der von dem gegenwärtig offenbarten bildbasierten Einstufungsverfahren und System unterstützt werden muss, den Pfeil 60 aufweist.A vehicle tracking module tracks the position of a detected vehicle as it moves over the point of merge point. Examples of video-based object tracking algorithms that may be used include mean shift tracking, point and global feature based algorithms, silhouette / contour, and particulate filter tracker. According to an embodiment, the local object tracking module establishes matches between multiple detections of an object over different frames. For this purpose, the tracking module may output a temporary sequence corresponding to data describing the position of the detected vehicle over the range of frames in which it exists within the monitored area. More specifically, for each tracked object, the local tracking module may output its position in pixel coordinates and the corresponding frame number over the range of frames for which the object remains within the monitored area. This module performs tracking at the confluence point area and is required to prevent a single vehicle in the area from triggering multiple vehicle detection signals. In particular, unlike the disclosed method and system, another approach involves an automatic merge solution that involves tracking vehicles all the way from the reorder point to the reentry point. Depending on the camera angles available for a particular restaurant, the performance of this approach may be affected by severe obscurations, as in 1 shown. However, in the case of the presently disclosed method and system, obscurations are rarely significant since the tracking is performed after a merge has occurred in an area of the transitway that can accommodate only one vehicle at a time. The two tracking areas are in 10 compared where the routes supported by the other tracking solution are the arrows 62 and 64 and the tracking area that must be supported by the currently disclosed image-based rating method and system, the arrow 60 having.

4) Klassifikatormodul 56 4) Classifier module 56

Ein Klassifikatormodul trifft eine rahmenweise Entscheidung darüber, ob das Fahrzeug, das an dem Zusammenlaufpunkt von dem Fahrzeugdetektionsmodul detektiert wird oder von dem Fahrzeugverfolgungsmodul verfolgt wird, von dem inneren oder dem äußeren Bestellpunkt kommt. Gemäß einem Ausführungsbeispiel des Algorithmus werden zwei Support Vector Machine(SVM)-Klassifikatoren mit linearem Kern verwendet, die an extrahierten „Histogram of Gradient”-(HOG)-Merkmalen von Trainingsbildern von Fahrzeugen trainiert sind. Andere Ausführungsbeispiele können weniger oder mehr trainierte und angewendete Klassifikatoren beinhalten. Zum Beispiel können andere Klassifikatoren wie diejenigen, die auf SVM mit nicht linearen Kernen basieren, neurale Netzwerke, überwachte Clusterbildungs- und Entscheidungsbäume verwendet werden. A classifier module makes a frame-by-frame decision as to whether the vehicle being detected at the confluence point by the vehicle detection module or tracked by the vehicle tracking module is coming from the inner or outer ordering point. According to one embodiment of the algorithm, two Linear Vector Support Vector Machine (SVM) classifiers are trained on extracted "Histogram of Gradient" (HOG) features of vehicle training images. Other embodiments may include fewer or more trained and applied classifiers. For example, other classifiers such as those based on SVM with nonlinear cores, neural networks, supervised clustering and decision trees may be used.

Gleichermaßen können andere Merkmale texturbasierte Merkmale wie Local Binary Patterns (LBP), Successive Mean Quantization Transform-(SMQT)-Merkmale; Merkmale, die auf Farbattributen basieren (z. B. Farbhistogramme); skaleninvariante Merkmale wie Scale Invariant Feature Transform(SIFT)-Merkmale oder Speeded Up Robust Features (SURF); und lokale Bilddeskriptoren wie Bag of Visual Words (BOV) oder Fisher-Vektoren einschließen. Wie oben offenbart, muss, bevor das Klassifikatormodul an einem ankommenden Video eingesetzt werden kann, ein Klassifikator in einer Trainingsstufe trainiert werden. Die Anwendung des trainierten Klassifikators an einem ankommenden Video erfolgt in einer Online-Stufe.Similarly, other features may use texture-based features such as Local Binary Patterns (LBP), Successive Mean Quantization Transform (SMQT) features; Features based on color attributes (eg color histograms); scale-invariant features such as Scale Invariant Feature Transform (SIFT) features or Speeded Up Robust Features (SURF); and include local image descriptors such as Bag of Visual Words (BOV) or Fisher vectors. As disclosed above, before the classifier module can be used on an incoming video, a classifier must be trained in a training stage. The application of the trained classifier to an incoming video occurs in an online stage.

Trainingsstufe: Jeder Klassifikator (d. h. ein Klassifikator für jede Zusammenlaufspur) wird unabhängig mit manuell gekennzeichneten positiven Proben, die Bilder mit Fahrzeugen umfassen, die von der Spur kommen, die dem Klassifikator zugewiesen ist, und manuell gekennzeichneten negativen Proben trainiert, die Bilder ohne Fahrzeuge und Bilder mit Fahrzeugen von der Spur umfassen, die dem Klassifikator nicht zugewiesen ist. Die Trainingsproben werden von RGB in Grauskala umgewandelt; anschließend werden HOG-Merkmale aus den resultierenden monochromatischen Bildern extrahiert und einer SVM-Klassifikator-Trainingsstufe mit linearem Kern zugeführt. Der Klassifikator wird trainiert, um die positiven Proben von den negativen Proben durch Finden von Regeln zu unterscheiden, die ihre entsprechenden Merkmalsrepräsentationen trennen.Training Level: Each classifier (ie, one classifier for each trail) is independently trained with manually marked positive samples comprising images with vehicles coming from the track assigned to the classifier and manually marked negative samples, the images without vehicles and Include images with vehicles from the track that is not assigned to the classifier. The training samples are converted from RGB to gray scale; then HOG features are extracted from the resulting monochromatic images and fed to a linear core SVM classifier training stage. The classifier is trained to distinguish the positive samples from the negative samples by finding rules that separate their respective feature representations.

In einer anderen Ausführungsform wird ein einziger Mehrklassen-Klassifikator trainiert, um zwischen Bildern von Fahrzeugen zu unterscheiden, die von jeder der zusammenlaufenden Spuren kommen. Zum Beispiel ist der trainierte Klassifikator in dem Fall, wenn zwei Spuren zu einer einzigen Spur zusammenlaufen, ein binärer Klassifikator, wobei Klasse 1 Bildern von Fahrzeugen entspricht, die von Spur 1 zusammenlaufen, und Klasse 2 Bildern von Fahrzeugen entspricht, die von Spur 2 zusammenlaufen. Eine größere Anzahl von zusammenlaufenden Spuren kann unterstützt werden. In another embodiment, a single multi-class classifier is trained to distinguish between images of vehicles coming from each of the merging lanes. For example, in the case where two lanes merge into a single lane, the trained classifier is a binary classifier, where class l corresponds to images of vehicles converging from lane 1, and class 2 corresponds to images of vehicles converging from lane 2 , A larger number of converging tracks can be supported.

In noch einer anderen Ausführungsform wird ein einziger Mehrklassen-Klassifikator trainiert, um zwischen Bildern von Fahrzeugen, die von jeder der zusammenlaufenden Spuren kommen, sowie Bildern zu unterscheiden, die keine Fahrzeuge enthalten. Falls die Anzahl der zusammenlaufenden Spuren in diesem Fall N ist, dann ist die Anzahl der Klassen in dem Klassifikator N + 1.In yet another embodiment, a single multi-class classifier is trained to distinguish between images of vehicles coming from each of the merging lanes and images that do not contain vehicles. If the number of contiguous tracks in this case is N, then the number of classes in the classifier is N + 1.

Online-Stufe: Nachdem jeder Klassifikator trainiert ist, wird er auf ein Live-Video angewendet, das von dem Videoaufnahmemodul aufgenommen wird. Gemäß einem Ausführungsbeispiel werden die Klassifikatoren nur auf Rahmen angewendet, für die ein Fahrzeug von dem Fahrzeugdetektionsmodul detektiert wurde oder für die ein Fahrzeug von dem Fahrzeugverfolgungsmodul verfolgt wird. Gemäß einem anderen Ausführungsbeispiel werden die Klassifikatoren auf jeden Rahmen angewendet und ihre Ausgaben werden verwendet, um sowohl eine Fahrzeugdetektion als auch eine Bestimmung der Spur auszuführen, von der die Bestellung kommt.Online Level: After each classifier is trained, it will be applied to a live video captured by the video capture module. According to one embodiment, the classifiers are applied only to frames for which a vehicle has been detected by the vehicle detection module or for which a vehicle is being tracked by the vehicle tracking module. According to another embodiment, the classifiers are applied to each frame and their outputs are used to carry out both a vehicle detection and a determination of the lane from which the order comes.

In der alternativen Ausführungsform, in der ein einziger Mehrklassen-Klassifikator mit einer Anzahl von Klassen vorhanden ist, die der Anzahl von zusammenlaufenden Spuren entspricht, kann der Klassifikator nur auf Rahmen angewendet werden, für die ein Fahrzeug von dem Fahrzeugdetektionsmodul detektiert wurde. In der alternativen Ausführungsform, in der ein einziger Mehrklassen-Klassifikator vorhanden ist, der mit Klassen, die Bildern von Fahrzeugen entsprechend, die von jeder Spur zusammenlaufen, und mit einer zusätzlichen Klasse trainiert ist, die Bildern ohne Fahrzeuge entsprechen, kann der Klassifikator auf jeden Rahmen oder auf Rahmen angewendet werden, für die ein Fahrzeug von dem Fahrzeugdetektionsmodul detektiert wurde.In the alternative embodiment, where there is a single multi-class classifier having a number of classes corresponding to the number of contiguous tracks, the classifier may be applied only to frames for which a vehicle has been detected by the vehicle detection module. In the alternative embodiment, where there is a single multi-class classifier trained with classes corresponding to images of vehicles converging from each lane and with an additional class corresponding to images without vehicles, the classifier may be applied to each Frame or on frames for which a vehicle has been detected by the vehicle detection module.

Tabelle 1 unten zeigt zwei Betriebsweisen, wobei vorausgesetzt wird, dass Klassifikator 1 mit positiven Proben von der inneren Spur und Klassifikator 2 mit positiven Proben von der äußeren Spur trainiert wurde. Die Ausgabe jedes Klassifikators ist eine reale Zahl, die positiv ist, falls der Klassifikator entscheidet, dass das Eingabebild eine positive Fahrzeugprobe enthält, und anderenfalls negativ ist. In Ausführungsform 1 wird eine Entscheidung nur dann getroffen, wenn ein Fahrzeug vorher von dem Fahrzeugdetektionsmodul detektiert wurde oder gegenwärtig von dem Verfolgungsmodul verfolgt wird. In Ausführungsform 2 wird die Ausgabe des Klassifikators selbst als ein Indikator der anfänglichen Gegenwart eines Fahrzeugs verwendet, falls ein Fahrzeug nicht bereits verfolgt wird. Die detektierte anfängliche Gegenwart eines Fahrzeugs löst ein Verfolgungsereignis für nachfolgende Rahmen aus. Es sei darauf hingewiesen, dass der Fall, in dem die Ausgabe beider Klassifikatoren positiv ist, nur selten auftritt, jedoch dennoch eine Entscheidung für diese Fälle getroffen werden muss. In diesen Fällen kann eine Entscheidung getroffen werden, indem beispielsweise die Klasse gewählt wird, für die die Entscheidung ein höheres Vertrauen hat. Andere Entscheidungen wie das Warten auf einen zukünftigen Rahmen, bei dem kein Konflikt zwischen Klassifikatoren vorhanden ist, kann ebenfalls getroffen werden. C1 Ausgabe C2 Ausgabe Entscheidung in Ausführungsform 1 Entscheidung in Ausführungsform 2 ≤ t1 ≤ t2 Keine Entscheidung getroffen Kein Auto vorhanden > t1 ≤ t2 Ankommendes Auto von innerer Spur ≤ t1 > t2 Ankommendes Auto von äußerer Spur > t1 > t2 Ankommendes Auto von innerer Spur, falls C1 > C2 Ankommendes Auto von innerer Spur, falls C1 ≤ C2 Tabelle 1 Table 1 below shows two modes of operation, assuming that classifier 1 was trained with positive samples from the inner lane and classifier 2 with positive samples from the outer lane. The output of each classifier is a real number that is positive if the classifier determines that the input image contains a positive vehicle sample and otherwise is negative. In Embodiment 1, a decision is made only when a vehicle has previously been detected by the vehicle detection module or is currently being tracked by the tracking module. In Embodiment 2, the output of the classifier itself is used as an indicator of the initial presence of a vehicle if a vehicle is not already tracked. The detected initial presence of a vehicle triggers a tracking event for subsequent frames. It should be noted that the case in which the output of both classifiers is positive occurs only rarely, but nevertheless a decision has to be made for these cases. In these cases, a decision can be made by, for example, choosing the class for which the decision has more confidence. Other decisions such as waiting for a future frame where there is no conflict between classifiers can also be made. C1 edition C2 issue Decision in Embodiment 1 Decision in Embodiment 2 ≤ t1 ≤ t2 No decision made No car available > t1 ≤ t2 Incoming car from inside track ≤ t1 > t2 Incoming car from outside lane > t1 > t2 Incoming car from inside lane if C1> C2 Incoming car from inside lane if C1 ≤ C2 Table 1

5) Zusammenlaufpunkt-Abfolgebestimmungsmodul 58 5) Merge point sequence determination module 58

Das Zusammenlaufpunkt-Abfolgebestimmungsmodul aggregiert vorübergehend Ausgaben des Klassifikatormoduls in Übereinstimmung mit der Ausgabe des Verfolgungsmoduls. Dies führt in der Tat zum Treffen einer Entscheidung bezüglich der Reihenfolge, in der Fahrzeuge den Zusammenlaufpunkt überqueren, basierend auf den Ausgaben aus dem Verfolgungs- und dem Klassifikatormodul. Wie oben beschrieben, kann die Ausgabe des Verfolgungsmoduls verwendet werden, und ein bestimmtes Fahrzeug über eine Anzahl von Rahmen zu identifizieren. Da eine klassifikatorbasierte Entscheidung für jeden der Rahmen getroffen werden kann, kann eine vereinheitlichte oder aggregierte Entscheidung durch Ausführen einer mathematischen Kombination der Ausgaben der Klassifikatoren für die Rahmen, die einem einzigen Fahrzeug entsprechen, von dem Verfolgungsmodul getroffen werden. Zum Beispiel ist eine Stimmenmehrheit der Entscheidungen, die für jeden Rahmen getroffen werden, der einem bestimmten Fahrzeug entspricht, in der einfachsten Ausführungsform die Ausgabe. Gemäß anderen Ausführungsformen können gewichtete Kombinationen zwischen den Klassifikatorausgaben über Rahmen berechnet werden. Zum Beispiel können Entscheidungen, die anfänglich für ein Fahrzeug getroffen wurden, als zuverlässiger erachtet werden als diejenigen, die später getroffen werden, weshalb früheren Klassifikatorentscheidungen ein größeres Gewicht verliehen werden kann. Ein „Subjekt”, wie hierin berücksichtigt, kann ein Fahrzeug oder einen Fußgänger und dergleichen einschließen, das bzw. der im Allgemeinen in einer Warteschlange(n) wartet, bis es bzw. er an der Reihe ist, um nach Aufgabe einer Kunden-/Einzelanfrage und/oder Bestellung für das Ereignis eine spezifische Ware und/oder einen Dienst („Ereigniserfüllung”) in Empfang zu nehmen. Zu Darstellungszwecken schließen die hierin bezeichneten Subjekte Fahrzeuge ein, die jeweils mit einem Kunden assoziiert sind, der einen Artikel kauft. Allerdings wird hierin keine Einschränkung hinsichtlich des „Subjekts” und des endgültigen Zwecks der Warteschlange gemacht.The collation point sequence determination module temporarily aggregates classifier module outputs in accordance with the output of the tracking module. This indeed leads to Making a decision on the order in which vehicles cross the confluence point based on the tracker and classifier module outputs. As described above, the output of the tracking module may be used to identify a particular vehicle over a number of frames. Since a classifier-based decision can be made for each of the frames, a unified or aggregated decision can be made by performing a mathematical combination of the classifier outputs for the frames corresponding to a single vehicle from the tracking module. For example, a majority of the votes made for each frame that corresponds to a particular vehicle is the output in the simplest embodiment. According to other embodiments, weighted combinations between the classifier outputs over frames may be calculated. For example, decisions that were initially made for a vehicle may be considered more reliable than those that are met later, which may give greater weight to earlier classifier decisions. A "subject," as contemplated herein, may include a vehicle or pedestrian, and the like, generally waiting in a queue (s) until it is his turn to wait for a customer / operator. Individual request and / or order for the event to receive a specific product and / or service ("Event Fulfillment"). For purposes of illustration, the subjects referred to herein include vehicles each associated with a customer who buys an article. However, no limitation is made herein as to the "subject" and the ultimate purpose of the queue.

Ein „Zusammenlaufpunkt”, wie hierin berücksichtigt, ist ein Bereich, der in dem Kamerasichtfeld definiert ist, den ein Subjekt betritt und/oder von einer von mehreren Warteschlangen zu einer einzelnen Warteschlangenspur zusammenläuft und nun als Teil der Warteschlange betrachtet wird, die sich einem Endereignispunkt nähert. Zu Erläuterungszwecken kann der hierin bezeichnete Zusammenlaufpunkt einen Bereich aufweisen, den ein Fahrzeug betritt und/oder von einer von mehreren Warteschlangen zu einer einzelnen Warteschlangenspur zusammenläuft, nachdem eine Bestellung an einem von mehreren nebeneinander angeordneten Bestellpunkten aufgegeben wurde, und wird nun als Teil der Warteschlange betrachtet, die sich den Service-(Zahlungs- und Abholungs-)-Fenstern nähert. As used herein, a "merge point" is an area defined in the camera field of view that a subject enters and / or converges from one of several queues to a single queue track and is now considered part of the queue that is at an end event point approaches. For illustrative purposes, the confluence point referred to herein may have a range that a vehicle enters and / or converges from one of a plurality of queues to a single queue track after an order has been placed at one of a plurality of side-by-side ordering points, and is now considered part of the queue that approaches the service (payment and pick-up) windows.

11 ist ein Flussdiagramm, das eine Übersicht über ein Verfahren 100 zum Aktualisieren einer Bestellabfolge gemäß der vorliegenden Offenbarung beschreibt. Das Verfahren beginnt bei S112. Das System nimmt bei S114 Videodaten von mindestens einer Bildquelle auf, die einen Bereich von Interesse („Warteschlangenbereich”) überwacht, der einen Spurzusammenlaufbereich aufweist, wo eine innere und eine äußere Spur zu einer einzigen Warteschlangenspur zusammenlaufen. Die Videodaten werden von mindestens einer Videokamera generiert, die ein individuelles oder kombiniertes Sichtfeld aufweist, das den Spurzusammenlaufpunktbereich aufweist, an dem die separaten Warteschlangenspuren zu einer einzigen Warteschlangenspur zusammenlaufen. Das System durchsucht die Rahmen oder Bereiche von Interesse (ROI), die in den Rahmen definiert sind, nach Fahrzeugen, die zumindest in der Nähe der Grenze des Spurzusammenlaufpunktbereichs S116 angeordnet sind. In den erläuterten Ausführungsformen können bestehende modellbasierte Ansätze zur Hintergrundsubtraktion oder Bewegungsdetektion verwendet werden, um das Fahrzeug zu detektieren. Das System assoziiert bei S118 jedes detektierte Objekt als ein Kandidatenfahrzeug. Im Allgemeinen bestimmt das System dann bei S120, ob das Kandidatenfahrzeug vorher einem Tracker zugewiesen war oder ob es neu auf dem Schauplatz ist. Hauptsächlich beinhaltet der Ansatz, der für diese Bestimmung verwendet wird, das Berechnen eines Deskriptors oder Wertes wie eines Attributs, eines Abstands von anderen Subjekten, eines Satzes von Merkmalen und/oder einer Anzahl von verfolgten Merkmalen in dem Bereich usw., Beschreiben des Erscheinungsbildes eines Kandidatensubjekts und Vergleichen des Deskriptors/Wertes mit Schwellenwerten oder entsprechenden Deskriptoren anderer Fahrzeuge, die gegenwärtig verfolgt werden. Der Deskriptor/Wert, der berechnet wird, basiert auf der Art des Verfolgungsalgorithmus, der von dem System angewendet wird. In ähnlicher Weise kann der Verfolgungsalgorithmus, der von dem System angewendet wird, von dem modellbasierten Ansatz abhängig sein, der zum Detektieren der Kandidatenfahrzeuge angewendet wird. Basierend auf den Ergebnissen des Vergleichs stuft das System jedes Kandidatenfahrzeug als zu einem eines neuen Fahrzeugs von Interesse und einer gegenwärtig verfolgten Fahrzeugkategorie ein. Als Reaktion darauf, dass das Kandidatenfahrzeug als ein neues Fahrzeug von Interesse kategorisiert ist, weist das System dem neuen Fahrzeug bei S122 einen Tracker zu. Die Bewegung jedes Fahrzeugs wird bei S124 in und um den überwachten Warteschlangen-Zusammenlaufpunktbereich über die nachfolgenden Serien von Rahmen verfolgt. Im Allgemeinen wird jedes verfolgte Fahrzeug über die Serie von Rahmen verfolgt, während seine Position innerhalb eines vorbestimmten/vordefinierten Zusammenlaufpunktbereichs liegt, an dem die mehreren Warteschlangen zu einer einzigen Warteschlangenspur konvergieren. Als Reaktion darauf, dass das detektierte/verfolgte Fahrzeug den vordefinierten Zusammenlaufpunktbereich überquert, stuft das System bei S125 einen oder mehrere Rahmen ein, die mit der Fahrzeugdetektion und -verfolgung assoziiert sind, um zu bestimmen, ob das detektierte/verfolgte Fahrzeug von einer äußeren Spur, die den Bestellpunkt A aufweist, oder einer inneren Spur stammt, die mit dem Bestellpunkt B assoziiert ist, wobei das System dann bei S126 eine bestimmte Abfolge von Fahrzeugen berechnet, die sich dem Servicepunkt nähern. Diese bestimmte Abfolge entspricht dem Zeitpunkt, wenn die verfolgten Fahrzeuge in Bezug auf die anderen verfolgten Fahrzeuge in die einzige Warteschlangenspur übergangen sind. Das System aktualisiert dann bei S128 die Abfolge von Bestellungen, um die beobachtete Abfolge von Fahrzeugen in der einzigen Warteschlangenspur in Einklang zu bringen. In einer Ausführungsform ist die Bestellkennung mit dem Tracker assoziiert und folgt dem Subjekt über die Serie von Rahmen. Das System kann die Bestellkennung verwenden, um die aktualisierte Bestellabfolge zu berechnen, sodass die Bestellungen in der Abfolge erfüllt werden können, die für jedes Fahrzeug zum Erreichen des Servicepunktes vorausgesehen wird. Das Verfahren endet bei S130. 11 is a flowchart that gives an overview of a procedure 100 for updating a order sequence according to the present disclosure. The process begins at S112. At S114, the system captures video from at least one image source that monitors an area of interest ("queue area") that has a track merge area where an inner and outer track merge into a single queue track. The video data is generated by at least one video camera having an individual or combined field of view having the track merge point area at which the separate queue tracks merge into a single queue track. The system searches the frames or areas of interest (ROI) defined in the frames for vehicles located at least near the boundary of the track merge point area S116. In the illustrated embodiments, existing model-based approaches to background subtraction or motion detection may be used to detect the vehicle. The system associates each detected object as a candidate vehicle at S118. In general, the system then determines at S120 whether the candidate vehicle was previously assigned to a tracker or is new on the scene. Mainly, the approach used for this determination involves calculating a descriptor or value such as an attribute, a distance from other subjects, a set of features and / or a number of tracked features in the area, etc., describing the appearance of a Candidate subject and comparing the descriptor / value with thresholds or corresponding descriptors of other vehicles currently being tracked. The descriptor / value that is calculated is based on the type of tracking algorithm used by the system. Similarly, the tracking algorithm employed by the system may be dependent upon the model-based approach used to detect the candidate vehicles. Based on the results of the comparison, the system classifies each candidate vehicle as one of a new vehicle of interest and a currently tracked vehicle category. In response to the candidate vehicle being categorized as a new vehicle of interest, the system assigns a tracker to the new vehicle at S122. The motion of each vehicle is tracked at S124 in and around the monitored queue confluence point area over the subsequent series of frames. In general, each tracked vehicle is tracked over the series of frames while its position is within a predetermined / predefined merge point range at which the multiple queues converge into a single queue track. In response to the detected / tracked vehicle crossing the predefined merge point area, at S125, the system classifies one or more frames associated with vehicle detection and tracking to determine whether the detected / tracked vehicle is from an outer lane that has the order point A, or one inner lane associated with the order point B, and the system then calculates at S126 a particular sequence of vehicles approaching the service point. This particular sequence corresponds to the time when the tracked vehicles have passed into the single queue track with respect to the other tracked vehicles. The system then updates the sequence of orders at S128 to reconcile the observed sequence of vehicles in the single queue track. In one embodiment, the order identifier is associated with the tracker and follows the subject through the series of frames. The system can use the order ID to calculate the updated order sequence so that the orders can be met in the sequence anticipated for each vehicle to reach the service point. The process ends at S130.

12 ist eine schematische Darstellung eines visionsbasierten Systems 200 zum automatischen Generieren einer Bestellabfolge, die mit einer Abfolge übereinstimmt, in der mehrere Subjekte in eine zusammengeführte Warteschlangenspur übergehen. Das System 200 weist eine automatische Sequenziervorrichtung 202 und eine Bildquelle 204 auf, die miteinander durch Kommunikationsverbindungen verbunden sind, die hierin als ein Netzwerk bezeichnet werden. In einer Ausführungsform kann das System 200 mit einer Benutzervorrichtung 206 weiter verbunden sein. Diese Komponenten sind nachstehend ausführlicher beschrieben. 12 is a schematic representation of a vision-based system 200 for automatically generating a ordering sequence that matches a sequence in which multiple subjects merge into a merged queue track. The system 200 has an automatic sequencing device 202 and an image source 204 which are interconnected by communication links, referred to herein as a network. In one embodiment, the system 200 with a user device 206 be connected. These components are described in more detail below.

Die automatische Sequenziervorrichtung 202, die in 12 dargestellt ist, weist eine Steuerung 210 auf, die Teil des Fahrzeugs 202 ist oder mit diesem assoziiert ist. Die beispielhafte Steuerung 210 ist ausgelegt, eine Analyse von Bildrahmen oder Videodaten (nachstehend „Videodaten”) zu steuern, die von dem System 200 empfangen werden. Die Steuerung 210 weist einen Prozessor 212 auf, der den Gesamtbetrieb der Vorrichtung 202 durch Ausführen von Verarbeitungsanweisungen steuert, die in dem Speicher 214 gespeichert sind, der mit dem Prozessor 212 verbunden ist. The automatic sequencing device 202 , in the 12 is shown has a controller 210 on, the part of the vehicle 202 is or is associated with it. The exemplary controller 210 is designed to control an analysis of image frames or video data (hereinafter "video data") provided by the system 200 be received. The control 210 has a processor 212 on, the overall operation of the device 202 by executing processing instructions that are in memory 214 stored with the processor 212 connected is.

Der Speicher 214 kann eine beliebige Art von anfassbarem computerlesbarem Medium wie einen wahlfreien Zugriffsspeicher (RAM), Nurlesespeicher (ROM), Magnetplatte oder -band, optische Platte, Flashspeicher oder holografischen Speicher repräsentieren. In einer Ausführungsform umfasst der Speicher 214 eine Kombination von wahlfreiem Zugriffsspeicher und Nurlesespeicher. Der digitale Prozessor 212 kann unterschiedlich ausgeführt sein, wie durch einen Einkernprozessor, einen Doppelkernprozessor (oder allgemeiner durch einen Mehrfachkernprozessor), einen digitalen Prozessor und einen zusammenwirkenden mathematischen Coprozessor, eine digitale Steuerung oder dergleichen. Neben der Steuerung des Betriebs der Vorrichtung 202 führt der digitale Prozessor Anweisungen aus, die in dem Speicher 214 gespeichert sind, um die Teile des Verfahrens auszuführen, die in 11, 13A und 13B dargestellt sind. In einigen Ausführungsformen können der Prozessor 212 und der Speicher 214 in einem einzigen Chip kombiniert sein. The memory 214 may represent any type of tangible computer readable medium such as Random Access Memory (RAM), Read Only Memory (ROM), magnetic disk or tape, optical disk, flash memory, or holographic memory. In one embodiment, the memory comprises 214 a combination of random access memory and read only memory. The digital processor 212 may be embodied differently, such as by a single-core processor, a dual-core processor (or more generally by a multi-core processor), a digital processor and cooperative math coprocessor, digital control, or the like. In addition to controlling the operation of the device 202 The digital processor executes instructions in the memory 214 are stored to carry out the parts of the method, which in 11 . 13A and 13B are shown. In some embodiments, the processor 212 and the memory 214 be combined in a single chip.

Die Vorrichtung 202 kann in einer vernetzten Vorrichtung wie der Bildquelle 204 ausgeführt sein, wenngleich auch in Betracht gezogen wird, dass die Vorrichtung 202 an einem anderen Ort in einem Netzwerk angeordnet sein kann, mit dem das System 200 verbunden ist, wie einem zentralen Server, einem vernetzten Computer oder dergleichen, oder in dem gesamten Netzwerk verteilt oder anderweitig zugänglich sein kann. Mit anderen Worten kann die Verarbeitung innerhalb der Bildquelle 204 vor Ort oder bei einer zentralen Verarbeitung offline oder durch einen Servercomputer nach Übertragen der Videodaten durch ein Netzwerk ausgeführt werden. In einer Ausführungsform kann die Bildquelle 204 eine Vorrichtung sein, die ausgelegt ist, die Videodaten 230 an die Vorrichtung 202 zu übermitteln und/oder zu übertragen. In einer anderen Ausführungsform können die Videodaten 230 von einer beliebigen geeigneten Quelle wie einer Arbeitsstation, einer Datenbank, einer Speichervorrichtung wie einer Platte oder dergleichen eingegeben werden. Die Bildquelle 204 steht mit der Steuerung 210 in Verbindung, die den Prozessor 212 und die Speicher 214 enthält. The device 202 can work in a networked device like the image source 204 be executed, although it is also considered that the device 202 may be located at a different location in a network with which the system 200 connected, such as a central server, a networked computer or the like, or distributed throughout the network or otherwise accessible. In other words, the processing within the image source 204 be carried out on-site or in a central processing offline or by a server computer after transmitting the video data through a network. In one embodiment, the image source 204 be a device that is designed to receive the video data 230 to the device 202 to transmit and / or transmit. In another embodiment, the video data 230 from any suitable source such as a workstation, a database, a storage device such as a disk, or the like. The image source 204 stands with the controller 210 in connection that the processor 212 and the stores 214 contains.

Die hierin offenbarten Stufen werden von dem Prozessor 212 gemäß Anweisungen ausgeführt, die in dem Speicher 214 enthalten sind. Genauer speichert der Speicher 214 ein Videopuffermodul 216, das Videodaten von einem Video des Warteschlangen-Zusammenlaufpunktbereichs aufnimmt; ein Fahrzeugdetektionsmodul 218, das Kandidatensubjekte in mehreren Warteschlangen detektiert, die in einem Warteschlangenbereich enthalten sind; ein Merkmalsextraktionsmodul 220, das Merkmale für jedes neue Kandidatenfahrzeug extrahiert, ein Fahrzeugverfolgungsmodul 222, das die Position jedes detektierten Fahrzeugs in und um den überwachten Warteschlangen-Zusammenlaufpunktbereich verfolgt, bis das verfolgte Fahrzeug den Zusammenlaufpunkt passiert hat; ein Zusammenlaufpunktschiedsmodul 224, das eine beobachtete Abfolge von Fahrzeugen berechnet, die sich dem Servicepunkt nähern, als Reaktion darauf, dass das verfolgte Fahrzeug in dem vordefinierten Zusammenlaufpunktbereich detektiert/verfolgt wird, das System; und ein Ereignisberichterstattungsmodul 225, das die Abfolge von zu erfüllenden Bestellungen aktualisiert, um sie mit der beobachteten Abfolge von Fahrzeugen in der einzigen Warteschlangenspur nach dem Zusammenlaufpunkt in Einklang zu bringen. Weitere berücksichtigte Ausführungsformen können auch ein Fahrzeugvalidierungsmodul 219 aufweisen, das bestimmt, ob jedes Kandidatenfahrzeug ein neu detektiertes Fahrzeug oder ein gegenwärtig verfolgtes Fahrzeug ist. Ausführungsformen werden berücksichtigt, wobei diese Anweisungen in einem einzigen Modul oder als mehrere Module gespeichert werden können, die in verschiedenen Vorrichtungen ausgeführt sind. Die Module 216 bis 225 werden später unter Bezugnahme auf das beispielhafte Verfahren beschrieben. Die Softwaremodule wie hier verwendet sollen eine beliebige Sammlung oder einen beliebigen Satz von Anweisungen umschließen, die von der Vorrichtung 202 oder einem anderen digitalen System ausführbar sind, um den Computer oder ein anderes digitales System zum Ausführen der Aufgabe zu konfigurieren, die von der Software beabsichtigt wird. Wie hier verwendet, soll der Ausdruck „Software” jene Anweisungen einschließen, die in einem Speichermedium wie RAM, einer Festplatte, optischen Platte oder dergleichen gespeichert sind, und soll auch so genannte „Firmware” einschließen, die Software ist, die auf einem ROM oder dergleichen gespeichert ist. Diese Software kann unterschiedlich organisiert sein und kann Softwarekomponenten einschließen, die als Bibliotheken, internetbasierte Programme, die auf einem Fernserver oder dergleichen gespeichert sind, Quellcode, interpretativer Code, Objektcode, direkt ausführbarem Code und so fort organisiert sind. Es wird in Betracht gezogen, dass die Software Code auf Systemebene oder Rufe zu einer anderen Software aufrufen kann, die sich an einem Server (nicht dargestellt) oder anderen Standort befindet, um bestimmte Funktionen auszuführen. Die verschiedenen Komponenten der Vorrichtung 202 können alle durch einen Bus 226 verbunden sein. The stages disclosed herein are provided by the processor 212 according to instructions executed in the memory 214 are included. More precisely, the memory stores 214 a video buffer module 216 receiving video data from a video of the queue collation point area; a vehicle detection module 218 detecting candidate subjects in a plurality of queues included in a queue area; a feature extraction module 220 extracting features for each new candidate vehicle, a vehicle tracking module 222 for tracking the position of each detected vehicle in and around the monitored queue collision point area until the tracked vehicle has passed the collation point; a convergence point difference module 224 calculating an observed sequence of vehicles approaching the service point, in response to the tracked vehicle being detected / tracked in the predefined convergence point area, the system; and an event reporting module 225 that updates the sequence of orders to be fulfilled in order to reconcile them with the observed sequence of vehicles in the single queue track after the point of merge. Other embodiments contemplated may also include a vehicle validation module 219 determining whether each candidate vehicle is a newly detected vehicle or a currently tracked vehicle. Embodiments are considered, which instructions may be stored in a single module or as multiple modules embodied in different devices. The modules 216 to 225 will be described later with reference to the exemplary method. The software modules as used herein are intended to encompass any collection or set of instructions provided by the device 202 or any other digital system to configure the computer or other digital system to perform the task intended by the software. As used herein, the term "software" is intended to include those instructions stored in a storage medium such as RAM, a hard disk, optical disk, or the like, and is also intended to include so-called "firmware," which is software stored on a ROM or the like is stored. This software may be variously organized and may include software components organized as libraries, Internet-based programs stored on a remote server or the like, source code, interpretive code, object code, directly executable code, and so forth. It is contemplated that the software may invoke system-level code or calls to other software residing at a server (not shown) or other location to perform certain functions. The different components of the device 202 can all by a bus 226 be connected.

Unter weiterer Bezugnahme auf 12 weist die Vorrichtung 202 auch eine oder mehrere Kommunikationsschnittstellen 228 wie Netzwerkschnittstellen zum Kommunizieren mit externen Vorrichtungen auf. Die Kommunikationsschnittstellen 228 können zum Beispiel ein Modem, einen Router, ein Kabel und/oder einen Ethernet-Anschluss usw. einschließen. Die Kommunikationsschnittstellen 228 sind ausgelegt, die Videodaten 230 als Eingabe zu empfangen. With further reference to 12 has the device 202 also one or more communication interfaces 228 like network interfaces for communicating with external devices. The communication interfaces 228 For example, a modem, a router, a cable and / or an Ethernet port, etc. may be included. The communication interfaces 228 are designed, the video data 230 as input to receive.

Die Vorrichtung 202 kann eine oder mehrere Spezial- oder Universalrechenvorrichtungen wie einen Servercomputer, eine Steuerung oder eine beliebige andere Rechenvorrichtung aufweisen, die Anweisungen zum Durchführen des beispielhaften Verfahrens ausführen kann.The device 202 may include one or more special purpose or general purpose computing devices such as a server computer, a controller, or any other computing device that may execute instructions for performing the example method.

12 stellt ferner die Vorrichtung 102 dar, die mit der Bildquelle 204 verbunden ist, um die Videodaten in elektronischem Format aufzunehmen und/oder bereitzustellen. Die Quelle 204 (nachstehend „Videokamera 204”) kann eine oder mehrere Überwachungskameras aufweisen, die ein Video von dem Schauplatz (Warteschlangen-Zusammenlaufpunktbereich) von Interesse erfassen. Die Anzahl der Kameras kann je nach der Ausdehnung und der Position des überwachten Warteschlangenbereichs variieren. Mehrere Kameras können erforderlich sein, wobei sich die Länge einer Warteschlange problemlos über das Sichtfeld einer einzigen Kamera hinaus erstreckt. Es wird in Betracht gezogen, dass das kombinierte Sichtfeld mehrerer Kameras typischerweise den gesamten Bereich umfasst, der den Zusammenlaufpunktbereich umgibt. Zum Ausführen des Verfahrens bei Nacht in Bereichen ohne externe Beleuchtungsquellen oder mit unregelmäßiger Beleuchtung von Umgebungsquellen kann die Videokamera 204 NIR-(naher Infrarotbereich)-Funktionen aufweisen. Darüber hinaus ist die Videokamera 204, die in der vorliegenden Offenbarung verwendet wird, ausgelegt, ein Video bei einer Bildrate zu erfassen, die (mit ausreichender Höhe) dazu in der Lage ist, ein oder mehrere Fahrzeuge zu handhaben, die sich bei vorhergesehenen Geschwindigkeiten durch den Schauplatz bewegen. 12 further provides the device 102 that is with the image source 204 connected to receive and / or provide the video data in electronic format. The source 204 (hereinafter referred to as "video camera 204 ") May include one or more surveillance cameras that capture a video from the locale (queue confluence point area) of interest. The number of cameras may vary depending on the extent and location of the monitored queue area. Multiple cameras may be required, with the length of a queue extending easily beyond the field of view of a single camera. It is contemplated that the combined field of view of multiple cameras typically encompasses the entire area surrounding the confluence point area. To perform the procedure at night in areas without external illumination sources or with irregular illumination from ambient sources, the video camera 204 Have NIR (near infrared range) functions. In addition, the video camera 204 used in the present disclosure is configured to capture a video at a frame rate capable of handling (with sufficient altitude) one or more vehicles moving through the scene at anticipated speeds.

Unter weiterer Bezugnahme auf 12 werden die Videodaten 130 von der Vorrichtung 202 verarbeitet, um die beobachtete Fahrzeugabfolge 232 und/oder die aktualisierte Bestellabfolge 236 auszugeben. With further reference to 12 become the video data 130 from the device 202 processed to the observed vehicle sequence 232 and / or the updated order sequence 236 issue.

Darüber hinaus kann das System 200 die Ausgabe in einer geeigneten Form auf einer grafischen Benutzeroberfläche (GUI) 234 anzeigen. Die GUI 234 kann eine Anzeige zum Anzeigen der Informationen für Benutzer und eine Benutzereingabevorrichtung wie eine Tastatur oder einen Touch- oder beschreibbaren Bildschirm aufweisen, um Anweisungen als Eingabe zu empfangen, und/oder eine Cursorsteuervorrichtung wie eine Maus, ein Touchpad, einen Trackball oder dergleichen, um dem Prozessor 212 Benutzereingabeinformationen und Befehlsauswahlen mitzuteilen. Als Alternative kann die Vorrichtung 202 die Ausgabe einer Benutzervorrichtung 206 bereitstellen, die die Ausgabe einem Benutzer anzeigen kann, wie die Benutzer, die eine Zahlung vornehmen und/oder die Bestellungen erfüllen. Darüber hinaus kann die beobachtete Fahrzeugabfolge 232 und/oder die aktualisierte Bestellabfolge 236 in einer berücksichtigten Ausführungsform an eine andere Computeranwendung übermittelt werden, die eine zusätzliche Verarbeitung an den Daten ausführen kann, um Durchsatzmodelle umzugestalten und die Effizienz und Profitpotenziale zu maximieren.In addition, the system can 200 the output in a suitable form on a graphical user interface (GUI) 234 Show. The GUI 234 may include a display for displaying the information to users and a user input device such as a keyboard or a touch or writable screen to receive instructions as input, and / or a cursor control device such as a mouse, a touchpad, a trackball, or the like processor 212 Communicate user input information and command selections. As an alternative, the device 202 the output of a user device 206 which can display the output to a user, such as the users making a payment and / or completing the orders. In addition, the observed vehicle sequence 232 and / or the updated order sequence 236 in one contemplated embodiment, may be communicated to another computer application that may perform additional processing on the data to redesign throughput models and to maximize efficiency and profit potential.

13A bis B ist ein ausführliches Flussdiagramm, das ein Verfahren 300 zum automatischen Generieren einer Ereignisabfolge beschreibt, die mit einer Abfolge übereinstimmt, in der mehrere Fahrzeuge von mehreren Warteschlangenspuren zu einer einzigen Warteschlangenspur zusammenlaufen. Das Verfahren beginnt bei S302. Das System nimmt bei S304 Videodaten von mindestens einer Bildquelle auf, die einen Bereich von Interesse („Warteschlangen-Zusammenlaufpunktbereich”) überwachen. Die Videodaten werden von mindestens einer oder mehreren Videokameras generiert, die ein individuelles oder kombiniertes Sichtfeld aufweisen, das einen Zusammenlaufpunktbereich aufweist, an dem separate Warteschlangenspuren zu einer einzigen Warteschlangenspur zusammenlaufen. Ein beispielhafter Bildrahmen ist in 14 dargestellt, wobei das vorliegende Verfahren in einer Fastfood-Durchfahrt implementiert werden kann. In dem dargestellten Beispiel weisen die Startpunkte nebeneinander angeordnete Bestelleingabepunkte 14, 16 auf, die den Positionen von Menüs entsprechen, wo Bestellungen mithilfe eines Mikrofons aufgegeben werden. Der Zusammenlaufpunkt 446 ist als eine Linie in dem Bildraum markiert. Die Videokamera(s) weisen ein individuelle oder kombiniertes Sichtfeld auf, das weit genug ist, um eine Bewegung des Fahrzeugs 448 zu erfassen, während es den Zusammenlaufpunktbereich zwischen den Linien 445 und 446 überquert. Das bzw. die Sichtfeld(er) der Kamera(s) können wahlweise zusätzliche Bereiche des Warteschlangenbereichs abdecken, einschließlich der Eingabeabschnitte 441, 443 der separaten Warteschlangen, die vor den Startpunkten angeordnet sind, d. h. dort, wo Subjekte eine der separaten Warteschlangen betreten, und des Endabschnitts der einzigen Warteschlange, die nach dem Zusammenlaufpunkt angeordnet ist, wie dem Servicepunkt. 13A to B is a detailed flowchart showing a procedure 300 for automatically generating an event sequence that matches a sequence in which multiple vehicles from multiple queue lanes converge into a single queue lane. The procedure starts at S302. The system captures at S304 video data from at least one image source that is monitoring an area of interest ("Queue Concert Point Area"). The video data is generated by at least one or more video cameras having an individual or combined field of view that has a collation point area at which separate queue tracks converge into a single queue track. An exemplary picture frame is in 14 illustrated, wherein the present method can be implemented in a fast food transit. In the example shown, the starting points have order entry points arranged side by side 14 . 16 which correspond to the positions of menus where orders are placed using a microphone. The confluence point 446 is marked as a line in the picture space. The video camera (s) have an individual or combined field of view that is wide enough to permit movement of the vehicle 448 while capturing the merge point area between the lines 445 and 446 crossed. The field (s) of view of the camera (s) may optionally cover additional areas of the queue area, including the input sections 441 . 443 the separate queues that are located before the starting points, that is, where subjects enter one of the separate queues, and the end portion of the single queue that is located after the merge point, such as the service point.

Die Videodaten können direkt von der bzw. den Videokamera(s) oder von einer zwischengeschalteten Bildquelle aufgenommen werden, die die Videodaten von der Videokamera speichert und/oder übermittelt. Ungeachtet dessen kann eine Anordnung der Videokamera in der Nähe des Zusammenlaufpunktbereichs fixiert werden, um Verdeckungen, die an dem Schauplatz beobachtet werden, zu vermeiden und/oder zu minimieren. Allerdings zieht die Offenbarung in Betracht, dass das Videopuffermodul 216 Geometrien für Videodaten unterstützen kann, die von Videokameras aufgenommen werden, die an einem anderen Ort angeordnet sind. Mit anderen Worten kann das hierin offenbarte System Videodaten verarbeiten, die von Kameras aufgenommen werden, die in einer vorhandenen Überwachungsinfrastruktur enthalten sind. The video data may be recorded directly from the video camera (s) or from an intermediate image source which stores and / or transmits the video data from the video camera. Regardless, an arrangement of the video camera may be fixed near the fulcrum area to avoid and / or minimize occlusions that are observed at the scene. However, the disclosure contemplates that the video buffer module 216 Can support geometries for video captured by video cameras located elsewhere. In other words, the system disclosed herein can process video captured by cameras contained in an existing surveillance infrastructure.

Unter erneuter Bezugnahme auf 13A übermittelt das Videopuffermodul 216 die Videorahmen, die von den Videodaten aufgenommen werden, zur Verarbeitung an das Subjektdetektionsmodul 218. Das Modul 218 kann jeden Rahmen oder jeden n-ten Rahmen in der Abfolge verarbeiten. In ähnlicher Weise kann das Modul 218 den gesamten Bildrahmen oder einen Bereich von Interesse (ROI) verarbeiten, der in den Rahmen definiert ist. Genauer kann der ROI einen ROI des Bildrahmens aufweisen, wobei neue Fahrzeuge wahrscheinlich in dem Warteschlangen-Zusammenlaufpunktbereich erscheinen. Ein Aspekt der Verarbeitung bestimmter ROI ist, dass sie eine Detektion von Subjekten („falsche Detektion”) verhindert, die erscheinen und/oder sich über den Zusammenlaufpunktbereich hinaus bewegen. Durch Definieren von ROI in den Bildrahmen kann das System den Rechenaufwand der Subjektdetektionsphase (aufgrund einer Echtzeitanforderung, um mit dem Verkehrsfluss mitzuhalten) einschränken und die Anzahl falscher Detektionen verringern.Referring again to 13A transmits the video buffer module 216 the video frames captured by the video data for processing to the subject detection module 218 , The module 218 can process every frame or every nth frame in the sequence. Similarly, the module 218 process the entire image frame or a region of interest (ROI) defined in the frame. More specifically, the ROI may have an ROI of the image frame, with new vehicles likely to appear in the queue confluence point area. One aspect of processing certain ROIs is that it prevents detection of subjects ("false detection") that appear and / or move beyond the confluence point area. By defining ROI in the image frames, the system can limit the computational effort of the subject detection phase (due to a real-time requirement to keep up with traffic flow) and reduce the number of false detections.

Daher kann ein ROI, der den Warteschlangen-Zusammenlaufpunktbereich aufweist, in einer berücksichtigten Ausführungsform bei S306 definiert werden. Der ROI kann manuell von einem Benutzer definiert werden, wenn die Videokamera eingerichtet und kalibriert ist. Dieser ROI kann einmalig definiert werden, da sich der Warteschlangenbereich nicht verändert, solange die Videokamera fixiert bleibt. Wenn die Kameraeinstellungen verändert werden (z. B. aufgrund von Zoom, Kameraführung, Neigung oder Translation), kann der definierte Bereich während eines Rekalibrierungsvorgangs aktualisiert werden. Therefore, in one considered embodiment, an ROI having the queue confluence point range may be defined at S306. The ROI can be manually defined by a user when the video camera is set up and calibrated. This ROI can be defined once because the queue area does not change as long as the video camera remains fixed. If the camera settings are changed (for example, due to zoom, camera tracking, tilt, or translation), the defined area may be updated during a recalibration process.

Das Verfahren kann darüber hinaus Objekte beseitigen, die außerhalb des Warteschlangenbereichs von Interesse („Ausreißer”) detektiert werden, indem ein Schwellenwertbildungsvorgang an einer Heatmap durchgeführt wird. Genauer kann das Verfahren bei S310 eine Maske generieren, die die Heatmap repräsentiert, und dann Objekte verwerfen, die anschließend außerhalb des hervorgehobenen Bereichs detektiert werden.The method may also eliminate objects detected outside of the queue of interest ("outliers") by performing a threshold mapping operation on a heatmap. Specifically, at S310, the method may generate a mask representing the heatmap and then discard objects that are subsequently detected outside of the highlighted area.

Dieser Lernansatz kann angewendet werden, um große Mengen von unerheblichem Hintergrundrauschen oder „Phantom”-Objekten zu entfernen. Alternative Ausführungsformen können einen Abstand von einem Zentrum dieser erlernten Routen anwenden, um die Wahrscheinlichkeit zu bestimmen, dass ein potenzielles neues Fahrzeug von Interesse detektiert wird. This learning approach can be used to remove large amounts of insignificant background noise or "phantom" objects. Alternative embodiments may apply a distance from a center of these learned routes to determine the likelihood that a potential new vehicle of interest will be detected.

Unter erneuter Bezugnahme auf 13A durchsucht das Fahrzeugdetektionsmodul 218 bei S314 den bzw. die definierten ROI (oder gesamten Rahmen) nach sich bewegenden Vordergrundobjekten. Die Vordergrunddetektion in Video kann mittels einer Anzahl unterschiedlicher Verfahren erzielt werden. Zwei übliche Verfahren zur Bewegungsdetektion, die in Anwendungen angewendet werden, die Analysen an Videodaten vornehmen, schließen eine Differenzierung von Rahmen zu Rahmen und Hintergrundschätzung und -subtraktion („Hintergrundsubtraktion”) ein. Der Rahmendifferenzierungsansatz detektiert sich bewegende Objekte in dem Kamerasichtfeld durch Berechnen von pixelweisen Differenzen zwischen aufeinanderfolgenden Rahmen in dem Videostrom, was typischerweise eine Feinabstimmung auf einen sehr schmalen Objektgeschwindigkeitsbereich in Bezug auf die Bildrahmenrate und Kamerageometrie erforderlich macht. Durch Schwellenwertbildung dieser Differenzen können Bereiche, die sich bewegende Objekte enthalten („bewegungsdetektierte Bereiche”) problemlos identifiziert werden. Referring again to 13A searches the vehicle detection module 218 at S314, the defined ROI (or entire frames) for moving foreground objects. Foreground detection in video can be achieved by a number of different methods. Two common motion detection techniques used in applications that perform analyzes on video data include frame-to-frame differentiation and background estimation and subtraction ("background subtraction"). The frame differentiation approach detects moving objects in the camera field of view by computing pixel-by-pixel differences between successive frames in the video stream, which typically requires fine tuning to a very narrow object speed range in terms of frame rate and camera geometry. By thresholding these differences, areas containing moving objects ("motion-detected areas") can be easily identified.

Als Alternative können modellbasierte Ansätze für die Bewegungs-/Vordergrunddetektion angewendet werden. In einer Ausführungsform führt das System 200 den Hintergrundsubtraktionsansatz aus. Der Hintergrundsubtraktionsansatz detektiert Vordergrundobjekte und keine sich bewegenden Objekte. Allerdings lösen sich bewegende Objekte auch eine Vordergrunddetektion aus, da ihr Erscheinungsbild von der Hintergrundschätzung abweicht. Wenn zum Beispiel ein Bild des Hintergrunds ohne Vordergrundobjekte verfügbar ist, wird ein Modell zum Schätzen gemeinsamer Pixelwerte trainiert. Hauptsächlich berechnet die Hintergrundsubtraktion die absolute Intensitäts-/Farbdifferenz zwischen dem bekannten oder geschätzten Hintergrundmodell und jedem gegenwärtigen Rahmen in der Videosequenz. Durch Vergleichen jedes gegenwärtigen Rahmens mit dem Hintergrundmodell werden die Pixel, deren berechneter Abstand in dem Intensitäts-/Farbraum keinen vorbestimmten Schwellenwert erfüllt, als Hintergrundpixel eingestuft, wobei die Pixel, deren berechneter Abstand in dem Intensitäts-/Farbraum den Schwellenwert erfüllt (d. h. nicht in das vorhandene Hintergrundmodell passen) als Vordergrundpixel eingestuft werden. Die detektierten Vordergrundpixel geben einen bezüglich Vordergrundobjekt/-bewegung detektierten Bereich an.As an alternative, model-based approaches to motion / foreground detection can be used. In one embodiment, the system performs 200 the background subtraction approach. The background subtraction approach detects foreground objects and no moving objects. However, moving objects also trigger foreground detection because their appearance differs from the background estimate. For example, if an image of the background without foreground objects is available, a model for estimating common pixel values is trained. Mainly, the background subtraction calculates the absolute intensity / color difference between the known or estimated background model and each current frame in the video sequence. By comparing each current frame with the background model, the pixels whose calculated distance in the intensity / color space does not meet a predetermined threshold are classified as background pixels, the pixels whose calculated distance in the intensity / color space meets the threshold (ie not in FIG fit the existing background model) can be classified as foreground pixels. The detected foreground pixels indicate an area detected with respect to foreground object / movement.

Strategien, die zur Aufrechterhaltung eines Hintergrundmodells oder Schätzung angewendet werden, schließen ein historisches statistisches Modell (z. B. ein parametrisches Deskriptordichtenmodell wie einen auf Gaußschen Mischmodellen (GMM) basierenden Ansatz oder ein nicht parametrisches Deskriptordichtenmodell wie eine kernfunktionsbasierte Schätzung), das für jedes Pixel konstruiert wird, Eigenhintergründe (die eine Hauptkomponentenanalyse anwenden), Berechnung von gleitenden Mittelwerten (die den Hintergrund graduell nach jedem nächsten Rahmen aktualisieren) und eine Medianfilterung usw. ein. Die Hintergrundmodelle werden typischerweise dynamisch eingestellt, um langsamen Variationen in dem Hintergrund des Schauplatzes Rechnung zu tragen. In der berücksichtigten Ausführungsform kann die Hintergrundschätzung kontinuierlich mit jedem ankommenden Rahmen bei einer Rate aktualisiert werden, die von einem vorbestimmten Lernratenfaktor gesteuert wird. Allerdings werden Ausführungsformen berücksichtigt, in denen die Hintergrundschätzung bei langsameren Raten aktualisiert werden kann. Andere Alternativen werden zur Konstruktion des gegenwärtigen Hintergrundmodells ebenfalls berücksichtigt. Eine Binärmaske/Differenzbild (d. h. eine Vordergrundobjektmaske) wird unter Verwendung der Pixeleinstufungen generiert. In einer Ausführungsform kann ein im Stand der Technik bekannter morphologischer Vorgang auf das Differenzbild angewendet werden, um Quellen von fiktiver Bewegung herauszufiltern und Pixel, die mit den Vordergrund- oder sich bewegenden Objekten assoziiert sind, genau zu detektieren. Eine beispielhafte Filtertechnik kann das Anwenden von Streckungs- und Schließvorgängen einschließen, um Löcher in der Binärmaske zu füllen und kleine Lücken in Bereichen zu überbrücken, in denen ein Objekt fälschlicherweise in eine Anzahl kleinerer, separater Vordergrundelemente aufgespalten wurde. Die Connected Component Analysis (CCA) kann auch angewendet werden, um kleine, unerhebliche Bereiche zu beseitigen, in denen eine Bewegung in der Binärmaske detektiert wird. Diese bewegungsdetektierten Bereiche können aus Vordergrundobjekten, die zu klein sind, um von Interesse zu sein (z. B. ein Vogel, der durch den Schauplatz fliegt), oder aus allgemeinem Bildrauschen resultieren. Übliche Merkmale, die beim CCA-Screening verwendet werden, sind Objektbereich, Ausrichtungswinkel und Fülldichte.Strategies used to maintain a background model or estimate include a historical statistical model (eg, a parametric descriptor density model such as a Gaussian Mixed Model (GMM) based approach or a non-parametric descriptor density model such as a kernel-based estimate), for each pixel constructed, background backgrounds (which apply principal component analysis), calculation of moving averages (which update the background gradually after each next frame), and median filtering, etc. The background models are typically dynamically adjusted to account for slow variations in the backdrop of the scene. In the considered embodiment, the background estimate may be continuously updated with each incoming frame at a rate controlled by a predetermined learning rate factor. However, embodiments are contemplated in which the background estimate may be updated at slower rates. Other alternatives are also considered to construct the current background model. A binary mask / difference image (i.e., a foreground object mask) is generated using the pixel scores. In one embodiment, a morphological process known in the art may be applied to the difference image to filter out sources of fictitious motion and to accurately detect pixels associated with the foreground or moving objects. An exemplary filtering technique may include using stretching and closing operations to fill holes in the binary mask and to bridge small gaps in areas where an object was falsely split into a number of smaller, separate foreground elements. The Connected Component Analysis (CCA) can also be used to eliminate small, insignificant areas where movement in the binary mask is detected. These motion-detected areas may result from foreground objects that are too small to be of interest (eg, a bird flying through the scene) or from general image noise. Common features used in CCA screening are object area, orientation angle and fill density.

Bei S316 assoziiert das Modul 218 jeden detektierten Bereich mit detektiertem Fahrzeug/Bewegung mit einem Kandidatenfahrzeug von Interesse. Da das Modul 218 Vordergrundpixel detektieren kann, die dem gleichen Fahrzeug/Bewegungsbereich in mehreren Rahmen entsprechen, kann das Fahrzeugvalidierungsmodul 219 bei S318 bestätigen, dass nur ein Tracker pro Kandidatenfahrzeug zugewiesen ist. Um zu vermeiden, dass „Mehrfachsichtungen” des gleichen Objekts als mehrere Kandidatensubjekte behandelt werden, stellt das Subjektvalidierungsmodul 219 sicher, dass jedem detektierten Fahrzeug nur ein Tracker zugewiesen ist. Durch Verwalten der Trackerzuweisungen verhindert das Modul 219 im Wesentlichen, dass mehrere Tracker dem gleichen Subjekt zugewiesen werden, das über mehrere Rahmen detektiert wird. Ein Aspekt dieses Validierungsverfahrens ist, dass es den Rechenaufwand reduzieren kann, der in der Verfolgungsstufe benötigt wird. Ein anderer Aspekt dieses Validierungsverfahrens ist, dass es die Anzahl von fehlerhaften Ereignisabfolgedetektionen verringern kann.At S316, the module associates 218 each detected vehicle detected area / movement with a candidate vehicle of interest. Because the module 218 Can detect foreground pixels corresponding to the same vehicle / range of motion in multiple frames, the vehicle validation module 219 at S318 confirm that only one tracker is allocated per candidate vehicle. To prevent "multiple views" of the same object being treated as multiple candidate subjects, the subject validation module provides 219 sure that only one tracker is assigned to each detected vehicle. Managing the tracker assignments prevents the module 219 essentially, multiple trackers are assigned to the same subject detected over multiple frames. One aspect of this validation process is that it can reduce the amount of computation needed in the tracking stage. Another aspect of this validation method is that it can reduce the number of erroneous event sequence detections.

Das Modul 219 extrahiert bei S320 einen Deskriptor für jedes Kandidatensubjekt. Da das System einen Verfolgungsalgorithmus in der berücksichtigten Ausführungsform anwendet, entspricht der Deskriptor dem ausgewählten Verfolgungsansatz. The module 219 extracts at S320 a descriptor for each candidate subject. Since the system applies a tracking algorithm in the embodiment under consideration, the descriptor corresponds to the selected tracking approach.

Beispielhafte Verfolgungsalgorithmen, die hierin berücksichtigt werden, schließen bereichsbasierte Verfolgungsalgorithmen und Punkttracker ein. Beispiele von bereichsbasierten Verfolungsalgorithmen können eine mittlere Verschiebung und Partikelfilterung einschließen. Beispielhafte Deskriptoren, die für die bereichsbasierten Verfolgungsalgorithmen extrahiert werden können, schließen Attribute wie Farbhistogramme und/oder Histogramme von ausgerichteten Gradienten usw. und den Abstand des detektierten Bewegungsbereichs zu jedem gegenwärtig verfolgten Subjekt ein. Hauptsächlich betrachten diese Verfolgungsalgorithmen das gesamte Subjekt als einen Bereich. Ein Beispiel eines Punkttrackers kann eine KLT-Verfolgung einschließen. Beispielhafte Deskriptoren, die für Punkttracker extrahiert werden können, schließen einen Satz von Merkmalen aus dem bewegungsdetektierten Bereich oder eine Anzahl von gegenwärtig verfolgten Merkmalen in dem bewegungsdetektierten Bereich ein. Hauptsächlich betrachten Punkttracker Sätze von lokalisierten Einträgen wie harte Kanten, Ecken und Interessenpunkte des Kandidatensubjekts (Vordergrundobjekt). Das Modul 219 vergleicht bei S322 jeden Deskriptor mit einem eines vorbestimmten Schwellenwerts und eines gegenwärtig verfolgten Deskriptors. Basierend auf dem Vergleich kategorisiert das Modul 219 jedes Kandidatenfahrzeug bei S324 als zu einem eines neu detektierten Fahrzeugs und eines gegenwärtig verfolgten Fahrzeugs zugehörig. Exemplary tracking algorithms considered herein include range-based tracking algorithms and point trackers. Examples of region-based tracking algorithms may include average displacement and particle filtering. Exemplary descriptors that may be extracted for the region-based tracking algorithms include attributes such as color histograms and / or histograms of aligned gradients, etc., and the distance of the detected range of motion to each currently tracked subject. Mainly, these tracking algorithms consider the entire subject as an area. An example of a point tracker may include KLT tracking. Exemplary descriptors that may be extracted for spot trackers include a set of features from the motion detected area or a number of currently tracked features in the motion detected area. Primarily, spot trackers consider sets of localized entries such as hard edges, corners, and points of interest of the candidate subject (foreground object). The module 219 at S322, compares each descriptor to one of a predetermined threshold and a currently-traced descriptor. Based on the comparison, the module categorizes 219 each candidate vehicle is associated with one of a newly detected vehicle and a currently tracked vehicle at S324.

Falls der extrahierte Deskriptor für bereichsbasierte Verfolgungsalgorithmen ein Attribut des Kandidatenfahrzeugs ist, wird das Attribut mit den Attributen von gegenwärtig verfolgten Fahrzeugen verglichen. Als Reaktion darauf, dass die Attribute des bewegungsdetektierten Bereichs nicht mit den Attributen eines gegenwärtig verfolgten Fahrzeugs übereinstimmen, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem neu detektierten Fahrzeug zugehörig. Als Reaktion darauf, dass die Attribute des bewegungsdetektierten Bereichs mit den Attributen eines gegenwärtig verfolgten Fahrzeugs übereinstimmen, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem gegenwärtig verfolgten Fahrzeug zugehörig.If the extracted region-based tracking algorithm descriptor is an attribute of the candidate vehicle, the attribute is compared with the attributes of currently tracked vehicles. In response to the attributes of the motion-detected area not matching the attributes of a currently-tracked vehicle, the module categorizes 219 the candidate vehicle as belonging to a newly detected vehicle. In response to the attributes of the motion-detected area matching the attributes of a currently-tracked vehicle, the module categorizes 219 the candidate vehicle as belonging to a currently tracked vehicle.

Falls der extrahierte Deskriptor der berechnete Abstand zwischen dem bewegungsdetektierten Bereich und jedem gegenwärtig verfolgten Fahrzeug auf der Bildebene ist, wird der berechnete Abstand mit einem vorbestimmten Abstandsschwellenwert verglichen. Als Reaktion darauf, dass der berechnete Abstand den vorbestimmten Schwellenwert erfüllt und überschreitet, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem neuen Fahrzeug zugehörig. Als Reaktion darauf, dass der berechnete Abstand den vorbestimmten Schwellenwert nicht erfüllt, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem gegenwärtig verfolgten Fahrzeug zugehörig. If the extracted descriptor is the calculated distance between the motion detected area and each currently tracked vehicle on the image plane, the calculated distance is compared to a predetermined distance threshold. In response to the calculated distance meeting and exceeding the predetermined threshold, the module categorizes 219 the candidate vehicle as belonging to a new vehicle. In response to the calculated distance not meeting the predetermined threshold, the module categorizes 219 the candidate vehicle as belonging to a currently tracked vehicle.

Falls der extrahierte Deskriptor für Punkttracker ein Satz von Merkmalen aus dem bewegungsdetektierten Bereich ist, wird für Punkttracker der Satz von Merkmalen mit dem Satz von Merkmalen von gegenwärtig verfolgten Fahrzeugen verglichen. Die Anzahl von übereinstimmenden Merkmalen wird gezählt. Als Reaktion darauf, dass die Anzahl von Merkmalen eine vorbestimmte Schwellenanzahl nicht erfüllt, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem neu detektierten Fahrzeug zugehörig. Als Reaktion darauf, dass die Anzahl von Merkmalen die vorbestimmte Schwellenanzahl erfüllt und überschreitet, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem neu detektierten Fahrzeug zugehörig. Falls gleichermaßen der extrahierte Deskriptor eine Anzahl von gegenwärtig verfolgen Merkmalen in dem bewegungsdetektierten Bereich aufweist, wird diese Anzahl mit einem vorbestimmten Schwellenwert verglichen. Als Reaktion darauf, dass die Anzahl von gegenwärtig verfolgten Merkmalen eine vorbestimmte Schwellenanzahl nicht erfüllt, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem neu detektierten Fahrzeug zugehörig. Als Reaktion darauf, dass die Anzahl von gegenwärtig verfolgten Merkmalen eine vorbestimmte Schwellenanzahl erfüllt und überschreitet, kategorisiert das Modul 219 das Kandidatenfahrzeug als zu einem gegenwärtig verfolgten Fahrzeug zugehörig. Die Logik hinter diesem Ansatz besteht darin, dass, wenn sich ein verfolgtes Fahrzeug bewegt, das bewegungsdetektierte BLOB mit dem verfolgten Fahrzeug überlappt und einen Satz von Merkmalen enthält, die bereits verfolgt werden. If the extracted point reviewer descriptor is a set of motion detected range features, then for point trackers the set of features is compared to the set of features of currently tracked vehicles. The number of matching characteristics is counted. In response to the number of features failing to meet a predetermined threshold number, the module categorizes 219 the candidate vehicle as belonging to a newly detected vehicle. In response to the number of features meeting and exceeding the predetermined threshold number, the module categorizes 219 the candidate vehicle as belonging to a newly detected vehicle. Similarly, if the extracted descriptor has a number of currently tracked features in the motion detected area, that number is compared to a predetermined threshold. In response to the number of currently tracked features not meeting a predetermined threshold number, the module categorizes 219 the candidate vehicle as belonging to a newly detected vehicle. In response to the number of currently tracked features meeting and exceeding a predetermined threshold number, the module categorizes 219 the candidate vehicle as belonging to a currently tracked vehicle. The logic behind this approach is that, when a tracked vehicle is moving, the motion-detected blob overlaps the tracked vehicle and contains a set of features that are already tracked.

Eine Ausführungsform wird jedoch berücksichtigt, die die Validierung unabhängig von dem Verfolgungsmodus ausführt. Nachdem zum Beispiel das Subjektdetektionsmodul 218 ein Kandidatensubjekt detektiert, kann das Modul 219 bestimmen, ob das detektierte Kandidatensubjekt einen vorbestimmten Prozentanteil des detektierten Kandidatensubjekts in einem nächsten Rahmen überlappt. Als Reaktion darauf, dass die Überlappung den vorbestimmten Prozentanteil erfüllt und überschreitet, kann das Modul 219 die Anzahl aufeinanderfolgender Rahmen bestimmen, die den Überlappungsschwellenwert erfüllen. Als Reaktion darauf, dass die Anzahl von aufeinanderfolgenden Rahmen eine vorbestimmte Schwellenanzahl erfüllt und überschreitet, stuft das Modul 219 das Kandidatensubjekt als zu einem neuen Subjekt zugehörig ein. Als Reaktion darauf, dass die Anzahl von aufeinanderfolgenden Rahmen die vorbestimmte Schwellenanzahl nicht erfüllt, kategorisiert das Modul 219 das Kandidatensubjekt als zu einem gegenwärtig verfolgten Fahrzeug zugehörig. In einer Ausführungsform kann die Schwellenanzahl fünf (5) aufeinanderfolgende Bildrahmen betragen.However, one embodiment is considered that performs the validation regardless of the tracking mode. After, for example, the subject detection module 218 detects a candidate subject, the module 219 determine whether the detected candidate subject overlaps a predetermined percentage of the detected candidate subject in a next frame. In response to the overlap meeting and exceeding the predetermined percentage, the module may 219 determine the number of consecutive frames that meet the overlap threshold. In response to the number of consecutive frames meeting and exceeding a predetermined threshold number, the module classifies 219 the candidate subject as belonging to a new subject. In response to the number of consecutive frames failing to meet the predetermined threshold number, the module categorizes 219 the candidate subject as belonging to a currently tracked vehicle. In one embodiment, the threshold number may be five (5) consecutive image frames.

Als Reaktion darauf, dass das Kandidatenfahrzeug als zu einem gegenwärtig verfolgten Fahrzeug zugehörig eingestuft ist, verwirft das Modul 219 das Subjekt bei S326. Allerdings weist ein Merkmalsextraktionsmodul 220 jedem neuen Subjekt, d. h. detektierten Fahrzeug, bei S328 einen Tracker zu. Genauer weist das Modul 220 dem Tracker den Deskriptor (Attribute oder Merkmale) zu, der bei S320 extrahiert wurde. Allerdings wird für Ausführungsformen, die das Validierungsverfahren S318 bis S324) auslassen, ein Deskriptor für jedes neue Fahrzeug extrahiert. Wie oben erwähnt, kann der Deskriptor auf dem Verfolgungsalgorithmus basieren, der später von dem System angewendet wird. Wenn zum Beispiel ein Punkttracker wie KLT angewendet wird, dann können die extrahierten Merkmale ausgewählt sein aus der Gruppe bestehend aus: Harris-Ecken, Scale-Invariant Feature Transform(SIFT)-Merkmale und Speeded-Up Robust Features (SURF). Falls in ähnlicher Weise ein bereichsbasierter Tracker wie eine mittlere Verschiebung verwendet werden soll, dann können die extrahierten Merkmale Farbattribute des Objektbereichs wie ein Farbhistogramm aufweisen. In response to the candidate vehicle being classified as belonging to a currently tracked vehicle, the module discards 219 the subject at S326. However, a feature extraction module has 220 every new subject, ie detected vehicle, at S328 a tracker. Specifically, the module points 220 assign to the tracker the descriptor (attributes or characteristics) extracted at S320. However, for embodiments omitting the validation method S318 to S324, a descriptor for each new vehicle is extracted. As mentioned above, the descriptor may be based on the tracking algorithm later applied by the system. For example, if a point tracker such as KLT is applied, then the extracted features may be selected from the group consisting of: Harris corners, Scale-Invariant Feature Transform (SIFT) features, and Speeded-Up Robust Features (SURF). Similarly, if a region-based tracker, such as a medium displacement, is to be used, then the extracted features may have color attributes of the object region, such as a color histogram.

Die Merkmale können entweder aus Farb- oder Grauskalabildern extrahiert werden. In Ausführungsformen, in denen eine NIR-Beleuchtung verwendet wird, kann das Modul 220 Harris-Ecken-Merkmale oder Graustufenhistogramme aus Grauskalabildern extrahieren.The features can be extracted from either color or grayscale images. In embodiments where NIR illumination is used, the module may 220 Extract Harris corner features or grayscale histograms from grayscale images.

Als Alternative kann in einer Ausführungsform eine Vorlage des detektierten Bewegungsbereichs (d. h. ein abgeschnittenes Teilbild des neuen Subjekts von Interesse) als ein Satz von Merkmalen verwendet werden. Alternatively, in one embodiment, a template of the detected range of motion (i.e., a truncated field of the new subject of interest) may be used as a set of features.

Der extrahierte Deskriptor (nachstehend „Merkmale”) wird an das Fahrzeugverfolgungsmodul 222 übertragen, das die extrahierten Merkmale bei S330 über nachfolgende Rahmen in dem Videostrom verfolgt. Der Verfolgungsalgorithmus, der von dem Modul 222 verwendet wird, verarbeitet Merkmale, die mit denjenigen, die von den vorherigen Modulen 219, 220 extrahiert wurden, übereinstimmend sind. Wie oben erwähnt, kann das Modul 222 einen einer Anzahl unterschiedlicher Verfolgungsansätze anwenden, die einschließen, jedoch nicht beschränkt sind auf eine Verfolgung mittels mittlerer Verschiebung, Konturenverschiebung, Kalman-Filterung, KLT-Verfolgung und Partikelfilterung usw. Im Allgemeinen bestimmt das Modul 220 die Position jedes verfolgten Subjekts über nachfolgende Rahmen durch die Verwendung der Tracker. Das Modul 220 sieht voraus, dass sich die Subjekte mit der Warteschlange auf dem Schauplatz bewegen, weshalb sich die Positionen mit der Zeit verändern. Für jeden Rahmen, den ein Fahrzeug innerhalb des Sichtfeldes der Kamera (oder kombinierten Kameras) bleibt, generiert das Modul 220 bei S332 Verfolgungsdaten, die die Position des Subjekts in Pixelkoordinaten beschreiben. The extracted descriptor (hereinafter "characteristics") is sent to the vehicle tracking module 222 which tracks the extracted features at S330 over subsequent frames in the video stream. The tracking algorithm used by the module 222 is used, handles features that match those used by the previous modules 219 . 220 were extracted, are consistent. As mentioned above, the module can 222 Use one of a number of different tracking approaches, including, but not limited to, mid-shift tracking, contour shifting, Kalman filtering, KLT tracking and particle filtering, etc. Generally, the module determines 220 the position of each tracked subject over subsequent frames through the use of the tracker. The module 220 Foresees that subjects with the queue move around the scene, so positions change over time. For each frame a vehicle remains within the field of view of the camera (or combined cameras), the module generates 220 at S332, trace data describing the position of the subject in pixel coordinates.

In einer Ausführungsform kann das Modul 220 eine Bewegungsübereinstimmungsprüfung bei S334 ausführen, um zu überprüfen, dass die Bewegung der verfolgten Merkmale mit derjenigen eines starren Objekts übereinstimmend ist. Durch Überwachen der Bewegung insgesamt des Satzes von Merkmalen für ein bestimmtes Subjekt werden Merkmale, die sich nicht zusammen mit dem Satz bewegen, d. h. Merkmale, die zuerst aus dem bewegungsdetektierten Bereich extrahiert werden, jedoch irgendwann zu anderen Elemente des Schauplatzes gedriftet sind, identifiziert und von dem Merkmalssatz entfernt. Diese Prüfung kann beispielsweise ausgeführt werden, um anfängliche Merkmale zu detektieren, die fälschlicherweise auf Hintergrundbereichen ausgewählt wurden, die das verfolgte Subjekt von Interesse unmittelbar umgeben, oder um Merkmale zu entfernen, die einem anderen Subjekt oder Objekt entsprechen, das die Sicht der Kamera des verfolgten Subjekts verdeckt. Insbesondere findet diese Entfernung statt, wenn sich eines des ersten und des zweiten Fahrzeugs von seiner Anfangsposition bewegt oder sich beide Fahrzeuge in eine etwas andere Richtungen bewegen. Diese Art von Kürzung („Pruning”) kann eine reibungslosere, robustere Verfolgungsleistung hervorbringen und die Genauigkeit insgesamt des vorliegenden Systems insbesondere für Warteschlangenkonfigurationen mit einem Layout mit geschlossenen Vierteln und einer großen Anzahl von Start-Stopp-Ereignissen verbessern. In one embodiment, the module 220 perform a motion match check at S334 to verify that the motion of the tracked features is consistent with that of a rigid object. By monitoring the motion overall of the set of features for a particular subject, features that do not move along with the set, ie features that are first extracted from the motion-detected area but eventually drifted to other elements of the scene, are identified and removed from the feature set. For example, this check may be performed to detect initial features that have been incorrectly selected on background areas immediately surrounding the tracked subject of interest, or to remove features corresponding to another subject or object that tracked the camera's view Subject covered. In particular, this distance occurs when one of the first and second vehicles moves from its initial position or both vehicles move in a slightly different direction. This type of pruning can produce smoother, more robust tracking performance and improve the overall accuracy of the present system, particularly for queuing configurations with a closed-quarter layout and a large number of start-stop events.

Als erläuterndes Beispiel kann in einer Ausführungsform, in der der Verfolgungsansatz, der von dem System angewendet wird, einen KLT-Punkttracker mit Harris-Ecken-Merkmalen aufweist, der Satz von verfolgten Harris-Ecken-Merkmalspunkten dynamisch eingestellt (gekürzt) werden, um Merkmalen Rechnung zu tragen, die nicht „folgsam” sind. By way of illustrative example, in one embodiment where the tracking approach employed by the system includes a KLT point tracker with Harris corner features, the set of tracked Harris corner feature points may be dynamically (shortened) to features To take account of those who are not "obedient".

In einer alternativen Verfolgungsausführungsform kann eine Vorlage des detektierten Bewegungsbereichs (d. h. ein abgeschnittenes Teilbild des neuen Subjekts von Interesse) als ein Satz von Merkmalen verwendet werden. Ein mit der Vorlage übereinstimmender Ansatz wird angewendet, um die beste Übereinstimmung für diese Vorlage in einem nachfolgenden Rahmen zu lokalisieren. Die Vorlage wird jedes Mal, wenn eine neue Position bestimmt wird, aktualisiert, um einer langsam variierenden Beleuchtung, Stellung usw. Rechnung zu tragen.In an alternative tracking embodiment, a template of the detected range of motion (i.e., a truncated field of the new subject of interest) may be used as a set of features. An approach consistent with the template is used to locate the best match for this template in a subsequent frame. The template is updated each time a new position is determined to accommodate slowly varying illumination, position, etc.

Das Subjektverfolgungsmodul 222 überträgt die Verfolgungsdaten/Positionsinformationen an das Zusammenlaufpunkt-Schiedsmodul 224. Für einen bestimmten Rahmen kann das Zusammenlaufpunkt-Schiedsmodul 224 eine Position des Zusammenlaufpunktbereichs bei S336 definieren. Als Alternative kann eine virtuelle Linie auf der Bildebene definiert sein. Dieser Schritt kann einmalig ausgeführt werden, da sich der Zusammenlaufpunkt nicht verändert, solange die Kamerakonfiguration und Warteschlangenkonfiguration gleich bleiben. The subject tracking module 222 transmits the tracking data / position information to the merge point arbitration module 224 , For a particular frame, the collation point arbitration module 224 define a position of the merge point area at S336. Alternatively, a virtual line may be defined at the image plane. This step can be performed once because the merge point does not change as long as the camera configuration and queue configuration remain the same.

Durch Verwendung von Positionsinformationen, die mit jedem verfolgten Fahrzeug assoziiert sind, bestimmt das Modul 224 bei S338, ob sich das verfolgte Fahrzeug innerhalb des definierten Zusammenlaufpunktes befindet. Als Reaktion darauf, dass das verfolgte Fahrzeug den Zusammenlaufpunktbereich des bestimmten Bildrahmens (JA bei S338) kreuzt, assoziiert das Modul 224 bei S340 das Subjekt als zu der einzigen Warteschlange zusammenlaufend. An diesem Punkt fährt das Modul 224 mit der Verfolgung in nachfolgenden Rahmen fort, während das Fahrzeug den Zusammenlaufpunktbereich überquert.By using positional information associated with each tracked vehicle, the module determines 224 at S338, if the tracked vehicle is within the defined convergence point. In response to the tracked vehicle crossing the merge point area of the particular image frame (YES at S338), the module associates 224 at S340 the subject converges to the single queue. At this point the module moves 224 continues tracking in subsequent frames as the vehicle traverses the merge point area.

Die Bestimmung bei S338 kann eine beliebige Statistik der verfolgten Merkmalspositionen berechnen und mit der Position des Zusammenlaufpunktes vergleichen. Zum Beispiel kann in einer Ausführungsform ein einziger Punkt aus den Positionsinformationen berechnet werden, die grob die Position des verfolgten Subjekts identifizieren. Für Punkttracker wie einen KLT-Tracker kann dieser einzige Punkt das Zentroid der verfolgten Merkmalspositionen sein. Andere statistische Beispiele können ein Zentroid, eine Medianzentrumsposition, einen ersten Punkt, einen vorbestimmten Prozentanteil in den Merkmalspunkten und einen letzten Punkt usw. einschließen, die in den Zusammenlaufpunktbereich gehen. Als Alternative kann das Modul 224 eine konvexe Hülle berechnen, die die verfolgten Punkte enthält. Das Modul 224 kann das Zusammenlaufereignis detektieren, wenn ein vorbestimmter Überlappungsprozentanteil zwischen der Hülle und einem definierten Zusammenlaufbereich auftritt. Ein ähnlicher Ansatz kann angewendet werden, wenn kern- oder bereichsbasierte Tracker von dem System angewendet werden, wobei die Überlappung zwischen der Kernfunktion des Trackers und dem Zusammenlaufbereich gemessen werden kann und ein Zusammenlaufereignis ausgelöst wird, wenn ein Grad der Überlappung einen vorbestimmten Schwellenwert erfüllt und überschreitet.The determination in S338 may calculate any statistic of the traced feature positions and compare it to the position of the confluence point. For example, in one embodiment, a single point may be calculated from the position information that roughly identifies the position of the tracked subject. For point trackers, such as a KLT tracker, this single point can be the centroid of tracked feature locations. Other statistical examples may include a centroid, median center position, a first point, a predetermined percentage in the feature points, and a last point, etc. that go into the confluence point area. As an alternative, the module 224 calculate a convex hull containing the tracked points. The module 224 may detect the merge event when a predetermined overlap percentage occurs between the sheath and a defined merge area. A similar approach can be used when core or area based trackers are applied by the system, where the overlap between the core function of the tracker and the convergence area can be measured, and a convergence event is triggered when a degree of overlap meets and exceeds a predetermined threshold ,

Nachdem das detektierte Fahrzeug bei S340 als zu der einzigen Warteschlange zusammengelaufen kategorisiert ist, stuft S341 einen oder mehrere Videorahmen ein, die mit der Fahrzeugdetektion und/oder Fahrzeugverfolgung assoziiert sind, um zu bestimmen, ob das detektierte/verfolgte Fahrzeug von einer äußeren Spur, die mit dem Bestellpunkt A assoziiert ist, oder einer inneren Spur stammt, die mit dem Bestellpunkt B assoziiert ist. Eine beobachtete Abfolge von Subjekten, die sich dem Servicepunkt nähern, wird bei S342 berechnet. Als Teil dieser Berechnung berechnet das Modul 224 im Wesentlichen, wo sich das verfolgte Subjekt von Interesse in der beobachteten Abfolge von Subjekten befindet. Das Modul 224 kann diese berechnete beobachtete Abfolge an das Ereignisberichterstattungsmodul 225 übertragen.After the detected vehicle is categorized at S340 as merged into the single queue, S341 classifies one or more video frames associated with vehicle detection and / or vehicle tracking to determine whether the detected / tracked vehicle is from an outer lane, the is associated with the order point A, or comes from an inner lane associated with the order point B. An observed sequence of subjects approaching the service point is calculated at S342. As part of this calculation, the module calculates 224 essentially, where the tracked subject of interest is in the observed sequence of subjects. The module 224 may return this computed watched sequence to the event reporting engine 225 transfer.

Da das System wahlweise Subjekte von ihren jeweiligen Bestelleingabepunkten verfolgen kann, kann das Ereignisberichterstattungsmodul 225 eine korrekte Abfolge von Informationen bestimmen, die mit jedem Subjekt assoziiert sind (wie „Bestellungen” in der dargestellten Ausführungsform) und mit der beobachteten Abfolge übereinstimmen. Das Modul 225 korrigiert und/oder aktualisiert die endgültige Ereignisabfolge bei S344. In dem dargestellten Beispiel kann das endgültige Ereignis die Bestellungen aufweisen, die an einem oder beiden eines Zahlungs- und Abholungspunktes erfüllt werden müssen. Genauer kann das Modul 225 die endgültige Ereignisabfolge mittels der Kennung aktualisieren, die jedem Subjekt beim Detektieren des Subjekts zugewiesen wird. Da die Kennung dem Subjekt mit dem Tracker gefolgt ist, kann das Modul 225 die Abfolge aktualisieren, um das Ereignis zu erfüllen, das mit jeder Kennung in der gleichen Abfolge assoziiert ist, in der das Subjekt an dem Endpunkt ankommen wird.Since the system can selectively track subjects from their respective order entry points, the event reporting module may 225 determine a correct sequence of information associated with each subject (such as "orders" in the illustrated embodiment) and match the observed sequence. The module 225 corrects and / or updates the final event sequence at S344. In the illustrated example, the final event may include the orders that must be fulfilled at one or both of a payment and pick-up point. More precisely, the module 225 Update the final event sequence using the identifier assigned to each subject in detecting the subject. Since the identifier followed the subject with the tracker, the module can 225 update the sequence to meet the event associated with each identifier in the same sequence in which the subject will arrive at the endpoint.

Das Modul 225 kann diese aktualisierte Abfolge einer Benutzercomputervorrichtung 206 wie dem POS-(Pont Of Sale)-System in dem dargestellten Beispiel bereitstellen. Zusammenfassend übersetzt das Modul 225 jedes neue zusammengelaufene Fahrzeug in eine Nachricht an die Benutzervorrichtung. In alternativen Ausführungsformen kann das Ereignisberichterstattungsmodul 225 auch Nicht-Zusammenlauf-Ereignisse melden. Diese Nicht-Zusammenlauf-Ereignisse können anzeigen, wann Subjekte eine Warteschlange verlassen oder betreten. Das Verfahren endet bei S346.The module 225 This updated sequence of a user computing device 206 as the POS (Pont Of Sale) system in the illustrated example. In summary, the module translates 225 each new converged vehicle into a message to the user device. In alternative embodiments, the event reporting module may be 225 also report non-merge events. These non-merge events can indicate when subjects are exiting or entering a queue. The process ends at S346.

Die erneute Sequenzierung von Informationen, die von der vorliegenden Offenbarung berechnet werden, ist für ähnliche Umgebungen geeignet, in denen ein Verfahren in nebeneinander angeordneten Warteschlangen initiiert und in einer einspurigen Warteschlange abgeschlossen wird, nachdem die nebeneinander liegenden Warteschlangen konvergieren, und genauer ein Verfahren und seine Ausgabe der Person in der Warteschlange folgen. Nicht einschränkende Beispiele von Betrieben, die die vorliegende Offenbarung einsetzen können, schließen Banken (Bankautomaten innerhalb des Gebäudes und an Durchfahrtsspuren), Lebensmittel- und Einzelhandelsgeschäfte (Kassierspuren), Flughäfen (Sicherheitskontrollpunkte, Buchungsstände, Boardingbereiche und -plattformen), Restaurants (wie Fastfood-Schalter und Durchfahrten), Theater, Autowaschanlagen und dergleichen usw. ein. The re-sequencing of information computed by the present disclosure is suitable for similar environments in which a method is initiated in contiguous queues and completed in a single-lane queue after the contiguous queues converge, and more specifically a method and its Follow the person in the queue. Non-limiting examples of operations embodying the present disclosure Banks (ATMs inside the building and in transit lanes), grocery and retail outlets (cashier lanes), airports (security checkpoints, booking booths, boarding areas and platforms), restaurants (such as fast food counters and transit areas), theaters, car washes and the like etc. one.

Wenngleich das Verfahren 300 oben in Form einer Reihe von Handlungen oder Ereignissen dargestellt und beschrieben ist, wird man zu schätzen wissen, dass die verschiedenen Verfahren oder Prozesse der vorliegenden Offenbarung nicht durch die dargestellte Reihenfolge solcher Handlungen oder Ereignisse eingeschränkt sind. Sofern nachstehend nicht anderweitig angegeben, können diesbezüglich einige Handlungen oder Ereignisse neben den gemäß der Offenbarung dargestellten und hierin beschriebenen in einer anderen Reihenfolge und/oder gleichzeitig mit anderen Handlungen oder Ereignissen stattfinden. Es sei ferner darauf hingewiesen, dass nicht alle dargestellten Schritte erforderlich sind, um einen Prozess oder ein Verfahren gemäß der vorliegenden Offenbarung zu implementieren, wobei ein oder mehrere solche Akte kombiniert werden können. Die dargestellten Verfahren und andere Verfahren der Offenbarung könne in Hardware, Software oder Kombinationen davon implementiert sein, um die hierin beschriebene Steuerfunktionalität bereitzustellen, und können in einem beliebigen System eingesetzt werden, das einschließt, jedoch nicht beschränkt ist auf das oben dargestellte System 200, wobei die Offenbarung nicht auf die spezifischen Anwendungen und dargestellten und hierin beschriebenen Ausführungsformen eingeschränkt ist.Although the procedure 300 is presented and described above in terms of a series of acts or events, it will be appreciated that the various methods or processes of the present disclosure are not limited by the illustrated order of such acts or events. Unless otherwise stated below, in this regard, some acts or events may take place in a different order and / or concurrently with other acts or events besides those illustrated in the disclosure and described herein. It should also be understood that not all illustrated steps are required to implement a process or method in accordance with the present disclosure, wherein one or more such acts may be combined. The illustrated methods and other methods of the disclosure may be implemented in hardware, software, or combinations thereof to provide the control functionality described herein, and may be employed in any system including, but not limited to, the system illustrated above 200 The disclosure is not limited to the specific applications and embodiments illustrated and described herein.

Einige Abschnitte der ausführlichen Beschreibung hierin sind als Algorithmen und symbolische Darstellungen von Operationen an Datenbits vorgestellt, die von herkömmlichen Computerkomponenten durchgeführt werden, einschließlich einer zentralen Verarbeitungseinheit (CPU), Speichervorrichtungen für die CPU und angeschlossener Anzeigevorrichtungen. Diese algorithmischen Beschreibungen und Darstellungen sind Mittel, die von einem Fachmann auf dem Gebiet der Datenverarbeitung verwendet werden, um anderen Fachleuten das Wesen ihrer Arbeit zu vermitteln. Ein Algorithmus wird allgemein als eine in sich stimmige Abfolge von Schritten verstanden, die zu einem gewünschten Ergebnis führt. Dazu gehören Schritte, die physische Manipulationen physischer Mengen erforderlich machen. Gewöhnlich, jedoch nicht unbedingt nehmen diese Mengen die Form von elektrischen oder magnetischen Signalen an, die gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert werden können. Es hat sich zuweilen als praktisch erwiesen, hauptsächlich aus Gründen der allgemeinen Nutzung, diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Ausdrücke, Zahlen oder dergleichen zu bezeichnen. Man wird jedoch verstehen, dass all diese und ähnliche Ausdrücke den jeweiligen physischen Mengen zuzuordnen sind und lediglich zweckmäßige Bezeichnungen sind, die auf diese Mengen angewendet werden. Sofern nicht spezifisch anderweitig angegeben und wie aus der Erläuterung hierin ersichtlich, wird man zu schätzen wissen, dass sich in der gesamten Beschreibung Erläuterungen, die Ausdrücke wie „Verarbeiten” oder „Rechnen” oder „Berechnen” oder „Bestimmen” oder „Anzeigen” oder dergleichen, auf die Wirkung und die Prozesse eines Computersystems oder einer ähnlichen elektronischen Vorrichtung beziehen, die Daten, die als physikalische (elektronische) Mengen innerhalb der Register und Speicher des Computersystems dargestellt sind, in andere Daten manipuliert und umwandelt, die in ähnlicher Weise als physische Mengen innerhalb der Computersystemspeicher oder -register oder anderen solchen Informationsspeichern, Übertragungs- oder Anzeigevorrichtungen dargestellt sind. Some portions of the detailed description herein are presented as algorithms and symbolic representations of operations on data bits performed by conventional computer components, including a central processing unit (CPU), memory devices for the CPU, and attached display devices. These algorithmic descriptions and representations are means used by one of ordinary skill in the data processing arts to convey the substance of their work to others skilled in the art. An algorithm is generally understood to be a self-consistent sequence of steps leading to a desired result. These include steps that require physical manipulation of physical quantities. Usually, though not necessarily, these quantities take the form of electrical or magnetic signals that can be stored, transferred, combined, compared, and otherwise manipulated. It has proven convenient at times, principally for reasons of common usage, to refer to these signals as bits, values, elements, symbols, characters, terms, numbers, or the like. It will be understood, however, that all of these and similar terms are to be assigned to the particular physical quantities and are merely convenient labels applied to those quantities. Unless specifically stated otherwise and as will be apparent from the discussion herein, it will be appreciated that throughout the specification, explanations that include terms such as "processing" or "computing" or "calculating" or "determining" or "displaying" or the like relate to the action and processes of a computer system or similar electronic device that manipulates and transforms data represented as physical (electronic) amounts within the registers and memories of the computer system into other data that is similar to physical data Quantities within the computer system memory or registers or other such information storage, transmission or display devices are shown.

Das Ausführungsbeispiel bezieht sich auch auf eine Vorrichtung zum Durchführen der hierin erläuterten Operationen. Diese Vorrichtung kann speziell für die erforderlichen Zwecke konstruiert sein oder einen Universalcomputer umfassen, der durch ein Computerprogramm, das in dem Computer gespeichert ist, selektiv aktiviert oder rekonfiguriert wird. Ein solches Computerprogramm kann in einem computerlesbaren Speichermedium gespeichert sein, wie z. B. jedem beliebigen Typ Plattenspeicher wie Disketten, optische Platten, CD-ROM und magnetisch-optische Platten, Nurlesespeicher (ROM), wahlfreie Zugriffsspeicher (RAM), EPROM, EEPROM, magnetische oder optische Karten oder jeder Typ von Medien, der sich zum Speichern von elektronischen Befehlen eignet, die jeweils mit einem Computersystembus gekoppelt sind, ist aber nicht darauf beschränkt. The embodiment also relates to an apparatus for performing the operations explained herein. This apparatus may be specially constructed for the required purposes or comprise a general-purpose computer selectively activated or reconfigured by a computer program stored in the computer. Such a computer program may be stored in a computer-readable storage medium, such. Disk types such as floppy disks, optical disks, CD-ROM and magnetic-optical disks, read-only memory (ROM), random access memory (RAM), EPROM, EEPROM, magnetic or optical cards, or any type of media suitable for storage of electronic commands, each coupled to a computer system bus, but is not limited thereto.

Die Algorithmen und Anzeigen, die hierin vorgestellt sind, sind auf keinen besonderen Computer oder eine andere Vorrichtung beschränkt. Verschiedene Universalsysteme können mit Programmen gemäß den Lehren hierin verwendet werden, oder es kann sich als praktisch erweisen, spezialisiertere Vorrichtungen zum Ausführen der hierin beschriebenen Verfahren zu konstruieren. Die Struktur für verschiedene dieser Systeme geht aus der obigen Beschreibung hervor. Außerdem ist das Ausführungsbeispiel nicht mit Bezug auf eine bestimmte Programmiersprache beschrieben. Man wird zu schätzen wissen, dass verschiedene Programmiersprachen zum Implementieren der Lehren des Ausführungsbeispiels, wie hierin beschrieben, verwendet werden können. The algorithms and displays presented herein are not limited to any particular computer or device. Various universal systems may be used with programs in accordance with the teachings herein, or it may prove convenient to construct more specialized apparatus for carrying out the methods described herein. The structure for various of these systems is apparent from the above description. In addition, the embodiment is not described with respect to a particular programming language. It will be appreciated that various programming languages may be used to implement the teachings of the embodiment as described herein.

Ein maschinenlesbares Medium schließt jeden beliebigen Mechanismus zum Speichern oder Übertragen von Informationen in einer von einer Maschine (zum Beispiel einem Computer) lesbaren Form ein. Zum Beispiel gehören zu einem maschinenlesbaren Medium ein Nurlesespeicher (ROM); ein wahlfreier Zugriffsspeicher (RAM); Magnetplatten-Speichermedien; optische Speichermedien; Flashspeichervorrichtungen; und elektrische, optische, akustische oder eine andere Form von ausgebreiteten Signalen (zum Beispiel Trägerwellen, Infrarotsignale, digitale Signale usw.) usw., um nur einige wenige Beispiele zu nennen. A machine-readable medium includes any mechanism for storing or transmitting information in a form readable by a machine (e.g., a computer). For example, a machine-readable medium includes a read-only memory (ROM); an random access memory (RAM); Magnetic disk storage media; optical storage media; Flash memory devices; and electrical, optical, acoustic, or other form of propagated signals (e.g., carrier waves, infrared signals, digital signals, etc.), etc., to name just a few examples.

Die in dieser Spezifikation dargestellten Verfahren können in einem Computerprogrammprodukt implementiert werden, das auf einem Computer ausgeführt werden kann. Das Computerprogrammprodukt kann ein nicht flüchtiges computerlesbares Aufzeichnungsmedium umfassen, auf dem ein Steuerprogramm aufgezeichnet ist, wie ein Plattenspeicher, Festplattenlaufwerk oder dergleichen. Übliche Formen nicht flüchtiger computerlesbarer Medien schließen zum Beispiel Disketten, flexible Platten, Festplatten, Magnetbänder oder ein beliebiges anderes Magnetspeichermedium, CD-ROM, DVD oder ein beliebiges anderes optisches Medium, einen RAM, einen PROM, einen EPROM, einen FLASH-EPROM, einen beliebigen anderen Speicherchip oder -kassette oder ein beliebiges anderes tangibles Medium ein, das ein Computer lesen und verwenden kann.The methods presented in this specification may be implemented in a computer program product that may be executed on a computer. The computer program product may comprise a non-transitory computer readable recording medium having recorded thereon a control program such as a disk memory, hard disk drive or the like. Common forms of non-transitory computer-readable media include, for example, floppy disks, flexible disks, hard disks, magnetic tapes, or any other magnetic storage medium, CD-ROM, DVD, or any other optical media, RAM, PROM, EPROM, FLASH EPROM any other memory chip or cartridge or any other tangible medium that a computer can read and use.

Alternativ kann das Verfahren in flüchtigen Medien implementiert werden, wie einer übertragbaren Trägerwelle, in der das Steuerprogramm als ein Datensignal unter Verwendung von Übertragungsmedien ausgeführt ist, wie akustische oder Lichtwellen, wie die während Funkwellen- und Infrarotdatenkommunikationen erzeugten und dergleichen.Alternatively, the method may be implemented in volatile media, such as a portable carrier wave, in which the control program is implemented as a data signal using transmission media, such as acoustic or light waves, such as those generated during radio wave and infrared data communications, and the like.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 8401230 [0001, 0014, 0015]

Claims

Image processing system comprising: a processor and memory operatively connected to the processor, the processor and the memory executing instructions to perform a method of automated sequencing of vehicles converging from multiple lanes to a single lane, the method comprising: a) an image capture device that captures a video of a merge point area associated with multiple converging traffic lanes; b) detecting in the video of a vehicle as it traverses the confluence point area; c) ranking the detected vehicle associated with crossing the merge point range as coming from one of the merging lanes; and d) aggregating vehicle ratings performed in step c) to generate a merged sequence of detected vehicles.

The image processing system of claim 1, wherein the plurality of tracks of contiguous traffic correspond to a side-by-side passage, the side-by-side passage having an interior transit lane and an exterior transit lane.

The image processing system of claim 1, wherein a detected vehicle is tracked until the detected vehicle is outside of the confluence point area.

The image processing system of claim 1, wherein the vehicle detection is performed by one or more of temporally differentiating video images, background estimation and subtraction, and optical flow.

The image processing system of claim 1, wherein step c) uses one or more classifiers that include positive and negative video samples that include vehicles approaching the convergence point of a first track and positive and negative video samples that include vehicles that are traveling approach the confluence point of a second track.

A system for updating an event sequence, the system comprising an automatic sequencer having a memory and a processor and connected to the processor configured for: Receiving a number of individual order requests from the two order points, each order request being received when a vehicle is at the one of the two order points; Capturing video data of a track merge point area of at least one image source, wherein the merge point area is associated with the convergence of two vehicle queue traces from two respective reorder points to a single queue track; Processing frames and at least one area of interest (ROI) in the frame of the video data to detect a vehicle having at least a portion of the vehicle in the track merge point area; Tracking a movement of each detected vehicle through the track merge point area over a subsequent series of frames until the detected vehicle is outside of the track merge point area; in response to the detected and tracked vehicle associated with the track merge point area, ranking one or more video frames as a vehicle coming from an outer track associated with the order point A or having as a vehicle an interior Trace associated with order item B arrives; and Updating a sequence of orders to align them with the particular sequence of vehicles in the single queue track.

The system of claim 6, wherein the processor and memory are further configured to: rank each detected vehicle as belonging to one of a new detected vehicle and a currently tracked vehicle; in response to the detected vehicle being a new vehicle, assigning a tracker to the new vehicle; and in response to the detected vehicle being a currently tracked vehicle discarding the detected vehicle.

The system of claim 6, wherein the processor and the memory are further configured for: Extracting a feature descriptor from each detected vehicle; Comparing the extracted feature descriptor with one of a threshold and corresponding descriptors of current vehicle trackers; and based on the comparison, ranking the detected vehicle as belonging to one of a new vehicle and a currently tracked vehicle.

The system of claim 6, wherein the order points and the track merge point area are associated with a fast food passage.

The system of claim 6, wherein the processor and the memory are further configured for: Calculating a statistic of tracked feature positions of the detected vehicle; Comparing the statistics with a location of the track merge point area; and determining whether a position of the tracked detected vehicle reaches the predefined track merge point area based on the comparison, wherein the statistic is selected from a group consisting of a single point identifying a position of the tracked detected vehicle, a centroid of tracked feature positions, a median center position of the tracked feature positions, a first point, a predetermined percentage of feature points, a last point, and a degree of overlap.