DE102014217361B4

DE102014217361B4 - Bestimmen der quellspur eines sich bewegenden elements, das mit der zielspur zusammengeführt wird

Info

Publication number: DE102014217361B4
Application number: DE102014217361.2A
Authority: DE
Inventors: Robert P. Loce; Wencheng Wu; Thomas F. Wade; Daniel S. Hann; Peter Paul; Aaron Michael Burry
Original assignee: Conduent Business Services LLC
Current assignee: Conduent Business Services LLC
Priority date: 2013-09-10
Filing date: 2014-08-29
Publication date: 2024-05-02
Anticipated expiration: 2034-08-30
Also published as: KR20150029551A; JP2015055875A; US9503706B2; US20150070471A1; JP6533044B2; KR102096230B1; DE102014217361A1

Abstract

Vorrichtung, umfassend:ein Kameranetzwerk, umfassend mindestens zwei Abbildungsvorrichtungen, die auf einen ersten Standort gerichtet sind, wobei die Abbildungsvorrichtungen Sichtfelder aufweisen, die fest sind und sich mit dem ersten Standort überschneiden, wobei der erste Standort mehrere parallele primäre Spuren umfasst, die zu einer reduzierten Anzahl von mindestens einer sekundären Spur zusammengeführt werden, und die sich bewegenden Elemente in den primären Spuren Transaktionen einleiten, während sie sich in den primären Spuren befinden, und Transaktionen abschließen, während sie sich in der sekundären Spur befinden;einen Prozessor, der betriebswirksam mit dem Kameranetzwerk verbunden ist, wobei der Prozessor die Abstände der sich bewegenden Elemente von dem Kameranetzwerk berechnet, um zu identifizieren, in welcher der primären Spuren jedes der sich bewegenden Elemente angeordnet war, bevor es mit der sekundären Spur zusammengeführt wurde, und wobei der Prozessor die Transaktionen in einer Zusammenführungsreihenfolge ordnet, die einer Abfolge entsprechen, in der die sich bewegenden Elemente von den primären Spuren in die sekundäre Spur eingetreten sind; undeine Schnittstelle, die betriebswirksam mit dem Prozessor verbunden ist, wobei die Schnittstelle die Transaktionen in der Zusammenführungsreihenfolge ausgibt.

Description

Systeme und Verfahren hierin betreffen allgemein die Elementströmungsverarbeitung und insbesondere Systeme und Verfahren, die eine Kamera zum Bestimmen der Quellspur eines sich bewegenden Elements bestimmen, während mehrere Quellspuren mit Zielspuren zusammengeführt werden.
Computerisierte Systeme sind nützlich, um die Effizienz in vielen Bereichen zu verbessern, wie die Erleichterung der Bewegung von Elementen durch gesteuerte Spuren oder Wege. Beispiele solcher Systeme schließen die Bewegung von Elementen auf Fördersystemen in Lagerhäusern ein; Warteschlangen von Einzelpersonen an Flughäfen, Freizeitparks und Sportveranstaltungen; Verarbeitung von Durchfahrtsbestellungen für Lebensmittel und andere Elemente in Einrichtungen zur Aufnahme von Bestellungen vom Fahrzeug aus; usw. Die Systeme und Verfahren hierin werden unter Verwendung des Beispiels einer Durchfahrtsbestellung beschrieben; diese Systeme und Verfahren sind jedoch auf alle Typen der Verarbeitung anwendbar, bei der Menschen oder Elemente aus mehreren Quellspuren in mindestens einer Zielspur zusammengeführt werden.
Ein Beispiel für ein Durchfahrt-System und ein Verfahren zur Bedienung von Durchfahrt - Kunden mit Fahrzeugen in einem Schnellrestaurant gemäß des Standes der Technik wird in der US Patentanmeldungsschrift US 2009 / 0 255 195 A1 offenbart.
Bei Fahrzeugdurchfahrts-Abläufen können Kunden schnell und kosteneffizient bedient werden, wenn bestimmte Funktionen an mehreren parallelen Stationen (mit den zugehörigen Spuren) durchgeführt werden und Fahrzeuge in weniger Spuren an Stationen zusammengeführt werden, an denen andere Funktionen durchgeführt werden. Ein Beispiel ist ein Fastfood-Restaurant mit zwei oder drei parallelen Bestellstationen und einer einzigen Spur zur Zahlung und Annahme des Essens. Ineffizienz und Probleme im Zusammenführungsbereich nach den parallelen Spuren sind das Resultat. Derzeit verwenden Angestellte Videokameras und Monitore zum Nachverfolgen der Quellspur eines Fahrzeugs, während es eine Zusammenführungslinie kreuzt. Dies erfordert eine Anstrengung des Angestellten, die anderweitig verwendet werden könnte, und ist Gegenstand von menschlichen Fehlern, die Zeit kosten und zu Kundenzufriedenheit an den folgenden Stationen führen.
Eine beispielhafte Vorrichtung hierin schließt eine optische Stereokamera (eine einzelne Kamera mit mehreren Abbildungseinheiten oder ein Kameranetzwerk mit mehreren Kameras) ein, die auf einen ersten Standort gerichtet ist. Die mehreren Kameras oder Abbildungsvorrichtungen weisen ein Sichtfeld auf, das fest ist und sich mit dem ersten Standort überschneidet. Der erste Standort umfasst eine horizontale Oberfläche mit mehreren parallelen primären Spuren, die zu einer reduzierten Anzahl von sekundären Spuren zusammengeführt wird, wie einer einzelnen sekundären Spur. Die Stereokamera ist in horizontale Richtung parallel zu der horizontalen Oberfläche ausgerichtet. Sich bewegende Elemente in den primären Spuren lösen Transaktionen aus und schließen Transaktionen ab, während sie sich in der sekundären Spur befinden.
Ein Prozessor ist betriebswirksam mit der Stereokamera verbunden. Der Prozessor berechnet die Abstände, in denen die sich bewegenden Elemente von der Stereokamera (oder Abstände von einer Referenzkamera, wenn ein Kameranetzwerk verwendet wird) in horizontaler Richtung basierend auf den Unterschieden zwischen Bildern der sich bewegenden Bilder, die von den mehreren Kameras der Stereokameras erhalten werden, befinden. Spezifischer bestimmt der Prozessor die Abfolge, in der die sich bewegenden Elemente in die sekundäre Spur eingetreten sind, indem eine relative Position und ein relativer Abstand der sich bewegenden Elemente erkannt wird, während die sich bewegenden Elemente den ersten Standort durchlaufen, und wenn sich mindestens ein Abschnitt der sich bewegenden Elemente in dem ersten Standort befindet. Der Prozessor berechnet die Abstände der sich bewegenden Elemente von der Stereokamera durch Erstellen vorübergehender Tiefenprofile für jedes der sich bewegenden Elemente, die den ersten Standort durchlaufen.
Dies identifiziert, in welcher der primären Spuren sich jedes der sich bewegenden Elemente befand, bevor es mit der sekundären Spur zusammengeführt wurde, und ermöglicht dem Prozessor, die Transaktionen in einer „Zusammenführungsreihenfolge“ zu ordnen. Die Zusammenführungsreihenfolge entspricht der Abfolge, in der die sich bewegenden Elemente aus der primären Spur in die sekundäre Spur eingetreten sind. Eine Schnittstelle ist betriebswirksam mit dem Prozessor verbunden, und die Schnittstelle gibt die Transaktionen (in Zusammenführungsreihenfolge) an eine Transaktionsvorrichtung aus, welche die Transaktionen abschließt.
Außerdem kann der Prozessor ein „anfängliches“ Signaturprofil der sich bewegenden Elemente entwickeln, während die sich bewegenden Elemente den ersten Standort durchlaufen. Ein solches anfängliches Signaturprofil kann Elemente wie Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente einschließen. Die Vorrichtung kann ferner eine zweite Stereokamera an einem zweiten Standort der sekundären Spur umfassen (benachbart dazu, wo die sich bewegenden Elemente die Transaktion abschließen). Der Prozessor kann daher auf ähnliche Weise das „Bestätigungs“-Signaturprofil der sich bewegenden Elemente entwickeln (das wiederum Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente aufweisen kann), während die sich bewegenden Elemente den zweiten Standort durchlaufen.
Diese anfänglichen und Bestätigungssignaturprofile ermöglichen dem Prozessor, die Zusammenführungsreihenfolge zu bestätigen oder zu ändern. Spezifisch bestätigt der Prozessor die Zusammenführungsreihenfolge, bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung basierend auf dem Bestätigungssignaturprofil ausgibt, das dem anfänglichen Signaturprofil entspricht. Im Gegensatz dazu ändert der Prozessor die Zusammenführungsreihenfolge, bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung basierend auf dem Bestätigungssignaturprofil ausgibt, das nicht dem anfänglichen Signaturprofil entspricht.
Um den Platzeinschränkungen zu genügen, kann in einigen Situationen die Stereokamera neben den sich bewegenden Elementen angeordnet sein und der Prozessor die Abstände nur basierend auf den Seitenbildern der sich bewegenden Elemente berechnen. Weiterhin kann zum Vereinfachen der Vorrichtung und zum Reduzieren der Kosten die Stereokamera eine stationäre, unbewegliche Stereokamera an einer festen Position sein.
Beispielhafte Verfahren und Vorrichtungen hierin erfassen Bilder unter Verwendung einer optischen Stereokamera (oder eines Kameranetzwerks), die auf einen ersten Standort gerichtet ist. Der erste Standort umfasst mehrere parallele primäre Spuren, die zu einer reduzierten Anzahl von mindestens einer sekundären Spur zusammengeführt werden, wobei sich bewegende Elemente in den primären Spuren Transaktionen einleiten und die Transaktionen in der sekundären Spur abschließen. Solche Verfahren berechnen Abstände der sich bewegenden Elemente von der Kamera (oder Abstände von einer Referenzkamera, wenn ein Kameranetzwerk verwendet wird), indem sie einen Prozessor verwenden, der betriebswirksam mit der Kamera verbunden ist, um zu identifizieren, in welcher der primären Spuren sich jedes der sich bewegenden Elemente befand, bevor diese zu der sekundären Spur zusammengeführt wurden. Die Verfahren hierin berechnen also mithilfe des Prozessors die Abstände der sich bewegenden Elemente von der Kamera, indem sie vorübergehende Tiefenprofile für jedes der sich bewegenden Elemente erstellen, das den ersten Standort durchläuft.
Diese Verfahren ordnen dann mithilfe des Prozessors die Transaktionen in einer Zusammenführungsreihenfolge, die einer Abfolge entspricht, in der die sich bewegenden Elemente aus den primären Spuren in die sekundäre Spur eingetreten sind. Insbesondere bestimmen solche Verfahren die Abfolge, in der die sich bewegende Elemente in die sekundäre Spur eingetreten sind, indem sie eine relative Position und einen relativen Abstand der sich bewegenden Elemente erkennen, während die sich bewegenden Elemente den ersten Standort durchlaufen. Auch geben die Verfahren hierin die Transaktionen in der Zusammenführungsreihenfolge an eine Transaktionsvorrichtung aus, welche die Transaktionen unter Verwendung einer Schnittstelle, die mit dem Prozessor verbunden ist, abschließt.
Des Weiteren können in einigen Beispielen diese Verfahren anfängliche Signaturprofile sich bewegender Elemente entwickeln. Diese anfänglichen Signaturprofile umfassen Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente, während die sich bewegenden Elemente den ersten Standort durchlaufen. Auch können diese Verfahren auf ähnliche Weise Bestätigungssignaturprofile sich bewegender Elemente entwickeln und diese Bestätigungssignaturprofile ebenfalls Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente umfassen, während die sich bewegenden Elemente einen zweiten Standort der sekundären Spur (benachbart dazu, wo die sich bewegenden Elemente die Transaktion abschließen) durchlaufen. Daher bestätigen diese Verfahren die Zusammenführungsreihenfolge (bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung ausgibt), wenn das Bestätigungssignaturprofil mit dem anfänglichen Signaturprofil übereinstimmt, oder diese Verfahren ändern die Zusammenführungsreihenfolge (bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung ausgibt), wenn das Bestätigungssignaturprofil nicht mit dem anfänglichen Signaturprofil übereinstimmt.
Es zeigen:

1 ein Komponentendiagramm verschiedener Systeme hierin;
2 ein Stereobild, das von den Verfahren und Systemen hierin erzeugt wird;
3 ein Schaubild, das Signaturprofile zeigt, die von Verfahren und Systemen hierin erzeugt werden;
4 Bilder und Diagramme, die Signaturprofile zeigen, die von Verfahren und Systemen hierin erzeugt werden;
5(A) bis 5(D) Bilder und Diagramme, die Signaturprofile zeigen, die von Verfahren und Systemen hierin erzeugt werden;
6 ein schematisches Diagramm, das Vorrichtungen hierin darstellt;
7 ein schematisches Diagramm, das Vorrichtungen hierin darstellt;
8 ein schematisches Diagramm, das Systeme hierin darstellt;
9 ein schematisches Diagramm, das Vorrichtungen hierin darstellt; und
10 ein Flussdiagramm verschiedener Verfahren hierin.

Wie oben erwähnt, sind computerisierte Systeme nützlich, um die Effizienz in vielen Bereichen zu verbessern, wie der Erleichterung der Bewegung von Elementen durch gesteuerte Spuren oder Wege. In diesem Bereich stellen die Systeme und Verfahren hierin ein Stereosichtsystem und ein Verfahren zum Bestimmen der Quellspur eines Fahrzeugs bereit, wenn es eine Zusammenführungslinie kreuzt.
Ein Beispiel eines Systems hierin ist in 1 dargestellt. Dieses beispielhafte System weist verschiedene Module auf. Element 100 repräsentiert ein Stereosicht-Videoerfassungsmodul, das ein Stereopaar- (Mehrfachansichts-) Video oder Bilder des Bereichs erfasst, der mit der Zusammenführungslinie (Bereich von Interesse - Region of Interest - ROI) einer Durchfahrtsspur assoziiert ist. Element 102 repräsentiert ein ROI-Auswahlmodul, das den ROI innerhalb der erfassten Bilder identifiziert. Element 104 repräsentiert ein Fahrzeugerkennungsmodul, das die Gegenwart eines Fahrzeug in dem ROI bestimmt. Element 106 repräsentiert ein Tiefenschätzungsmodul, das den Abstand von Merkmalen in dem ROI oder eine Tiefenkarte des ROI bestimmt. Element 108 repräsentiert ein Spurbestimmungsmodul, das die Quellspur eines Fahrzeugs von Interesse in dem Bereich bei einer Zusammenführungslinie durch Verwenden der Abstandsinformationen bestimmt. Element 110 repräsentiert eine Fahrzeugidentifizierung und ein Abgleichmodul, das die Merkmale des Fahrzeugs von Interesse extrahiert und diese mit den Fahrzeugmerkmalen, die in den ursprünglichen Bestellspuren erfasst wurde, abgleicht. Diese Module werden unten ausführlicher beschrieben.
Das Stereosicht-Videoerfassungsmodul 100 umfasst mindestens zwei Kameras oder zwei Kameraansichten. Die relative Position der Kamera wird bei Installation gemessen oder eingestellt, um ausreichend unterschiedliche Winkel bereitzustellen, um zuverlässig die unterschiedlichen Abstände zu bestimmen, die Elemente von der Kamera angeordnet werden. Verfahren und Systeme hierin können die Verarbeitung durch Ausrichten der Kameras vereinfachen, sodass zwei Ansichten grob entlang einer horizontalen Linie, die parallel zu der Oberfläche der Spuren verläuft, eingestellt werden. Die Kalibrierung wird durchgeführt, um die 3D-Geometrie des Bereichs von Interesse aufzunehmen. Jede im Handel erhältliche Stereokamera kann mit den Systemen und Verfahren hierin verwendet werden.
2 zeigt einen Beispiel-Videoframe, der mit der Videokamera erfasst wurde. Der beispielhafte Videoframe aus 2 schließt zwei Ansichten 120, 122 des gleichen Bereichs von Interesse ein, die zur gleichen Zeit aus unterschiedlichen Winkeln erhalten wurden.
Die Unterschiede zwischen den zwei Ansichten 120, 122 resultieren daraus, dass sie von leicht unterschiedlichen Winkeln erhalten wurden, weil die zwei Ansichten aus dem gleichen Bereich stammen und im Wesentlichen zum gleichen Zeitpunkt erhalten wurden (im Wesentlichen gleichzeitig erhalten wurden).
Das ROI-Auswahlmodul 102 identifiziert den ROI innerhalb der erfassten Bilder. Die Zusammenführungslinie ist eine physische oder virtuelle Linie in einem realen Raum (wie der Zusammenführungsbereich 216 aus 6 und 7, wie unten beschrieben). Die Zusammenführungslinie oder -bereich kennzeichnet den Standort, an dem die Anzahl der Spuren reduziert wird. Der ROI ist der Bereich bei der Zusammenführungslinie gemäß der Ansicht des Bildraums, weshalb die Begriffe austauschbar verwendet werden können.
Der ROI kann in einer Videoüberwachungseinstellung durch manuelles Auswählen der Punkte oder Bereiche bei Einrichtung erstellt werden. In diesem Beispiel ist der ROI als Felder 128 in 2 dargestellt. Systeme hierin platzieren den ROI an Fahrzeugeinfahrtsstellen, sodass der ROI groß genug ist, um beide Spuren und wegen der Signalrobustheit abzudecken, aber der ROI für die Computereffizienz auch klein genug ist. Die physische oder virtuelle Zusammenführungslinie und der zugehörige Bild-ROI sind weit genug stromabwärts in dem Verkehrsfluss angeordnet, sodass jedes erkannte Fahrzeug das nächste Fahrzeug ist, dass die Zusammenführungsressource einnimmt, und auch weit genug stromaufwärts in dem Verkehrsfluss angeordnet ist, um die Quellspur einer Fahrzeugzusammenführung zu bestimmen. Eine Alternative zum Lokalisieren des ROI verwendet die automatische Erkennung bekannter Markierungen im realen Raum, wie eine aufgemalte Linie, Reflektoren oder ein Pfosten.
In einer anderen Alternative schließt der ROI alle erkannten Fahrzeugpixel für einen aktuellen Frame ein, wodurch sich die Position von Frame zu Frame ändern kann. Der Vorteil dieses Ansatzes ist, dass er alle erkannten Fahrzeugpixel für die Abstandschätzungs- und Spurbestimmungsmodule verwendet. Bei solchen Alternativen sind jedoch Rauschstörungen aufgrund der Fahrzeugerkennung (z. B. Schattenpixel, die irrtümlicherweise als Teil des sich bewegenden Fahrzeugs über Bewegungserkennungsverfahren genommen werden könnten) zu steuern.
Wie oben erwähnt, bestimmt das Fahrzeugerkennungsmodul 104 die Gegenwart eines Fahrzeugs im ROI. Das Fahrzeugerkennungsmodul 104 ist im Allgemeinen ein Merkmals- oder Aktivitätsdetektor. Es bestimmt die Gegenwart eines Fahrzeugs (oder von Merkmalen) für die Abstandsschätzung. Die Fahrzeugerkennung kann auf verschiedene Arten durchgeführt werden.
In einem Beispiel wird die Fahrzeugerkennung über die Bewegungserkennung durchgeführt (wie Unterschiede zwischen Frame, optischem Fluss, usw.), gefolgt vom morphologischen Filtern und Größenschwellenwertermittlung. Dieser Ansatz besitzt einen rechnerischen Vorteil und eignet sich sehr gut für die Echtzeitimplementierung. Ein solcher Ansatz entbehrt jedoch seiner Grundlage, wenn ein sich bewegender Gegenstand gesichtet wird, der etwa die Größe des Fahrzeugs in Pixel aufweist (z. B. ein kleiner Gegenstand vor der Kamera oder ein großer Gegenstand weit weg). Dies ist nicht üblich und wird in der Praxis leicht durch Beschränken des Betriebstiefenbereichs der Stereokamera und einer effektiven Verwendung von sichtbasierten Gegenstandserkennungsverfahren gelöst.
In einem anderen Beispiel kann ein sichtbasiertes Gegenstandserkennungsverfahren von Frame zu Frame angewandt werden. Dies ergibt eine robuste Fahrzeugerkennung, aber auch viel höhere Computerkosten, was eine Herausforderung zur Erfüllung der Echtzeitimplementierungsanforderungen darstellt. Ein noch anderes Beispiel ist eine Mischung aus Bewegungserkennung, Gegenstandserkennung und Nachverfolgungsverfahren für die Fahrzeugerkennung. In diesem Fall löst das erste Vorkommen einer Bewegungserkennung die Gegenstandserkennung aus. Wenn die Fahrzeugerkennung bestätigt wird, wird die Gegenstandsnachverfolgung für die künftigen Frames verwendet, bis der Gegenstand das Szenarium verlässt. Wenn die Fahrzeugerkennung nicht bestätigt wird, wird die Bewegungserkennung für den nächsten Frame fortgesetzt und das Verfahren wiederholt.
Mit Bezug auf das Tiefenschätzungsmodul 106 und bei vorliegender a priori-Kenntnis der relativen Position der mindestens zwei Kameras (für die Stereosicht) und Kameraparameter reduziert sich das Tiefenschätzungsmodul 106 auf eine Entsprechungsübereinstimmung und Disparitätskalibrierung. Daher werden die oben erwähnten Kamerainformationen über ein Standard-Kamerakalibrierverfahren gesammelt bleiben bei festen Kameras konstant. Bei einer einfachen Stereokamera, die horizontal angeordnet ist und eine feste Basislinie mit identischen intrinsischen Kameraparametern aufweist, wird die Tiefe d als d = ft/(Δj) berechnet, worin / die Brennweite, t die Basislinie und Δj die Parität in Pixeleinheiten ist. Die Disparität ist die Differenz der Pixelsäulenstandorte des gleichen betrachteten Merkmals.
Ein Beispiel der Beziehung zwischen Disparität und Abstand kann an den vorderen Rädern der zwei Fahrzeuge gesehen werden, die in zwei unterschiedlichen Frames 120, 122 in 2 dargestellt sind. Das Vorderrad des Wagens 124 weist eine viel größere Disparität in dem Stereopaar 120, 122 auf als das Vorderrad des SUV 126. Daraus schließen die Systeme und Verfahren hierin, dass der SUV 126 weiter weg von dem Sensor ist als der Wagen 124.
In einigen Beispielen verwendet das Tiefenschätzungsmodul 106 dichte und lichte Tiefenkarten, um die Eingabe für das Spurbestimmungsmodul 108 bereitzustellen. Bei der Berechnung einer dichten Tiefenkarte schätzen die Systeme und Verfahren hierin die Tiefe für alle sich überschneidenden (entsprechenden) Pixel in dem Stereopaar 120, 122. In einem Beispiel beinhaltet dies die folgenden Schritte: Suchen der entsprechenden Punkte in dem Stereopaar 120, 122 und Berechnen der Disparität, also der Tiefe, für diese Punkte und dann Interpolieren der Tiefe der Pixel, für die keine Entsprechung direkt gefunden werden kann (zumindest nicht robust). Bei einer vereinfachten Stereokamera, wie in diesem Beispiel verwendet (horizontale Disparität), tritt die Entsprechungsübereinstimmung in der gleichen Pixelreihe innerhalb des Paars auf, weshalb die Suche sehr viel schneller und robuster ist.
Viele Stereokameraherstellern stellen häufig Werkzeuge zum Berechnen der dichten Tiefenkarte zusammen mit der Kamera bereit. Bei diesem spezifischen Beispiel mit einem eingeschränkten ROI und hauptsächlich horizontaler Disparität kann es vorteilhaft sein, eine einzige dichte Tiefenkarte zum Reduzieren der rechnerischen Belastung zu implementieren. Daher berechnen die Systeme und Verfahren hierin, was hierin als lichte Tiefenkarte bezeichnet wird, anstatt eine herkömmliche dichte Tiefenkarte zu verwenden.
Die lichte Tiefenkartenberechnung, die von den Systemen und Verfahren hierin durchgeführt wird, findet die Tiefe für eine reduzierte Anzahl von Schlüsselpunkten von Interesse (weniger als alle Daten/Pixelpunkte). Die Tiefen- (Disparitäts-) Berechnung ähnelt der dichten Tiefenkartenableitung, konzentriert sich aber auf Bildmerkmale wie Harris-Ecken, SIFT-Interessenpunkte (skaleninvariante Transformation), SURF-Interessenpunkte (beschleunigte robuste Merkmale), usw. Dies ist rechnerisch viel wirksamer als die Ableitung einer dichten Tiefenkarte, weil viele der Entwicklungen bei der dichten Kartenkonstruktion sich auf das Lösen der Herausforderung des Findens der angemessenen Abstandsschätzung von nahen strukturlosen Bereichen konzentrieren (die mit uninteressanten Punkten).
Bei der lichten Tiefenkartenberechnung wird nur eine ausreichende Anzahl von Datenpunkten innerhalb des ROI benötigt, sodass die Abstandsinformationen über das Fahrzeug gesammelt werden können, um ein sich bewegendes Element von einem anderen zu unterscheiden. Als Ergebnis können diese Punkte die Punkte von Interesse sein, die typischerweise zum Suchen der lichten Entsprechungen verwendet werden. Da ein sich bewegendes Element Ränder aufweist, ist es vernünftig, zu erwarten, dass genug Punkte in dem ROI für diesen Zweck vorliegen. Es ist manchmal jedoch vorteilhaft, den ROI zu verwenden, der alle erkannten Fahrzeugpixel aufweist, statt eines festen ROI 128 aus 2, wenn die lichte Tiefenkarte ausgewählt wird.
Das Spurbestimmungsmodul 108 bestimmt die Quellspur des Fahrzeugs von Interesse vor Eintreten in die Zusammenführungsspur. Die Quellspur wird durch Suchen des Abstands der Fahrzeugseite von Interesse von dem Sensor bestimmt (d. h. den Abstand eines erkannten Fahrzeugs) und Abgleichen davon mit dem Abstand, in dem die unterschiedlichen Spuren in Bezug auf die Kamera angeordnet sind.
Im Fall eines festen ROI 128 speichern die Systeme und Verfahren hierin ein laufendes vorübergehendes Tiefenprofil und bestimmen dann die Spurinformationen durch Beobachten dieses Tiefenprofils über die Zeit und Vergleichen des Tiefenprofils mit einem Schwellenwertsatz. Das Tiefenprofil kann einem oder mehreren Punkten entnommen werden, und eine robuste Lösung erzeugt das Profil durch Anwenden eines Median-Filters auf die Tiefen der mehreren Punkte von Interesse eines erkannten Fahrzeugs. Ein Beispiel eines mediangefilterten Tiefenprofils, das von den Systemen und Verfahren hierin erzeugt wird, ist in 3 dargestellt. Die Spurinformationen (Spur 1 ggü. Spur 2) sind deutlich als unterschiedliche Schritte in dem Profil 130 dargestellt.
Bei der Verwendung eines dynamischen ROI wird die Tiefe aller erkannten Fahrzeugpixel von den Systemen und Verfahren hierin berechnet. Das Spurbestimmungsmodul 108 berechnet die resultierende Tiefe (z. B. den Zentralwert der Fahrzeugpixeltiefe im ROI) der Fahrzeuge. Der Abstand des Hauptfahrzeugs (ursprüngliche Spur) basiert dann darauf, ob die Tiefe des äußersten linken Pixels des Fahrzeugs verschwimmt, wenn sich die Fahrzeuge in den Frames von rechts nach links bewegen. Wie oben beschrieben, ist die Berechnung eines dynamischen ROI rechnerisch aufwändiger im Hinblick auf die Abstandsschätzung und anderer Faktoren, weil der ROI sich von Frame zu Frame verändert und typischerweise größer ist als bei einem Ansatz mit festem ROI. Auch kann der dynamische ROI für Rauschen anfällig sein, das von Schatten und anderen störenden erkannten Bewegungen verursacht wird, wenn die Bewegungserkennung zur Fahrzeugerkennung verwendet wird.
Eine vorübergehende Ansicht der Spurinformationen für Fahrzeuge, die sich der Zusammenführungsspur nähern, reicht, wie oben beschrieben, normalerweise aus, um die richtige Fahrzeugreihenfolge beizubehalten. Es besteht jedoch ein Potential für Probleme aufgrund bestimmter Störungen oder Kundenverhaltens (Vordrängeln, Fußgänger, Wegfahrer, usw.). Zu diesem Zeck kann das Fahrzeugidentifizierungs- und -abgleichmodul 110 anfängliche Bildmerkmale wie Farbe, Form, Höhe, Breite am Zusammenführungsstandort sammeln und solche Bildmerkmale unter Verwendung einer zweiten Kamera in Nähe des Bestellabschlussbereichs vergleichen (z. B. Fenster zur Annahme der Bestellung).
4 bis 5 (D) zeigen Beispiele, welche die Merkmale und Betriebsabläufe der Systeme und Verfahren hierin weiter hervorheben. 4 zeigt das Ergebnis der Analyse des Videos bis zum ersten Frame, in dem das Fahrzeugerkennungsmodul 104 ein vorhandenes Fahrzeug deklariert. Spezifischer sind in 4 die linken zwei Bilder 140, 142 Stereopaare, die von einer Stereokamera erfasst werden. Erneut repräsentiert der Kasten 128 einen vorbestimmten ROI.
Das Fahrzeugerkennungsmodul 104 führt eine Bewegungserkennung gefolgt von einem morphologischen Filtern und Größenschwellenwertermittlung für den gesamten Frame des äußersten linken Bildes 140 durch. Aber nur die erkannten Bewegungspixel innerhalb des Kastens 128 erfordern eine weitere Verarbeitung. In dieser Implementierung werden eine Kombination aus den Unterschieden zwischen den Frames und optischem Fluss für die Bewegungserkennung aus Einfachheitsgründen und für rechnerische Vorteile verwendet.
Das dritte Bild 144 ist die resultierende dichte Tiefenkarte, die erzeugt wird, wenn das Tiefenschätzungsmodul 106 das Stereopaar analysiert. In einigen Beispielen berechnet das Tiefenschätzungsmodul 106 die dichte Tiefenkarte für den gesamten Frame und alle Frames. In anderen Beispielen berechnet das Tiefenschätzungsmodul 106 nur die Tiefenkarte innerhalb des ROI und für Frames, die mehr als N (z.B., N=100) erkannte Bewegungspixel im ROI enthalten. Dies reduziert die Berechnung für das Tiefenschätzungsmodul 106 deutlich.
Wenn die Anzahl der erkannten Bewegungspixel geringer oder gleich N ist, schließt das Fahrzeugerkennungsmodul 104, dass kein erkanntes Fahrzeug von Interesse im Hinblick auf den ROI vorliegt. In diesem Fall werden die vorübergehenden Tiefendaten für den derzeitigen Frame auf einen maximalen Bereich von Interesse Tiefe mit dieser Stereokamera gesetzt, die in diesem Beispiel das größte zulässige Tiefenfeld ist.
Wenn ein Fahrzeug von Interesse im Hinblick auf den ROI erkannt wird, wird der Zentralwert der resultierenden Tiefen der erkannten Bewegungspixel im ROI als vorübergehende Tiefendaten von dem Tiefenschätzungsmodul 106 gespeichert. Diese laufenden vorübergehenden Tiefendaten repräsentieren den Abstand des Fahrzeugs von Interesse zur Kamera über einen Zeitraum von Interesse und sind grafisch in Element 146 dargestellt, das hierin als Karten, Profile oder Schaubilder „vorübergehender Tiefendaten“ bezeichnet wird. Diese laufenden vorübergehenden Tiefendaten können weiter gefiltert werden, zum Beispiel mit einem 15-Tap MedianFilter, der eine 2-Sek.-Verzögerung für 7,5 fps-Video übersetzt.
Das äußerste rechte Element 146 in 4 sind die resultierenden vorübergehenden Tiefendaten bis zu einem derzeitigen Frame, der den Abstand des potentiellen Fahrzeugs, das sich der Zusammenführungszone nähert, repräsentiert. Für eine schnelle Reaktion kann das Spurbestimmungsmodul 108 die Spurinformationen basierend auf den Tiefendaten des derzeitigen Frames bestimmen. Alternativ kann das Tiefenschätzungsmodul 106 die aktuellsten M-Datenpunkte (z.B., M=10) verwenden, um eine robustere Entscheidung auszugeben. Die Robustheit kann durch Aufnahme der Fahrzeuggeschwindigkeit verbessert werden und die erwartete Länge des typischen Fahrzeugs kann für M dynamisch gewählt werden.
In einem Beispiel der Spurbestimmung ist, wenn alle M-Tiefendaten zwischen 10 und 20 Fuß liegen, das Fahrzeug in der entfernten Spur (Spur 2). Wenn die Daten alle zwischen 0 und 10 Fuß liegen, befindet sich das Fahrzeug in der nahen Spur (Spur 1). Anderenfalls ist kein Fahrzeug vorhanden, was mit 0 markiert werden kann. Es sei darauf hingewiesen, dass ein Umschalten der Spurinformationen (0, 1 oder 2) den Start oder das Ende eines Fahrzeugs anzeigt. Ein Problem, das bei diesem Ansatz auftritt, ist, wenn sich zwei aufeinanderfolgende Fahrzeuge in der gleichen Spur mit sehr geringer Lücke dazwischen befinden, dieses Problem wird jedoch durch Verwenden einer höheren Videoerfassungsrate gelöst. Zum Beispiel kann durch Verwenden eines 30 fps-Videos das Spurbestimmungsmodul 108 eine Lücke von 1 Fuß bei einer Fahrzeugfahrt von 20 mph lösen.
5 (C) bis 5 (D) zeigen die Endergebnisse (d. h. bis zu den letzten Stereopaar-Frames) von vier Testvideoserien der Stereoframes, die gemäß dem Verfahren aus 4 analysiert wurden. Die letzten Stereopaare sind als Elemente 150, 152, 160, 162; 170, 172; and 180, 182 in 5(A) bis 5(D) dargestellt. Die dichte Tiefenkarte, die erzeugt wird, ist als Elemente 154, 164, 174, 184 in 5(A) bis 5(D) dargestellt; und die aufgezeichneten vorübergehenden Tiefendaten sind als Elemente 156, 166, 176, 186 in 5(A) bis 5(D) dargestellt.
Das „Ergebnis“ der Reihenfolge, in der die Fahrzeuge in die Zusammenführungsspur eintreten, kann durch Beobachten der Schritte in der vorübergehenden Tiefendatenkarte 156 in 5(A) gesehen werden, wo die Spur 1 zuerst eintritt (ein unterer Schritt gefolgt von einem höheren Schritt in der vorübergehenden Tiefendatenkarte 156). Im Gegensatz dazu tritt in der vorübergehenden Tiefendatenkarte 186 zum Beispiel in 5(D) Spur 2 zuerst ein (der höhere Schritt vor dem niedrigeren Schritt in der vorübergehenden Tiefendatenkarte 186). In 4 und 5(A) bis 5(D) können, wenn eine Spur ungleich null für einen aktuellen Frame erkannt wird, die identifizierten Spurinformationen angezeigt werden, wie oben links des äußersten linken Bildes (und kann ein Farbcode mit rot für Spur 1 und blau für Spur 2 sein). Die Ergebnisse dieses Verfahrens stimmen für alle vier analysierten Testvideoabfolgen mit den echten Reihenfolgen überein, in denen die Fahrzeuge in die Zusammenführungsspur eingetreten sind.
Es sei darauf hingewiesen, dass alle Bilderreihen, die oben beschrieben wurden, zeigen, dass die Abstandsinformationen nur für die Spurerkennung in dem ROI für Fahrzeuge verwendet werden, die sich bewegen.
6 ist eine Draufsicht auf die Zusammenführungsspuren 200, 202, 204, die z. B. Teil eines Durchfahrtsbestellungssystems sein können, oder eines anderen Systems mit sich bewegenden Elementen (Personen, Bestand, Mengenmaterialien, usw.). Die Elemente 210, 212 und 214 repräsentieren Vorrichtungen, bei denen die Verarbeitung eingeleitet wird, und können zum Beispiel eine Bestellannahmestation umfassen, an der Bestellungen vorgenommen und möglicherweise bezahlt werden. Element 230 repräsentiert eine Stereokamera 230, die auf den Zusammenführungsbereich 216 (ROI, in diesem Beispiel) gerichtet ist. Die mehreren Kameras eines Kameranetzwerks (oder Abbildungsvorrichtungen einer Stereokamera) weisen Sichtfelder auf, die fest sind und sich mit dem ersten Standort 216 überschneiden. Die doppelt gestrichelten Linien repräsentieren separate Kameraansichten der Stereokameras hierin. Element 240 ist eine computerisierte Vorrichtung wie eine zentrale Prozessoreinheit (CPU) oder ein anderer Typ von Prozessor. Element 240 kann viele der Elemente aus 1 wie oben aufweisen.
Das Element 232 repräsentiert eine andere Stereokamera, die zum Bestätigen der Reihenfolge sich bewegender Elemente in der Zusammenführungsspur 206 verwendet werden kann. Insbesondere ist die Stereokamera 232 zum Aufzeichnen von Bildern sich bewegender Elemente in der Zusammenführungsspur 206 angeordnet, bevor diese Elemente die Station (Element 220) erreichen, wo der nächste Schritt der Verarbeitung durchgeführt wird oder die Transaktionen teilweise oder vollständig abgeschlossen werden. Daher kann das Element 220 eine Station umfassen, in der Bestellungen, die an den Stationen 210, 212, oder 214 aufgegeben wurden, aufgenommen und möglicherweise bezahlt werden.
7 ähnelt 6, weist aber eine zweite Transaktionsabschlussstation 222 mit einer zweiten Zusammenführungsspur 208 auf. Hier kann eine optionale Bestätigungsstereokamera 234 ebenfalls zum Bestätigen sich bewegender Elemente verwendet werden, die in Spur 208 zusammengeführt werden.
Daher weisen beispielhafte Systeme hierin eine Kamera wie eine optische Stereokamera 230 (eine Kamera 230 mit mehreren Abbildungseinheiten oder Kameras) auf, die auf einen ersten Standort 216 gerichtet ist. Der primäre Standort 216 umfasst z. B. eine horizontale Oberfläche mit mehreren parallelen primären Spuren 200, 202, 204, die zu einer reduzierten Anzahl sekundärer Spuren zusammengeführt werden, wie einer einzelnen sekundären Spur 206. In diesem Beispiel weist die Stereokamera 230 Kameras auf, die relativ zueinander auf einer horizontalen Ebene angeordnet sind, die ungefähr parallel zu der horizontalen Oberfläche der Spuren 200, 202, 204 verläuft. Sich bewegende Elemente (z.B. jeder Typ von Elementen wie Fahrzeuge, Waren, Personen, Personen in Fahrzeugen, usw.) innerhalb der primären Spuren 200, 202, 204 leiten Transaktionen ein und schließen die Transaktionen ab, während sie sich in der sekundären Spur 206 befinden.
Ein Prozessor 240 ist betriebswirksam mit der Stereokamera 230 verbunden. Der Prozessor 240 berechnet die Abstände, die sich die bewegenden Elemente von der Stereokamera 230 in horizontaler Richtung basierend auf den Unterschieden zwischen Bildern sich bewegender Elemente befinden, die von den mehreren Kameras der Stereokamera 230 erhalten werden. Insbesondere bestimmt der Prozessor 240 die Abfolge, in der die sich bewegende Elemente in die sekundäre Spur 206 eintreten, indem sie eine relative Position und einen relativen Abstand der sich bewegenden Elemente erkennen, während die sich bewegenden Elemente den ersten Standort durchlaufen. Der Prozessor 240 berechnet die Abstände der sich bewegenden Elemente von der Stereokamera 230 durch Erzeugen von vorübergehenden Tiefenkarten oder -profilen für jedes der sich bewegenden Elemente, die den ersten Standort 216 durchlaufen, wenn sich mindestens ein Abschnitt der sich bewegenden Elemente innerhalb des ersten Standorts befindet.
Dies identifiziert, in welcher der primären Spuren 200, 202, 204 jedes der sich bewegenden Elemente befand, bevor es mit der sekundären Spur 206 zusammengeführt wurde, und ermöglicht dem Prozessor 240, die Transaktionen in einer „Zusammenführungsreihenfolge“ zu ordnen. Die Zusammenführungsreihenfolge entspricht der Abfolge, in der die sich bewegenden Elemente aus den primären Spuren 200, 202, 204 in die sekundäre Spur 206 eingetreten sind. Eine Schnittstelle des Elements 240 ist betriebswirksam mit dem Prozessor 240 verbunden und die Schnittstelle gibt die Transaktionen (in Zusammenführungsreihenfolge) an eine Transaktionsvorrichtung 220 aus, welche die Transaktionen abschließt.
Außerdem kann der Prozessor 240 ein „anfängliches“ Signaturprofil der sich bewegenden Elemente entwickeln, während die sich bewegenden Elemente den ersten Standort 216 durchlaufen. Ein solches anfängliches Signaturprofil kann Elemente wie Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente einschließen. Die Vorrichtung kann ferner eine zweite Stereokamera 230 an einem zweiten Standort der sekundären Spur 206 umfassen (benachbart dazu, wo die sich bewegenden Elemente die Transaktion abschließen). Der Prozessor 240 kann daher auf ähnliche Weise „Bestätigungs“-Signaturprofile der sich bewegenden Elemente entwickeln (die wiederum Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente aufweisen können), während die sich bewegenden Elemente den zweiten Standort 206 durchlaufen. Außerdem können die anfänglichen Signaturprofile auf Mustern der vorübergehenden Tiefendatenaufzeichnungen wie oben beschrieben basieren, und die Bestätigungsprofile können mit solchen Mustern der vorübergehenden Tiefendatenaufzeichnungen übereinstimmen (sogar, wenn diese einen unterschiedlichen Intensitätswert aufweisen, weil sie potentiell näher von der Bestätigungsstereokamera 232 angeordnet sind).
Diese anfänglichen und Bestätigungssignaturprofile ermöglichen dem Prozessor 240, die Zusammenführungsreihenfolge zu bestätigen oder zu ändern. Spezifisch bestätigt der Prozessor 240 die Zusammenführungsreihenfolge, bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung 220 basierend auf dem Bestätigungssignaturprofil ausgibt, das dem anfänglichen Signaturprofil entspricht. Im Gegensatz dazu verändert der Prozessor 240 die Zusammenführungsreihenfolge, bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung ausgibt, wenn das Signaturprofil nicht mit dem anfänglichen Signaturprofil übereinstimmt (Veränderungen der Reihenfolge zu einer Reihenfolge, die von einer Abfolge von Bestätigungssignaturprofilen angezeigt wird).
Um den Platzeinschränkungen zu genügen, kann in einigen Situationen die Stereokamera 230 neben den sich bewegenden Elementen angeordnet werden und der Prozessor 240 die Abstände nur basierend auf den Seitenbildern der sich bewegenden Elemente berechnen (wie z. B. in 2 dargestellt). Weiterhin kann zum Vereinfachen der Vorrichtung und Kosteneinsparung die Stereokamera 230 eine stationäre, unbewegliche Stereokamera 230 an einer festen Position sein.
Wie in 8 dargestellt, weist das beispielhafte System der Systeme und Verfahren hierin verschiedene computerisierte Vorrichtungen 240, 254 auf, die an mehreren unterschiedlichen physischen Standorten 256 angeordnet sind. Die computerisierten Vorrichtungen 240, 254 können Druckserver, Druckvorrichtungen, PCs usw. sein und kommunizieren (betriebswirksam miteinander verbunden) über ein lokales oder breites Bereichsnetzwerk 252 (verdrahtet oder drahtlos). Daher braucht die Verarbeitung nicht lokal an dem Standort der Stereokamera durchgeführt zu werden, sondern kann auch unter Verwendung eines zentralen Verarbeitungssystems durchgeführt werden, das mit der bzw. den Stereokameras über das Netzwerk 252 verbunden ist.
9 zeigt eine beispielhafte Konfiguration der computerisierten Vorrichtung 240, die mit den Systemen und Verfahren hierin verwendet werden kann, und kann zum Beispiel einen Server, einen Personal Computer, eine tragbare Computervorrichtung, usw. umfassen. Die computerisierte Vorrichtung 240 weist eine Steuerung/Prozessor 264 und einen Kommunikationsanschluss (Eingabe/Ausgabe) 270 auf, die betriebswirksam mit dem Prozessor 264 und dem computerisierten Netzwerk 252 außerhalb der computerisierten Vorrichtung 240 verbunden sind. Auch kann die computerisierte Vorrichtung 240 mindestens eine Zubehör-Funktionskomponente aufweisen, wie eine grafische Benutzerschnittstellenanordnung 266, Kamera 272 usw., die mit Strom arbeiten, der von der externen Stromquelle 268 ausgegeben wird (durch die Stromversorgung 262).
Die Eingabe-/Ausgabevorrichtung 270 wird zum Kommunizieren mit der computerisierten Vorrichtung 240 verwendet. Der Prozessor 264 steuert die verschiedenen Aktionen der computerisierten Vorrichtung. Eine nicht transitorische Computerspeichermedium-Vorrichtung 260 (die optisch, magnetisch, kapazitatorbasiert usw. sein kann) kann von dem Prozessor 264 gelesen werden und speichert Anweisungen, die der Prozessor 264 ausführt, damit die computerisierte Vorrichtung ihre verschiedenen Funktionen durchführen kann, wie z. B. die hierin beschriebenen. Die Stromversorgung 222 kann ein Stromspeicherelement (z. B. Batterie usw.) umfassen.
10 ist ein Flussdiagramm, das beispielhafte Verfahren hierin darstellt. Bei Element 300 erfassen diese Verfahren Bilder unter Verwendung eines optischen Stereokameranetzwerks, das auf einen ersten Standort gerichtet ist (z. B. unter Verwendung der Stereokamera 230, die auf den Zusammenführungsbereich 216 gerichtet ist). Die Vorrichtungen hierin können eine einzelne Stereokamera mit mehreren Abbildungseinheiten verwenden, oder ein Kameranetzwerk mit mehreren Kameras. Die mehreren Kameras eines Kameranetzwerks (oder Abbildungsvorrichtungen einer Stereokamera) weisen ein Sichtfeld auf, das fest ist und sich mit dem ersten Standort 216 überschneidet. Wieder umfasst der erste Standort mehrere parallele primäre Spuren, die zu einer reduzierten Anzahl von mindestens einer sekundären Spur zusammengeführt werden, wobei die sich bewegenden Elemente in den primären Spuren Transaktionen auslösen und die Transaktionen in der sekundären Spur abschließen.
Bei Element 302 berechnen solche Verfahren Abstände der sich bewegenden Elemente von der Kamera (oder Abstände von einer Referenzkamera, wenn ein Kameranetzwerk verwendet wird), indem sie einen Prozessor verwenden, der betriebswirksam mit der Kamera verbunden ist, um zu identifizieren, in welcher der primären Spuren jedes der sich bewegenden Elemente befand, bevor diese zu der sekundären Spur zusammengeführt wurden. Die Verfahren hierin berechnen also mithilfe des Prozessors die Abstände der sich bewegenden Elemente von der Kamera durch Erstellen vorübergehender Tiefenprofile (in Element 304 dargestellt) für jedes der sich bewegenden Elemente, das den ersten Standort durchläuft.
Des Weiteren können in einigen Beispielen diese Verfahren anfängliche Signaturprofile sich bewegender Elemente bei Element 306 entwickeln. Diese anfänglichen Signaturprofile umfassen Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente, während die sich bewegenden Elemente den ersten Standort durchlaufen (durch Verwenden von in Element 300 erfassten Bildern).
Bei 308 ordnen diese Verfahren dann mithilfe des Prozessors die Transaktionen in einer Zusammenführungsreihenfolge, die einer Abfolge entspricht, in der die sich bewegenden Elemente aus den primären Spuren in die sekundäre Spur eingetreten sind. Insbesondere bestimmen solche Verfahren die Abfolge, in der die sich bewegende Elemente in die sekundäre Spur eingetreten sind, indem sie eine relative Position und einen relativen Abstand der sich bewegenden Elemente erkennen, während die sich bewegenden Elemente den ersten Standort durchlaufen (durch Verwenden der in Element 300 erfassten Bilder).
Auch können diese Verfahren auf die gleiche Weise mithilfe einer zweiten Kamera zusätzliche Bilder erhalten, die auf einen zweiten Standort der sekundären Spur gerichtet ist (benachbart dazu, wo die sich bewegenden Elemente die Transaktion abschließen), wie in Element 310 dargestellt. Daher kann die zweite Kamera 232, die auf die Bestellabschlussspur 206 gerichtet ist, zum Erfassen solcher zusätzlicher Bilder verwendet werden. Diese zusätzlichen Bilder werden dann verwendet, um Bestätigungssignaturprofile der sich bewegenden Elemente in Element 312 zu erstellen. Diese Bestätigungssignaturprofile umfassen die Farbe, Form, Höhe, Breite usw. der sich bewegenden Elemente, wenn die sich bewegenden Elemente den zweiten Standort der sekundären Spur (benachbart dazu, wo die sich bewegenden Elemente die Transaktion abschließen) durchlaufen.
Daher bestätigen bei Element 314 diese Verfahren die Zusammenführungsreihenfolge (bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung ausgibt), wenn das Bestätigungssignaturprofil mit dem anfänglichen Signaturprofil übereinstimmt, oder diese Verfahren ändern die Zusammenführungsreihenfolge (bevor die Schnittstelle die Transaktionen an die Transaktionsvorrichtung ausgibt), wenn das Bestätigungssignaturprofil nicht mit dem anfänglichen Signaturprofil übereinstimmt. Insbesondere ändert Element 314 die Transaktionsreihenfolge zu einer Reihenfolge, die mit der Abfolge der Bestätigungssignaturprofile übereinstimmt. Dann, bei Element 316, geben die Verfahren hierin die Transaktionen in der Zusammenführungsreihenfolge an eine Transaktionsvorrichtung aus, welche die Transaktionen unter Verwendung einer Schnittstelle, die mit dem Prozessor verbunden ist, abschließt.

Claims

Vorrichtung, umfassend: ein Kameranetzwerk, umfassend mindestens zwei Abbildungsvorrichtungen, die auf einen ersten Standort gerichtet sind, wobei die Abbildungsvorrichtungen Sichtfelder aufweisen, die fest sind und sich mit dem ersten Standort überschneiden, wobei der erste Standort mehrere parallele primäre Spuren umfasst, die zu einer reduzierten Anzahl von mindestens einer sekundären Spur zusammengeführt werden, und die sich bewegenden Elemente in den primären Spuren Transaktionen einleiten, während sie sich in den primären Spuren befinden, und Transaktionen abschließen, während sie sich in der sekundären Spur befinden; einen Prozessor, der betriebswirksam mit dem Kameranetzwerk verbunden ist, wobei der Prozessor die Abstände der sich bewegenden Elemente von dem Kameranetzwerk berechnet, um zu identifizieren, in welcher der primären Spuren jedes der sich bewegenden Elemente angeordnet war, bevor es mit der sekundären Spur zusammengeführt wurde, und wobei der Prozessor die Transaktionen in einer Zusammenführungsreihenfolge ordnet, die einer Abfolge entsprechen, in der die sich bewegenden Elemente von den primären Spuren in die sekundäre Spur eingetreten sind; und eine Schnittstelle, die betriebswirksam mit dem Prozessor verbunden ist, wobei die Schnittstelle die Transaktionen in der Zusammenführungsreihenfolge ausgibt.
Vorrichtung nach Anspruch 1, wobei der Prozessor die Abfolge, in der die sich bewegenden Elemente in die sekundäre Spur eingetreten sind, durch Erkennen einer relativen Position und eines relativen Abstands der sich bewegenden Elemente bestimmt, während die sich bewegenden Elemente den ersten Standort durchlaufen.
Vorrichtung nach Anspruch 1, wobei der Prozessor die Abstände der sich bewegenden Elemente aus einer Referenzvorrichtung der Abbildungsvorrichtungen in dem Kameranetzwerk durch Erstellen von vorübergehenden Tiefenprofilen für jedes der sich bewegenden Elemente berechnet, die den ersten Standort durchlaufen.
Vorrichtung, umfassend: eine optische Stereokamera, umfassend mehrere Kameras, die auf einen ersten Standort gerichtet sind, wobei die mehreren Kameras Sichtfelder aufweisen, die fest sind und sich mit dem ersten Standort überschneiden, wobei der erste Standort mehrere parallele primäre Spuren umfasst, die zu einer reduzierten Anzahl von mindestens einer sekundären Spur zusammengeführt werden, und sich bewegende Elemente in den primären Spuren Transaktionen einleiten, während sie sich in den primären Spuren befinden, und Transaktionen abschließen, während sie sich in der sekundären Spur befinden; einen Prozessor, der betriebswirksam mit der Stereokamera verbunden ist, wobei der Prozessor Abstände der sich bewegenden Elemente aus der Stereokamera basierend auf Unterschieden zwischen Bildern der sich bewegenden Elemente berechnet, die von den mehreren Kameras erhalten werden, um zu identifizieren, in welcher der primären Spuren sich jedes der sich bewegenden Elemente befand, bevor es in der sekundären Spur zusammengeführt wurde, und wobei der Prozessor die Transaktionen in einer Zusammenführungsreihenfolge ordnet, die einer Abfolge entspricht, in der die sich bewegenden Elemente aus den primären Spuren in die sekundäre Spur eingetreten sind; und eine Schnittstelle, die betriebswirksam mit dem Prozessor verbunden ist, wobei die Schnittstelle die Transaktionen in der Zusammenführungsreihenfolge ausgibt.
Vorrichtung nach Anspruch 4, wobei der Prozessor die Abfolge, in der die sich bewegenden Elemente in die sekundäre Spur eintreten, durch Erkennen einer relativen Position und eines relativen Abstands der sich bewegenden Elemente bestimmt, während die sich bewegenden Elemente den ersten Standort durchlaufen.
Vorrichtung nach Anspruch 4, wobei der Prozessor die Abstände der sich bewegenden Elemente aus der Stereokamera durch Erstellen von vorübergehenden Tiefenprofilen für jedes der sich bewegenden Elemente berechnet, die den ersten Standort durchlaufen.
Vorrichtung, umfassend: eine optische Stereokamera, umfassend mehrere Kameras, die auf einen ersten Standort gerichtet sind, wobei die mehreren Kameras Sichtfelder aufweisen, die fest sind und sich mit dem ersten Standort überschneiden, wobei der erste Standort eine horizontale Oberfläche mit mehreren parallelen primären Spuren umfasst, die zu einer reduzierten Anzahl von mindestens einer sekundären Spur zusammengeführt werden, wobei die Stereokamera in eine horizontale Richtung ausgerichtet ist, die parallel zu der horizontalen Oberfläche verläuft, und sich bewegende Elemente in den primären Spuren Transaktionen einleiten, während sie sich in den primären Spuren befinden, und Transaktionen abschließen, während sie sich in der sekundären Spur befinden; einen Prozessor, der betriebswirksam mit der Stereokamera verbunden ist, wobei der Prozessor Abstände der sich bewegenden Elemente aus der Stereokamera in der horizontalen Richtung basierend auf Unterschieden zwischen Bildern der sich bewegenden Elemente berechnet, die von den mehreren Kameras erhalten wurden, um zu identifizieren, in welcher der primären Spuren sich jedes der sich bewegenden Elemente befand, bevor es mit der sekundären Spur zusammengeführt wurde, und wobei der Prozessor die Transaktionen in einer Zusammenführungsreihenfolge ordnet, die einer Abfolge entspricht, in der die sich bewegenden Elemente aus den primären Spuren in die sekundäre Spur eingetreten sind; und eine Schnittstelle, die betriebswirksam mit dem Prozessor verbunden ist, wobei die Schnittstelle die Transaktionen in der Zusammenführungsreihenfolge ausgibt.
Vorrichtung nach Anspruch 7, wobei der Prozessor die Abfolge, in der die sich bewegenden Elemente in die sekundäre Spur eintreten, durch Erkennen einer relativen Position und eines relativen Abstands der sich bewegenden Elemente bestimmt, während die sich bewegenden Elemente den ersten Standort durchlaufen.
Vorrichtung nach Anspruch 7, wobei der Prozessor ein anfängliches Signaturprofil von sich bewegenden Elementen entwickelt, das mindestens eines von Farbe, Form, Höhe und Breite der sich bewegenden Elemente umfasst, während die sich bewegenden Elemente den ersten Standort durchlaufen, wobei die Vorrichtung ferner eine zweite Stereokamera an einem zweiten Standort der sekundären Spur benachbart dazu umfasst, wo die sich bewegenden Elemente die Transaktionen abschließen, wobei der Prozessor ein Bestätigungssignaturprofil von sich bewegenden Elementen entwickelt, das mindestens eines von Farbe, Form, Höhe und Breite der sich bewegenden Elemente umfasst, während die sich bewegenden Elemente den zweiten Standort durchlaufen, wobei der Prozessor die Zusammenführungsreihenfolge bestätigt, bevor die Schnittstelle die Transaktionen basierend auf dem Bestätigungssignaturprofil ausgibt, das mit dem anfänglichen Signaturprofil übereinstimmt, und wobei der Prozessor die Zusammenführungsreihenfolge ändert, bevor die Schnittstelle die Transaktionen basierend auf dem Bestätigungssignaturprofil ausgibt, das nicht mit dem anfänglichen Signaturprofil übereinstimmt.
Verfahren, umfassend: das Erfassen von Bildern unter Verwendung eines Kameranetzwerks, umfassend mindestens zwei Abbildungsvorrichtungen, die auf einen ersten Standort gerichtet sind, wobei die Abbildungsvorrichtungen Sichtfelder aufweisen, die fest sind und sich mit dem ersten Standort überschneiden, wobei der erste Standort mehrere parallele primäre Spuren umfasst, die zu einer reduzierten Anzahl von mindestens einer sekundären Spur zusammengeführt werden und sich bewegende Elemente in den primären Spuren Transaktionen einleiten, während sie sich in den primären Spuren befinden, und Transaktionen abschließen, während sie sich in der sekundären Spur befinden; Berechnen der Abstände der sich bewegenden Elemente aus einer Referenzvorrichtung der Abbildungsvorrichtungen in dem Kameranetzwerk unter Verwendung eines Prozessors, der betriebswirksam mit dem Kameranetzwerk verbunden ist, um zu identifizieren, in welcher der primären Spuren sich jedes der sich bewegenden Elemente befand, bevor es mit der sekundären Spur zusammengeführt wurde; Ordnen der Transaktionen in einer Zusammenführungsreihenfolge, die einer Abfolge entspricht, in der die sich bewegenden Elemente unter Verwendung des Prozessors aus den primären Spuren in die sekundäre Spur eingetreten sind; und Ausgeben der Transaktionen in der Zusammenführungsreihenfolge unter Verwendung einer Schnittstelle, die betriebswirksam mit dem Prozessor verbunden ist.