DE102014210820A1

DE102014210820A1 - Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras

Info

Publication number: DE102014210820A1
Application number: DE102014210820.9A
Authority: DE
Inventors: Orhan BULAN; Wencheng Wu; Yao Rong Wang; Robert P. Loce
Original assignee: Xerox Corp
Current assignee: Conduent Business Services LLC
Priority date: 2013-06-20
Filing date: 2014-06-05
Publication date: 2014-12-24
Also published as: US20140376769A1; US9317752B2

Abstract

Ein Verfahren zum Nachweis der Parkplatzbelegung umfasst das Erhalten von Videodaten von einer Sequenz von Rahmen, die von einer assoziierten Kameravorrichtung aufgenommen wurden, die einen Parkbereich überwacht. Das Verfahren umfasst das Bestimmen mindestens einer Zielregion im Parkbereich. Das Verfahren umfasst das Vergleichen einer Größe der Zielregion mit einer Größenschwelle. In Antwort darauf, dass die Größe der Zielregion der Größenschwelle entspricht und diese übersteigt umfasst das Verfahren das Bestimmen, ob die Zielregion eines von mindestens einem Objekt und keinem Objekten umfasst. Das Verfahren umfasst das Klassifizieren mindestens eines Objekts in der Zielregion als zu einem von mindestens zwei Fahrzeugtypen gehörend. Das Verfahren umfasst weiter das Bereitstellen der Fahrzeugbelegungs-Information an einen Benutzer.

Description

Die vorliegende Offenbarung betrifft ein Video-basiertes Verfahren und System zum Nachweis von Fahrzeugdaten, basierend auf Größeneigenschaften einer Zielregion innerhalb des Blickfelds einer Kamera.
Ein Video-basiertes Parkverwaltungssystem überwacht ausgewählte Parkbereiche, um Echtzeit-Fahrzeugnachweis- und Parkplatz-Belegungsdaten bereitzustellen. Ein Bereich, der vom System überwacht wird, kann Straßen-Parkspuren umfassen, die in markierte Parkplätze für Transport- und Parkplatz-Verwaltungszwecke unterteilt sind. 1A veranschaulicht ein Straßen-Einplatz (auf markierten Parkplätzen basierendes) Park-Szenario, in dem jeder Parkplatz in einem Parkbereich durch klare Grenzen definiert ist. Ein Straßen-Parkbereich 10 ist durch eine Parkspur definiert, – die sich entlang dem Bordstein auf einer Strasse 12 erstreckt – die in eine Anzahl von einzelnen Plätzen 14–18 unterteilt ist, von denen jeder einen Platz pro Fahrzeug unter Verwendung von Markierungen (gestrichelt gezeigt) auf der Strasse bezeichnet. Drei Fahrzeuge 20–24 sind angemessen innerhalb der Grenzen eines Platzes 14–18 geparkt. Videokameras 26 überwachen ununterbrochen den Parkbereich 10. Die Kameras 26 stellen einem Prozessor des Systems Videospeisung bereit, das System analysiert die Videodaten, um zu bestimmen, ob ein verfügbarer Platz 14–18 vorhanden ist.
Das vorhandene System lokalisiert ein geparktes Fahrzeug innerhalb einer Zielregion, von dem bekannt ist, dass potenziell ein Fahrzeug vorhanden ist. Das System weist das Fahrzeug durch die Auswertung der räumlichen und zeitlichen Korrelation zwischen benachbarten Rahmen in einer Videosequenz nach Während das System Passagierfahrzeuge mit hoher Genauigkeit nachweisen kann, kann es teilweise größere Fahrzeuge wie z.B. kommerzielle Fahrzeuge, darin eingeschlossen, aber nicht beschränkt auf, bestimmte Lastwagen, Sattelanhänger, Busse, Reisebusse, Anhänger und kommerzielle Lieferwagen, nachweisen und/oder verfehlen.
1B und 1C zeigen ein exemplarisches Szenario, wobei dieser Fehler als ein Ergebnis des vorhandenen Verfahrens auftreten kann, das einen einzigen Klassifizierer anwendet, der durch die Verwendung einer Mischung (d.h. eines Prozentsatzes) von Passagierfahrzeugen (d.h. Autos) und großen Fahrzeugen (z.B. Lastwagen oder Bussen) geschult wird. Die Fraktion der Mischung ist ein direktes Ergebnis dessen, was vor Ort beobachtet wurde. Die Fraktion von großen Fahrzeugen ist typischerweise sehr klein bei einer Strasse, und somit ist die Genauigkeit des Nachweisens von großen Fahrzeugen typischerweise geringer, wenn dieser Ansatz verwendet wird. Das folgende problematische Beispiel ist in Erwägung zu ziehen. Ein erstes Fahrzeug 28 ist angemessen innerhalb der Grenzen des Platzes 14 geparkt. Jedoch ist ein zweites, größeres Fahrzeug 30 innerhalb der Grenzen eines Platzes 16 und in mindestens einen angrenzenden Platz 18 geparkt, wodurch mehrere Plätze 16, 18 belegt sind. Das System unterteilt das kommerzielle Fahrzeug 28 in mehrere Objekte, von denen jedes als ein getrenntes Passagierfahrzeug behandelt wird, wobei es sich um eine genaue Darstellung der tatsächlich geparkten Fahrzeuge handelt.
Ein in Betracht gezogenes Verfahren liegt darin, den einzigen Klassifizierer im bekannten System unter Verwendung einer Mischung aus verschiedenen Fahrzeugtypen in einem Bereich von verschiedenen Größen zu schulen. Jedoch kann die Vielzahl von Fahrzeugen, die verwendet wird, um den Klassifizierer zu schulen, die Genauigkeit abschwächen, da sie die Möglichkeit eines fehlerhaft identifizierten Objekts erhöht. Insbesondere wird eine Entscheidung darüber getroffen, welche Fraktion der Mischung in die Schulung für jede Position eingeschlossen werden sollte. Diese Entscheidung ist schwierig, da sie zu einem potenziellen Ausgleich zwischen Fahrzeugtypen führen kann, indem die Identifizierung eines Fahrzeugtyps zum Nachteil (d.h. durch die Abschwächung der Identifizierung) eines anderen verstärkt In bestimmten Szenarien kann die Identifizierung von beiden Fahrzeugtypen aufgrund von Verwechselung geschwächt werden. Wenn z.B. der Schulungssatz v.a. Passagierfahrzeuge umfasst, arbeitet dieser einzige Klassifizierer möglicherweise nicht gut, um große Fahrzeuge zu klassifizieren, wie in 1C gezeigt. Die Klassifizierung von größeren Fahrzeugen kann sich verbessern, indem die Fraktion von großen Fahrzeugen im Schulungssatz erhöht wird, aber dieser Ansatz kann seinerseits die Klassifizierung von Passagierfahrzeugen schwächen. In diesem Fall kann, wenn eine bedeutende Anzahl von großen Fahrzeugen in den Schulungssatz aufgenommen wird, der Klassifizierer beginnen, bei der Klassifizierung von Passagierfahrzeugen zu versagen. Auch wenn eine gute Mischung von verschiedenen Fahrzeugtypen zur Schulung eines einzigen Klassifizierers vorhanden ist, kann es, um zu einer bevorzugten Mischung zu gelangen, manuell intensiv und beschwerlich sein, den Prozess für jede Kamera in einer großräumigen Anordnung zu implementieren.
Da die Anwesenheit des größeren Fahrzeugs dazu führen kann, dass das bekannte System fehlerhaft funktioniert, wenn es die Verfügbarkeit und/oder die Anzahl von Parkplätzen einschätzt, wird ein verbesserter, Video-basierter Ansatz gewünscht, der Passagier- und größere Fahrzeuge genauer nachweist.
Ein Ausführungsbeispiel der Offenbarung betrifft ein Verfahren zum Nachweis der Parkplatzbelegung. Das Verfahren umfasst den Erhalt von Videodaten von einer Sequenz von Rahmen, die von einer assoziierten Kamera aufgenommen wurden, die einen Parkbereich überwacht. Das Verfahren umfasst die Bestimmung mindestens einer Zielregion im Parkbereich. Das Verfahren umfasst den Vergleich einer Größe der Zielregion mit einer Größenschwelle. In Antwort darauf, dass die Größe der Zielregion der Größenschwelle entspricht und diese übersteigt umfasst das Verfahren die Bestimmung, ob die Zielregion eines von einem einzigen Objekt, von zahlreichen Objekten oder von keinem Objekt umfasst. Das Verfahren umfasst die Klassifizierung mindestens eines Objekts in der Zielregion als zu einem von mindestens zwei Fahrzeugtypen gehörend. Das Verfahren umfasst weiter die Bereitstellung der Fahrzeugbelegungs-Information an einen Benutzer.
Ein weiteres Ausführungsbeispiel der Offenbarung betrifft ein Überwachungssystem zum Nachweis eines Fahrzeugs. Das System umfasst eine Fahrzeug-Nachweisvorrichtung mit einem Speicher, um Module abzulegen, und einen Prozessor, um die Module auszuführen. Die Vorrichtung umfasst ein Video-Puffermodul, um Videodaten von einer Sequenz von Rahmen zu empfangen, die von einer assoziierten Kamera aufgenommen wurden, die einen Parkbereich überwacht. Die Vorrichtung umfasst Zielregion-Bestimmungsmodul, um mindestens einer Zielregion im Parkbereich zu bestimmen. Die Vorrichtung umfasst ein Modul zum Nachweis und zur Klassifizierung des Fahrzeugs. um das Objekt als zu einem von mindestens zwei Fahrzeugtypen gehörend nachzuweisen und zu klassifizieren. Das Modul zum Nachweis und zur Klassifizierung des Fahrzeugs vergleicht eine Größe der Zielregion mit einer Größenschwelle. In Antwort darauf, dass die Größe der Zielregion der Größenschwelle entspricht und diese übersteigt bestimmt das Modul zum Nachweis und zur Klassifizierung des Fahrzeugs, ob die Zielregion eines von einem einzelnen Fahrzeug, von zahlreichen Fahrzeugen und von keinem Fahrzeug umfasst.
1A zeigt einen Parkbereich mit einem einzelnen Raum, darin eingeschlossen bezeichnete Räume, die jeweils von einem Fahrzeug von Passagiergröße belegt sind.
1B und 1C zeigen ein exemplarisches Szenario, um Fahrzeuge mit verschiedenen Größen im Parkbereich von 1A unter Verwendung eines herkömmlichen Ansatzes nachzuweisen.
2 ist eine schematische Veranschaulichung eines Video-basierten Fahrzeug-Nachweissystems gemäß einem Ausführungsbeispiel.
3 ist ein Flussdiagramm, das das detaillierte Verfahren zum Nachweis von Fahrzeugen gemäß einem Ausführungsbeispiel beschreibt.
4 ist ein Flussdiagramm, um einen Offline-Schulungsprozess zu beschreiben, der als Teil einer ersten (Offline-)Phase der Offenbarung durchgeführt wird.
Die vorliegende Offenbarung betrifft eine Fahrzeug-Bestimmungs- und Klassifizierungs-Vorrichtung, die Fahrzeuge mit verschiedenen Größen in einer interessierenden Region (ROI) in einer Videosequenz nachweist und zwischen diesen unterscheidet, die mit einer festen Kamera und einem festen Blickwinkel aufgenommen wurden. Die Offenbarung umfasst zwei Phasen. In einer (ersten) Schulungsphase, die offline durchgeführt wird, werden mindestens zwei Klassifizierer geschult, jeder zur Identifizierung eines von zahlreichen, verschiedenen Fahrzeugtypen. In einer (zweiten) Online-Phase, werden den geschulten Klassifizierern Prioritäten für eine Sequenz der Analyse einer Zielregion zugewiesen. Eigenschaften der Zielregion werden verwendet, um Fahrzeuge mit verschiedenen Größen nachzuweisen, wobei es sich hauptsächlich um ein größeres Fahrzeug mit Bezug auf ein kleineres Fahrzeug handeln kann. Zum Beispiel kann der Klassifizierer eines ersten Fahrzeugtyps kommerzielle (kommerziell abgemessene) Fahrzeuge und ein Klassifizierer eines zweiten Fahrzeugtyps Passagier-Fahrzeuge (Fahrzeuge Passagier- Abmessungen) nachweisen. Zu Zwecken der Veranschaulichung werden die Ausdrücke „kommerzielle“ und „Passagier-„ Fahrzeuge hier verwendet, um größere und typisch abgemessene Fahrzeuge zu beschreiben. Jedoch können die hier angegebenen Lehren für Ausführungsbeispiele geändert werden, die zwischen Passagierfahrzeugen und Motorrädern, kommerziellen Fahrzeugen und Motorrädern und allen von kommerziellen Fahrzeugen, Passagier-Fahrzeugen und Motorrädern bestimmen. Im letzteren in Betracht gezogenen Ausführungsbeispiel kann mindestens ein Klassifizierer eines dritten Fahrzeugtyps in das System eingeschlossen werden, und das System ordnet zischen den drei Fahrzeugtypen eine Priorität zu. In einem Ausführungsbeispiel führt das System das Verfahren zum Nachweis der Fahrzeuge in Sequenz von den Fahrzeugen mit den größten Abmessungen zu den Fahrzeugen mit den kleinsten Abmessungen durch.
2 ist eine schematische Veranschaulichung eines Video-basierten Fahrzeug-Nachweises 100 in einem exemplarischen Ausführungsbeispiel. Das System umfasst eine Fahrzeugtyp-Nachweisvorrichtung 102, eine Kamera 104, und eine Speichervorrichtung 106, die durch Kommunikationsverbindungen miteinander verbunden werden können, die hier als Netz bezeichnet werden. In einem Ausführungsbeispiel kann das System 100 weiter mit einer Benutzervorrichtung 108 in Kommunikation stehen. Diese Komponenten werden unten in größeren Einzelheiten beschrieben.
Die Fahrzeugtyp-Nachweisvorrichtung 102, die in 2 veranschaulicht wird, umfasst eine Steuervorrichtung 110, die Teil der Vorrichtung 102 oder damit assoziiert ist. Die exemplarische Steuervorrichtung 110 ist ausgelegt, um eine Analyse von Videodaten, die vom System 100 erhalten werden, zu steuern. Die Steuervorrichtung 110 umfasst einen Prozessor 112, der den gesamten Betrieb der Vorrichtung 102 durch die Durchführung der Verarbeitungsanweisungen steuert, die im Speicher 114, der mit dem Prozessor 112 verbunden ist, abgelegt sind.
Der Speicher 114 kann jede Art von berührbarem Computer-lesbaren Medium wie z.B. einen Direkt-Zugriffsspeicher (RAM), einen Festspeicher (ROM), eine magnetische Platte oder ein magnetisches Band, eine optische Platte einen Flash-Kartenspeicher oder einen holographischen Speicher darstellen.
In einem Ausführungsbeispiel umfasst der Speicher 114 eine Kombination aus Direkt-Zugriffsspeicher und Festspeicher. Der digitale Prozessor 112 kann verschieden ausgeführt sein, wie z.B. durch einen Einzelkern-Prozessor einen Doppelkern-Prozessor(oder, allgemeiner, einen Mehrkern-Prozessor) einen digitalen Prozessor und die Zusammenarbeit mit einem mathematischen Coprozessor, einer digitalen Steuervorrichtung und dergleichen. Der digitale Prozessor führt, zusätzlich zur Steuerung des Betriebs der Vorrichtung 102, Anweisungen durch, die im Speicher 114 abgelegt sind, um die Teile eines Verfahrens, wie in 3 und 4 erörtert, auszuführen. In einigen Ausführungsbeispielen können der Prozessor 112 und der Speicher 114 in einem einzigen Chip kombiniert sein.
Die Vorrichtung 102 kann in einer Netzvorrichtung ausgeführt sein, wie z.B. der Kamera 104, obwohl auch in Betracht gezogen wird, dass die Vorrichtung 102 an anderer Stelle in einem Netz angeordnet sein kann, mit dem das System 100 verbunden ist, wie z.B. einem zentralen Server, einem Netzcomputer oder dergleichen, oder über das gesamte Netz verteil sein kann oder auf andere Weise darauf zugegriffen werden kann. Die Phase der Schulung, des Fahrzeugnachweises und der Bestimmung des Fahrzeugtyps, wie hier offenbart, werden vom Prozessor 112 gemäß den Aneisungen durchgeführt, die im Speicher 114 enthalten sind. Insbesondere speichert der Speicher 114 ein Schulungsmodul 116, das mindestens zwei Klassifizierer schult; ein Video-Puffermodul 118, das ein Video eines ausgewählten Parkbereichs oder einer ähnlichen ROI aufnimmt; ein Zielregion-Bestimmungsmodul 120, das mindestens eine Zielregion bestimmt, die einen Abschnitt über mehrere Parkplätze und/oder einzelne Parkräume im aufgenommenen Video umfassen kann, ein Modul zum Nachweis und zur Klassifizierung von Fahrzeugen 122, das das Objekt in der nachgewiesenen Region als zu einem ersten (größeren) Fahrzeugtyp und einem zweiten (kleineren) Fahrzeugtyp gehörig nachweist und klassifiziert; und Fahrzeugverwaltungs-Benachrichtigungsmodul 124, das einen Benutzer über das Fahrzeug benachrichtigt, das bei einer ausgewählten Klassifizierung klassifiziert wurde. Es werden Ausführungsbeispiele in Betracht gezogen, in denen diese Anweisungen in einem einzigen Modul oder als Mehrfachmodule gespeichert werden können, die in den verschiedenen Vorrichtungen ausgeführt werden. Die Module 116–124 werden später unter Bezugnahme auf das exemplarische Verfahren beschrieben.
Die Softwaremodule, wie hier verwendet, sind dazu beabsichtigt, jede Sammlung oder jeden Satz von Anweisungen zu umfassen, der von der Vorrichtung 102 oder von einem anderen digitalen System ausgeführt werden kann, um den Computer oder ein anderes digitales System zu konfigurieren, um die Aufgabe durchzuführen, die die Absicht der Software ist. Der Ausdruck „Software“, wie hier verwendet, ist dazu beabsichtigt, derartige Anweisungen zu umfassen, die in einem Speichermedium wie z.B. RAM, einer Festplatte, einer optischer Platte usw. abgelegt sind, und ist auch dazu beabsichtigt, eine so genannte „Firmware“ zu umfassen, wobei es sich um Software handelt, die in einem ROM usw. abgelegt ist. Eine derartige Software kann auf verschiedene Weise organisiert sein und kann Softwarekomponenten umfassen, die als Bibliotheken, Internet-basierte Programme, die auf einem entfernten Server usw. gespeichert sind, Quellcode, interpretierender Code, Objektcode, direkt ausführbarer Code usw. organisiert ist. Es wird in Betracht gezogen, dass die Software einen Systemebenen-Code oder Anrufe an eine andere Software aufrufen kann, die sich auf einem Server (nicht gezeigt) oder an einer anderen Position befinden, um bestimmte Funktionen durchzuführen. Die verschiedenen Komponenten der Nachweisvorrichtung 102 können alle durch einen Bus 128 verbunden sein.
Unter weiterer Bezugnahme auf 2 umfasst die Vorrichtung 102 auch eine oder mehrer Kommunikationsschnittstellen 130 wie z.B. Netzschnittstellen, um mit externen Vorrichtungen zu kommunizieren. Die Kommunikationsschnittstellen 130 können z.B. ein Modem, einen Router, ein Kabel und/oder einen Ethernet-Anschluss usw. umfassen. Die Kommunikationsschnittstellen 130 sind ausgelegt, um Video- und/oder Bilddaten 132 als Eingabe zu erhalten.
Die Vorrichtung 102 kann eine oder mehrere Datenverarbeitungsvorrichtungen für einen speziellen Zweck oder für einen allgemeinen Zweck umfassen, wie z.B. ein Servercomputer, eine Steuervorrichtung oder ein digitales Frontend (DFE) oder jede andere Datenverarbeitungsvorrichtung, die dazu in der Lage ist, Anweisungen für die Ausführung des exemplarischen Verfahrens auszuführen.
2 veranschaulicht weiter die Vorrichtung 102, die mit einer Bildquelle 104 verbunden ist, um die Videodaten und/oder die Bilddaten (im Folgenden kollektiv als „Videodaten“ bezeichnet) in elektronischem Format einzugeben und/oder zu erhalten. Die Bildquelle 104 kann eine Bildaufnahmevorrichtung wie z.B. eine Kamera umfassen. Die Bildquelle 104 kann eine oder mehrere Überwachungskameras umfassen, die Videodaten des interessierenden Parkplatzes aufnehmen. Die Anzahl der Kameras kann variieren, je nach der Länge und der Position des Bereichs, der überwacht wird. Es wird in Betracht gezogen, dass das kombinierte Blickfeld verschiedener Kameras typischerweise alle einzelnen Parkplätze umfasst, die überwacht und durchgeführt werden. Um das Verfahren nachts auf Parkbereichen ohne externe Beleuchtungsquellen durchzuführen, können die Kameras 104 Nahinfrarot (NIR)-Fähigkeiten am Low-End-Abschnitt eines Nahinfrarotspektrums (700 nm–1000 nm) umfassen.
In einem Ausführungsbeispiel kann die Bildquelle 104 eine Vorrichtung sein, die ausgelegt ist, um das Video, das von der Kamera aufgenommen wurde, an die Nachweisvorrichtung 102 weiterzuleiten und/oder zu übertragen. In einem weiteren Ausführungsbeispiel können die Videodaten 132 von einer geeigneten Quelle eingegeben werden, wie z.B. einer Arbeitsstation, einer Datenbank, einer Speichervorrichtung wie z.B. eine Platte oder dergleichen. Die Bildquelle 104 steht in Kommunikation mit der Steuervorrichtung 110, die den Prozessor 112 und Speicher 114 umfasst.
Unter weiterer Bezugnahme auf 2 umfasst das System 100 eine Speichervorrichtung 106, die Teil der Vorrichtung 102 ist oder damit in Verbindung steht. In einem betrachteten Ausführungsbeispiel kann die Vorrichtung 102 mit einem Server (nicht gezeigt) in Kommunikation stehen, der eine Verarbeitungsvorrichtung und einen Speicher umfasst, wie z.B. die Speichervorrichtung 106, oder einen Zugang auf eine Speichervorrichtung 106 aufweist, um Lookup-Tabellen (LUTs) 136 zu speichern. In betrachteten Ausführungsbeispielen können die LUTs auch bereichsspezifische Parkregulierungen und Bedingungen mit jeder bestimmten Kamera assoziieren, die vom System 100 verwendet wird.
Unter weiterer Bezugnahme auf 2 werden die Videodaten 132 einer Verarbeitung durch die Vorrichtung 102 unterzogen, um die gewünschte Information auszugeben. In einem Ausführungsbeispiel kann diese Information eine Benachrichtigung über den verfügbaren Parkraum 138 umfassen. In einem weiteren Ausführungsbeispiel kann die Benachrichtigung weiterleiten, dass das größere Fahrzeug mehr als einen Parkraum belegt. Wenn ein größeres Fahrzeug mehr als einen Parkraum belegt, kann es erforderlich sein, dass sein Parktarif angepasst werden muss. Auf diese Weise kann die Benachrichtigung einer Parkplatz-Fakturierungsstelle zur Verfügung gestellt werden. Die Benachrichtigung kann dem Benutzter in einer geeigneten Form auf einer graphischen Benutzerschnittstelle (GUI) 140 oder einer Benutzervorrichtung 108 wie z.B. einem Computer, der einem Fahrer oder einer ausführenden Stelle gehört, zur Verfügung gestellt werden. Die Benutzervorrichtung 108 kann einen Computer an einer Einsatzzentrale, ein Smartphone, das einem ausführenden Fahrer in Transit oder zu einem Fahrzeugcomputer und/oder GPS-System gehört, umfassen, das mit der Vorrichtung 102 in Kommunikation steht, obwohl es hier zu diesen Beispielen keine Einschränkungen gibt. In einem Ausführungsbeispiel, in dem das System verwendet wird, um regulierte Parkplätze zu verwalten und/er zu überwachen, kann die Benutzervorrichtung 108 weiter einen zentralen Server und Aufbewahrungsort umfassen, der automatisch eine Parkgebühr einem Konto in Rechnung stellen kann, das mit einem Anmelder des geparkten Fahrzeugs assoziiert ist kann automatisch dem Anmelder ein Ticket ausgeben und/oder kann automatisch die Informationen des Anmelders der ausgewählten Parkplatz- und/oder Fakturierungsstelle zur Verfügung stellen. In einem weiteren in Betracht gezogenen Ausführungsbeispiel kann die Benutzervorrichtung 108 dem Fahrer eines sich bewegenden Fahrzeugs gehören, der nach einem Parkplatz sucht, oder einem geparkten Fahrzeug, das auf dem Platz geparkt ist. Im letzteren Ausführungsbeispiel kann der Fahrer darauf hingewiesen werden, dass das Fahrzeug entfernt werden sollte. Die GUI 140 kann eine Anzeige umfassen, um Information für Benutzer anzuzeigen, und eine Benutzer-Eingabevorrichtung wie z.B. eine Tastatur oder einen Berührungs- oder beschreibbaren Bildschirm um Anweisungen als Eingabe zu empfangen, und/oder eine Cursor-Steuervorrichtung wie z.B. eine Maus, eine Rollkugel oder dergleichen, um Benutzer-Eingabeinformationen zu kommunizieren und Auswahlen an den Prozessor 112 zu steuern.
3 ist ein Flussdiagramm, das ein Verfahren 300 beschreibt, um Fahrzeuge und/oder Fahrzeugtypen von verschiedenen Größen nachzuweisen. 3 beschreibt insbesondere eine Online-Betriebsphase, die vom System 100 durchgeführt wird. Das Verfahren beginnt bei S302. Das Video-Puffermodul 118 empfängt Videodaten von einer Sequenz von Rahmen, die von der Kamera 104 aufgenommen wurden, die einen ausgewählten Parkbereich überwacht. Das System liest Videodaten von einem Rahmen bei S304 ab. Das System kann jeden Rahmen oder jeden n-ten Rahmen in der Sequenz verarbeiten, die die Anwesenheit eines interessierenden Objekts nachweist.
Die Durchführung einer Schiebefenstersuche zum Nachweis des interessierenden Objekts (z.B. eines Fahrzeugs mit großen Abmessungen oder eines Fahrzeugs mit kleinen Abmessungen) für die gesamte Region in allen Rahmen eines aufgenommenen Videos kann rechenintensiv sein, insbesondere, wenn die Auflösung und die Rahmenrate des aufgenommenen Videos hoch sind. Dies ist deshalb, weil Fahrzeuge nur im interessierenden Parkbereich auf der Bildebene sind. Daher ist es wünschenswert, dass eine Suche nur innerhalb des Parkbereichs, d.h. der interessierenden Parkregion (ROI), durchgeführt wird. Auch wenn die Suche innerhalb der Parkplatz-ROI eingeschränkt werden kann, kann es immer noch zu teuer sein, die Berechnung für alle aufgenommenen Rahmen durchzuführen. Um der Anforderung nach einer Echtzeit-Verarbeitung nachzukommen, identifiziert das System 100 für jeden Rahmen zunächst Zielbereiche im aufgenommenen Video, in dem ein neu geparktes Fahrzeug vorhanden sein kann, und führt dann eine Schiebefenstersuche nur innerhalb der identifizierten Zielregionen durch. Durch die Suche nach Fahrzeugen nur in nachgewiesenen Zielregionen kann das System seine Recheneffizienz und Nachweisleistung erhöhen, seine Nachweisgenauigkeit durch die Reduzierung des Suchraums verbessern und mögliche falsche Nachweise aus Nicht-Zielregionen im ROI eliminieren.
Daher stellt das Video-Puffermodul 116 die Videodaten einem Zielregion-Bestimmungsmodul 120 bereit. Das Zielregion-Bestimmungsmodul 120 bestimmt eine Zielregion innerhalb des ausgewählten Rahmens bei S306. Insbesondere sucht das Modul 120 zwischen Rahmen zum Nachweis eines Objekts, das in eine Szene (d.h. die ROI) eintritt oder sich innerhalb der Szene bewegt.
Beim ersten Rahmen kann eine Zielregion die gesamte Parkplatz-ROI umfassen. Bei den verbleibenden Rahmen können diese identifizierten Zielregionen typischerweise Unterregionen der ROI umfassen. Wie oben erwähnt sind die Zielregionen bei einem Rahmen Regionen, in denen ein neu geparktes Fahrzeug vorhanden sein kann. Als einfaches Beispiel kann, wenn der Bildinhalt innerhalb der ROI eines gegenwärtigen Rahmens der gleiche wie der Inhalt innerhalb des vorhergehenden Rahmens ist, das System folgern, dass kein neu geparktes Fahrzeug in die Szene eingetreten ist. Daher wird im gegenwärtigen Rahmen keine Zielregion identifiziert. Unter Verwendung dieses Beispiels kann ein Ansatz zur Identifizierung von Zielregionen durch Videoverarbeitung erfolgen, wie unten erörtert.
In einem Ausführungsbeispiel führt das System 100, um die Zielregion bei S306 zu bestimmen, einen Hintergrundformungs- und Subtraktions-Ansatz und/oder einen Bewegungsnachweis- Ansatz durch, um Vordergrundregionen zu identifizieren und somit ein neu erschienenes Objekt/neu erschienene Objekte innerhalb der ROI nachzuweisen.
In einem weiteren Ausführungsbeispiel kann ein Hintergrundsubtraktions-Ansatz verwendet werden, wenn das Video von einer festen Kamera aufgenommen wird. Wenn z.B. ein Bild des Hintergrunds ohne alle Objekte im Vordergrund zur Verfügung steht, berechnet die Hintergrundentfernung den absoluten Intensitäts-/Farbunterschied zwischen dem bekannten oder geschätzten Hintergrundbild und jedem Bild in der Videosequenz. Pixel, für die der berechnete Abstand im Intensitäts-/Farbraum gering ist, werden als Hintergrund-Pixel klassifiziert. Es gibt verschiedene Techniken für die Hintergrund-Schätzung, basierend auf Gaußschen Mischmodellen, Eigenhintergründen (die hauptsächliche Komponentenanalysen verwenden), und der Berechnung von laufenden Durchschnitten (die den Hintergrund nach jedem folgenden Rahmen allmählich aktualisieren).
In noch einem weiteren Verfahren zur Bestimmung der Zielregion bei S306, wird ein Fahrzeug in einen Parkplatz unter Verwendung eines kohärenten Clusters von Bewegungsvektoren(z.B. kompressionsartige Bewegungsvektoren, die unter Verwendung eines Blockübereinstimmungs-Algorithmus erhalten werden), die während einer Schwellenzeit innerhalb eines Parkbereichs gegen die Länge null gehen, nachverfolgt. Innerhalb eines Rahmens, der mit dem geparkten Fahrzeug assoziiert ist, wird eine Region (d.h. die Zielregion) basierend darauf ausgewählt, wo die Sammlung von Pixeln zuletzt mit dem kohärenten Cluster von Bewegungsvektoren assoziiert war.
Daher bestimmt, zusammenfassend, das Modul 120 die Zielregion als die Region innerhalb des Rahmens, in der das/die Objekt(e) nachgewiesen wird/werden. Da die nachgewiesenen Zielregionen jedes oder mehrere von einem geparkten großen Fahrzeug, einem geparkten kleinen Fahrzeug, einem geparkten kleinen Fahrzeug mit Schatten, zwei nahe aneinander geparkten kleinen Fahrzeugen und nur Schatten usw. enthalten können, ist eine weitere Verarbeitung erforderlich.
Die Zielregion wird als eine Region identifiziert, in der das Objekt vorhanden ist. In Antwort darauf, dass keine Zielregion identifiziert wird (NEIN bei S307), endet das Verfahren für den gegenwärtigen Rahmen bei S326. Jedoch überträgt in Antwort darauf, dass eine Zielregion bestimmt wird (JA bei S307), das Zielregion-Bestimmungsmodul 120 die Information an das Modul zum Nachweis und zur Klassifizierung des Fahrzeugs 122, das die Größe jeder Zielregion bei S308 bestimmt. Hier ist einem Verfahren keine Grenze gesetzt, das verwendet wird, um die Größe der nachgewiesenen Zielregion zu berechnen, vielmehr kann die Größe in physischen Einheiten oder in Form von Bildkoordinaten berechnet werden. In einem Ausführungsbeispiel kann das Modul 122 die Größe jeder nachgewiesenen Zielregion z.B. unter Versendung von geometrischen Eigenschaften (wie z.B. Bereich, Länge, Höhe, Breite, Exzentrizität und eine Kombination der oder oben Angegebenen) berechnen. In einem weiteren Ausführungsbeispiel kann die Größe aus einer grundlegenden geometrischen Funktion (z.B. einer Ellipse) bestimmt werden, die an einen Umriss des nachgewiesenen Objekts angepasst wird. In noch einem weiteren Ausführungsbeispiel kann das Modul 122 die Größe durch die Schätzung einer physischen Länge der Zielregion durch die Abbildung von Pixelkoordinaten auf realen Längeneinheiten berechnen. Unter Verwendung jedes bekannten Verfahrens wird die Kamera zuerst offline kalibriert, um ihre Parameter zu bestimmen, die ihre zweidimensionalen Bildkoordinaten mit dreidimensionalen Koordinaten der realen/physischen Welt assoziieren. Auf diese Weise kann jede Koordinate (x, y, z), die einer dreidimensionalen Position in der physischen Welt entspricht, von einer ausgewählten zweidimensionalen (i, j) Bildkoordinate geschätzt/berechnet werden. Nachdem die Zielregion nachgewiesen ist und ihre vorderen und hinteren Enden lokalisiert sind, werden die dreidimensionalen Koordinaten des Bildes von den zweidimensionalen Bildern unter Verwendung des Kameramodells bewertet. Die physische Länge der Zielregion wird unter Verwendung dieser Koordinaten berechnet. Im Ausführungsbeispiel, in dem der Hintergrundsubtraktions-Ansatz verwendet wird, um die Größe jeder Zielregion zu bestimmen, kann das System die Größe unter Verwendung von Merkmalen eines binären Bildes berechnen, das während des Hintergrundsubtraktions-Prozesses generiert wird.
Die Größe wird mit einer Größenschwelle bei S310 verglichen. In einem Ausführungsbeispiel in dem das System 100 verwendet werden kann, um die Fahrzeugbelegung in Parkräumen zu überwachen,. kann die Schwelle z.B. basierend auf einer Größe eines kommerziellen Fahrzeugs vorbestimmt werden, das geeignet in den Parkraum gepasst werden kann, der von der Kamera 104 überwacht wird. In Antwort darauf, dass die Größe der Zielregion der Größenschwelle entspricht und/oder diese übersteigt (JA bei S310), geht das Verfahren zu S311 über, um eine Schiebefenstersuche in den Zielregionen durchzuführen, um einen ersten Fahrzeugtyp unter Verwendung eines geschulten Klassifizierers des ersten Fahrzeugtyps nachzuweisen und zu klassifizieren. In Antwort darauf, dass die Größe der Zielregion geringer als die Größenschwelle ist (NEIN bei S310), geht das Verfahren zu S317 über, um eine Schiebefenstersuche in den Zielregionen durchzuführen, um einen zweiten Fahrzeugtyp unter Verwendung eines geschulten Klassifizierers eines zweiten Fahrzeugtyps nachzuweisen und zu klassifizieren. Diese zwei Sätze von Prozessen (S311 und S317). sind ähnlich mit der Ausnahme, dass die Fahrzeugklassifizierer, die verwendet werden, um sie durchzuführen, verschieden sind.
Auf dieser Stufe wird jede Zielregion als ein Objekt mit Merkmalen behandelt. In Antwort darauf, dass die Größe einer Zielregion der Größenschwelle entspricht und/oder diese übersteigt (JA bei S310), führt das Fahrzeugnachweis- und Klassifizierungsmodul 122 z.B. eine Fenster-basierte Suche durch, um Fahrzeuge mit größeren Abmessungen S311 innerhalb der nachgewiesenen Zielregion nachzuweisen. Bei jedem Fenster werden Merkmale des Objekts vom gegenwärtigen Rahmen extrahiert und in den Klassifizierer eines ersten Fahrzeugtyps S312 eingegeben. Dieser Klassifizierer des ersten Fahrzugtyps kann z.B. unter Verwendung von Probemerkmalen von Fahrzeugen mit ähnlichen Abmessungen geschult werden. Im veranschaulichten Ausführungsbeispiel kann z.B. der Klassifizierer des ersten Fahrzeugtyps ein Klassifizierer von kommerziellen Fahrzeugen sein, der mit kommerziellen Fahrzeugen geschult wurde, die länger als der Parkraum sind, der von der Kamera 104 überwacht wird.
In einem weiteren Ausführungsbeispiel kann der Klassifizierer des ersten Fahrzeugtyps unter Verwendung von Merkmalen von Passagierfahrzeugen geschult werden. Unabhängig vom Fahrzeugtyp, der dem ersten Klassifizierer zugeordnet ist, werden diese Merkmale gegen Proben für Fahrzeuge mit größeren Abmessungen analysiert, bevor sie gegen Proben für Fahrzeuge mit kleineren Abmessungen analysiert werden. Einfacher ausgedrückt werden die Merkmale auf den Klassifizierer der größeren Fahrzeuge bei S312 angewendet, bevor sie auf einen Klassifizierer von kleineren Fahrzeugen bei S318 angewendet werden. Und ob die Merkmale auch auf den Klassifizierer von kleineren Fahrzeugen bei S318 angewendet werden, kann basierend auf den Ergebnissen der Schiebefenstersuche bei S311 bestimmt werden. Ein Grund für diese Priorität ist, dass das System einen Fehler vermeidet, indem es zwei kleinere Objekte fehlerhaft als ein größeres Objekt klassifiziert. Indem zunächst das Objekt unter Verwendung des Klassifizierers des ersten (größeren) Fahrzeugtyps analysiert wird, kann das System bestimmen, ob es einen größeren Fahrzeugtyp in Szenarien ausschließt, in denen die Zielregion tatsächlich Fahrzeuge mit kleineren Abmessungen umfasst.
Bei jedem Suchfensterwerden die Objektmerkmale mit den Probemerkmalen des Klassifizierers des ersten Fahrzeugtyps bei S314 verglichen. Mit anderen Worten bestimmt das Modul 122, ob die extrahierten Merkmale zu den Probemerkmalen des Klassifizierers des ersten Fahrzeugtyps passen. Hauptsächlich weist der Klassifizierer des ersten Fahrzeugtyps eine Bewertung zu, die einen Grad angibt, zu dem die extrahierten Merkmale zu den geschulten Probemerkmalen passen, und das Modul 122 vergleicht die Bewertung mit einer Vertrauensschwelle. Die Vertrauensschwelle ist eine vorbestimmte Nachweisschwelle für ein „größeres Fahrzeug“. In Antwort darauf, dass der Klassifizierer des ersten Fahrzeugtyps dem Fenster eine Bewertung zuweist, die der Vertrauensschwelle entspricht oder diese übersteigt, bestimmt das Modul 122, dass die extrahierten und die Probemerkmale zueinander passen. In Antwort darauf, dass die Merkmale zu den Probemerkmalen passen (JA bei S314), wird das Suchfenster als positiv klassifiziert. Das heißt, das Suchfenster wird als zum ersten Fahrzeugtyp gehörend bei S316 klassifiziert. Mit anderen Worten enthält das Fenster ein Fahrzeug mit größeren Abmessungen und ein 'kommerzielles’ Fahrzeug im veranschaulichten Ausführungsbeispiel. Im veranschaulichten Ausführungsbeispiel wird bestimmt, dass das kommerzielle Fahrzeug mindestens einen Platz innerhalb der Zielregion und/oder zwei Plätze belegt, die jeweils ein Passagierfahrzeuge mit kleineren Abmessungen entworfen sind.
Im veranschaulichten Beispiel in dem der Nachweis und die Klassifizierung des Fahrzeugs mit einer Fenster-basierten Suche durchgeführt wird, kann ein nicht maximales Unterdrückungsverfahren verwendet werden, um überlappende „Fahrzeug“-Fenster, die das gleiche Fahrzeug umfassen, bei S325 zu beseitigen. Die nicht maximale Unterdrückung erfolgt über Fenster, die als positiv klassifiziert sind, (d.h. Fenster mit einer Klassifizierungsbewertung, die höher als die Schwelle ist). Ein Beispiel eines nicht maximalen Unterdrückungsverfahrens umfasst die Bestimmung eines Fensters mit einer höchsten Klassifizierungsbewertung, die Beibehaltung dieses Fensters, während alle Fenster, die mit diesem mehr als einen vorbestimmten Bereichsprozentsatz T überlappen, entfernt werden, und die Wiederholung dieses Prozesses für die verbleibenden Fenster, bis keine Fenster mehr vorhanden sind.
Nach dem Nachweis des ersten Fahrzeugtyps auf der Bildebene kann eine weitere Bildsuche für jedes Suchfenster bei S317 innerhalb der Zielregion durchgeführt werden, in dem kein erster Fahrzeugtyp nachgewiesen wurde, und spezifischer, um Fahrzeuge mit kleineren Abmessungen nachzuweisen. Ähnlich bestimmt, in Antwort darauf, dass der Klassifizierer des ersten Fahrzeugtyps einem Fenster eine Bewertung zuweist, die der Vertrauensschwelle nicht entspricht oder diese übersteigt, das Modul 122, dass die Merkmale nicht zueinander passen, und der gleiche Satz von extrahierten Merkmalen wird bei der Schiebefenstersuche verwendet, die als Teil de Nachweisprozesses des zweiten Fahrzeugtyps bei S317 durchgeführt wird.
In Antwort darauf, dass die Größe geringer als die Größenschwelle ist (NEIN bei S310) oder die Merkmale nicht zu den Probemerkmalen passen, werden für jedes Fenster Merkmale des Objekts, die vom gegenwärtigen Rahmen extrahiert wurden, in den Klassifizierer des zweiten Fahrzeugtyps bei S318 eingegeben. Dieser Klassifizierer des zweiten Fahrzugtyps kann z.B. unter Verwendung von Probemerkmalen von Fahrzeugen mit ähnlichen Abmessungen während einer Offline-Phase geschult werden. Im veranschaulichten Ausführungsbeispiel wird der Klassifizierer des zweiten Fahrzeugtyps geschult, um den zweiten Fahrzeugtyp als zu Passagierfahrzeugen gehörend zu identifizieren. Der Klassifizierer des zweiten Fahrzeugtyps kann mit Passagierfahrzeugen geschult werden, die Abmessungen aufweisen, die in den Parkraum passen, der von der Kamera 104 überwacht wird. Nur eine Suche nach einem Fahrzeug mit kleineren (z.B. Passagier-)Abmessungen erfolgt in der Zielregion, da sich kein Fahrzeug mit größeren Abmessungen in der nachgewiesenen Region befand.
In einem weiteren Ausführungsbeispiel kann der Klassifizierer des zweiten Fahrzeugtyps, anstatt das Passagierfahrzeug als den ersten Fahrzeugtyp zuzuweisen, unter Verwendung von Merkmalen von Motorrädern geschult werden.
Die Objektmerkmale werden mit den Probemerkmalen des Klassifizierers des zweiten Fahrzeugtyps für jedes Fenster bei S320 verglichen. Durch den Vergleich bestimmt das Modul 122, ob die extrahierten Merkmale zu den Probemerkmalen des Klassifizierers des zweiten Fahrzeugtyps passen. Hauptsächlich weist der Klassifizierer des zweiten Fahrzeugtyps eine Bewertung zu, die einen Grad angibt, zu dem die extrahierten Merkmale zu den geschulten Probemerkmalen des zweiten Fahrzeugtyps passen, und das Modul 122 vergleicht die Bewertung mit einer Vertrauensschwelle. Die Vertrauensschwelle ist eine vorbestimmte Nachweisschwelle für ein „kleineres Fahrzeug“. In Antwort darauf, dass der Klassifizierer des zweiten Fahrzeugtyps dem Fenster eine Bewertung zuweist, die der Vertrauensschwelle entspricht oder diese übersteigt, bestimmt das Modul 122, dass die extrahierten und die Probemerkmale zueinander passen.
In Antwort darauf, dass die Merkmale zu den Probemerkmalen des Klassifizierers des zweiten Fahrzeugtyps passen (JA bei S320), wird das Fenster als positiv klassifiziert. Das heißt, das Suchfenster wird als zum zweiten Fahrzeugtyp gehörend bei S322 klassifiziert. Mit anderen Worten ist das Fahrzeug ein Fahrzeug mit kleineren Abmessungen. Außerdem kann der nicht maximale Unterdrückungsprozess verwendet werden, um überlappende Fenster, die das gleiche Fahrzeug umfassen, bei S325 zu beseitigen.
In Antwort darauf, dass der Klassifizierer des zweiten Fahrzeugtyps dem Fenster eine Bewertung zuweist, die der Vertrauensschwelle nicht entspricht oder diese übersteigt, bestimmt das Modul 122, dass die extrahierten und die Probemerkmale nicht zueinander passen. In Antwort darauf, dass die Objektmerkmale nicht zu den Probemerkmalen des Klassifizierers des zweiten Fahrzeugtyps passen (NEIN bei S320), bestimmt das Modul 122, dass die Zielregion kein Fahrzeug enthält bei S324. Es kann eine weitere Analyse durchgeführt werden, um zu bestimmen, ob jedes nachgewiesene Objekt ein Fahrzeug ist, das kleiner als der zweite Fahrzeugtyp ist (z.B. ein Motorrad). oder ein Nicht-Fahrzeug, wie z.B. ein Fußgänger und/oder ein Einschluss. In einem Ausführungsbeispiel kann das Modul 122 das Fenster als zu einem dritten Fahrzeugtyp gehörend klassifizieren, der Motorräder umfassen kann. In einem weiteren Ausführungsbeispiel kann das Modul 124 die Schwellenprozesse wiederholen, um Fahrzeuge, die kleiner als Fahrzeuge des ersten und des zweiten Fahrzeugtyp sind, unter Verwendung eines Klassifizierers eines dritten Fahrzeugtyps wie z.B. eines, der mit Probebildern von Motorrädern geschult wurde, nachzuweisen. In noch einem weiteren Ausführungsbeispiel mit Motorrädern, die als ein Fahrzeug des zweiten Typs zugeordnet sind, kann das Modul 124 bestimmen, dass das Fenster einen Einschluss und/oder ein Nicht-Fahrzeug enthält. Das Verfahren endet bei S326.
Das Modul zum Nachweis und zur Klassifizierung des Fahrzeugs 122 kann die Klassifizierungsinformation dem Benachrichtigungsmodul 124 bereitstellen. Das Benachrichtigungsmodul 124 kann dem Benutzer, wenn angemessen, eine geeignete Benachrichtigung über die Bestimmungsergebnisse bereitstellen. Eine Benachrichtigung darüber, dass das identifizierte Fahrzeug zu einem bestimmten Fahrzeugtyp gehört, kann dem Benutzer je nach dem Ziel des System 100 bereitgestellt werden, das an eine Anzahl von verschiedenen Anwendungen angepasst werden kann, um die Wünsche der bestimmten Benutzer zu erfüllen. Zum Beispiel kann, bei einem Parkbelegungs-Überwachungssystem, eine Bestimmung, dass das Fahrzeug ein Fahrzeug mit größeren Abmessungen ist, bedeuten, dass das Fahrzeug zwei Parkplätze belegt. Daher kann die Benachrichtigung dem Benutzer angeben, dass das Fahrzeug mit großen/kommerziellen Abmessungen eine Parkplatzregelung verletzt. In einem weiteren Beispiel kann die Benachrichtigung angeben, dass das Fahrzeug eine Parkplatzregelung verletzt, wenn das Passagierfahrzeug mit einer ausgewählten Abmessung in einem Bereich für kompakte Fahrzeuge parkt usw.
Ein Gesichtspunkt der Sequenz, die in der vorliegenden Offenbarung bereitgestellt wird, ist eine geeignete Behandlung von Fahrzeugen, da das Verfahren Fahrzeuge mit größeren Abmessungen vor Fahrzeugen mit kleineren Abmessungen nachweist, von denen es weniger wahrscheinlich ist, dass sie wie ein kommerzielles Fahrzeug erscheinen. Der Nachweis von Fahrzeugen mit größeren Abmessungen (S311) erfolgt vor Fahrzeugen mit kleineren Abmessungen (S317) unter Verwendung der mindestens zwei geschulten Klassifizierer. Die Nachweise erfolgen in dieser Sequenz, da eine Fenster-basierte Suche die zunächst verwendet wird, um Passagierfahrzeuge nachzuweisen, typischerweise die Fahrzeuge mit größeren Abmessungen in mehrere Teile unterteilen kann (wie in 1C gezeigt). Jeder Teil wird später als ein getrenntes Fahrzeug behandelt, da verschiedene Bereiche von Fahrzeugen mit größeren Abmessungen ein ähnliches Erscheinungsbild wie Bereiche von Fahrzeugen mit kleineren Abmessungen aufweisen können. Zum Beispiel kann das vordere Ende eines kommerziellen Lastwagens (in 1C). einen Köper mit einer ähnlichen Form wie das vordere Ende eines Passagier-Lastwagens aufweisen. Daher wird die gewünschte Sequenz durchgeführt, um den größeren Fahrzeugtyp nachzuweisen, anstatt umgekehrt.
Ein weiterer Gesichtspunkt der vorliegenden Offenbarung ist die höhere Genauigkeit, die von mindestens zwei Klassifizierern erzielt wird. Die Klassifizierer werden in einer ersten Phase der Offenbarung offline geschult. In der Offline-Phase wird ein erster Klassifizierer unter Verwendung positiver (d.h. ein Fahrzeug) und negativer (d.h. kein Fahrzeug) Proben geschult, die von der Kamera erhalten werden, die die interessierende Region überwacht. Die positiven Proben umfassen typischerweise verschiedene Fahrzeugtypen (wie z.B. Lastwagen, Busse, Passagierfahrzeuge), die in der bestimmten Region geparkt sind. Die Fahrzeuge, die sich innerhalb eines Größenbereichs des ersten Fahrzeugtyps befinden, für deren Identifizierung der Klassifizierer geschult ist, werden als positive Proben behandelt, und alle anderen Fahrzeuge werden als negative Proben behandelt. In einem Ausführungsbeispiel können die negativen Proben, die verwendet werden, um den Klassifizierer zu schulen, nur Proben von anderen Fahrzeugtypen umfassen. In einem weiteren Ausführungsbeispiel kann der Klassifizierer geschult werden, um negative Proben unter Verwendung von Hintergrundbildern, die keine Fahrzeuge umfassen, zu identifizieren. In einem weiteren Ausführungsbeispiel kann eine Kombination der anderen Fahrzeugtypen mit leeren Hintergrundbildern verwendet werden, um den Klassifizierer zu schulen, Von den positiven und negativen Proben wird ein Satz von Merkmalen extrahiert und verwendet, um den ersten Klassifizierer zu schulen. (z.B. lineare/nicht-lineare SVM, logistische Regression usw.). Der Prozess wird zur Schulung mindestens eines zweiten Klassifizierers wiederholt, um einen zweiten Fahrzeugtyp zu identifizieren.
Nun unter Bezugnahme auf 4 wird ein Verfahren 400 zur Schulung der Klassifizierer gezeigt. Das Verfahren beginnt bei S402. Das Schulungsmodul 116 erhält Videodaten in Form von zahlreichen Rahmen von Daten, die von der Kamera bei S404 aufgenommen werden. Die Videodaten werden insbesondere von einer festen Kamera bereitgestellt, die einen interessierenden Parkplatz überwacht. Um ausreichend Schulungsproben zu sammeln, kann die Länge des aufgenommenen Videos vom Aktivitätsniveau innerhalb der Parkregion abhängen. Längere Videosequenzen können für Parkregionen erforderlich sein, die eine geringere Aktivität aufweisen.
Weiter unter Bezugnahme auf 4 extrahiert das Modul 116 Proben aus den aufgenommenen Videorahmen für zahlreiche Arten von Fahrzeugen, darin eingeschlossen Proben von Fahrzeugen mit größeren Abmessungen. (wie z.B. Bussen, Lastwagen usw.) bei 406,. Proben von Passagierfahrzeugen bei S408 und Hintergrundproben (d.h. keine Fahrzeuge) bei S410. Die Hintergrundproben umfassen die Bildbereiche von der interessierenden Region ohne ein Fahrzeug, wie in der Figur gezeigt.
Nachdem ein ausreichender Satz von Proben für jede Art von Fahrzeugen gesammelt ist, werden mindestens zwei Klassifizierer unter Verwendung eines klassischen, überwachten Maschinenlernansatzes geschult. Das veranschaulichte Ausführungsbeispiel in 4 schult zwei Klassifizierer, aber es werden Ausführungsbeispiele in Betracht gezogen, um jede gewünschte Anzahl von Klassifizierern zu schulen. Der Klassifizierer eines ersten Fahrzeugtyps (z.B. eines kommerziellen Fahrzeugs) wird unter Verwendung der Proben von Fahrzeugen mit größeren Abmessungen und des Hintergrunds bei S412 geschult. Der Klassifizierer eines zweiten Fahrzeugtyps (Passagierfahrzeug) wird unter Verwendung von Proben eines Passagierfahrzeugs und des Hintergrunds bei S414 geschult. Um die Klassifizierer zu schulen, wird ein Satz von Merkmalen aus jedem der gesammelten Proben extrahiert. Diese Merkmale können unter Verwendung eines herkömmlichen Ansatzes extrahiert werden, darin eingeschlossen, aber nicht beschränkt auf, eine Dimensionsreduktionstechnik wie z.B. eine Hauptkomponentenanalyse (PCA) oder einer linearen Diskriminantenanalyse (LDA), und die Merkmale können umfassen, sind jedoch nicht beschränkt auf, Textur-basierte Merkmale wie z.B. ein Histogramm von gerichteten Gradienten (HOG), lokale binäre Muster (LBP) oder aufeinander folgende mittlere Digitalisierungs-Transformationsmerkmale (SMQT);Merkmale, die auf Farbattributen basieren (z.B. Farbhistogramm); skaleninvariante Merkmale wie z.B. skaleninvariante Merkmaltransformations- (SIFT) Merkmale oder beschleunigte, robuste Merkmale (SURF); und lokale Bilddeskriptoren wie z.B. Bag of Visual Words (BOV) oder Fisher-Vektoren.
Jede Kombination der oben aufgelisteten Merkmale kann verwendet werden, um einen endgültigen Merkmalsvektor zu erzeugen. Ein linearer/nicht-linearer Klassifizierer wie z.B. eine lineare Stützvektormaschine (SVM) kann durch Eingabe der ausgewählten Merkmale, die von einem Satz von Schulungsproben extrahiert wurden (für den ausgewählten Fahrzeugtyp) und Etiketten für die Schulungsproben in den Klassifizierer geschult werden. Das Verfahren endet bei S416.
Wie oben erwähnt werden den geschulten Klassifizierern Prioritäten zugewiesen, die auf den Eigenschaften der Zielregion basieren, um zu ermöglichen, dass die Klassifizierer die Fahrzeugtypen während der Online-Phase genau nachweisen.
Die verschiedenen Verfahren oder Prozesse der vorliegenden Offenbarung sind nicht durch die veranschaulichte Reihenfolge derartiger Schritte oder Ereignisse beschränkt. Einige Schritte oder Ereignisse können in verschiedener Reihenfolge und/oder gleichzeitig mit anderen Schritten oder Ereignissen auftreten, abgesehen von denjenigen, die hier veranschaulicht und beschrieben werden. Außerdem sind möglicherweise nicht alle veranschaulichten Schritte erforderlich, um einen Prozess oder ein Verfahren in Übereinstimmung mit der vorliegenden Offenbarung zu implementieren, und einer oder mehrere derartige Schritte können kombiniert werden. Das/die veranschaulichte(n) Verfahren kann/können in Hardware, Software oder Kombinationen daraus implementiert werden, um die Steuerfunktion, die hier beschrieben wird, bereitzustellen, und kann/können in jedem System angewendet werden, darin eingeschlossen, jedoch nicht beschränkt auf das oben veranschaulichte System 100, wobei die Offenbarung nicht auf die spezifischen Anwendungen und Ausführungsbeispiele beschränkt ist, die hier veranschaulicht und beschrieben werden.

Claims

Verfahren zum Nachweis eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: Erhalten von Videodaten von einer Sequenz von Rahmen, die von einer assoziierten Kamera aufgenommen wurden, die einen Parkbereich überwacht; Bestimmen von mindestens einer Zielregion im Parkbereich; Vergleichen eine Größe der Zielregion mit einer Größenschwelle; in Antwort darauf, dass die Zielregion der Größenschwelle entspricht und diese übersteigt, Bestimmen, ob die Zielregion eines von mindestens einem Objekt und Nicht-Objekt umfasst; und Klassifizieren eines Objekts in der Zielregion als zu einem von mindestens zwei Fahrzeugtypen gehörend.
Verfahren nach Anspruch 1, wobei die Klassifizierung Folgendes umfasst: Klassifizieren des Objekts als eines von einem Motorrad, einem Passagierfahrzeug und einem kommerziellen Fahrzeug.
Verfahren nach Anspruch 1, wobei die Klassifizierung Folgendes umfasst: in Antwort darauf, dass die Größe der Größenschwelle entspricht und diese übersteigt Durchführen einer Schiebefenstersuche in der Zielregionen und Anwenden von mindestens einem extrahierten Objektmerkmal auf den Klassifizierer eines ersten Fahrzeugtyps, um das Objekt als eines von einem ersten Fahrzeugtyp und nicht eines von dem ersten Fahrzeugtyp zu klassifizieren; und in Antwort darauf, dass die Größe der Größenschwelle nicht entspricht und diese nicht übersteigt Durchführen einer Schiebefenstersuche in den Zielregionen und Anwenden des mindestens einen extrahierten Objektmerkmals auf den Klassifizierer eines zweiten Fahrzeugtyps, um das Objekt als eines von einem zweiten Fahrzeugtyp und nicht eines von dem ersten und zweiten Fahrzeugtyp zu klassifizieren.
Verfahren nach Anspruch 3, wobei die Klassifizierung Folgendes umfasst: in Antwort darauf, dass das mindestens eine Objektmerkmal zu Probemerkmalen im Klassifizierer des ersten Fahrzeugtyps passt, Klassifizieren des Fahrzeugs als das Fahrzeug des ersten Typs; und in Antwort darauf, dass das mindestens eine extrahierte Merkmal nicht zu den Probemerkmalen im Klassifizierer des ersten Fahrzeugtyps passt, Anwenden des mindestens einen extrahierten Objektmerkmals auf den Klassifizierer des zweiten Fahrzeugtyps.
Verfahren nach Anspruch 4, wobei das Anwenden des mindestens einen extrahierten Objektmerkmals auf den Klassifizierer des zweiten Fahrzeugtyps Folgendes umfasst: Erhalten einer Bewertung vom Klassifizierer des ersten Fahrzeugtyps, der einem Grad entspricht, zu dem das mindestens eine Objektmerkmal zu den Probemerkmalen im Klassifizierer des ersten Fahrzeugtyps passt, Vergleichen der Bewertung mit einer Vertrauensschwelle; in Antwort darauf, dass die Bewertung der Größenschwelle entspricht und diese übersteigt, Bestimmen, dass das mindestens eine Objektmerkmal zu den Probemerkmalen passt; und in Antwort darauf, dass die Bewertung der zweiten Schwelle nicht entspricht, Bestimmen, dass das mindestens eine Objektmerkmal nicht zu den Probemerkmalen passt.
Verfahren nach Anspruch 3, wobei das Klassifizieren Folgendes umfasst: in Antwort darauf, dass das mindestens eine extrahierte Objektmerkmal zu den Probemerkmalen des Klassifizierers des zweiten Fahrzeugtyps passt, Klassifizieren des Objekts den zweiten Fahrzeugtyp; und in Antwort darauf, dass das mindestens eine extrahierte Objektmerkmal nicht zu den Probemerkmalen des Klassifizierers des zweiten Fahrzeugtyps passt, der das Objekt als nicht eines vom ersten und zweiten Fahrzeugtyp klassifiziert.
Verfahren nach Anspruch 1, wobei das Bestimmen der Zielregion Folgendes umfasst: Nachverfolgen eines Fahrzeugs in einen Parkplatz unter Verwendung eines kohärenten Clusters von Bewegungsvektoren, deren Länge in der interessierenden Parkregion gegen Null geht. Identifizieren einer Sammlung von Pixeln, die zuletzt mit dem kohärenten Cluster von Bewegungsvektoren assoziiert war.
Verfahren nach Anspruch 1, wobei das Klassifizieren Folgendes umfasst: Extrahieren von mindestens einem Merkmal des Objekts unter Verwendung einer binären Maske; Berechnen einer Größe des Objekts unter Verwendung des mindestens einen extrahierten Merkmals; und Anwenden des mindestens einen Merkmals auf einen eines Klassifizierers des ersten und des zweiten Fahrzeugtyps, basierend auf der Größe.
Verfahren nach Anspruch 3, wobei das Berechnen der Größe eines des Berechnens einer physischem Länge der Zielregion unter Verwendung von realen Koordinaten, die von Pixel-Koordinaten abgebildet sind und des Berechnens eines Bereichs der Zielregion auf der Bildebene umfasst.
Verfahren nach Anspruch 1, weiter umfassend Bereitstellen einer Benachrichtigung an einen Benutzer von Fahrzeugen, die sich in der interessierenden Region befinden.