DE102015205309A1

DE102015205309A1 - Stabile Erfassung von Windschutzscheiben über die Lokalisierung von Markierungspunkten

Info

Publication number: DE102015205309A1
Application number: DE102015205309.1A
Authority: DE
Inventors: Beilei Xu; Yusuf O. Artan; Peter Paul
Original assignee: Xerox Corp
Current assignee: Conduent Business Services LLC
Priority date: 2014-04-04
Filing date: 2015-03-24
Publication date: 2015-10-08
Also published as: CA2885019C; US9514374B2; US20150286883A1; US20150363655A1; CA2885019A1; US9633267B2

Abstract

System und Verfahren, das das Training eines Klassifizierers unter Verwendung von eindeutig definierten Markierungspunkten entlang eines Windschutzscheibenumfangs, basierend auf einem Modell für elastische Verformung umfasst. Das Verformungsmodell nutzt eine Mischung aus Bäumen mit einem gemeinsamen Pool von Teilen und kann allgemein durch dynamische Programmierung optimiert werden und dennoch hoch relevante globale elastische Strukturen erkennen. Sobald ein Kandidatenbereich im Bild erkannt wird, wird eine gelernte Schwelle auf den Einstufungs-Punktwert des Kandidatenbereichs angewandt, um zu bestimmen, ob es sich bei dem Kandidatenbereich um eine Windschutzscheibe handelt. Der gekennzeichnete Bereich wird dann für die Weiterverarbeitung ausgeschnitten.

Description

Die vorliegende Offenlegung bezieht sich auf Bildanalyse, insbesondere auf die Ortsbestimmung eines Zielgegenstands.
Um das ständig zunehmende Verkehrsaufkommen zu regulieren, werden Sonderfahrspuren eingeführt, die nur von Fahrzeugen mit einer bestimmten Mindestanzahl von Insassen befahren werden dürfen. Diese Managed Lanes umfassen Fahrgemeinschaftsspuren, Diamond-Lanes (mit Rautensymbol gekennzeichnete Fahrspuren) oder HOV-Lanes (Fahrspuren für stark belegte Fahrzeuge), durch die die Gesamtanzahl von Fahrzeugen (bei einer gegebenen Anzahl von Personen) auf einer Autobahn begrenzt und damit der Verkehr beschleunigt werden soll. Der Gesamtnutzen ist in verschiedenen Bereichen offensichtlich: Durch Managed Lanes werden Verkehrsstaus, Zeitverschwendung auf dem Weg zum Arbeitsplatz sowie der Kraftstoffverbrauch reduziert und die Luftverschmutzung vermindert. Managed Lanes umfassen auch HOT-Lanes, die von einem Fahrzeug mit nur einem Insassen nach Zahlung einer Maut befahren werden dürfen. Die Maut wird häufig dynamisch festgelegt, je nach Verkehrsstau in Echtzeit, um eine Mindest-Durchschnittsgeschwindigkeit auf der Managed Lane aufrechtzuerhalten. Managed Lanes wie HOV- oder HOT-Lanes sind typischerweise die äußersten linken Fahrspuren einer Autobahn, die häufig mit Rauten auf der Fahrbahn markiert bzw. entsprechend beschildert sind. Sie sind manchmal von den allgemeinen Fahrspuren durch Absperrungen abgetrennt. Manche Managed Lanes erfordern mindestens zwei Fahrzeuginsassen und werden als "2+"-Fahrspur bezeichnet, andere Managed Lanes erfordern mindestens drei Fahrzeuginsassen und werden als "3+"-Fahrspur bezeichnet.
Um wirksam zu sein und die Integrität innerhalb des Systems aufrechtzuerhalten, muss die Einhaltung der Insassenzahlen durchgesetzt werden. Da Managed Lanes im Allgemeinen im Hinblick auf die Fahrzeit einen eindeutigen Vorteil bieten, ist die Versuchung groß, dass Personen das System betrügen und die Fahrspur benutzen, auch wenn ihr Fahrzeug nicht mit der erforderlichen Anzahl von Insassen besetzt ist (oder aus einem anderen Grund nicht dazu berechtigt ist). Dieser Hang zum Betrug umfasst manchmal auch Bemühungen, die Erfassung zu umgehen, einschließlich der Verwendung von Dummys oder Schaufensterpuppen, um zusätzliche Insassen zu simulieren.
Um die Regeln der Managed Lanes durchzusetzen, sind nach der derzeitigen Praxis Vollzugsbeamte erforderlich, die am Rand von HOV-/HOT-Lanes eingesetzt werden, um die vorbeifahrenden Fahrzeuge optisch zu kontrollieren. Dieses Verfahren ist kostspielig, schwierig, möglicherweise unsicher und letztlich ineffektiv, da nur wenige Zuwiderhandelnde tatsächlich erfasst werden und Strafzettel erhalten. Ein alternatives Verfahren zur Überwachung von Managed Lanes ist der bildgestützte automatische Vollzug, der die Erkennung und Einstufung von Bildmerkmalen (z. B. Gesichter, Sitze, Sicherheitsgurte usw.) hinter einer Windschutzscheibe, die im Blickfeld einer Kamera liegen, erfordert, um eine Fahrer-Beifahrer-Konfiguration von einer Alleinfahrer-Konfiguration zu unterscheiden. Dieses Verfahren ist stark vom Standort der Kamera und vom Auslösezeitpunkt abhängig, um ein klares Bild vom Innenraum eines Fahrzeugs zu erhalten. An den meisten Standorten ist es nicht möglich, die Kamera so auszurichten, dass ihr Sichtfeld genau und ausschließlich auf die Windschutzscheibe eines jeden herannahenden Fahrzeugs gerichtet ist. Die Lage der Windschutzscheibe in den erfassten Bildern ist von Fahrzeug zu Fahrzeug unterschiedlich, je nach Verhalten des Fahrers und dem Fahrzeugdesign, was die Wirksamkeit eines solchen bildgestützten Ansatzes vermindert. Deshalb besteht Bedarf an einer genauen Lokalisierung des Windschutzscheibenbereichs in einem erfassten Bild, um Zuwiderhandelnde auf Managed Lanes effizient und wirksam zu erkennen.
Ein Ansatz zur Erkennung der Lage eines Windschutzscheibenbereichs ist in der allgemeingültigen US-Patentanmeldung mit der Serien-Nr. 13/859047, angemeldet am 9. April 2013, dargelegt, wobei ein Zielfahrzeug innerhalb eines erfassten Bildes aufgrund von vorhandenen Kenntnissen über geometrische und räumliche Beziehungen erkannt und lokalisiert werden kann. Interessierende Objekte am Zielfahrzeug können dann erkannt werden und vorhandene Kenntnisse über die relativen geometrischen Beziehungen zwischen den erkannten Objekten, den Bereich auf dem Bild, der die Windschutzscheibe des Zielfahrzeugs umfasst, können für die Weiterverarbeitung erkannt und lokalisiert werden, um Fahrzeuge zu erfassen, die gegen die Anforderungen von HOV-/HOT-Lanes oder andere Anforderungen, wie zum Beispiel die Gurtpflicht, verstoßen. Dieser Ansatz ist zwar für zahlreiche Anwendungen geeignet, es besteht aber nach wie vor Bedarf an einer genauen Lokalisierung des Windschutzscheibenbereichs in einem erfassten Bild, um Zuwiderhandelnde auf Managed Lanes effizient und wirksam zu erkennen.
KURZBESCHREIBUNG
Ein Verfahren zur Lokalisierung von Windschutzscheiben zur Erfassung von Fahrzeuginsassen, um den Vollzug der Vorschriften von HOV-/HOT-Lanes zu unterstützen, wird hier beschrieben. In einer beispielhaften Ausführungsform umfasst ein Verfahren das Training eines Klassifizierers unter Verwendung von eindeutig definierten Markierungspunkten entlang eines Windschutzscheibenumfangs, basierend auf einem Modell für elastische Verformung. Das Verformungsmodell nutzt eine Mischung aus Bäumen mit einem gemeinsamen Pool von Teilen und kann allgemein durch dynamische Programmierung optimiert werden und dennoch hoch relevante globale elastische Strukturen erkennen. Sobald ein Kandidatenbereich im Bild erkannt wird, wird eine gelernte Schwelle auf den Einstufungs-Punktwert des Kandidatenbereichs angewandt, um zu bestimmen, ob es sich bei dem Kandidatenbereich um eine Windschutzscheibe handelt. Der gekennzeichnete Bereich wird dann für die Weiterverarbeitung ausgeschnitten.
Nach einem Aspekt umfasst ein System, das zur Durchführung einer Bildanalyse basierend auf Markierungspunkten konfiguriert wird, um eine Windschutzscheibe innerhalb eines Bildes zu lokalisieren, ein mit einem Datenverarbeitungsgerät funktional verbundenes Bilderfassungsgerät, das ein Bild eines Zielfahrzeugs erfasst, und ein durch einen Prozessor nutzbares Medium, das Computercode enthält, wobei das durch Prozessor nutzbare Medium mit dem genannten Datenverarbeitungsgerät verbunden ist und der genannte Computerprogrammcode Anweisungen enthält, die vom genannten Prozessor ausführbar sind, und das System dazu konfiguriert ist, eine Vielzahl von Markierungspunkten in Verbindung mit einem Windschutzscheibenteil eines Fahrzeugs zu erkennen, wobei mindestens einer der Markierungspunkte einem an die Windschutzscheibe angrenzenden Seitenspiegel entspricht, und einen jeden Markierungspunkt über eine Baumstruktur, die durch räumliche Beziehungen zwischen einem oder mehreren der Markierungspunkte definiert ist, einzuordnen.
Der Computerprogrammcode, der von dem genannten Prozessor ausführbare Anweisungen umfasst, kann weiterhin dazu konfiguriert sein, einen Einstufungs-Punktwert zu berechnen. Der Computerprogrammcode, der von dem genannten Prozessor ausführbare Anweisungen umfasst, kann weiterhin dazu konfiguriert sein, den Einstufungs-Punktwert mit einem Schwellenwert zu vergleichen, und, falls der Einstufungs-Punktwert den Schwellenwert überschreitet, den durch den Markierungspunkt gekennzeichneten Bereich auszuschneiden. Der Einstufungs-Punktwert kann generiert werden unter Verwendung von S(I, L) = App(I, L) + Shape(L), wobei I das betreffende Bild darstellt, und L = {l_i = (x_i, y_i), i = 1, 2, ..., N_L} die Reihe von Pixelpositionen für die N_L für die Windschutzscheibe definierten Markierungspunkte, App(I, L) die Hinweise im Erscheinungsbild zum Auflegen einer Schablone für das Teil i in der Position l_i für i = 1, 2, ..., N_L zusammenfasst und Shape(L) die spezifische räumliche Anordnung von Teilen auswertet L.
Die Markierungspunkte können einen Baum mit Anfangs- und Endpunkten an jedem geraden Liniensegment definieren und dabei den Einfluss der relativen Standortänderung bei der Erkennung der Windschutzscheibe minimieren. Die Anfangs- und Endpunkte des Baums können sich in einer unteren Mittelposition der Windschutzscheibe befinden. Der Computerprogrammcode, der von dem genannten Prozessor ausführbare Anweisungen umfasst, kann weiterhin dazu konfiguriert sein, Verstöße gegen die Fahrspur-Anforderungen auf Managed Lanes zu erkennen.
Gemäß einem anderen Aspekt umfasst ein computergestütztes Verfahren zur Verbesserung eines Bildes die Identifizierung einer Vielzahl von Markierungspunkten in Verbindung mit einem Windschutzscheibenteil eines Fahrzeugs, wobei mindestens einer der Markierungspunkte in mindestens einer Mischung einem an die Windschutzscheibe angrenzenden Seitenspiegel entspricht, und das Einordnen eines jeden Markierungspunktes über eine Baumstruktur, die durch räumliche Beziehungen zwischen einem oder mehreren der Markierungspunkte definiert ist.
Das Verfahren kann weiterhin die Berechnung eines Einstufungs-Punktwerts basierend auf den eingeordneten Markierungspunkten umfassen. Das Verfahren kann weiterhin den Vergleich eines Einstufungs-Punktwerts mit einem Schwellenwert und, falls der Einstufungs-Punktwert den Schwellenwert überschreitet, das Ausschneiden des durch die Markierungspunkte gekennzeichneten Bereichs umfassen. Der Einstufungs-Punktwert kann generiert werden unter Verwendung von S(I, L) = App(I, L) + Shape(L), wobei I das betreffende Bild darstellt, und L = {l_i = (x_i, y_i), i = 1, 2, ..., N_L} die Reihe von Pixelpositionen für die N_L für die Windschutzscheibe definierten Markierungspunkte, App(I, L) die Hinweise im Erscheinungsbild zum Auflegen einer Schablone für das Teil i in der Position l_i für i = 1, 2, ..., N_L zusammenfasst und Shape(L) die spezifische räumliche Anordnung von Teilen auswertet L.
Die Markierungspunkte können einen Baum mit Anfangs- und Endpunkten an jedem geraden Liniensegment definieren und dabei den Einfluss der relativen Standortänderung bei der Erkennung der Windschutzscheibe minimieren. Die Anfangs- und Endpunkte des Baums können sich in einer unteren Mittelposition der Windschutzscheibe befinden. Das Verfahren kann weiterhin die Erfassung von Zuwiderhandlungen gegen Fahrspuranforderungen auf Managed Lanes umfassen.
Nach einem anderen Aspekt, ein nichtflüchtiges computernutzbares Medium zur Durchführung einer Bildanalyse basierend auf Markierungspunkten zur Lokalisierung einer Windschutzscheibe innerhalb eines Bildes, wobei das genannte computernutzbare Medium einen Computerprogrammcode enthält und der genannte Computerprogrammcode durch einen Computer ausführbare Anweisungen umfasst, die dazu konfiguriert sind, eine Vielzahl von Markierungspunkten in Verbindung mit einem Windschutzscheibenteil eines Fahrzeugs zu erkennen, wobei mindestens einer der Markierungspunkte einem an die Windschutzscheibe angrenzenden Seitenspiegel entspricht, und einen jeden Markierungspunkt über eine Baumstruktur, die durch räumliche Beziehungen zwischen einem oder mehreren der Markierungspunkten definiert ist, einzuordnen.
Die Anweisungen können weiterhin die Berechnung eines Einstufungs-Punktwerts basierend auf den eingeordneten Markierungspunkten umfassen. Die Anweisungen können weiterhin den Vergleich eines Einstufungs-Punktwerts mit einem Schwellenwert und, falls der Einstufungs-Punktwert den Schwellenwert überschreitet, das Ausschneiden des durch die Markierungspunkte gekennzeichneten Bereichs umfassen. Der Einstufungs-Punktwert kann generiert werden unter Verwendung von S(I, L) = App(I, L) + Shape(L), wobei I das betreffende Bild darstellt, und L = {l_i = (x_i, y_i), i = 1, 2, ..., N_L} die Reihe von Pixelpositionen für die N_L für die Windschutzscheibe definierten Markierungspunkte, App(I, L) die Hinweise im Erscheinungsbild zum Auflegen einer Schablone für das Teil i in der Position l_i für i = 1, 2, ..., N_L zusammenfasst und Shape(L) die spezifische räumliche Anordnung von Teilen auswertet L.
Die Markierungspunkte können einen Baum mit Anfangs- und Endpunkten an jedem geraden Liniensegment definieren und dabei den Einfluss der relativen Standortänderung bei der Erkennung der Windschutzscheibe minimieren. Die Anfangs- und Endpunkte des Baums können sich in einer unteren Mittelposition der Windschutzscheibe befinden.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Das Patent oder die Anmeldung enthält mindestens eine in Farbe ausgeführte Zeichnung. Kopien dieses Patents oder dieser Patentanmeldungs-Veröffentlichung mit farbigen Zeichnungen werden auf Anfrage vom Amt gegen eine Gebühr zur Verfügung gestellt.
1 stellt einen Ablaufplan eines beispielhaften Verfahrens nach der vorliegenden Offenlegung dar;
2 stellt ein Beispielbild nach der vorliegenden Offenlegung dar;
3 stellt ein Beispielbild dar, das Markierungspunkte und Bäume nach der vorliegenden Offenlegung zeigt;
4 stellt einen nach der vorliegenden Offenlegung erkannten beispielhaften Kandidatenbereich dar;
5 stellt ein beispielhaftes, nach der vorliegenden Offenlegung entwickeltes Ground-Truth-Bild dar;
6 stellt ein weiteres beispielhaftes, nach der vorliegenden Offenlegung entwickeltes Ground-Truth-Bild dar;
7 stellt einen Fehlquoten-Graphen zu einer Reihe von nach der vorliegenden Offenlegung analysierten Bildern dar;
Die 8 und 9 stellen Beispiele von Bildern dar, bei denen eine Fehlerquote eine Schwelle überschreitet;
10 ist eine grafische Darstellung einer Fehlerquote gegenüber einer Score-Funktion nach der vorliegenden Offenlegung;
11 stellt eine ROC-ähnliche Kurve nach der vorliegenden Offenlegung dar; und
12 stellt ein beispielhaftes System nach der vorliegenden Offenlegung dar;
DETAILBESCHREIBUNG
Die vorliegende Offenlegung stellt ein Insassen-Erfassungssystem und ein Verfahren zum automatischen oder halbautomatischen Vollzug bei Fahrspuren für stark belegte Fahrzeuge sowie bei Fahrspuren, die von stark belegten Fahrzeugen oder gegen Zahlung einer Maut befahren werden dürfen (HOV-/HOT-Lanes), vor. Das System und das Verfahren basieren auf einem kameragestützten bildgebenden System zur Erfassung von Bildern/Videos im Nah-Infrarot-Bereich (NIR) durch die Windschutzscheibe eines herannahenden Fahrzeugs. Der Erfassungsalgorithmus untersucht anschließend die Bilder/Videos, um potenzielle Zuwiderhandelnde gegen HOV-/HOT-Vorschriften zu ermitteln, gegen die Vollzugsbeamte vorgehen können. Falls der Beifahrersitz nicht besetzt ist, wird das Fahrzeug als potenzieller Zuwiderhandelnder klassifiziert. Für einen potenziellen Zuwiderhandelnden kann ein Beweispaket bestehend aus einem Vordersitz-Bild, einem Rücksitz-Bild, einem Fahrzeugkennzeichen-Bild und einem farbigen Bild des Fahrzeugs generiert und an einen nachgeschalteten Polizeibeamten oder ein Backoffice weitergeleitet werden. In einem Arbeitsablauf prüft der Polizeibeamte das Beweispaket und bestimmt, ob das Fahrzeug herausgezogen und der Fahrer einen Strafzettel erhalten sollte. In einem anderen Arbeitsablauf befindet sich der Polizeibeamte im Backoffice in der Polizeidienststelle und prüft das Beweispaket und bestimmt, ob der Halter einen Strafzettel erhält. Der zweite Arbeitsablauf entspricht dem derzeit angewandten, auf "Rotlicht"-Kameras basierenden Vollzugssystem.
Das Erfassungssystem kann entweder bestimmte Objekte wie Gesichter, Autositze und Sicherheitsgurte erkennen, die mit der An- oder Abwesenheit von Insassen in Verbindung gebracht werden, oder nutzt einen auf maschinellem Lernen basierenden Klassifizierer, der Verstöße durch Verwendung einer globalen Darstellung von Bildmerkmalen der erfassten Bilder erkennt. Auch wenn jeder der vorstehend genannten Ansätze am ganzen Bild durchgeführt werden kann, bietet die Konzentration auf einen interessierenden Bereich (ROI) um die Windschutzscheibe zahlreiche Vorteile. Ein lokalisierter ROI um die Windschutzscheibe ermöglicht nicht nur erhebliche Einsparungen an Computerkosten und -Zeit, sondern kann potenziell auch die Anzahl falsch positiver Ergebnisse reduzieren. Darüber hinaus ermöglicht ein definierter ROI-Bereich die Einbeziehung bestimmter geometrischer Logiken in den Prozess; z. B. kann ein Beifahrer auf dem Vordersitz/ein Autositz nur auf der linken Seite des Bildes erscheinen, der Autositz erscheint eine Reihe von Pixeln entfernt vom erfassten Gesicht des Fahrers usw. Auch bei dem auf maschinellem Lernen basierenden Ansatz konzentriert sich der Klassifizierer, wenn die Windschutzscheibe für die Weiterverarbeitung isoliert wurde, auf die relevanten Unterscheidungsmerkmale zwischen Zuwiderhandelnden und Nicht-Zuwiderhandelnden (Personen gegenüber Autositzen und anderen Merkmalen innerhalb des Fahrzeugs) und nicht auf unwesentliche Merkmale außerhalb des Windschutzscheibenbereichs, und kann damit bei der Einstufung eine höhere Genauigkeit mit potenziell weniger Trainingsproben erreichen. Es sollte daher verständlich sein, dass eine genaue Lokalisierung der Windschutzscheibe erwünscht ist.
Im Hinblick auf die Zeichnungen, zunächst auf 1, wird ein Verfahren 10 nach der vorliegenden Offenlegung in Form eines Ablaufplans dargestellt. Das Verfahren 10 umfasst folgende Schritte: Beschaffen von Beispielbildern von Zielfahrzeugen (Schritt 12), manuelles Bezeichnen einer Reihe von Markierungspunkten (z. B. dreizehn) um den Bereich der Windschutzscheibe des Fahrzeugs (Schritt 14), Konstruktion eines Computermodells basierend auf den Beispielbildern, das Markierungspunkte basierend auf den relativen Positionen der Markierungspunkte in den Beispielbildern findet (Schritt 16), Analysieren eines Bildes eines Zielfahrzeugs unter Verwendung des Computermodells, um eine oder mehrere mögliche Positionen je Markierungspunkt zu bestimmen (Schritt 18), Auswählen einer wahrscheinlichsten Position für einen jeden Markierungspunkt unter Verwendung räumlicher Vorgaben (Schritt 20); Generieren eines Ground-Truth-Bildes durch manuelles Auswählen des Windschutzscheibenbereichs des Zielfahrzeugs (Schritt 22), Vergleichen des manuell ausgewählten Windschutzscheibenbereichs mit dem durch die Markierungspunkte in Schritt 20 begrenzten Bereich, um einen Überlappungs-Einstufungs-Punktwert zu generieren (Schritt 24), Auswählen eines Schwellenwerts für den Überlappungs-Punktwert, der die Windschutzscheibenerkennung maximiert Schritt 26), Anwenden des Computermodells auf eingehende Bilder von Zielfahrzeugen und Ausschneiden aller gekennzeichneten Kandidaten-Windschutzscheibenbereiche, die den Schwellenwert überschreiten (Schritt 28), und Weiterleiten der ausgeschnitten Windschutzscheibenbereiche zur Weiterverarbeitung (Schritt 30). Diese Schritte werden in Verbindung mit den übrigen Figuren beschrieben.
2 zeigt ein typisches Bild, das während eines Straßentests an einer Straße in der Stadt aufgenommen wurde. Es ist anzumerken, dass, auch wenn die Windschutzscheibe des Fahrzeugs eindeutig trapezförmig ist, die Form allein nicht ausreichend ist, um ihre Position im Bild eindeutig zu kennzeichnen, da zahlreiche Linien/Strukturen in der Szene häufig ähnlich trapezartige Formen bilden können (z. B. Hausdächer, Linien auf der Fahrbahn, Schatten von Gegenständen, Sonnendächer). Deshalb umfasst die vorliegende Offenlegung zur Erfassung der Windschutzscheibe in unübersichtlichen Situationen die an den Türen angebrachten Seitenspiegel zu Erfassungszwecken als Teil der Windschutzscheibe.
Die roten Punkte im Beispielbild von 2 zeigen eine Reihe von 13 manuell gekennzeichneten Markierungspunkten. Die Markierungspunkte sind um die Kanten der Windschutzscheibe (z. B. entlang der Dachlinie, der Motorhaubenlinie und der A-Säulen) und jeweils an der Außenkante des Seitenspiegels auf der Fahrer- bzw. der Beifahrerseite angeordnet. Die Anzahl der Markierungspunkte kann basierend auf der Komplexität des Gegenstands in der Situation und der Anzahl von eindeutigen Merkmalen, die einbezogen werden sollen, angepasst werden. Zum Beispiel sind zur Erfassung von Gesichtern in verschiedenen Stellungen in einem Bild häufig mehr als 30 Markierungspunkte erforderlich, um die eindeutigen Gesichtsmerkmale wie Nase und Augen einzubeziehen.
Bei der Lokalisierung von Windschutzscheiben sind die Kanten, mit Ausnahme des Seitenspiegelpaares, im Allgemeinen gerade Linien. Deshalb können typischerweise im Vergleich zu einem Gesichtserfassungssystem weniger Markierungspunkte verwendet werden. Eine zu hohe Anzahl von Punkten kann die erforderliche Handarbeit während der Trainingsphase sowie die Computerkosten bei der Online-Anwendung erheblich erhöhen. Da die Beziehungen zwischen den Markierungspunkten durch dynamische Programmierung verarbeitet werden, können die Endpunkte der Punktesequenz nicht verbunden werden. Es wurde jedoch festgestellt, dass die Position der Endpunkte die Leistung potenziell beeinträchtigen kann. In der vorliegenden Offenlegung sind die Endpunkte nicht in der Nähe von Ecken angeordnet (d. h. die Endpunkte sind entlang einer Seite oder einer relativ geraden Kante angeordnet). In dem dargestellten Beispiel sind die Endpunkte an einem Mittelpunkt der Motorhaubenlinie angeordnet.
Sobald die Reihe von Markierungspunkten und deren relative Positionen um die Windschutzscheibe herum bestimmt sind, werden die 13 Markierungspunkte manuell in einer Reihe von Trainingsbildern analog zu 2 (z. B. 20–100 Bilder) in der gleichen Reihenfolge gekennzeichnet. Diese manuell gekennzeichneten Bilder stellen positive Proben im Trainingsprogramm des Computermodells dar. Zusätzlich zu positiven Proben sind auch negative Proben zur Konstruktion des Computermodells erforderlich. Es wird daher eine Reihe von Bildern (negative Proben) ausgewählt, die keine Windschutzscheibe des Fahrzeugs enthalten (z. B. leere Straßen, Autodächer, Szenen ohne Fahrzeug usw.) Positive Proben sind Bilder eines Fahrzeugs, die in einer Geometrie entsprechend der tatsächlichen Erfassungsgeometrie aufgenommen wurden, und negative Proben sind Bilder/Bereiche, die kein Fahrzeug enthalten. Ein Modell, siehe Gleichung unter ], wird dann durch Lernen einer Designschablone für einen jeden Markierungspunkt (Designschablonen werden gelernt unter Verwendung von Merkmalen von Gradientenhistogrammen (HOG) innerhalb eines vorgegebenen Fensters) und der räumlichen Position (und der Beziehung zwischen Punkten) für diese Markierungspunkte konstruiert, wie in 3 dargestellt. Das in 3 gezeigte Computermodell veranschaulicht, wie die Darstellung der Merkmale (im Sinne von Gradientenhistogramm-(HOG-)Merkmalen) für einen jeden Markierungspunkt und auch für die räumliche Verformung zwischen benachbarten Markierungspunkten aussehen sollte. Das vorgeschlagene Computermodell wird unter Verwendung von überwachten Support-Vektor-Maschinen für Lernalgorithmen (SVMs) konstruiert. Durch Anwendung des Modells auf eingehende Bilder wird in jedem Bild eine Liste von Kandidaten-Windschutzscheibenbereichen gekennzeichnet. Ein Beispiel des Kandidatenbereichs ist in 4 zusammen mit einem Einstufungs-Punktwert dargestellt, der im Folgenden beschrieben wird.
Bewerten der Leistung der Lokalisierung von Windschutzscheiben
Um die Genauigkeit der Windschutzscheibenlokalisierung zu messen, kann eine Metrik wie Gleichung (1) verwendet werden, um eine Fehlerquote durch Vergleich eines Kandidatenbereichs mit dem Ground-Truth (z. B. dem manuell gekennzeichneten Bild) zu quantifizieren. In dieser Hinsicht würde ein Bediener die Windschutzscheibe auf dem Bild manuell kennzeichnen und sie mit dem Kandidatenbereich vergleichen. In Gleichung (1) entsprechen „auto” bzw. „manuell” Bereichen, die in automatischen bzw. manuellen Windschutzscheibenlokalisierungsprozessen erkannt wurden. E = Auto ∪ Manual – Auto ∩ Manual / Auto ∪ Manual Gleichung: 1
Um die Empfindlichkeit der Metrik zu bestimmen, wird eine Messsystemanalyse (MSA) mit zwei Bedienern und zehn Probebildern aus einem Datensatz durchgeführt, um Wiederholbarkeits- und Vergleichbarkeitsfehler der Bediener zu quantifizieren. Jeder Bediener kennzeichnet vier Eckpunkte auf einer Windschutzscheibe (ausgenommen der Seitenspiegel) und wiederholt den Vorgang zweimal für jedes Bild (d. h. jede der vier Messungen wird als „auto” in Gleichung (1) betrachtet). Ground-Truth in der MSA-Studie wird durch Bildung von Mittelwerten der vier Messungen für jeden der vier Eckpunkte erreicht und als „manuell” in Gleichung (1) betrachtet. Ein kleinstes Polygon wird basierend auf jeder Reihe von vier Eckpunkten konstruiert und der Überlappungsbereich zwischen zwei Polygonen kann anschließend basierend auf Gleichung (1) berechnet werden. Das Ergebnis einer exemplarischen MSA ist in Tabelle 1 dargestellt. Es ist zu beachten, dass die Gesamtabweichung ca. 0,04 beträgt, während die Wiederholbarkeitsabweichung 0,016 beträgt, was eine Grenze für die Entscheidung setzt, ob zwei Windschutzscheiben als gleich betrachtet werden oder nicht. Die 5 und 6 zeigen zwei Beispiele von nicht übereinstimmenden Bereichen basierend auf Gleichung (1) und deren entsprechende Fehlerquote. Tabelle 1 MSA-Ergebnisse
In verschiedenen Tests wird bei 1153 bei einem Straßentest erfassten Bildern der Windschutzscheibenbereich automatisch unter Anwendung des Verfahrens der vorliegenden Offenlegung gekennzeichnet. Deren Bereiche wurden mit dem Ground Truth basierend auf den kleinsten Polygonen, die innerhalb der 4 Eckpunkte eingepasst werden konnten, unter Verwendung von Gleichung (1) verglichen. Die Fehlerquote ist in 7 dargestellt, wobei die horizontale Achse den Bildindex und die vertikale Achse die Fehlerquote darstellt.
Zwei Beispiele, in denen die Fehlerquote 0,4 überschreitet, sind in den 8 und 9 dargestellt. Es ist anzumerken, dass derartige Fahrzeuge und deren Windschutzscheiben nicht in der spezifischen Trainingsreihe des Windschutzscheibenmodells in diesem Beispiel verwendet wurden, so dass die offensichtlich mangelhafte Übereinstimmung nicht unerwartet kommt und verbessert werden könnte, wenn derartige Windschutzscheiben im Training verwendet werden. Ebenso ist anzumerken, dass in manchen Anwendungen diese Typen von Lastwagen nicht Gegenstand des HOV-/HOT-Vollzugs sind und die Erkennung der Windschutzscheibe dieser Lastwagen deshalb nicht erforderlich ist.
Validierung eines Kandidatenbereichs
Aus den 8 und 9 ist ersichtlich, dass nicht alle gekennzeichneten Kandidatenbereiche genau mit der echten Windschutzscheibe überlappen. In diesen Bildern überschreitet die Fehlerquote den Wert von 0,4, wobei die Bereiche in Magenta bzw. Gelb als manuell bzw. automatisch gekennzeichnet wurden. Außerdem könnte es in manchen Fällen vorkommen, dass die erfasste Szene überhaupt keine Fahrzeuge enthält (z. B. aufgrund von Fehlern in der Auslösevorrichtung der Kamera). Es ist deshalb wünschenswert, eine Zuverlässigkeitsmaßzahl festzulegen, bei deren Erreichen es sich bei einem Kandidatenbereich um eine Windschutzscheibe handelt.
Eine Möglichkeit, dies zu erreichen, ist die Bewertung jeder spezifischen Teilekonfiguration L = {l_i: i ∊ V} für ein gegebenes Bild I durch eine Score-Funktion, wie in Gleichung 2 dargestellt.
Gleichung 2: S(I, L) = App(I, L) + Shape(L), wobei I das betreffende Bild darstellt, und L = {l_i = (x_i, y_i), i = 1, 2, ..., N_L} die Reihe von Pixelpositionen für die N_L für die Windschutzscheibe definierten Markierungspunkte, App(I, L) die Hinweise im Erscheinungsbild zum Auflegen einer Schablone für das Teil i in der Position l_i für i = 1, 2, ..., N_L zusammenfasst und Shape(L) die spezifische räumliche Anordnung von Teilen auswertet L.
Die Konfiguration, die den höchsten Punktwert ergibt, wird als Kandidatenbereich ausgewählt. 10 ist eine grafische Darstellung der Fehlerquote unter Verwendung von Gleichung (1) gegenüber dieser Score-Funktion für die 1153 Bilder im Test-Datensatz. Aus 10 ist ersichtlich, dass die Fehlerquote bei niedrigen Punktwerten tendenziell hoch ist.
In 11 wurde eine ROC-ähnliche Kurve für verschiedene Punktwerte und die Fehlerquote des 99. Perzentils konstruiert. Unter Verwendung des Graphen aus 11 kann ein spezifischer Punktwert ausgewählt werden, um die Anforderung des Kunden hinsichtlich Ertrag (Prozentsatz der erkannten Windschutzscheiben aus der Gesamtanzahl der erfassten Bilder) gegenüber Genauigkeit (Prozentsatz von korrekt erkannten Windschutzscheiben) zu erfüllen.
Zum Beispiel könnte bekannt sein, dass eine Fehlerquote unter 0,4 in nahezu allen Fällen einen Hinweis auf korrekte Windschutzscheibenlokalisierung darstellt; dies bedeutet, dass es sich bei Auswahl eines Einstufungs-Schwellenpunktwerts von –0,2 bei nahezu allen angegebenen Windschutzscheiben um echte Windschutzscheiben handelt, dass jedoch zahlreiche echte Windschutzscheiben fälschlicherweise verworfen werden (falsch negativ). Basierend auf 10 handelt es sich bei einem Punktwert von –0,5 bei ca. 99 % aller als Windschutzscheiben angegebenen Windschutzscheiben tatsächlich um echte Windschutzscheiben, so dass ein hoher Anteil echter Windschutzscheiben erfasst wird (hohe Quote richtig positiver Ergebnisse), während eine sehr geringe Anzahl falscher Windschutzscheiben angegeben wird (niedrige Quote falsch positiver Ergebnisse).
In Bezug auf 12 wird ein grundlegendes System nach der vorliegenden Offenlegung veranschaulicht und im Allgemeinen mit der Bezugszahl 200 bezeichnet. Das System 200 umfasst im Allgemeinen ein Bilderfassungsgerät 252, das mit einer Verarbeitungseinheit 254 verbunden ist, die einen Prozessor 256 und einen Speicher 258 zum Speichern von durch einen Computer ausführbaren Anweisungen umfasst, um das Verfahren nach der vorliegenden Offenlegung auszuführen. Ein Ausgabebildschirm 260 wird zur Anzeige des verbesserten Bildes bereitgestellt. Es ist klar ersichtlich, dass das Bilderfassungsgerät 252, die Verarbeitungseinheit 254 und der Ausgabebildschirm 260 je nach der spezifischen Installation räumlich getrennt voneinander angeordnet sein können. In manchen Anordnungen können einige oder alle Komponenten zusammen positioniert sein.
Die Verwendung von Aspekten der vorliegenden Offenlegung hat die Genauigkeit der Windschutzscheibenerkennung erheblich verbessert. Während Systeme nach dem Stand der Technik eine Genauigkeit von 85 % erreichen konnten, konnte bei Tests unter Anwendung der beispielhaften, in diesem Schriftstück beschriebenen Verfahren eine Genauigkeit von mindestens 99 % erreicht werden. Demnach können das in der vorliegenden Offenlegung vorgestellte System und die entsprechenden Verfahren den Vollzug bei HOV-/HOT-Lanes erheblich verbessern.

Claims

System, das dazu konfiguriert ist, Bildanalysen basierend auf Markierungspunkten zur Lokalisierung einer Windschutzscheibe innerhalb eines Bildes durchzuführen, und Folgendes umfasst: ein Bilderfassungsgerät, das funktional mit einem Datenverarbeitungsgerät verbunden ist, das ein Bild eines Zielfahrzeugs erfasst; und ein durch einen Prozessor nutzbares Medium, das Computercode enthält, wobei das genannte durch einen Prozessor nutzbare Medium mit dem genannten Datenverarbeitungsgerät verbunden ist und der genannte Computerprogrammcode vom genannten Prozessor ausführbare Anweisungen enthält und dazu konfiguriert ist, eine Vielzahl von Markierungspunkten in Verbindung mit einem Windschutzscheibenteil eines Fahrzeugs zu kennzeichnen, wobei mindestens einer der Markierungspunkte einem an die Windschutzscheibe angrenzenden Seitenspiegel entspricht; und Anordnen eines jeden Markierungspunkts in einer Baumstruktur, die durch räumliche Beziehungen zwischen den Markierungspunkten definiert ist.
System nach Anspruch 1, wobei der genannten Computerprogrammcode, der von einem Prozessor ausführbare Anweisungen enthält, weiterhin dazu konfiguriert ist, einen Einstufungs-Punktwert zu berechnen.
System nach Anspruch 2, wobei der genannten Computerprogrammcode, der von einem Prozessor ausführbare Anweisungen enthält, weiterhin dazu konfiguriert ist, den Einstufungs-Punktwert mit einem Schwellenwert zu vergleichen und, falls der Einstufungs-Punktwert den Schwellenwert überschreitet, den durch die Markierungspunkte gekennzeichneten Bereich auszuschneiden.
System nach Anspruch 2, wobei der Einstufungs-Punktwert generiert wird unter Anwendung von: S(I, L) = App(I, L) + Shape(L), wobei I das betreffende Bild darstellt, und L = {l_i = (x_i, y_i), i = 1, 2, ..., N_L} die Reihe von Pixelpositionen für die N_L für die Windschutzscheibe definierten Markierungspunkte, App(I, L) die Hinweise im Erscheinungsbild zum Auflegen einer Schablone für das Teil i in der Position l_i für i = 1, 2, ..., N_L zusammenfasst und Shape(L) die spezifische räumliche Anordnung von Teilen auswertet L.
System nach Anspruch 1, wobei die Markierungspunkte einen Baum definieren, der an einem geraden Liniensegment der genannten Windschutzscheibe jeweils einen Anfangs- und Endpunkt aufweist, sodass der Einfluss der relativen Standortänderung zwischen Anfangs- und Endpunkten des Baums bei der Windschutzscheibenerkennung minimiert wird.
System nach Anspruch 5, wobei sich die Anfangs- und Endpunkte des Baums in einer unteren Mittelposition der Windschutzscheibe befinden.
System nach Anspruch 1, wobei der genannten Computerprogrammcode, der von einem Prozessor ausführbare Anweisungen enthält, weiterhin dazu konfiguriert ist, Verstöße gegen die Fahrspur-Anforderungen auf Managed Lanes zu erkennen.