DE102018127738B4

DE102018127738B4 - Kamerablockadeerfassung für autonome Fahrsysteme

Info

Publication number: DE102018127738B4
Application number: DE102018127738.5A
Authority: DE
Inventors: Xiaoyan MU; Xiaohan Hu
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2017-11-07
Filing date: 2018-11-07
Publication date: 2023-01-26
Anticipated expiration: 2038-11-08
Also published as: US20230186639A1; DE102018127738A1; US11961308B2

Abstract

Verfahren zum Erfassen von Blockaden in Bildern, wobei das Verfahren umfasst:Empfangen, durch ein Blockadeerfassungsmodul, mehrerer Bilder, die durch eine an einem Fahrzeug installierte Kamera erfasst wurden;Kennzeichnen, durch das Blockadeerfassungsmodul, einen oder mehrere Kandidatenblockierbereiche in den mehreren Bildern, wobei jeder der Kandidatenblockierbereiche Bilddaten enthält, die durch Blockaden im Sichtfeld der Kamera verursacht wurden;Zuweisen, durch das Blockadeerfassungsmodul, von Blockadewerten dem einen oder mehreren Kandidatenblockierbereichen basierend auf Bereichsassoziationen unter dem einen oder mehreren Kandidatenblockierbereichen in den mehreren Bildern; undals Antwort auf eine Bestimmung, dass einer der Blockadewerte oberhalb einer vorbestimmten Blockadeschwelle ist, Übertragen, durch das Blockadeerfassungsmodul, eines Blockadealarmsignals an das Fahrzeug, wobei das Kennzeichnen der einen oder mehreren Kandidatenblockierbereiche umfasst:Teilen eines Bildes, das von den mehreren Bildern ausgewählt wurde, in mehrere Verarbeitungseinheiten PUs;Kennzeichnen mehrerer blockierter PUs von den mehreren PUs basierend auf einer Teilmenge von vorangegangenen Bildern in den mehreren Bildern, die vor dem Bild erfasst wurden; und Anhäufen der mehreren blockierten PUs in dem einen oder mehreren Kandidatenblockierbereichen, wobei das Kennzeichnen der mehreren blockierten PUs umfasst:Unterhalten einer Blockadeeinheitskarte basierend auf der Menge von vorangegangenen Bildern, wobei die Blockadeeinheitskarte mehrere Einträge entsprechend den mehreren PUs enthält;Einstellen der mehreren Einträge basierend auf mehreren unblockierten PUs, die von den mehreren PUs gekennzeichnet wurden; undErzeugen der mehreren blockierten PUs basierend auf den mehreren Einträgen mit entsprechenden Zählerwerten, die unterhalb einer vorbestimmten Zählerschwelle sind.

Description

HINTERGRUND
Ein autonomes Fahrsystem erfordert genaue Sensorinformation (wie beispielsweise Bilder, die von einer an einem Fahrzeug eingebauten Kamera erfasst werden), um zuverlässige Steuersignale zu erzeugen und ein autonomes Fahren des Fahrzeugs sicher durchzuführen. Wenn das Sichtfeld der Kamera teilweise blockiert ist, können die erfassten Bilder einen unscharfen Bereich mit wenig Einzelheiten, wenn überhaupt, enthalten. Ohne ausreichende Bildeinzelheiten, welche die umgebende Umgebung zeigen, kann das autonome Fahrsystem nicht imstande sein, die Straßen- und Verkehrsbedingungen zu bestimmen, und kann die Sicherheit eines selbstfahrenden Fahrzeugs nicht garantieren. Daher ist es entscheidend, Blockaden im Sichtfeld der Kamera schnell und genau zu erfassen, so dass das autonome Fahrsystem das Steuern des Fahrzeugs einstellen oder einem menschlichen Controller eine Warnung der Blockade bereitstellen kann.
Viele lebensechte Szenarien können zu falschen Bestimmungen führen, dass das Sichtfeld einer Kamera blockiert wird. Existierende Ansätze basieren im Allgemeinen auf einem „Einzelbild-Unschärfeerfassung“-Mechanismus, der nicht ausreichend sein kann, um jene Szenarien zu erfassen, in denen lediglich ein kleiner Abschnitt des Sichtfelds der Kamera blockiert ist. Existierende Ansätze können ebenfalls eine hohe Falsch-Positive-Rate aufweisen, wenn die erfassten Bilder ungenau dem ähneln, dass eine Kamera blockiert wird, wenn man bedenkt, dass ein Einzelbildrahmen begrenzte Information enthält. Somit ist es herausfordernd, ein Blockadeerfassungssystem zu gestalten, um eine hohe Blockadeerfassungsrate und eine niedrige/null Falsch-Positive-Rate zu erreichen. Die US 9 773 177 B2 beschreibt eine Vorrichtung zur Bestimmung einer Fahrzeugumgebung, die durch Vorhersagen von Bereichen im Bild feststellt, ob eine Bilderkennungseinheit ihre Tätigkeit fortsetzen soll. Die US 2016/0379067 A1 beschreibt ein Verfahren zur Erkennung von Schmutz in Bildern.
Es ist eine Aufgabe, die Erkennung von Blockadebereichen bei Verwendung von mehreren Verarbeitungseinheiten zur Verarbeitung von Bildbereichen weiter zu verbessern.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst.
Figurenliste

1 veranschaulicht ein Blockdiagramm eines autonomen Fahrsystems, das konfiguriert ist, um eine Kamerablockadeerfassung zur Verfügung zu stellen;
2 veranschaulicht einen Prozess zum Erfassen von Blockaden in Bildern;
3 veranschaulicht einen Prozess, um eine Merkmalswertschwelle zum Bewerten der Verarbeitungseinheiten zu bestimmen;
4 veranschaulicht einen Prozess, um eine Blockadeeinheitskarte während der Verarbeitung von mehreren Bildern zu unterhalten;
5 veranschaulicht die Bildung eines Codebuchs;
6 zeigt ein beispielhaftes Bild mit Blockade und beispielhaften Wellenformen, die basierend auf dem Bild erzeugt wurden; und
7 zeigt ein Ablaufdiagramm, das einen Prozess zum Erfassen von Blockaden in Bildern veranschaulicht, alle gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden ausführlichen Beschreibung wird Bezugnahme auf die begleitenden Zeichnungen genommen, die einen Teil hiervon bilden. In den Zeichnungen kennzeichnen ähnliche Symbole typischerweise ähnliche Komponenten, sofern der Kontext nicht das Gegenteil vorgibt. Die veranschaulichten Ausführungsformen, die in der ausführlichen Beschreibung, den Zeichnungen und Ansprüchen beschrieben werden, sind nicht bestimmt, beschränkend zu sein. Andere Ausführungsformen können genutzt und andere Änderungen können vorgenommen werden, ohne vom Wesen oder Umfang des hier dargestellten Gegenstands abzuweichen. Es versteht sich ohne Weiteres, dass die Aspekte der vorliegenden Offenbarung, wie allgemein hier beschrieben und in den Figuren veranschaulicht, angeordnet, substituiert, kombiniert und in einer weiten Vielfalt von unterschiedlichen Konfigurationen gestaltet werden können, von denen alle hier ausdrücklich in Betracht gezogen werden.
Die vorliegende Offenbarung beschreibt ein autonomes Fahrsystem zum Erfassen, ob es Blockaden in den Bildern gibt, die von einer an einem Fahrzeug eingebauten Kamera erfasst werden. Das autonome Fahrsystem kann zuerst jedes der erfassten Bilder basierend auf den Pixelwerten in den Bildern bewerten und schätzen, ob bestimmte Kandidatenblockierbereiche der Bilder wahrscheinlich durch Blockaden im Sichtfeld der Kamera verursacht werden können. Das autonome Fahrsystem kann dann jene Kandidatenblockierbereiche beseitigen, die nicht durch Kamerablockaden verursacht sein können, sondern stattdessen Hintergründen oder Straßenoberflächen zugeordnet sein können. Nachdem bestimmte Kandidatenblockierbereiche beseitigt wurden, kann das autonome Fahrsystem überwachen, wie sich die verbleibenden Kandidatenblockierbereiche chronologisch ändern oder in den erfassten Bildern entwickeln. Wenn während der Überwachung das autonome Fahrsystem bestimmt, dass ein Kandidatenblockierbereich hochwahrscheinlich durch eine Kamerablockade verursacht wird, kann es ein Alarmsignal an das Fahrzeug übertragen, das den Fahrer des Fahrzeugs über diese Kamerablockade warnt.
1 veranschaulicht ein Blockdiagramm eines autonomen Fahrsystems, das konfiguriert ist, um eine Kamerablockadeerfassung gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung bereitzustellen. In 1 kann ein autonomes Fahrsystem (autonomous driving system; ADS) 140 konfiguriert sein, um einem Fahrzeug 110 ein autonomes Fahrvermögen bereitzustellen. Das Fahrzeug 110 kann eine Beförderungseinrichtung sein, die imstande ist, sich von einem physischen Ort zu einem anderen zu bewegen. Das Fahrzeug 110 kann, unter anderen Vorrichtungen und Komponenten, mit einer Kamera 111 und einem Alarm 113 ausgestattet sein. Die Kamera 111 kann jede(s) elektronische Modul/Vorrichtung sein, die konfiguriert ist, Standbilder und/oder Videos zu erfassen. Der Alarm 113 kann eine elektronische Komponente sein, die in dem Fahrzeug 110 installiert ist, um eine Warnung jedwedem menschlichen/nicht menschlichen Controller bereitzustellen. Der Alarm 113 kann ebenfalls ein Modul in einem Hardware/Software-Monitor sein, um den Status des autonomen Fahrens des Fahrzeugs 110 bereitzustellen. In einigen Ausführungsformen kann das Fahrzeug 110 ebenfalls jede Einrichtung und jedes Gerät sein, die/das sich auf die durch die Kamera 111 erzeugte Bilder 127 für den Betrieb stützt.
In einigen Ausführungsformen kann das ADS 140 konfiguriert sein, um dem Fahrzeug 110 ein autonomes Fahren bereitzustellen. Das ADS 140 kann unter anderen Modulen und Komponenten ein Fahrzeugsteuermodul 141 und ein Blockadeerfassungsmodul 143 umfassen. Das Fahrzeugsteuermodul 141 kann konfiguriert sein, um eine Menge von Steueranweisungen 121 zum Steuern des Betriebs des Fahrzeugs 110 zu erzeugen. Während des autonomen Fahrens des Fahrzeugs 110 kann die Kamera 111 kontinuierlich mehrere Standbilder 127 der Straße und der Umgebung erfassen, die sich vor dem Fahrzeug 110 befinden und/oder die das Fahrzeug umgeben. Die Kamera 111 kann ebenfalls Videos (die Ströme von Bildern 127 enthalten) der vor dem Fahrzeug 110 befindlichen Straße und Umgebung erfassen. Danach kann die Kamera 111 die erfassten Bilder und/oder Videos als einen Strom von kontinuierlichen Bildern 127 an das ADS 140 übertragen (135).
In einigen Ausführungsformen kann, basierend auf den von der Kamera 111 empfangenen (135) Bildern 127 sowie auch jedweder von dem Fahrzeug 110 empfangener (131) Fahrzeugstatusinformation 123, das Fahrzeugsteuermodul 141 die Bilder 127 und die Fahrzeugstatusinformation 123 verarbeiten und eine Menge von Steueranweisungen 121 zum Übertragen (131) an das Fahrzeug 110 erzeugen. Das Fahrzeug 110 kann dann ohne menschliches Eingreifen basierend auf den Steueranweisungen 121 automatisch gefahren werden. Der obige Prozess kann wiederholt werden, um dem Fahrzeug 110 zu ermöglichen, kontinuierlich gefahren werden zu können.
In einigen Ausführungsformen können die von der Kamera 111 empfangenen Bilder 127 Blockaden enthalten oder keine Blockaden enthalten. Beispielsweise können, wenn das Sichtfeld der Kamera 111 teilweise blockiert ist, die erfassten Bilder 127 entsprechende blockierte Bereiche aufweisen, die weniger Information/Einzelheiten als die unblockierten Bereichen enthalten. Ferner können die Muster der Blockadebereiche für einen langen Zeitraum bestehen bleiben, um dadurch alle Bilder 127 zu beeinflussen, die während dieses Zeitraums erzeugt werden. In diesem Fall kann das Blockadeerfassungsmodul 143 die Bilder 127 bewerten, um die Existenz jedweder Blockade zu bestimmen.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul 143 Blockaden in den Bilder 127 basierend auf einem Mustererkennungsansatz erfassen. Im Einzelnen kann das Blockadeerfassungsmodul 143 eine Merkmalsextraktionsoperation und eine Erfassung/Klassifizierung-Operation unter Verwendung lokaler statistischer Merkmale und eines räumlichenzeitlichen Klassifikators durchführen, um eine zuverlässige Blockadeerfassung zu erreichen. Wenn das Blockadeerfassungsmodul 143 Blockaden in den Bilder 127 erfasst, kann es ein Alarmsignal 125 erzeugen, das einen abnormalen Status angibt (z.B. ist die Kamera 111 blockiert und eine Fortsetzung des autonomen Fahrens ist nicht länger sicher). Das Blockadeerfassungsmodul 143 kann dann das erzeugte Alarmsignal 125 an den Alarm 113 zur Warnung vor dem abnormalen Status übertragen (133).
In einigen Ausführungsformen kann das Blockadeerfassungsmodul 143 Blockaden von Bildern erfassen, die von einer einzigen Kamera 111 erzeugt werden. Im Einzelnen kann das Blockadeerfassungsmodul 143 sowohl zeitliche als auch räumliche Beziehungen unter den Bildern 127 berücksichtigen und kann kleine Kamerablockaden basierend auf lokalen Merkmalen erfassen. Als Ergebnis kann das Blockadeerfassungsmodul 143 eine sehr niedrige Falsch-Positive-Rate erreichen und kann unter Verwendung einer unabhängigen parallelen Struktur, die für eine GPU-Implementierung geeignet ist, implementiert werden. Des Weiteren kann das Blockadeerfassungsmodul 143 andere lokale statistische Merkmalsanalysealgorithmen implementieren, wie beispielsweise die Verwendung von Wavelet-Analyse und Bewegungsvektoren usw. Die Funktionalitäten des Blockadeerfassungsmoduls 143 werden ferner nachstehend beschrieben.
In einigen Ausführungsformen können das ADS 140 (und das Fahrzeugsteuermodul 141 und das darin enthaltene Blockadeerfassungsmodul 143) unter Verwendung von Hardwaremodul- oder Softwaresystemen implementiert werden. Beispielsweise kann das Blockadeerfassungsmodul 143 unter Verwendung einer programmierbaren Logikvorrichtung (z.B. eines feldprogrammierbaren Gate-Array oder „FPGA“) implementiert werden, die ein elektronisches Modul oder eine digitale Schaltung sein kann, die nach der Herstellung feldkonfigurierbar sein kann. Alternativ kann das ADS 140 und seine Module basierend auf dem NVIDIA® DriveWorks ® Software Development Kit (SDK) entwickelt werden, das eine Anwendungsprogrammierschnittstelle (Application Programming Interface; API) ist, die für die Entwicklung von autonomen Fahrsystemen bestimmt ist. Das ADS 140 kann ebenfalls innerhalb des Fahrzeugs 110 oder entfernt auf einem Server installiert sein. Wenn entfernt implementiert, kann das ADS 140 ferner ein Kommunikationsmodul umfassen, um entfernte Netzwerkkommunikationen (z.B. drahtlose oder mobile Netzwerkkommunikationen) zwischen dem Fahrzeug 110 und dem ADS 140 bereitzustellen.
In einigen Ausführungsformen kann das ADS 140 basierend auf einer physischen Rechenvorrichtung 160 implementiert sein. Die physische Rechenvorrichtung 160 kann mit verschiedenen „physischen Hardwarekomponenten“, wie beispielsweise, ohne Einschränkung, einem oder mehreren Prozessoren 161, einem Speicher 163 und zusätzlichen elektronischen Schaltungskomponenten ausgerüstet sein (z.B. Speicherung oder Festplatte, Netzwerkschnittstellenkarte (network interface card; NIC) ausgerüstet sein, von denen keine in 1 gezeigt werden). Der Prozessor 161, der eine physische zentrale Verarbeitungseinheit (Central Processing Unit; CPU), eine Graphikverarbeitungseinheit (Graphic Processing Unit; GPU) oder ein digitaler Signalprozessor (DSP) sein kann, kann konfiguriert sein, um Funktionen des ADS 140 zu unterstützen. Der Prozessor 161 kann ebenfalls konfiguriert sein, um den Speicher 163 zu benutzen, um die Bilder 127 zu bewerten. Der Speicher 163 kann Hardwarespeichervorrichtungen mit integrierten Schaltungen zum Speichern von Informationen sein, die in dem ADS 140 verwendet werden. Der Speicher 163 kann ein volatiler Speicher (z.B. ein Direktzugriffsspeicher (dynamic random-access memory; DRAM) oder ein CPU-Cache-Speicher) und ein nicht volatiler Speicher (z.B. eine Festplatte oder ein Flash-Speicher) sein. In einigen Ausführungsformen kann der Speicher 163 ein nichttransitorisches computerlesbares Speichermedium sein, das eine Menge von Anweisungen enthält, die, wenn durch den Prozessor 161 ausgeführt, den Prozessor 61 veranlassen, ein Verfahren einer Kamerablockadeerfassung durchzuführen.
2 veranschaulicht einen Prozess zum Erfassen von Blockaden in Bildern gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. In 2 kann ein Blockadeerfassungsmodul (ähnlich dem Blockadeerfassungsmodul 143 von 1) konfiguriert sein, um eine Folge von Bildern 201 zu empfangen, die durch eine an einem Fahrzeug installierten Kamera erzeugt werden, um einen Blockadeerfassungsprozess basierend auf den Bildern 201 durchzuführen und ein Alarmsignal 203 zu erzeugen, wenn eine ausreichende Menge von Blockaden von den Bildern 201 erfasst wird. Im Einzelnen kann der „Blockadeerfassungsprozess“ mindestens die folgenden Operationen umfassen: Teilen von Bildern in Einheiten 210, Kennzeichnen von unblockierten Einheiten 220, Bilden von Kandidatenblockierbereichen 230, Verfolgen von Kandidatenblockierbereichen 240 und Bewerten von Blockadewerten 250.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul den Blockadeerfassungsprozess an den Bilder 201 einzeln basierend auf der sequentiellen Reihenfolge der Bilder 201 durchführen, die ursprünglich erzeugt wurden. Bei der Verarbeitung eines bestimmten Bildes 201 („aktuellen Bildes“) kann das Blockadeerfassungsmodul ebenfalls jedwede Bilder in den empfangenen Bildern 201 benutzen, die vor dem aktuellen Bild (zusammengefasst „vorangegangene Bilder“) erfasst werden. Mit anderen Worten kann das Blockadeerfassungsmodul das aktuelle Bild zur räumlichen Analyse und die vorangegangenen Bilder zur zeitlichen Analyse verwenden. Nach Verarbeitung des aktuellen Bildes kann das Blockadeerfassungsmodul zu dem nächsten Bild weitergehen, das dem aktuellen Bild folgt, das nächste Bild als das „neue aktuelle Bild“ behandeln, das dann aktuelle Bild als eines der vorangegangenen Bilder des neuen aktuellen Bildes behandeln und den Blockadeerfassungsprozess an dem neuen aktuellen Bild wiederholen.
Erfindungsgemäß kann bei dem Blockadeerfassungsprozess das Blockadeerfassungsmodul zuerst die „Bilder-in-Einheiten-Teilen“-Operation 210 durchführen, um ein aktuelles Bild 201 in eine Menge von nicht überlappten rechteckigen Verarbeitungseinheiten (PUs) 211 zu teilen. Jede Verarbeitungseinheit („PU“) kann eine feste Anzahl von zweidimensionalen Pixeln enthalten (z.B. M x N Pixel, wobei M eine Anzahl von horizontalen Pixeln und N eine Anzahl von vertikalen Pixeln bezeichnet). Nachdem das aktuelle Bild 201 in eine Menge von PUs 211 geteilt ist, kann jede der PUs 211 einem bestimmten Bereich auf dem aktuellen Bild 201 zugeordnet werden (z.B. Bilddaten enthalten von) und kann einem bestimmten Abschnitt des Sichtfelds der Kamera entsprechen. Mit anderen Worten kann jede PU 211 einer eindeutigen zweidimensionalen Koordinate (X, Y) zugewiesen werden, die ihren Ort mit Bezug auf das aktuelle Bild 201 darstellen. Beispielsweise kann ein Bild mit 1024x768 Pixel in eine Anzahl von 1.024 PUs geteilt werden, von denen jede eine Größe von 32x24 Pixeln aufweist, und eine PU mit einer Koordinate von (2, 3) kann an der dritten Spalte und vierten Reihe unter den zweidimensionalen PUs 211 lokalisiert sein. Alternativ kann jede PU eine quadratische Form mit einer Größe von N x N Pixeln aufweisen.
In einigen Ausführungsformen kann, nachdem das aktuelle Bild 201 in PUs 211 geteilt ist, das Blockadeerfassungsmodul die „Kennzeichnen-unblockierter-Einheiten“-Operation 220 an den PUs 211 durchführen, um die unblockierten PUs von allen der PUs 211 zu erfassen. Eine „blockierte“ PU kann sich auf eine PU mit Bilddaten beziehen, die durch eine Kamerablockade verursacht wurden. Im Vergleich kann sich eine „unblockierte“ PU auf eine PU beziehen, die Bilddaten enthält, die NICHT durch irgendeine Kamerablockade bedingt ist. Im Einzelnen kann das Blockadeerfassungsmodul unblockierte PUs durch Messen der Menge von graphischer Merkmalsinformation, die in jeder der PUs 211 enthalten ist, und durch Sammeln lokaler statistischer Merkmalsinformation unter den PUs 211 kennzeichnen. Danach können die blockierten PUs von diesen unblockierten PUs unter allen PUs 211 hergeleitet werden. Alternativ kann das Blockadeerfassungsmodul die blockierten PUs zuerst kennzeichnen und die unblockierten PUs von diesen blockierten PUs unter allen PUs 211 herleiten.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul unblockierte PUs in den PUs 211 durch Durchführen, unter anderen Operationen, einer „lokale Unschärfemessung“-Operation“ 221, einer „lokale Hintergrundmodellierung“-Operation 223 und/oder einer „Straßenoberflächenkennzeichnung“-Operation 225 kennzeichnen. Bei der lokale Unschärfemessoperation 221 kann das Blockadeerfassungsmodul die blockierten PUs durch Durchführen einer lokalen Unschärfemessung (durch Erzeugen eines Merkmalswerts) an jeder der PUs 211 kennzeichnen. Die lokale Unschärfemessung oder der graphische „Merkmalswert“ kann verwendet werden, um die Menge von graphischen Einzelheiten in einer PU zu bewerten. Ferner kann das Blockadeerfassungsmodul „Histogramminformation“ von den Merkmalswerten von allen PUs extrahieren und eine dynamische „Merkmalswertschwelle“ festlegen, die auf der extrahierten Histogramminformation basiert.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul kennzeichnen, ob die bestimmte PU eine blockierte PU ist, durch Vergleichen ihres Merkmalswerts mit der Merkmalswertschwelle. Wenn ein Merkmalswert der bestimmten PU höher als die Merkmalswertschwelle ist, kann er speziell angeben, dass die bestimmte PU eine hohe Menge von graphischen Einzelheiten enthält und sie wahrscheinlicher eine unblockierte PU ist. Wenn der Merkmalswert der bestimmten PU im Vergleich niedriger als die Merkmalswertschwelle ist, kann es bedeuten, dass die bestimmte PU einen unscharfen Vordergrundbereich enthalten kann, der angibt, dass die bestimmte PU eine blockierte PU ist.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul den Merkmalswert einer bestimmten PU durch Berechnen eines Entropiewerts der bestimmten PU bestimmen. Beispielsweise kann das Blockadeerfassungsmodul die folgende Shannon-Entropieberechnung benutzen, um einen Pixelintensitätswert (d.h., Merkmalswert) basierend auf allen Pixeln zu erzeugen, die in der bestimmten PU enthalten sind. $H (x) = \sum_{i = 1}^{n} P (x_{i}) I (x_{i}) = - \sum_{i = 1}^{n} P (x_{i}) {log}_{2} P (x_{i})$
wobei n die Anzahl von Histogrammfächern und P die Wahrscheinlichkeitsmassenfunktion ist, die geschätzt wird, indem die Histogrammwerte geteilt durch die Gesamtzahl von Pixeln in der bestimmten PU genommen werden. Ein niedriger Merkmalswert kann weniger Menge von graphischer Information angeben und einen höheren Grad von Unschärfe in der bestimmten PU angeben.
In einigen Ausführungsformen kann nach Bestimmen der Merkmalswerte für alle PUs 211 das Blockadeerfassungsmodul eine dynamische „Merkmalswertschwelle“ festlegen, die auf das bestimmte Bild maßgeschneidert ist. Mit anderen Worten können die PUs 211 dynamisch verwendet werden, um eine entsprechende Histogrammschwelle zum Bewerten gegen die Merkmalswerte der PUs 211 zu erzeugen.
3 veranschaulicht einen Prozess, um eine Merkmalswertschwelle zum Bewerten von Verarbeitungseinheiten gemäß einer oder mehrerer Ausführungsformen der vorliegenden Offenbarung zu bestimmen. In 3 kann das Blockadeerfassungsmodul ein Merkmalswertbild 310 basierend auf den PUs erzeugen, die von einem ursprünglichen Bild geteilt wurden. Im Einzelnen kann jedes Pixel in dem Merkmalswertbild 310 einen statistischen Merkmalswert darstellen, der basierend auf einer bestimmten PU berechnet wird, und der Ort eines derartigen Pixels im Merkmalswertbild 310 kann dem Ort der bestimmten PU im ursprünglichen Bild entsprechen. Um das Merkmalswertbild 310 zu erzeugen, kann das Blockadeerfassungsmodul jeden Merkmalswert in einen der Pixelwerte innerhalb eines skalierten Pixelwertebereichs (z.B. von 0 bis 255) umwandeln. Das erzeugte Merkmalswertbild 310 kann, obwohl nicht das gleiche wie das ursprüngliche Bild, nichtsdestoweniger eine Darstellung der Merkmalswertvariationen im ursprünglichen Bild bereitstellen.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul (315) ein Merkmalswert-Histogramm 320 basierend auf dem Merkmalswertbild 310 erzeugen. Das Merkmalswert-Histogramm 320 kann die Verteilung von Merkmalswerten in dem Merkmalswertbild 310 zeigen und kann als eine graphische Darstellung der tonalen Verteilung in dem Merkmalswertbild 310 gesehen werden. Wenn es zwei dominante Moden gibt (z.B. zwei Spitzen 321), die das Merkmalswert-Histogramm 320 kennzeichnen, kann das Blockadeerfassungsmodul das Merkmalswert-Histogramm 320 als ein „bimodales Histogramm“ erachten und das Tal zwischen den beiden Spitzen 321 kann als die Merkmalswertschwelle 323 zum Segmentieren der PUs ausgewählt werden. Somit kann das obige 2-Modus-Verfahren verwendet werden, um eine Merkmalswertschwelle 323 adaptiv auszuwählen.
In einigen Ausführungsformen kann die berechnete Merkmalswertschwelle 323 basierend auf Vorkenntnis der Merkmalswerte mit einem Bereich fest verbunden werden, um die Wirkung von atypischen Fällen zu begrenzen. Wenn das ursprüngliche Bild eine hohe Menge von Einzelheiten enthält, die in unterschiedlichen Bereichen gleichmäßig verteilt sind, kann es scheinen, dass das erzeugte Merkmalswert-Histogramm 320 eine einzige Spitze anstatt zwei Spitzen aufweist. In diesem Fall kann es keinen vernünftigen Wert geben, der eine Merkmalswertschwelle darstellt, die verwendet werden kann, um blockierte und unblockierte PUs zu unterscheiden. Somit kann, wenn der obige atypische Fall erfasst wird, das Blockadeerfassungsmodell eine vordefinierte Schwelle als die Merkmalswertschwelle 323 verwenden, anstatt eine dynamische Merkmalswertschwelle 323 zu erzeugen, die entweder zu hoch oder außerhalb eines vernünftigen Bereichs sein kann.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul die Merkmalswertschwelle 323 auf das Merkmalswertbild 310 anwenden (325), was zu einen Schwellen-angewandten Merkmalswertbild 330 führt. In dem Schwellen-angewandten Merkmalswertbild 330 können jedwede Pixel mit entsprechende Merkmalswerten unterhalb der Merkmalswertschwelle 323 als ein weißes Pixel gezeigt werden und jedwede Pixel mit entsprechenden Merkmalswerten oberhalb der Merkmalswertschwelle 323 können als ein schwarzes Pixel gezeigt werden. Somit kann das resultierende Schwellenangewandte Merkmalswertbild 330 ein Gitter zeigen, das in einen Vordergrund mit niedrigen Entropiemerkmalen und einen Hintergrund mit hohen Entropieeinzelheiten geteilt wird. Außerdem kann, nach dem dynamischen Erzeugen der Merkmalswertschwelle 323, das Blockadeerfassungsmodul den Merkmalswert einer bestimmten PU mit der Merkmalswertschwelle 323 vergleichen. Und wenn der Merkmalswert höher als die Merkmalswertschwelle 323 ist, kann die bestimmte PU als eine unblockierte PU gelten.
Zurückverweis auf 2. Nach Kennzeichnen der unblockierten PUs von allen PUs 211, kann das Blockadeerfassungsmodul ferner eine Blockadeeinheitskarte 203 einstellen, die verwendet wird, um die räumliche Information in zukünftige Überlegungen zu übernehmen. Im Einzelnen kann die „Blockadeeinheitskarte“ eine Datenspeicherung sein, welche die gleiche Anzahl von Einträgen wie die Anzahl von PUs aufweist, die von jedem Bild 201 extrahiert wurden. Jeder „Eintrag“ in der Blockadeeinheitskarte 203 kann einer bestimmten Koordinate in der PU entsprechen. Mit anderen Worten können für unterschiedliche PUs, die von mehreren Bildern 201 geteilt werden, jedoch die gleiche entsprechende Koordinate aufweisen, diese PUs dem gleichen Eintrag in der Blockadeeinheitskarte 203 zugeordnet werden. Ferner kann jeder Eintrag verwendet werden, um einen „Blockadezählerwert“ zu speichern, der einer derartigen Koordinate zugeordnet ist. Somit kann das Blockadeerfassungsmodul sowohl zeitliche Korrelationen als auch räumlichen Beziehungen unter den verschiedenen lokalen Bereichen in unterschiedlichen Bildern berücksichtigen und der Blockadezählerwert kann als eine Funktion der Blockaden im aktuellen Bild und ebenfalls der in den vorangegangenen Bilder enthaltenen historischen Information berechnet werden.
4 veranschaulicht einen Prozess, um eine Blockadeeinheitskarte während der Verarbeitung von mehreren Bildern aufrechtzuerhalten, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. In 4 kann ein Blockadeerfassungsmodul Bilder 410, 420 und 430 zum Kennzeichnen unblockierter PUs sequentiell verarbeiten. Die Bilder 410, 420 und 430 können zu Zeiten t1, t2 und t3 erzeugt und in entsprechende PUs geteilt werden. Nachdem jedes der Bilder 410, 420 und 430 verarbeitet ist, kann das Blockadeerfassungsmodul die Blockadeeinheitskarte einmal basierend auf den unblockierten PUs einstellen, die darin gekennzeichnet sind. Somit kann die Blockadeeinheitskarte 415 ein erstes Resultat zeigen, nachdem das Blockadeerfassungsmodul die PUs für das Bild 410 verarbeitete, die Blockadeeinheitskarte 425 kann ein zweites Resultat nach der Verarbeitung der PUs für das Bild 420 zeigen, und die Blockadeeinheitskarte 435 kann ein drittes Resultat nach der Verarbeitung der PUs für das Bild 430 zeigen. Zur Verdeutlichung werden die Blockadeeinheitskarten 415, 425 und 435 verwendet, um die unterschiedlichen Zustände einer einzigen Blockadeeinheitskarte durch die Zeiten t1, t2 und t3 zu zeigen.
Da jeder Eintrag in der Blockadeeinheitskarte in einigen Ausführungsformen einer bestimmten Koordinate zugeordnet ist, die einen bestimmten Bereich auf einem Bild angibt, dann können alle PUs, die dieser bestimmten Koordinate zugeordnet sind, ebenfalls diesem Eintrag zugeordnet werden. In diesem Fall kann das Blockadeerfassungsmodul einen Blockadezählerwert des Eintrags benutzen, um anzugeben, ob graphische Einzelheiten in diesem Bereich des Bildes während eines Zeitraums vorhanden waren, der über mehrere Bilder anhielt. Im Einzelnen kann, wenn eine PU, die einem Eintrag in der Blockadeeinheitskarte zugeordnet ist, als unblockiert gekennzeichnet wird, das Blockadeerfassungsmodul diesem Blockadezählerwert des Eintrags einen hohen Wert zuweisen. Wenn eine andere PU, die dem gleichen Eintrag in der Blockadeeinheitskarte zugeordnet ist, nicht als unblockiert gekennzeichnet wird, kann das Blockadeerfassungsmodul den Blockadezählerwert des Eintrags verringern. Die Idee ist, dass die Kamera eines Fahrzeugs unterschiedliche Einzelheiten durch unterschiedliche Zeiten erfassen kann, und der Zweck der Blockadeeinheitskarte ist, die zu unterschiedlichen Zeiten erfassten Bilddaten zu mischen, um einen zeitlichen Überblick der Bilddaten darzustellen.
In den Beispielen von 4 kann jedes Bild in 6x6 PUs geteilt werden und jede Blockadeeinheitskarte kann 6x6 Einträge entsprechend der Anzahl von 6x6 PUs in den Bildern enthalten. Nach der Verarbeitung der PUs für ein Bild 410 kann, unter der Annahme, dass das Bild 410 das erste Bild ist, das Blockadeerfassungsmodul die Blockadezählerwerte in der Blockadeeinheitskarte 415 durch Zuweisen eines hohen Anfangswerts von „3“ für alle PUs initialisieren, die als unblockiert gekennzeichnet werden, während die verbleibenden Blockadezählerwerte in der Blockadeeinheitskarte 425 mit einem Wert von „0“ initialisiert werden. Beispielsweise kann ein Eintrag 411, der einer unblockierten PU in dem Bild 410 zugeordnet werden kann, mit einem Blockadezählerwert von „3“ initialisiert werden, und ein Eintrag 413, der einer PU in dem Bild 410 zugeordnet werden kann, die nicht als unblockiert gekennzeichnet ist, kann mit einem Blockadezählerwert von „0“ initialisiert werden. Der Einfachheit halber werden die Blockadezählerwerte mit einem Wert von „0“ in den Blockadeeinheitskarten von 4 nicht angezeigt.
In einigen Ausführungsformen kann nach der Verarbeitung der PUs für das Bild 420 das Blockadeerfassungsmodul die Blockadeeinheitskarte 425 durch Zuweisen der Blockadezählerwerte auf einen Anfangswert von „3“ für Einträge einstellen, die jedweden unblockierten PUs in dem Bild 420 zugeordnet sind, und die Nicht-Null-Blockadezählerwerte für Einträge verringern, die NICHT jedweden unblockierten PUs in dem Bild 420 zugeordnet sind. Beispielsweise kann einem Eintrag 423, der einen Blockadezählerwert von „0“ in der Blockadeeinheitskarte 415 aufweist, ein Blockadezählerwert von „3“ zugewiesen werden, wenn seine zugeordnete PU in dem Bild 420 als eine unblockierte PU gekennzeichnet wird. Ein Eintrag 421 von „3“ für einen anfänglichen Blockadezählerwert (wie durch den Eintrag 411 gezeigt) kann um 1 auf „2“ in der Blockadeeinheitskarte 425 verringert werden, wenn seine zugeordnete PU in dem Bild 420 NICHT als eine unblockierte PU gekennzeichnet wird.
Ebenso kann nach der Verarbeitung der PUs für das Bild 430 das Blockadeerfassungsmodul die Blockadeeinheitskarte 435 erneut durch Zuweisen der Blockadezählerwerte auf einen Anfangswert von „3“ für Einträge einstellen, die jedweden unblockierten PUs in dem Bild 430 zugeordnet sind, und die Nicht-Null-Blockadezählerwerte für Einträge verringern, die NICHT jedweden unblockierten PUs in dem Bild 430 zugeordnet sind. Beispielsweise können die Blockadezählerwerte für Einträge 431 und 433 um 1 in der Blockadeeinheitskarte 435 verringert werden, wenn ihre zugeordneten PUs in dem Bild 430 nicht als unblockierte PUs gekennzeichnet sind. Somit kann die Blockadeeinheitskarte 435 das Resultat zeigen, nachdem die Ergebnisse der Verarbeitung der PUs von drei Bildern 410, 420 und 430 miteinander gemischt werden. In diesem Fall können die Einträge, die entsprechende Blockadezählerwerte von „0“ aufweisen, anschließend als Kandidatenblockierbereiche behandelt werden.
Zurückverweis auf 2. In einigen Ausführungsformen kann das Blockadeerfassungsmodul die unblockierten PUs durch Durchführen einer „lokalen Hintergrundmodellierung“-Operation 223 an diesen PUs 211 kennzeichnen, die basierend auf vorangegangenen Bildern 201 erzeugt wurden. Im Einzelnen wird die lokalen Hintergrundmodellierung oder Hintergrundsubtraktion verwendet, um sich bewegende Objekte/Vordergrund vom statischen Hintergrund in einer Bildszene zu segmentieren. Das Blockadeerfassungsmodul kann die lokale Hintergrundmodellierung-Operation 223 benutzen, um blockierte (statische und unscharfe) PUs auf der lokalen statistischen Merkmalsebene zu erhalten. Ferner kann die lokale Hintergrundmodellierung-Operation 223 anstatt oder zusätzlich zu der lokalen Unschärfemessoperation 221 durchgeführt werden.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul einen Codebuch-Hintergrundmodellierungsansatz durch Konfigurieren von drei Codebuch-Boxen/Einträgen benutzen, welche die Merkmalswerte der PUs 211 von Bildern abdecken, die über einen bestimmten Zeitraum (z.B. 10 Sekunden) erfasst wurden. Wie oben beschrieben, können die Merkmalswerte Entropiewerte sein, die basierend auf den PUs 211 berechnet werden. Für jede(n) Codebuch-Eintrag/Box, kann das Blockadeerfassungsmodul die Statistik (z.B. Min, Max oder Mittel) und Varianzen der Merkmalswerte, letzte Aktualisierungszeit, Anzahl von Malen, welche die Eingabe in diese(n) Eintrag/Box fällt, usw. verfolgen.
5 veranschaulicht die Bildung eines Codebuchs gemäß bestimmter Ausführungsformen der vorliegenden Offenbarung. In 5 kann das Blockadeerfassungsmodul ein Codebuch 510 mit 3 Codebuch-Boxen/Einträgen 511, 513 und 515 aufbauen. Die Codebuch-Box 511 kann verwendet werden, um maximale Merkmalswerte aufzuzeichnen, die von den PUs gesammelt wurden, das Codebuch-Box 513 kann mittlere/durchschnittliche Merkmalswerte der PUs umfassen, und das Codebuch-Box 515 kann minimale Merkmalswerte der PUs halten. Zum Kennzeichnen blockierter/unscharfer PUs kann das Blockadeerfassungsmodul die minimale Codebuch-Box 515 des Codebuchs 510 mit der Einschränkung verwenden, dass es unlängst aktualisiert wurde, um ein „Hintergrundmodell“ zu erhalten. Mit anderen Worten kann das „Hintergrundmodell“ basierend auf PUs mit den niedrigsten Merkmalswerten aufgebaut werden. Ebenso kann die Wellenform 520 für die blockierten PUs, die basierend auf „Merkmalswerten v. Zeit“ hergeleitet werden kann, keine positiven Spitzen zeigen, sondern kann stattdessen einige negative Täler enthalten.
Zurückverweis auf 2. In einigen Ausführungsformen kann das Blockadeerfassungsmodul unblockierte PUs in den PUs 211 durch Bewerten der Unterschiede zwischen den Merkmalswerten der PUs 211 mit dem durch die lokale Hintergrundmodellierung-Operation 223 erzeugten Hintergrundmodell kennzeichnen. Wenn der Merkmalswert einer bestimmten PU innerhalb eines durch eine minimale Codebuch-Box definierten Bereichs ist, dann kann die bestimmte PU als eine blockierte PU gekennzeichnet werden. Wenn die Unterschiede zwischen den Merkmalswerten und dem Hintergrundmodell alternativ größer als eine vordefinierte Schwelle sind (eine derartige Schwelle kann durch die Konfiguration des Codebuchs definiert werden), dann können jene PUs mit Merkmalswerten höher als die Schwelle als unblockierte PUs betrachtet werden. Danach kann das Blockadeerfassungsmodul die Blockadeeinheitskarte 203 (durch erhöhen oder verringern seiner Blockadezählerwerte) basierend auf den gekennzeichneten unblockierten PUs einstellen, wie oben veranschaulicht.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul ferner die unblockierten PUs durch Durchführen einer „Straßenoberflächenkennzeichnung“-Operation 225 an diesen PUs 211 kennzeichnen. Im Einzelnen kann das Blockadeerfassungsmodul das durch die lokale Hintergrundmodellierungsoperation 223 erzeugte Hintergrundmodell benutzen, um eine Straßenoberfläche mit mehreren verfügbaren Merkmalen zu kennzeichnen. In einigen Fällen fehlen der Straßenoberfläche im Allgemeinen Einzelheiten und die Werte der statistischen Merkmale können relativ niedrig und relativ durchgängig sein, was Falsch-Positive bei der Blockadekennzeichnung verursachen kann.
6 zeigt ein beispielhaftes Bild mit Blockade und beispielhaften Wellenformen, die basierend auf dem Bild erzeugt wurden, gemäß bestimmter Ausführungsformen der vorliegenden Offenbarung. In 6 kann das Bild 610 eine Blockade 613 aufweisen, die teilweise seinen rechtsseitigen Abschnitt blockiert. Das Bild 610 kann ebenfalls eine Straßenoberfläche 611 zeigen. Zu einem bestimmten Zeitpunkt können die unscharfen Bilddaten, welche die Straßenoberfläche 611 betreffen, denen der Blockade 613 ähnlich sein. Basierend auf dem Hintergrundmodell kann das Blockadeerfassungsmodul Wellenformen 620 durch Bewerten der Merkmalswerte versus Zeit der PUs erzeugen. Die Wellenformen 620 können zwei Wellenformen 621 und 623 umfassen, wobei die Wellenform 621 der Straßenoberfläche 611 des Bildes 610 zugeordnet wird und die Wellenform 623 der Blockade 613 des Bildes 610 zugeordnet wird.
In einigen Ausführungsformen kann die StraßenoberflächenWellenform 621 eine Menge von positiven Spitzen und Tälern zeigen, die durch Straßenoberflächenmerkmale, wie beispielsweise Spurmarkierungen und Verkehrsanweisungen, verursacht werden können. Im Vergleich kann die Wellenform 623 des blockierten Bereichs relativ flach ohne bemerkbaren Spitzen oder Tälern sein. Somit kann, wenn eine bestimmte Menge von PUs niedrige Merkmalswerte zeigt, das Blockadeerfassungsmodul eine Wellenform basierend auf den PUs erzeugen und die Wellenform für Spitzen und Tälern analysieren. Wenn die Wellenform eine Charakteristik aufweist, die der Wellenform 621 ähnlich ist, dann kann das Blockadeerfassungsmodul die PUs (jenen, die zuvor als blockierte PUs gekennzeichnet wurden) als unblockierte PUs betrachten. Andernfalls kann, wenn die Wellenform der Wellenform 623 ähnlicher ist, das Blockadeerfassungsmodul die PUs als blockierte PUs behandeln.
In einigen Ausführungsformen sind, wenn eine bestimmte PU trotz niedrigem Merkmalswert als unblockiert gekennzeichnet wird, die Merkmale dieser PU mit denen benachbarten PUs zu vergleichen. Mit anderen Worten sollten, wenn es eine PU gibt, die als eine unblockierter Straßenoberfläche gekennzeichnet wird, die unblockierten Bereiche von dieser einen PU zu anderen PUs wachsen/erweitern, die ähnliche Merkmalswerte zeigen, was die Kennzeichnung der gesamten Straßenoberfläche in dem Bild ermöglicht. Im Einzelnen kann der Merkmalswert einer unblockierten Straßenoberflächen-PU als ein „Referenzwert“ gelten und jedwede benachbarten/naheliegenden PUs (einschließlich jene, die zuvor als blockierte PUs gekennzeichnet wurden) mit entsprechenden Merkmalswerten, die innerhalb eines vorbestimmten Bereichs des Referenzwerts sind, können als von der Straßenoberfläche und ebenso unblockiert gekennzeichnet/kategorisiert werden. Ein derartiger Ansatz kann die falsch-positive Blockadeerfassung absenken, die durch Straßenoberflächen verursacht wird. Es sei bemerkt, dass mehrere Merkmale notwendig sein können, um ähnliche Muster von Straßenoberflächen zuverlässig zu kennzeichnen.
Zurückverweis auf 2. In einigen Ausführungsformen kann das Blockadeerfassungsmodul die Operationen 221, 223 und 225 selektiv durchführen, um unblockierte PUs zu kennzeichnen. Im Einzelnen kann das Blockadeerfassungsmodul eine (oder mehrere) der drei Operationen 221, 223 und 225 in verschiedener Folge oder Reihenfolge durchführen. Beispielsweise kann das Blockadeerfassungsmodul die Operation 221 benutzen, um eine Menge von unblockierten PUs von allen PUs 211 zu kennzeichnen, die Operation 223 benutzen und dann die Operation 225 benutzen, um einige der PUs, die zuvor in der Operation 221 als blockiert gekennzeichnet wurden, in unblockierte PUs zu ändern. Alternativ kann das Blockadeerfassungsmodul zuerst die Operation 223 und dann anschließend 225 ohne Durchführen der Operation 221 durchführen. Mit anderen Worten kann das Blockadeerfassungsmodul die Operationen 221, 223 und 225 benutzen, um unblockierte PUs zu kennzeichnen, blockierte PUs zu kennzeichnen, zuvor gekennzeichnete unblockierte PUs in blockierte PUs zu ändern oder zuvor gekennzeichnete blockierte PUs in unblockierte PUs zu ändern.
In einigen Ausführungsformen kann, nachdem die unblockierten PUs in einem bestimmten Bild 211 gekennzeichnet sind, das Blockadeerfassungsmodul die „Bilden-blockierter-Kandidatenbereiche“-Operation 230 basierend auf den unblockierten PUs und den hergeleiteten blockierten PUs durchführen. Im Einzelnen kann das Blockadeerfassungsmodul die Einträge in der Blockadeeinheitskarte 203 extrahieren, die Blockadezählerwerte gleich „0“ aufweisen, und jene PUs, die diesen Einträgen zugeordnet sind, in Kandidatenblockierbereichen anhäufen. Mit anderen Worten kann ein „Kandidatenblockierbereich“ eine Menge von PUs umfassen, die in der Nähe in den PUs 211 sind und als blockiert basierend auf der räumlichen und zeitlichen Verarbeitung gelten, wie oben beschrieben. Mit anderen Worten kann das Blockadeerfassungsmodul bestimmen, dass die in einem Kandidatenblockierbereich enthaltenen Bilddaten durch Blockaden im Sichtfeld der Kamera verursacht werden und daher ein Kandidat zur weiteren Blockadeerfassung sein kann.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul die als blockiert erachteten PUs in Kandidatenblockierbereiche durch Durchführen einer Markierung-verbundener-Komponenten-Operation (connected component operation; CC-Operation) basierend auf der physischen Nähe und Unschärfe dieser PUs anhäufen. Das Blockadeerfassungsmodul kann diesen Ansatz für das Wachsen/Erweitern der unblockierten Straßenoberflächen-Bereiche benutzen, wie oben beschrieben.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul eine „Verfolgen-Kandidatenblockierbereiche“-Operation 240 basierend auf den in Operation 230 gekennzeichneten Kandidatenblockierbereiche durchführen, um Bereichsassoziationen zu kennzeichnen, die unter den Kandidatenblockierbereichen existieren. Das Blockadeerfassungsmodul kann, unter anderen Operationen, eine Bereichszuordnung-Operation 241 und eine Bereichszuordnungsaktualisierung-Operation 243 durchführen, um die Kandidatenblockierbereiche die ganze Zeit hindurch zu verfolgen.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul eine Blockadebereichskarte 245 unterhalten und benutzen, die mehrere Bereichsverfolger enthält, von denen jeder einen oder mehrere Kandidatenblockierbereiche verfolgt, die von den Bildern gekennzeichnet werden. Jeder „Bereichsverfolger“ kann verwendet werden, um eine Menge von Kandidatenblockierbereichen zu verfolgen, die von mehreren Bildern gekennzeichnet werden und Bereichsassoziationen basierend auf, unter anderen Faktoren, räumlicher Nähe, Größe und/oder Zeit aufweisen. Eine „Bereichsassoziation“ unter mehreren Kandidatenblockierbereichen kann sich auf eine Beziehung in Zeit, Größe und räumlicher Nähe unter diesen Kandidatenblockierbereichen beziehen, wie sie in den mehreren Bildern dargestellt werden. Mit anderen Worten kann, wenn mehrere Kandidatenblockierbereiche, die von ihren jeweiligen Bildern gekennzeichnet werden, betrachtet werden, eine Bereichsassoziation aufzuweisen, kann das Blockadeerfassungsmodul diese Kandidatenblockierbereiche behandeln, als durch die gleiche Blockade im Sichtfeld der Kamera verursacht worden zu sein, und einen einzigen Bereichsverfolger benutzen, um diese Kandidatenblockierbereiche zu verfolgen.
Ferner kann jeder Bereichsverfolger ebenfalls einen „Blockadewert“ enthalten, der eine Vertrauensauswertung (oder eine Wahrscheinlichkeit) der verfolgten Menge von Kandidatenblockierbereichen angibt, die blockiert werden. Mit anderen Worten kann der Blockadewert als das „Alter“ der Kandidatenblockierbereiche dienen, und ein hoher Blockadewert kann angeben, dass es wahrscheinlicher ist, dass die verfolgte Menge von Kandidatenblockierbereichen für eine lange Zeit blockiert wird, und daher lästig sind, während ein niedriger Blockadewert zeigen kann, dass die verfolgte Menge von Kandidatenblockierbereichen für einen kurzen Zeitraum unblockiert oder blockiert sein kann und noch nicht alarmierend sein kann.
In einigen Ausführungsformen kann jeder Bereichsverfolger ferner zusätzliche Kandidatenblockierbereichsparameter enthalten, wie beispielsweise Bereich, Ort und Lebensdauerfaktor. Der Parameter „Bereich“ kann sich auf eine Anzahl von verbundenen blockierten PUs, d.h. die Größe der blockierten Bereiche, beziehen. Der Parameter „Ort“ wird verwendet, um die räumliche Nähe der Kandidatenblockierbereiche zu speichern, die auf dem Bild lokalisiert sein können, und kann für bestimmten Anwendungsszenariobetrachtungen nützlich sein. Beispielsweise kann der Parameter Ort die Kandidatenblockierbereiche basierend auf Kamerakalibrierungsinformation oben auf dem Bild angeben, das weniger relevante Information (z.B. Himmelsinformation) enthalten kann. Der Parameter „Lebensdauerfaktor“ kann die Dauer der Kandidatenblockierbereiche angeben, die in mehreren Bildern vorhanden sind.
In einigen Ausführungsformen kann während der Bereichsassoziation-Operation 241 das Blockadeerfassungsmodul jeden der bei Operation 230 gekennzeichneten aktuellen Kandidatenblockierbereiche gegen die existierenden Kandidatenblockierbereiche bewerten, die zuvor basierend auf vorangegangenen Bildern gekennzeichnet wurden und aktuell in der Blockadebereichskarte 245 verfolgt werden. Wenn ein existierender Kandidatenblockierbereich bestimmt wird, in räumlicher Nähe, Größe und Zeit mit Bezug auf den aktuellen Kandidatenblockierbereich ähnlich zu sein, kann das Blockadeerfassungsmodul eine Bereichsassoziation zwischen dem existierenden Kandidatenblockierbereich und den aktuellen Kandidatenblockierbereichen kennzeichnen. In diesem Fall kann das Blockadeerfassungsmodul den Bereichsverfolger in der Blockadebereichskarte 245, die dem existierenden Kandidatenblockierbereich entspricht, zum Verfolgen des aktuellen Kandidatenblockierbereichs verwenden. Alternativ kann, wenn das Blockadeerfassungsmodul nicht jedweden existierenden Kandidatenblockierbereich zur Bereichsassoziation mit dem aktuellen Kandidatenblockierbereich kennzeichnen kann, es einen neuen Bereichsverfolger in der Blockadebereichskarte 245 erzeugen, um eine neue Verfolgung des aktuellen Kandidatenblockierbereichs zu initialisieren.
In einigen Ausführungsformen kann während der „Bereichszuordnungsaktualisierung“-Operation 243 das Blockadeerfassungsmodul die Blockadewerte einstellen, die dem Bereichsverfolger in der Blockadebereichskarte 245 zugeordnet sind. Im Einzelnen kann es, wenn das Blockadeerfassungsmodul eine Bereichsassoziation in der Operation 241 kennzeichnet, den Blockadewert inkrementieren, der in dem entsprechenden Bereichsverfolger enthalten ist, und die Blockadewerte für jedwede andere Bereichsverfolger in der Blockadebereichskarte 245 absenken, die keine Bereichsassoziation mit jedweden aktuellen Kandidatenblockadebereichen aufweisen. In einigen Ausführungsformen kann das Blockadeerfassungsmodul die Blockadewerte linear inkrementieren und die Blockadewerte nichtlinear (oder exponentiell) verringern.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul die „Bewertung von Blockadenwerten“ 250 periodisch durchführen, um die in der Blockadebereichskarte 245 enthaltenen Blockadewerte zu beurteilen. Beim Erfassen irgendeines Blockadewerts, der oberhalb einer vorbestimmten Verfolgerschwelle ist, kann das Blockadeerfassungsmodul ein Alarmsignal 203 für das Fahrzeug erzeugen, um eine Warnung und andere Fehlerhandhabungsmechanismen auszulösen. Alternativ kann das Blockadeerfassungsmodul das Alarmsignal 203 erzeugen, wenn mehr als eine feste Anzahl von Blockadewerten in der Blockadebereichskarte 245 oberhalb der vorbestimmten Verfolgerschwelle ist.
7 zeigt ein Ablaufdiagramm, das einen Prozess zum Erfassen von Blockaden in Bildern veranschaulicht, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. Die Prozesse 701 können verschiedene Funktionsblöcke oder Aktionen darlegen, die als Verarbeitungsschritte, Funktionsoperationen, Ereignisse und/oder Handlungen beschrieben werden können, die durch Hardware, Software und/oder Firmware durchgeführt werden können. Fachleute werden angesichts der vorliegenden Offenbarung erkennen, dass zahlreiche Alternativen zu den in 7 gezeigten Funktionsblöcken in verschiedenen Implementierungen praktiziert werden können.
Ein Fachmann wird erkennen, dass für diese und andere hier offenbarte Prozesse und Verfahren die in den Prozessen und Verfahren durchgeführten Funktionen in unterschiedlicher Reihenfolge implementiert werden können. Des Weiteren werden die umrissenen Schritte und Operationen lediglich als Beispiele bereitgestellt und einige der Schritte und Operationen können optional sein, in weniger Schritten und Operationen kombiniert werden, oder in zusätzlichen Schritten und Operationen expandiert werden, ohne vom Wesen der offenbarten Ausführungsformen abzulenken. Außerdem können ein(e) oder mehrere der umrissenen Schritte und Operationen parallel durchgeführt werden.
Bei Block 710 kann ein Blockadeerfassungsmodul konfiguriert sein, um mehrere Bilder zu empfangen, die von einer an einem Fahrzeug installierten Kamera erfasst wurden. Das Blockadeerfassungsmodul kann konfiguriert sein, um einen oder mehrere Kandidatenblockierbereiche in den mehreren Bildern basierend auf den folgenden Operationen zu kennzeichnen. Jeder der Kandidatenblockierbereiche kann Bilddaten enthalten, die durch Blockaden im Sichtfeld der Kamera verursacht wurden.
Bei Block 720 kann das Blockadeerfassungsmodul konfiguriert sein, um jedes der mehreren Bilder zu verarbeiten. Im Einzelnen kann das Blockadeerfassungsmodul für jedes Bild, das von den mehreren Bildern ausgewählt wird, das Bild in eine entsprechende Mehrzahl von Verarbeitungseinheiten (PUs) teilen.
Bei Block 730 kann das Blockadeerfassungsmodul mehrere blockierte PUs von den mehreren PUs basierend auf einer Teilmenge von vorangegangenen Bildern in den mehreren Bildern kennzeichnen, die vor dem Bild erfasst wurden. Im Einzelnen kann das Bild als ein aktuelles Bild erachtet werden und die Teilmenge von vorangegangenen Bildern können jene Bilder sein, die von den mehreren Bildern ausgewählt und vor dem aktuellen Bild erfasst wurden.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul ein Merkmalswertbild basierend auf von den mehreren PUs extrahierten Merkmalswerten erzeugen. Das Blockadeerfassungsmodul kann dann eine Merkmalswertschwelle basierend auf einem Histogramm des Merkmalswertbildes erzeugen. Danach kann das Blockadeerfassungsmodul den Merkmalswert jeder PU mit der Merkmalswertschwelle vergleichen. Für eine bestimmte PU in den mehreren PUs kann als Antwort auf eine Bestimmung, dass der entsprechende Merkmalswert der PU oberhalb der Merkmalswertschwelle ist, das Blockadeerfassungsmodul die bestimmte PU als eine unblockierte PU kennzeichnen.
In einigen Ausführungsformen kann das Blockadeerfassungsmodul ein Codebuch basierend auf der Menge von vorangegangenen Bildern erzeugen. Das Codebuch kann eine maximale Codebuch-Box, eine mittlere Codebuch-Box und eine minimale Codebuch-Box umfassen, die jeweils maximale, mittlere und minimale Merkmalswerte enthalten, die von der Menge von vorangegangenen Bildern extrahiert wurden. Für eine von den mehreren PUs ausgewählte bestimmte PU kann das Blockadeerfassungsmodul den Merkmalswert der bestimmten PU mit der minimalen Codebuch-Box vergleichen. Als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb des Bereichs der minimalen Codebuch-Box ist, kann das Blockadeerfassungsmodul die bestimmte PU als eine der blockierten PUs kennzeichnen. Alternativ kann das Blockadeerfassungsmodul eine bestimmte PU von den mehreren PUs auswählen, die zuvor nicht als eine unblockierte PU gekennzeichnet wurden und den obigen Codebuch-Box-Vergleich durchführen. Wenn der Merkmalswert dieser bestimmten PU innerhalb des Bereichs der minimalen Codebuch-Box ist, kann das Blockadeerfassungsmodul die bestimmte PU als eine der blockierten PUs kennzeichnen.
In einigen Ausführungsformen kann, wenn es PUs gibt, die zuvor als unblockierte Straßenoberflächen gekennzeichnet wurden, das Blockadeerfassungsmodul eine Straßenoberflächenwellenform basierend auf diesen unblockierten Straßenoberflächen-PUs erzeugen und Referenzwerte anderer PUs mit dieser Straßenoberflächenwellenform vergleichen. Mit anderen Worten kann für eine bestimmte PU, die von den mehreren PUs ausgewählt wurde, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines vorbestimmten Bereichs der Straßenoberflächenwellenform ist, das Blockadeerfassungsmodul die bestimmte PU als eine unblockierte PU kennzeichnen. Nach Kennzeichnen der unblockierten PUs kann das Blockadeerfassungsmodul die mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs kennzeichnen.
In einigen Ausführungsformen kann, wenn es eine zuvor gekennzeichneten unblockierte PU gibt, das Blockadeerfassungsmodul einen Referenzwert basierend auf diesem Referenzwert der unblockierten PU erzeugen und andere Referenzwerte von PUs mit diesem Referenzwert vergleichen.
Mit anderen Worten kann für eine bestimmte PU, die von den mehreren PUs ausgewählt wurde, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines vorbestimmten Bereichs eines Referenzwerts ist, der basierend auf einer zuvor gekennzeichneten unblockierten PU erzeugt wurde, das Blockadeerfassungsmodul die bestimmte PU als eine unblockierte PU kennzeichnen. Nach Kennzeichnen der unblockierten PUs kann das Blockadeerfassungsmodul die mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs kennzeichnen. Alternativ kann das Blockadeerfassungsmodul eine bestimmte PU von den mehreren PUs auswählen, die zuvor als blockierte PUs gekennzeichnet wurden, und den obigen Codebuch-Box-Vergleich durchführen. Wenn dieser Merkmalswert der bestimmten PU innerhalb des Bereichs der minimalen Codebuch-Box ist, kann das Blockadeerfassungsmodul die bestimmte PU als eine der blockierten PUs kennzeichnen.
Erfindungsgemäß kann das Blockadeerfassungsmodul ein Blockadeeinheitskarte basierend auf der Menge von vorangegangenen Bildern unterhalten. Die Blockadeeinheitskarte enthält mehrere Einträge, von denen jeder einer der mehreren PUs entspricht. Das Blockadeerfassungsmodul kann die mehreren Einträge basierend auf mehreren unblockierten PUs einstellen, die von den mehreren PUs gekennzeichnet werden. Danach kann das Blockadeerfassungsmodul die mehreren blockierten PUs basierend auf den mehreren Einträgen mit entsprechenden Zählerwerten erzeugen, die unterhalb einer vorbestimmten Zählerschwelle sind.
Bei Block 740 kann das Blockadeerfassungsmodul die mehreren blockierten PUs in dem einen oder mehreren Kandidatenblockierbereichen anhäufen. Im Einzelnen kann das Blockadeerfassungsmodul einen Prozess zur Markierung von verbundenen Komponenten (Connected Component Labeling process; CCL process) benutzen, um die mehreren blockierten PUs in dem einen oder mehreren Kandidatenblockierbereichen anzuhäufen.
Bei Block 750 kann das Blockadeerfassungsmodul Blockadewerte den Kandidatenblockierbereichen basierend auf den Bereichsassoziationen unter dem einen oder mehreren Kandidatenblockierbereichen in den mehreren Bildern zuweisen. Im Einzelnen kann das Blockadeerfassungsmodul eine Blockadebereichskarte basierend auf den Kandidatenblockierbereichen erzeugen. Die Blockadebereichskarte kann mehrere Bereichsverfolger enthalten, von denen jeder einem der Kandidatenblockierbereiche entspricht und einem Blockadewert zugeordnet ist. Das Blockadeerfassungsmodul kann die mehreren Bereichsverfolger verwenden, um Bereichsassoziationen unter den Kandidatenblockierbereichen basierend auf ihrer jeweiligen räumlichen Nähe, Größe und Zeit in den mehreren Bildern zu kennzeichnen. Ferner kann das Blockadeerfassungsmodul die Blockadewerte in den mehreren Bereichsverfolgern basierend auf den Bereichsassoziationen unter den Kandidatenblockierbereichen einstellen.
Bei Block 760 kann als Antwort auf eine Bestimmung, dass einer der Blockadewerte oberhalb einer vorbestimmten Blockadeschwelle ist, das Blockadeerfassungsmodul ein Blockadealarmsignal an das Fahrzeug übertragen.
Somit wurden Systeme und Verfahren zum Erfassen von Blockaden in Bildern offenbart. Die hier beschriebenen verschiedenen Ausführungsformen können verschiedene computerimplementierte Operationen benutzen, die in Computersystemen gespeicherte Daten beinhalten. Beispielsweise können diese Operationen gewöhnlicherweise, obwohl nicht notwendigerweise, eine physische Manipulation von physischen Größen erfordern. Diese Größen können die Form von elektrischen oder magnetischen Signalen annehmen, wobei sie oder Darstellungen derselben imstande sind, gespeichert, transferiert, kombiniert, verglichen oder anderweitig manipuliert zu werden. Ferner wird auf derartige Manipulationen häufig in Begriffen, wie beispielsweise Erzeugen, Kennzeichnen, Bestimmen oder Vergleichen, Bezug genommen. Jegliche hier beschriebenen Operationen, die Teil von einer oder mehreren Ausführungsformen der Offenbarung bilden, können nützliche Maschinenoperationen sein.
Außerdem beziehen sich eine oder mehrere Ausführungsformen der Offenbarung ebenfalls auf eine Vorrichtung oder eine Einrichtung zum Durchführen dieser Operationen. Die Einrichtung kann speziell für bestimmte erforderliche Zwecke aufgebaut sein oder sie kann ein Allzweckcomputer sein, der durch ein Computerprogramm selektiv aktiviert oder konfiguriert wird, das in dem Computer gespeichert ist. Insbesondere können verschiedene Allzweckmaschinen mit Computerprogrammen verwendet werden, die gemäß den Lehren hier geschrieben wurden, oder es kann zweckmäßiger sein, eine spezialisiertere Einrichtung aufzubauen, um die erforderlichen Operationen durchzuführen. Die hier beschriebenen verschiedenen Ausführungsformen können mit anderen Computersystemkonfigurationen, einschließlich handgehaltener Vorrichtungen, Mikroprozessorsystemen, Mikroprozessor-basierter oder programmierbarer Unterhaltungselektronik, Minicomputer, Großrechner und dergleichen, praktiziert werden.
Eine oder mehrere Ausführungsformen der vorliegenden Offenbarung können als ein oder mehrere Computerprogramme oder als ein oder mehrere Computerprogrammodule implementiert werden, die in einem oder mehreren computerlesbaren Medien verkörpert sind. Der Begriff nichttransitorisches computerlesbares Speichermedium bezieht sich auf eine beliebige Datenspeichervorrichtung, die Daten speichern kann, die danach in ein Computersystem eingegeben werden können. Computerlesbare Medien können auf beliebiger existierenden oder nachfolgend entwickelter Technologie basiert sein, um Computerprogramme auf eine Art und Weise zu verkörpern, die es ihnen ermöglicht, von einem Computer gelesen zu werden. Beispiele eines computerlesbaren Mediums umfassen eine Festplatte, einen netzwerkgebundenen Speicher (network attached storage; NAS), einen Nurlesespeicher, einen Direktzugriffsspeicher (z.B. eine Flash-SpeicherVorrichtung), eine CD (Compact Disc), eine CD-ROM, eine CD-R oder eine CD-RW, eine DVD (Digital Versatile Disc), ein Magnetband und andere optische und nicht optische Datenspeichervorrichtungen. Das computerlesbare Medium kann ebenfalls über ein Netzwerk-gekoppeltes Computersystem verteilt sein, so dass der computerlesbare Code auf eine verteilte Art und Weise gespeichert und ausgeführt wird.
Obwohl eine oder mehrere Ausführungsformen der vorliegenden Offenbarung zwecks Klarheit des Verständnisses etwas ausführlich beschrieben wurden, ist ersichtlich, dass bestimmte Änderungen und Modifikationen innerhalb des Umfangs der Ansprüche vorgenommen werden können. Demgemäß sind die beschriebenen Ausführungsformen als veranschaulichend und nicht als einschränkend zu betrachten und der Umfang der Ansprüche ist nicht auf die hier gegebenen Einzelheiten zu beschränken, sondern kann innerhalb des Umfangs und der Äquivalente der Ansprüche modifiziert werden. In den Ansprüchen implizieren Elemente und/oder Schritte nicht irgendeine bestimmte Reihenfolge der Operationen, sofern in den Ansprüchen nicht ausdrücklich angegeben.
Mehrere Instanzen können für Ressourcen, Operationen oder Strukturen bereitgestellt werden, die hier als eine einzige Instanz beschrieben sind. Zusätzlich sind Abgrenzungen zwischen verschiedenen Ressourcen, Operationen und Datenspeichern etwas beliebig und bestimmte Operationen sind im Kontext von spezifischen veranschaulichenden Konfigurationen dargestellt. Andere Zuteilungen von Funktionalitäten sind vergegenwärtigt und können innerhalb des Schutzbereichs der vorliegenden Offenbarung(en) fallen. Allgemein können Strukturen und Funktionalität, die als separate Komponenten in beispielhaften Konfigurationen dargestellt sind, als eine kombinierte Struktur oder Komponente implementiert werden. Auf ähnliche Weise können Strukturen und Funktionalität, die als eine einzige Komponente dargestellt sind, als separate Komponenten implementiert werden. Diese und andere Variationen, Modifikationen, Hinzufügungen und Verbesserungen können innerhalb des Schutzbereichs der beigefügten Ansprüche fallen.

Claims

Verfahren zum Erfassen von Blockaden in Bildern, wobei das Verfahren umfasst: Empfangen, durch ein Blockadeerfassungsmodul, mehrerer Bilder, die durch eine an einem Fahrzeug installierte Kamera erfasst wurden; Kennzeichnen, durch das Blockadeerfassungsmodul, einen oder mehrere Kandidatenblockierbereiche in den mehreren Bildern, wobei jeder der Kandidatenblockierbereiche Bilddaten enthält, die durch Blockaden im Sichtfeld der Kamera verursacht wurden; Zuweisen, durch das Blockadeerfassungsmodul, von Blockadewerten dem einen oder mehreren Kandidatenblockierbereichen basierend auf Bereichsassoziationen unter dem einen oder mehreren Kandidatenblockierbereichen in den mehreren Bildern; und als Antwort auf eine Bestimmung, dass einer der Blockadewerte oberhalb einer vorbestimmten Blockadeschwelle ist, Übertragen, durch das Blockadeerfassungsmodul, eines Blockadealarmsignals an das Fahrzeug, wobei das Kennzeichnen der einen oder mehreren Kandidatenblockierbereiche umfasst: Teilen eines Bildes, das von den mehreren Bildern ausgewählt wurde, in mehrere Verarbeitungseinheiten PUs; Kennzeichnen mehrerer blockierter PUs von den mehreren PUs basierend auf einer Teilmenge von vorangegangenen Bildern in den mehreren Bildern, die vor dem Bild erfasst wurden; und Anhäufen der mehreren blockierten PUs in dem einen oder mehreren Kandidatenblockierbereichen, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Unterhalten einer Blockadeeinheitskarte basierend auf der Menge von vorangegangenen Bildern, wobei die Blockadeeinheitskarte mehrere Einträge entsprechend den mehreren PUs enthält; Einstellen der mehreren Einträge basierend auf mehreren unblockierten PUs, die von den mehreren PUs gekennzeichnet wurden; und Erzeugen der mehreren blockierten PUs basierend auf den mehreren Einträgen mit entsprechenden Zählerwerten, die unterhalb einer vorbestimmten Zählerschwelle sind.
Verfahren gemäß Anspruch 1, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen eines Merkmalswertbildes basierend auf von den mehreren PUs extrahierten Merkmalswerten; Erzeugen einer Merkmalswertschwelle basierend auf einem Histogramm des Merkmalswertbildes; für eine PU in den mehreren PUs, als Antwort auf eine Bestimmung, dass der entsprechende Merkmalswert der PU oberhalb der Merkmalswertschwelle ist, Kennzeichnen der PU als eine unblockierte PU; und Kennzeichnen der mehreren blockierten PUs basierend auf den in den mehreren PUs gekennzeichneten unblockierten PUs.
Verfahren gemäß Anspruch 1 oder 2, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen eines Codebuchs basierend auf der Menge von vorangegangenen Bildern, wobei das Codebuch eine Codebuch-Box umfasst, die minimale Merkmalswerte enthält, die von der Menge von vorangegangenen Bildern extrahiert wurden; und Kennzeichnen für eine bestimmte PU, die von den mehreren PUs ausgewählt wird, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines durch das Codebuch-Box definierten Bereichs ist, der bestimmten PU als eine der blockierten PUs.
Verfahren gemäß einem der Ansprüche 1 bis 3, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen einer Straßenoberflächenwellenform basierend auf Merkmalswerten, die unblockierten Straßenoberflächen zugeordnet sind; für eine bestimmte PU, die von den mehreren PUs ausgewählt wird, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines vorbestimmten Bereichs der Straßenoberflächenwellenform ist, Kennzeichnen der bestimmten PU als eine der unblockierten PUs; und Kennzeichnen der mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs.
Verfahren gemäß einem der Ansprüche 1 bis 4, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: für eine bestimmte PU, die von den mehreren PUs ausgewählt wird, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines vorbestimmten Bereichs eines Referenzwerts ist, der basierend auf einer zuvor gekennzeichneten unblockierte PU erzeugt wurde, Kennzeichnen der bestimmten PU als eine unblockierte PU; und Kennzeichnen der mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs.
Verfahren gemäß einem der Ansprüche 1 bis 5, wobei das Anhäufen der mehreren blockierten PUs umfasst: Benutzen eines Verfahrens zur Markierung von verbundenen Komponenten (Connected Component Labeling process; CCL process), um die mehreren blockierten PUs in dem einen oder mehreren Kandidatenblockierbereichen anzuhäufen.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei das Zuweisen der Blockadewerte auf die Kandidatenblockierbereiche umfasst: Erzeugen einer Blockadebereichskarte basierend auf den Kandidatenblockierbereichen, wobei die Blockadebereichskarte mehrere Bereichsverfolger enthält, von denen jeder einem der Kandidatenblockierbereiche entspricht und einem Blockadewert zugeordnet ist; Kennzeichnen, unter Verwendung der mehreren Bereichsverfolger, die Bereichsassoziationen unter den Kandidatenblockierbereichen basierend auf ihrer jeweiligen räumlichen Nähe, Größe und Zeit in den mehreren Bildern; und Einstellen der Blockadewerte in den mehreren Bereichsverfolgern basierend auf den Bereichsassoziationen unter den Kandidatenblockierbereichen.
Nichttransitorisches computerlesbares Speichermedium, das eine Menge von Anweisungen enthält, die als Antwort auf die Ausführung durch einen Prozessor den Prozessor veranlassen, ein Verfahren zum Erfassen von Blockaden in Bildern durchzuführen, wobei das Verfahren umfasst: Empfangen mehrerer Bilder, die von einer an einem Fahrzeug installierten Kamera erfasst werden; für ein von den mehreren Bildern ausgewähltes Bild, Teilen des Bildes in mehrere Verarbeitungseinheiten (PUs) , Kennzeichnen mehrerer blockierter PUs von den mehreren PUs basierend auf einer Teilmenge von vorangegangenen Bildern in den mehreren Bildern, die vor dem Bild erfasst wurden, und Anhäufen der mehreren blockierten PUs in einem oder mehreren Kandidatenblockierbereichen; Erzeugen einer Blockadebereichskarte basierend auf den Kandidatenblockierbereichen, die von den mehreren Bildern extrahiert wurden; und als Antwort auf eine Bestimmung, dass ein entsprechender Blockadewert in der Blockadebereichskarte oberhalb eines vorbestimmten Vertrauenswerts ist, Übertragen eines Blockadealarmsignals an das Fahrzeug, wobei das Kennzeichnen der einen oder mehreren Kandidatenblockierbereiche umfasst: Teilen eines Bildes, das von den mehreren Bildern ausgewählt wurde, in mehrere Verarbeitungseinheiten PUs; Kennzeichnen mehrerer blockierter PUs von den mehreren PUs basierend auf einer Teilmenge von vorangegangenen Bildern in den mehreren Bildern, die vor dem Bild erfasst wurden; und Anhäufen der mehreren blockierten PUs in dem einen oder mehreren Kandidatenblockierbereichen, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Unterhalten einer Blockadeeinheitskarte basierend auf der Menge von vorangegangenen Bildern, wobei die Blockadeeinheitskarte mehrere Einträge entsprechend den mehreren PUs enthält; Einstellen der mehreren Einträge basierend auf mehreren unblockierten PUs, die von den mehreren PUs gekennzeichnet wurden; und Erzeugen der mehreren blockierten PUs basierend auf den mehreren Einträgen mit entsprechenden Zählerwerten, die unterhalb einer vorbestimmten Zählerschwelle sind.
Nichttransitorisches computerlesbares Speichermedium gemäß Anspruch 8, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen eines Merkmalswertbildes basierend auf von den mehreren PUs extrahierten Merkmalswerten; Erzeugen einer Merkmalswertschwelle basierend auf einem Histogramm des Merkmalswertbildes; für eine PU in den mehreren PUs, als Antwort auf eine Bestimmung, dass der entsprechende Merkmalswert der PU oberhalb der Merkmalswertschwelle ist, Kennzeichnen der PU als eine unblockierte PU; und Kennzeichnen der mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs.
Nichttransitorisches computerlesbares Speichermedium gemäß Anspruch 9, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen eines Codebuchs basierend auf der Menge von vorangegangenen Bildern, wobei das Codebuch eine Codebuch-Box umfasst, die minimale Merkmalswerte umfasst, die von der Menge von vorangegangenen Bildern extrahiert wurden; und für eine bestimmte PU, die nicht eine der mehreren blockierten PUs ist, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb des Bereichs der Codebuch-Box ist, Kennzeichnen der bestimmten PU als eine der blockierten PUs.
Nichttransitorisches computerlesbares Speichermedium gemäß Anspruch 9 oder 10, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen einer Straßenoberflächenwellenform basierend auf unblockierten Straßenoberflächen zugeordneten Merkmalswerten; für eine von den mehreren blockierten PUs ausgewählte bestimmte PU, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines vorbestimmten Bereichs der Straßenoberflächenwellenform ist, Kennzeichnen der bestimmten PU als eine unblockierte PU; und Kennzeichnen der mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs.
Nichttransitorisches computerlesbares Speichermedium gemäß einem der Ansprüche 9 bis 11, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: für eine von den mehreren blockierten PUs ausgewählte bestimmte PU, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines vorbestimmten Bereichs eines Referenzwerts ist, der basierend auf einer zuvor gekennzeichneten unblockierte PU erzeugt wurde, Kennzeichnen der bestimmten PU als eine unblockierte PU; und Kennzeichnen der mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs.
Nichttransitorisches computerlesbares Speichermedium gemäß einem der Ansprüche 8 bis 12, wobei die Blockadebereichskarte mehrere Bereichsverfolger enthält, von denen jeder einem der Kandidatenblockierbereiche entspricht und einem Blockadewert zugeordnet ist, und das Erzeugen der Blockadebereichskarte umfasst: Kennzeichnen unter Verwendung der mehreren Bereichsverfolger von Bereichsassoziationen unter den Kandidatenblockierbereichen basierend auf ihrer jeweiligen räumlichen Nähe, Größe und Zeit in den mehreren Bildern; und Einstellen der Blockadewerte in den mehreren Bereichsverfolgern basierend auf den Bereichsassoziationen unter den Kandidatenblockierbereichen.
System zum Erfassen von Blockaden in Bildern, wobei das System umfasst: eine Kamera, die an einem Fahrzeug zum Erfassen mehrerer Bilder installiert ist; einen Alarm, der an dem Fahrzeug installiert ist; und ein autonomes Fahrsystem, das mit der Kamera und dem Alarm gekoppelt ist, wobei das autonome Fahrsystem konfiguriert ist, um eines oder mehrere Kandidatenblockierbereiche in den mehreren Bildern zu kennzeichnen, wobei jeder der Kandidatenblockierbereiche Bilddaten enthält, die durch Blockaden im Sichtfeld der Kamera verursacht wurden, Blockadewerte dem einen oder mehreren Kandidatenblockierbereichen basierend auf Bereichsassoziationen unter dem einen oder mehreren Kandidatenblockierbereichen in den mehreren Bildern zuzuweisen, und als Antwort auf eine Bestimmung, dass einer der Blockadewerte oberhalb einer vorbestimmten Blockadeschwelle ist, Übertragen eines Blockadealarmsignals an den Alarm, wobei das Kennzeichnen des einen oder der mehreren Kandidatenblockierbereiche umfasst: für ein Bild, das von den mehreren Bildern ausgewählt wird, Teilen des Bildes in eine entsprechende Mehrzahl von Verarbeitungseinheiten, PUs,; Kennzeichnen mehrerer blockierter PUs von den mehreren PUs basierend auf einer Teilmenge von vorangegangenen Bildern in den mehreren Bildern, die vor dem Bild erfasst wurden; und Erzeugen des einen oder mehrerer Kandidatenblockierbereiche durch Anhäufen der mehreren blockierten PUs, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Unterhalten einer Blockadeeinheitskarte basierend auf der Menge von vorangegangenen Bildern, wobei die Blockadeeinheitskarte mehrere Einträge entsprechend den mehreren PUs enthält; Einstellen der mehreren Einträge basierend auf mehreren unblockierten PUs, die von den mehreren PUs gekennzeichnet wurden; und Erzeugen der mehreren blockierten PUs basierend auf den mehreren Einträgen mit entsprechenden Zählerwerten, die unterhalb einer vorbestimmten Zählerschwelle sind.
System gemäß Anspruch 14, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen eines Merkmalswertbildes basierend auf von den mehreren PUs extrahierten Merkmalswerten; Erzeugen einer Merkmalswertschwelle basierend auf dem Merkmalswertbild; für eine PU in den mehreren PUs, als Antwort auf eine Bestimmung, dass der entsprechende Merkmalswert der PU oberhalb der Merkmalswertschwelle ist, Kennzeichnen der PU als eine unblockierte PU; und Kennzeichnen der mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs.
System gemäß Anspruch 14 oder 15, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen eines Codebuchs basierend auf der Menge von vorangegangenen Bildern, wobei das Codebuch eine Codebuch-Box umfasst, die minimale Merkmalswerten enthält, die von der Menge von vorangegangenen Bildern extrahiert wurden; und für eine bestimmte PU, die von den mehreren PUs ausgewählt wurde, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb des Bereichs der Codebuch-Box ist, Kennzeichnen der bestimmten PU als eine der blockierten PUs.
System gemäß einem der Ansprüche 14 bis 16, wobei das Kennzeichnen der mehreren blockierten PUs umfasst: Erzeugen einer Straßenoberflächenwellenform basierend auf Merkmalswerten, die Straßenoberflächen zugeordnet sind; für eine von den mehreren PUs ausgewählte bestimmte PU, als Antwort auf eine Bestimmung, dass der Merkmalswert der bestimmten PU innerhalb eines vorbestimmten Bereichs der Straßenoberflächenwellenform ist, Kennzeichnen der bestimmten PU als eine unblockierte PU; und Kennzeichnen der mehreren blockierten PUs basierend auf unblockierten PUs in den mehreren PUs.