-
Technisches Gebiet
-
Die Erfindung betrifft Umfelderfassungssysteme für Kraftfahrzeuge zur Detektion beweglicher Objekte, wie z.B. Fußgängern, und insbesondere Kollisionswarnsysteme, die einen Fahrer eines Kraftfahrzeugs vor der Möglichkeit einer Kollision mit einem Fußgänger warnen können.
-
Technischer Hintergrund
-
Grundlage für ein System zur Erkennung von beweglichen Objekten im Umfeld eines Kraftfahrzeugs ist die Umfelderfassung. Durch die Umfelderfassung können stationäre und bewegliche Objekte in der Fahrzeugumgebung detektiert, d.h. erfasst und identifiziert, werden. Bewegungen beweglicher Objekte können nachverfolgt werden.
-
Um rechtzeitig vor einem sich in Richtung eines Fahrwegs eines Kraftfahrzeugs nähernden Fußgänger warnen zu können, ist es notwendig, diesen frühzeitig als solchen zu erkennen. In häufigen Verkehrssituationen können diese jedoch von anderen Objekten, wie z.B. parkenden Fahrzeugen, Mauern und dergleichen, teilweise verdeckt werden. Dadurch kann ein sich in Richtung der Fahrbahn bewegender Fußgänger nicht vollständig erfasst werden, so dass eine Erkennung eines sich bewegenden Objektes als teilverdeckter Fußgänger durch eine Identifikation eines Detailmerkmal, insbesondere eines Kopfes des Fußgängers, vorgenommen werden muss.
-
In der Regel umfassen derartige Systeme eine Kamera, die eine hohe Auflösung aufweist, so dass diese in der Lage sind, auch Detailmerkmale von beweglichen Objekten, wie Fußgängern, zu detektieren, um eine zuverlässige Fußgängerwarnung zu realisieren. Dadurch wird eine Detektion auch dann möglich, wenn dass sich bewegende Objekt bzw. der Fußgänger teilverdeckt ist. Dies ist insbesondere wichtig, um zum Beispiel Fußgänger zu erkennen, die sich zwischen zwei an einem Fahrbahnrand parkenden Kraftfahrzeugen in Richtung Fahrbahn bewegen und durch eines der parkenden Kraftfahrzeuge teilverdeckt sind, so dass der Fahrer eines fahrenden Kraftfahrzeugs entsprechend gewarnt werden kann.
-
Die Erkennung von teilverdeckten beweglichen Objekten, insbesondere von Fußgängern, soll in Echtzeit durchgeführt werden, um deren Bewegungen nachzuverfolgen. Daher ist es notwendig, die Bearbeitungszeit des durch die Kamera aufgezeichneten Bildes zu reduzieren. Aus den Druckschriften
Sudowe, Patrick et al. „Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video", „Computer Vision Systems", Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), S. 11–20,
Lampert, Christoph et al. „Beyond sliding windows: Object localization by efficient subwindow search", 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, USA, S. 1–8, und
Kapsalas, P. et al. „Regions of interest for accurate object detection", 2008, International Workshop on Content-Based Multimedia Indexing, London, UK, S. 147–154 sind dazu Ansätze aus dem Bereich der Bildverarbeitung bekannt, um eine Detektion teilverdeckter beweglicher Objekte für Echtzeitanwendungen zu ermöglichen.
-
Weiterhin ist aus Druckschriften
Broggi, A et al. „A New Approach to Urban Pedestrian Detection for Automatic Braking", Intelligent Transportation Systems, IEEE Transactions on, Band 10, no.4, Seiten.594,605, Dec. 2009, und
Premebida, C. et al."Fusing LIDAR, camera and semantic information: A context based approach for pedestrian detection", 2013, The International Journal of Robotics Research 32 (3), S.371–384 bekannt, zusätzliche Sensorinformation eines Laserscanners zu verwenden, um parkende Kraftfahrzeuge am Fahrbahnrand zu detektieren und anschließend in den Bereichen zwischen den Kraftfahrzeugen nach Fußgängern zu suchen.
-
Ferner ist aus
Keller, C.G. et al. „Dense stereo-based ROI generation for pedestrian detection", in „Pattern Recognition", 31st DAGM Symposium, Jena, Germany, September 9–11, 2009. Proceedings. Band 5748 of Lecture Notes in Computer Science, Seiten 81–90, Springer, 2009 bekannt, mit Hilfe einer Stereokamera Randbereiche zu identifizieren, um dort nach teilverdeckten Fußgängern zu suchen, so dass der Suchbereich eingeschränkt ist.
-
Ebenfalls ist aus dem Stand der Technik bekannt, aus den aufgezeichneten Bildern der Fahrzeugumgebung semantische Informationen von Objekten zu extrahieren, so dass Bildbereiche bestimmten Objekten, wie Straße, Bordstein und Gehweg sowie parkenden Kraftfahrzeugen nebst deren Eigenschaften, zugeordnet werden können.
-
Die Erkennung teilverdeckter Fußgänger muss für eine frühzeitige Erkennung und permanente Überwachung in Echtzeit erfolgen. Jedoch besteht bei Echtzeitsystemen ein Problem darin, dass die Auswertung eines Bildes mit einer für die Erkennung teilverdeckter Objekte ausreichend hohen Auflösung eine entsprechend hohe Rechenleistung erfordert.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Erkennung von teilverdeckten beweglichen Objekten zur Verfügung zu stellen, das eine verringerte Rechenzeit und eine gute Erkennungsgenauigkeit aufweist.
-
Offenbarung der Erfindung
-
Diese Aufgabe wird durch das Verfahren zum Erkennen von beweglichen Objekten im Umfeld eines Kraftfahrzeugs gemäß Anspruch 1 sowie durch die Vorrichtung und das Kraftfahrzeug gemäß den nebengeordneten Ansprüchen gelöst.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben. Gemäß einem ersten Aspekt ist ein Verfahren zum Erkennen von beweglichen Objekten in einem Umfeld eines Kraftfahrzeugs vorgesehen, mit folgenden Schritten:
- – Bereitstellen einer ersten Bildinformation, die die Abbildung des Umfelds des Kraftfahrzeugs mit einer ersten Auflösung angibt, und einer zweite Bildinformation, die die Abbildung des Umfelds des Kraftfahrzeugs mit einer zweiten, höheren Auflösung angibt;
- – Durchsuchen der durch die erste Bildinformation angegebenen Abbildung nach ersten Objekten mithilfe eines Objekterkennungsverfahrens;
- – Erstes Klassifizieren von mindestens einem erkannten ersten Objekt;
- – Auswählen desjenigen mindestens einen Objektes aus den klassifizierten ersten Objekten, das ein Sichthindernis darstellt;
- – Bestimmen eines oder mehrerer Bildbereiche im Umfeld des mindestens einen ausgewählten ersten Objektes, wobei der eine oder die mehreren Bildbereiche Regionen in der Abbildung darstellen, in denen sich mit erhöhter Wahrscheinlichkeit ein Objekt befindet, das durch das mindestens eine ausgewählte erste Objekt teilverdeckt ist;
- – Durchsuchen des einen oder der mehreren Bildbereiche nach zweiten Objekten basierend auf der zweiten Bildinformation mithilfe eines Objekterkennungsverfahrens;
- – Zweites Klassifizieren von mindestens einem erkannten zweiten Objekt.
-
Eine Idee des obigen Verfahrens besteht darin, durch Erkennung von als Sichthindernisse geeignete Objekte, Bildbereiche zu definieren, in denen eine Suche nach Detailmerkmalen von teilverdeckten beweglichen Objekten basierend auf höher aufgelösten Bildinformationen durchgeführt wird.
-
Dazu wird ein Umfelderfassungssystem vorgesehen, das ein Bildaufzeichnungssystem aufweist, das eine erste Bildinformation mit einer ersten Auflösung und eine zweite Bildinformation mit einer zweiten, entsprechend höheren Auflösung aufweist. Basierend auf der ersten Bildinformation, die ein Bild mit einer geringeren Auflösung angibt, können vollständig sichtbare bewegliche erste Objekte, wie z.B. Fußgänger oder fahrende Fahrzeuge, sowie unbewegliche Objekte, die zum Beispiel durch eine semantische Umfeldklassifikation als potenzielle Sichthindernisse erkannt werden, wie z.B. parkende Fahrzeuge, Randbebauungen, Hecken, Büsche, Zäune und Mauern, erkannt werden. In einem Bereich um die erkannten ersten Objekte herum, d.h. insbesondere neben oder über den als potenzielle Sichthindernisse erkannten ersten Objekten werden ein oder mehrere Bildbereiche bestimmt, die für eine gezielte Suche nach Detailmerkmalen von teilverdeckten beweglichen Objekten, wie beispielsweise nach einem Kopf oder Torso eines Fußgängers, verwendet werden. Die bestimmten Bildbereiche werden als Regionen angenommen, in denen sich mit erhöhter Wahrscheinlichkeit teilverdeckte Objekte befinden können.
-
Zur Suche der von teilverdeckten zweiten Objekten in dem bzw. den mehreren ausgewählten Bildbereichen kann nun die zweite Bildinformation verwendet werden, die das zuvor untersuchte durch die erste Bildinformation dargestellte Abbildung mit einer höheren Auflösung beschreibt. Auf diese Weise können der eine oder die mehreren Bildbereiche nach Detailinformationen durchsucht werden, die auf das Vorhandensein eines teilverdeckten zweiten beweglichen Objekts, wie z.B. eines Fußgängers, hinweisen können.
-
Durch das obige Verfahren ist es möglich, teilverdeckte zweite Objekte, wie z.B. Fußgänger, mit verbesserter Zuverlässigkeit zu detektieren, da zur Erkennung von Detailmerkmalen eine Bildinformation einer Abbildung mit hoher Auflösung verwendet wird. Um das Verfahren bei beschränkter Rechenleistung in Echtzeit durchzuführen, werden teilverdeckte Objekte nur in denjenigen Bildbereichen gesucht, in denen aufgrund des ersten Objekts, das als Sichthindernis dienen kann, keine Detektion eines vollständig unverdeckten beweglichen Objekts, wie z.B. eines Fußgängers, möglich ist und in denen dadurch die Wahrscheinlichkeit, dass ein Fußgänger nur teilweise sichtbar ist, hoch ist. Im Gegensatz zu einer Auswertung der gesamten zweiten Bildinformation für die Abbildung mit hoher Auflösung wird durch ein Beschränken der Auswertung auf den bzw. die zuvor ausgewählten bzw. bestimmten Bildbereiche für die Erkennung von möglichen teilverdeckten zweiten Objekten die benötigte Rechenleistung verringert und dadurch die Echtzeitfähigkeit des Systems ermöglicht.
-
Weiterhin ist es durch ein zusätzliches Bereitstellen von Angaben über Bildbereiche an einer bestimmten Fahrzeugposition oder in einer bestimmten Verkehrssituation, bei denen mit einer erhöhten Wahrscheinlichkeit mit dem Auftreten von teilverdeckten Objekten zu rechnen ist, möglich, die Leistungsfähigkeit des Detektionssystems weiter zu verbessern und darüber hinaus Rechenleistung zu sparen.
-
Es kann vorgesehen sein, diejenigen ersten Objekte, die bei dem ersten Klassifizieren als unverdeckte bewegliche Objekte erkannt werden, zu markieren, so dass ein Benutzer auf diese ersten Objekte in geeigneter Weise hingewiesen wird.
-
Weiterhin können diejenigen zweiten Objekte, die bei dem zweiten Klassifizieren als teilverdeckte bewegliche Objekte erkannt werden, markiert werden, um den Benutzer auf diese teilverdeckten beweglichen Objekte hinzuweisen.
-
Gemäß einer Ausführungsform kann das erste Klassifizieren mithilfe eines semantischen Klassifizierungsverfahrens durchgeführt werden, um die ersten Objekte entsprechend ihrer Eigenschaft als Sichthindernis zu unterscheiden. .
-
Es kann vorgesehen sein, dass das zweite Klassifizieren mithilfe eines Klassifizierungsverfahrens durchgeführt wird, bei dem Detailmerkmale von zweiten Objekten gesucht werden, um die zweiten Objekte als teilverdeckte Objekte zu erkennen.
-
Das Bestimmen des einen oder den mehreren Bildbereichen an den ausgewählten Objekten kann weiterhin abhängig von deren Höhe und/oder deren Objektklasse und/oder der Entfernung zu den ausgewählten Objekten durchgeführt werden.
-
Gemäß einer Ausführungsform kann das Bestimmen des einen oder den mehreren Bildbereichen ein Empfangen von einer Bildbereiche beschreibenden Informationen umfassen, die einem Ort des Kraftfahrzeugs zugeordnet ist.
-
Weiterhin können die Bildbereiche abhängig von der Objektklasse der als Sichthindernis erkannten ersten Objekte bestimmt werden.
-
Es kann vorgesehen sein, dass beim Auswählen derjenigen Objekte aus den klassifizierten ersten Objekten, die Sichthindernisse darstellen, die Anzahl der ausgewählten ersten Objekte gemäß einer Auswahlbedingung begrenzt wird, wobei die Auswahlbedingung insbesondere angibt, dass die Gesamtfläche der durch die ausgewählten ersten Objekte bestimmten Bildbereiche auf eine maximale Fläche begrenzt wird.
-
Insbesondere kann bei dem zweiten Klassifizieren jeder Bildbereich mit einem oder mehreren Klassifikatoren durchsucht werden, die von der Objektklasse des den betreffenden Bildbereich bestimmenden ersten Objektes abhängen.
-
Gemäß einem weiteren Aspekt ist ein Umfelderfassungssystem zum Erkennen von beweglichen Objekten in einem Umfeld eines Kraftfahrzeugs vorgesehen, umfassend:
- – mindestens eine Kamera zum Bereitstellen einer ersten Bildinformation, die die Abbildung des Umfelds des Kraftfahrzeugs mit einer ersten Auflösung angibt, und einer zweite Bildinformation, die die Abbildung des Umfelds des Kraftfahrzeugs mit einer zweiten, höheren Auflösung angibt; und
- – eine Steuereinheit die ausgebildet ist, um:
– die durch die erste Bildinformation angegebenen Abbildung nach ersten Objekten mithilfe eines Objekterkennungsverfahrens zu durchsuchen;
– in einem ersten Schritt mindestens ein erkanntes erstes Objekt zu klassifizieren;
– dasjenige mindestens eine Objekt (O) aus den klassifizierten ersten Objekten auszuwählen, das ein Sichthindernis darstellt;
– eines oder mehrere Bildbereiche (B) im Umfeld des mindestens einen ausgewählten ersten Objektes (O) zu bestimmen, wobei der eine oder die mehreren Bildbereiche (B) Regionen in der Abbildung darstellen, in denen sich mit erhöhter Wahrscheinlichkeit ein Objekt befindet, das durch das mindestens eine ausgewählte erste Objekt (O) teilverdeckt ist;
– den einen oder die mehreren Bildbereiche (B) nach zweiten Objekten basierend auf der zweiten Bildinformation mithilfe eines Objekterkennungsverfahrens zu durchsuchen;
– in einem zweiten Schritt mindestens ein erkanntes zweites Objekt (VO) zu klassifizieren.
-
Kurzbeschreibung der Zeichnungen
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
-
1 eine schematische Darstellung eines Kraftfahrzeugs mit einem Umfelderfassungssystem;
-
2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Umfelderfassungssystems; und
-
3 eine schematische Darstellung einer Abbildung für das Nachverfolgen von bekannten beweglichen Objekten in einer Fahrzeugumgebung.
-
Beschreibung von Ausführungsformen
-
In 1 ist schematisch ein Kraftfahrzeug 1 mit einem Umfelderfassungssystem 2 dargestellt. Das Umfelderfassungssystem 2 dient dazu, Informationen über die Umgebung des Kraftfahrzeugs 1, insbesondere in dessen Fahrtrichtung, aufzuzeichnen und auszuwerten.
-
Das Umfelderfassungssystem 2 kann dazu mit einer Steuereinheit 23, einer ersten Kamera 21 und einer zweiten Kamera 22 versehen sein, um entsprechende Bildinformationen, d.h. eine erste Bildinformation bzw. eine zweite Bildinformation, bereitzustellen. Die von der ersten Kamera 21 bereitgestellte erste Bildinformation weist eine erste Auflösung auf bzw. die erste Kamera 21 stellt die erste Bildinformation zur Darstellung einer ersten Abbildung mit der ersten Auflösung zur Verfügung, und die von der zweiten Kamera 22 bereitgestellte zweite Bildinformation weist eine zweite Auflösung auf bzw. die zweite Kamera 22 stellt die zweite Bildinformation zur Darstellung einer zweiten Abbildung mit der zweiten Auflösung zur Verfügung. Die zweite Auflösung ist höher als die erste Auflösung. Anstelle der ersten und zweiten Kamera 21, 22 kann auch nur eine Kamera zur Bereitstellung der zweiten Bildinformation mit der hohen Auflösung vorgesehen sein, wobei die erste Bildinformation aus der zweiten Bildinformation insbesondere in der Steuereinheit 23 mithilfe eines entsprechenden Algorithmus generiert wird.
-
Die Steuereinheit 23 ist ausgebildet, um die bereitgestellten ersten und zweiten Bildinformationen auszuwerten und unbewegte und bewegliche Objekte in einer Vorausrichtung (in einem Fahrschlauch) des Kraftfahrzeugs, wie zum Beispiel Fußgänger, mithilfe eines an sich bekannten Objekterkennungsverfahrens zu detektieren und zu identifizieren. Angaben über die beweglichen Objekte können in geeigneter Weise beispielsweise einer Fußgängerwarnfunktion oder einer allgemeinen Gefahrenwarnfunktion, die ebenfalls in der Steuereinheit 23 implementiert sein kann, übermittelt werden. Insbesondere kann der Fahrer gemäß der Fußgängerwarnfunktion oder der Gefahrenwarnfunktion auf diejenigen beweglichen Objekte, für die eine Wahrscheinlichkeit über einer vorgegebenen Schwellenwahrscheinlichkeit besteht, mit dem Kraftfahrzeug zu kollidieren, aufmerksam gemacht werden.
-
Die Steuereinheit 23 kann dazu mit geeigneten Ausgabemitteln 25 verbunden sein, die eine Warnung vor dem beweglichen Objekt oder ein Aufmerksammachen auf das bewegliche Objekt in akustischer, haptischer und/oder visueller Weise ermöglicht. Dies kann beispielsweise durch eine Anzeigevorrichtung ermöglicht werden, die ein Abbild der Fahrzeugumgebung darstellt und auf die beweglichen Objekte durch Umrahmen oder sonstiges Markieren hinweist. Insbesondere kann die Anzeigevorrichtung ein Head-Up-Display aufweisen, um in Form von Augmented Reality eine geeignete visuelle Markierung der Position des sich bewegenden Objektes, z.B. durch eine Umrahmung, vorzunehmen.
-
Unverdeckte bewegliche Objekte, wie z.B. Fußgänger, sowie nicht bewegliche Objekte, wie z.B. parkende Kraftfahrzeuge, Mauern, und dergleichen, können bereits basierend auf der ersten Bildinformation, die einem Bild einer geringeren Auflösung entspricht, gut erkannt und voneinander unterschieden werden. Vor allem ist die erste Auflösung der Abbildung so gewählt, dass die unverdeckten Objekte gut als solche erkannt und identifiziert werden können. Dagegen ist es schwierig, teilverdeckte bewegliche sowie teilverdeckte nicht bewegliche Objekte basierend auf der ersten Bildinformation zu erkennen und zu identifizieren, da für die Identifikation von teilverdeckten Objekten häufig detailliertere Teilmerkmale erkannt werden müssen, die bei einer geringen Auflösung nicht unterschieden bzw. eindeutig zugeordnet werden können. Beispielsweise ist bei teilverdeckten Fußgängern häufig nur der Kopf zu sehen, so dass eine Erkennung von Gesichtsstrukturen als Detailmerkmale zur Identifikation eines Objekts als Fußgänger notwendig ist. Somit muss die Auflösung so gewählt sein, dass Strukturen im Gesicht des Fußgängers in der bereitgestellten Bildinformation erkannt werden können.
-
Ein Verfahren, bei dem basierend auf der zweiten Bildinformation, die der Abbildung mit der hohen Auflösung entspricht, versucht wird, sowohl die unverdeckten Objekte als auch mithilfe der Detailmerkmale die teilverdeckten Objekte zu erkennen, beansprucht eine hohe Rechenleistung. Somit ist ein solches Verfahren bei Systemen mit beschränkter Rechenleistung eine Erkennung von teilverdeckten beweglichen Objekten in Echtzeit nur schwierig zu realisieren. Daher ist in der Steuereinheit 23 vorgesehen, ein Verfahren entsprechend dem Flussdiagramm der 2 auszuführen.
-
In Schritt S1 werden zunächst die ersten und zweiten Bildinformationen mit Hilfe der ersten und zweiten Kamera 21, 22 erfasst und in der Steuereinheit 23 bereitgestellt. Wie oben angegeben, kann die erste Bildinformation auch aus einer durch eine Kamera mit hoher Auflösung erfassten zweiten Bildinformation gemäß einem Hardware- oder Softwarealgorithmus generiert werden.
-
In Schritt S2 werden aus der Abbildung der Umgebung des Kraftfahrzeugs 1, die durch die erste Bildinformation dargestellt ist, durch ein gängiges, an sich bekanntes Objekterkennungsverfahren erste Objekte bestimmt und identifiziert. Die ersten Objekte können nicht verdeckte bewegliche Objekte, wie zum Beispiel Fußgänger, und nicht verdeckte unbewegliche Objekte, wie z.B. parkende Kraftfahrzeuge und dergleichen, umfassen.
-
In Schritt S3 werden nun durch semantische Klassifizierung des Fahrzeugumfelds basierend auf der durch die erste Bildinformation angegebenen Abbildung die erkannten Objekte identifiziert und klassifiziert. Die Klassifizierung erfolgt entsprechend Objekteigenschaften, die die betreffenden Objekte als Sichthindernis oder als bewegliches Objekt identifizieren.
-
In Schritt S4 werden die unverdeckten beweglichen Objekte dem Fahrer zur Kenntnis gebracht bzw. derjenige Teil der beweglichen Objekte wird dem Fahrer zur Kenntnis gebracht, von deren Bewegung eine Gefährdung des Objekts oder des Kraftfahrzeugs ausgeht. Insbesondere wird der Fahrer durch oben angegebene Möglichkeiten auf die betreffenden beweglichen Objekte aufmerksam gemacht. Als Beispiel sind in 3 auf einer Abbildung einer beispielhaften Umgebung des Kraftfahrzeugs 1 die Umrahmungen U1, U2 der Fahrradfahrer, die als vollständig sichtbare bewegliche erste Objekte identifizierbar sind, angegeben.
-
Aus den in Schritt S3 identifizierten Objekte werden in Schritt S5 diejenigen ausgewählt, die als Sichthindernisse dienen können. Insbesondere können erkannte Objekte, die in die Klassen „parkende Fahrzeuge“, „Bepflanzung“, „Zäune“ und „Mauern“ fallen, als Sichthindernisse angenommen werden, da sich dahinter bewegliche Objekte, wie Fußgänger, befinden können, die nur teilweise verdeckt werden. Insbesondere sind diese Objekte durch ihre Höhe charakterisiert, wenn diese eine Höhe aufweisen, die geringer ist als eine Höhe einer durchschnittlichen Person. Ein parkendes Fahrzeug als ausgewähltes Objekt ist in 3 als O bezeichnet. Eine gesonderte Markierung des ausgewählten Objekts muss dem Fahrer nicht angezeigt werden.
-
Basierend auf den so erkannten und ausgewählten Objekten werden in Schritt S6 nun Bildbereiche innerhalb des erfassten Bildes bestimmt, in denen ein teilverdecktes Objekt teilweise sichtbar sein könnte. Insbesondere bestimmen die Bildbereiche erhöhter Wahrscheinlichkeit, dass sich dort mit erhöhter Wahrscheinlichkeit ein gefährdetes oder das Fahrzeug gefährdendes bewegliches Objekt, wie z.B. ein Fußgänger oder ein weiterer motorisierter Verkehrsteilnehmer, befindet. Diese Bildbereiche sind in 3 beispielsweise als B markiert, obwohl diese dem Fahrer nicht angezeigt werden müssen. Beispielsweise können die Bildbereiche als Bereiche oberhalb oder seitlich der zuvor ausgewählten ersten Objekte definiert werden. Der mindestens eine Bildbereich kann mit einer definierten Breite (in Richtung senkrecht zu einem Außenrand des betreffenden ausgewählten ersten Objektes) gewählt werden.
-
Nur in diesen Bildbereichen wird in Schritt S7 nun mit Hilfe der zweiten hochaufgelösten Bildinformation nach teilverdeckten beweglichen Objekten gesucht, wie zum Beispiel Köpfen von Fußgängern und dergleichen.
-
Die Erkennung von Köpfen oder Oberkörpern von Fußgängern können durch ein geeignetes Klassifikationsverfahren basierend auf Detailmerkmalen, die beispielsweise ein Gesicht oder einen Oberkörper einer Person beschreiben, in Schritt S8 erkannt werden. Die Bildbereiche, in denen sich teilverdeckte bewegliche Objekte befinden können, können auch seitlich neben den als Sichthindernisse dienenden Objekten angeordnet sein, so dass in Querrichtung halbverdeckte bewegliche Objekte ebenfalls mit Hilfe von geeigneten Klassifikationsverfahren erkannt und als bewegliche Objekte werden können. In Figur sind zwei Köpfe als teilverdeckte Objekte in dem Bildbereich als VO bezeichnet. Diese können dem Fahrer in geeigneter Weise dargestellt werden.
-
In Schritt S9 werden die erkannten teilverdeckten Objekte analog zu Schritt S4 dem Fahrer insbesondere visuell zur Kenntnis gebracht.
-
Die Bildbereiche für die weitere Suche können unter Berücksichtigung einer bestimmten TTC (Time to Collision) von darin möglicherweise sich befindenden teilverdeckter Objekte ausgewählt werden, so dass nur diejenigen Bildbereiche für die detailliertere Suche nach teilverdeckten beweglichen Objekten berücksichtigt werden, in denen ein potenziell an dieser Stelle befindliches bewegliches Objekt innerhalb einer vorgegebenen Zeit in einen Konflikt mit dem Fahrzeug gerät. Die TTC stellt damit ein Kritikalitätsmaß als weiteres Auswahlkriterium für eine Auswahl aus den bestimmten Bildbereichen dar.
-
Weiterhin kann das Kraftfahrzeug 1 mit einer Sende-/Empfangseinrichtung 24 ausgebildet sein, die Informationen über auf einer Fahrstrecke erkannte Sichthindernisse und beweglichen Objekt an eine (nicht gezeigte) Zentraleinheit übermittelt. In der Zentraleinheit können die so erhaltenen Informationen verarbeitet werden, um für bestimmte Fahrzeugpositionen des Kraftfahrzeugs 1 Bildbereiche zu bestimmen, an denen sich gehäuft teilverdeckte Fußgänger oder andere teilverdeckte bewegliche Objekte befinden.
-
Befindet sich das Kraftfahrzeug 1 an der entsprechenden Fahrzeugposition, kann es mit entsprechender Ausrüstung Informationen über die Bildbereiche empfangen, in denen sich mit hoher Wahrscheinlichkeit sichtverdeckte Fußgänger befinden und in denen demnach mit der zweiten Bildinformation zu suchen ist unabhängig davon, ob diese Bildbereiche in Schritt S6 identifiziert wurden. Vor allem können für diese Fahrzeugpositionen die Schritte S2 bis S6 übersprungen werden.
-
Eine Priorisierung der bestimmten Bildbereiche B kann weiter durch die Art der ausgewählten Objekte vorgenommen werden. Werden zu viele potenzielle Bildbereiche ermittelt, in denen sich teilsichtverdeckte bewegliche Objekte befinden können, so können die Bildbereiche entsprechend der Art der ausgewählten ersten Objekte, d.h. entsprechend ihrer semantischen Klassifikation priorisiert werden. Beispielsweise können Bildbereiche um parkende Fahrzeuge mit einer höheren Priorität ausgewählt werden als Bildbereiche um Hecken oder Mauern.
-
Es kann vorgesehen sein, dass das Ermitteln von Bildbereichen um die ausgewählten ersten Objekte bei Erreichen einer bestimmten gesamten Bildfläche abgebrochen wird, um die Rechenkapazität der Steuereinheit 23 durch die rechenintensive Suche des Schritts S7 nicht zu überschreiten. Die gesamte Bildfläche kann sich als Summe der Bildflächen der den ausgewählten ersten Objekten zugeordneten Bildbereichen ergeben.
-
Eine weitere Abhängigkeit bezüglich der Priorisierung kann die Höhe des ausgewählten Objektes darstellen. Je nach Höhe des Objektes können verschiedene Klassifikatoren zur Erkennung der Detailmerkmale der beweglichen Objekte verwendet werden. So können in Schritt S7 in den Bildbereichen, die sich aus den als Sichthindernisse erkannte Objekte mit geringer Höhe ergeben, Klassifikatoren für die Erkennung von Oberkörpern, Schulterpartien und Köpfen von Fußgängern verwendet werden, während bei Bildbereichen, die sich aus den als Sichthindernisse erkannten Objekte mit größerer Höhe ergeben, Klassifikatoren für Köpfe oder Regenschirme oder dergleichen verwendet werden können. Durch diese Annahmen kann die Objekterkennung in Schritt S7 deutlich verbessert werden. Die Auswahl des geeigneten Klassifikators kann also adaptiv in Abhängigkeit von der Art des Sichthindernisses und/oder von der Höhe des Sichthindernisses erfolgen.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Umfelderfassungssystem
- 21
- erste Kamera
- 22
- zweite Kamera
- 23
- Steuereinheit
- 24
- Sende-/ Empfangseinrichtung
- 25
- Ausgabemittel
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Sudowe, Patrick et al. „Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video“, „Computer Vision Systems“, Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), S. 11–20 [0005]
- Lampert, Christoph et al. „Beyond sliding windows: Object localization by efficient subwindow search“, 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, USA, S. 1–8 [0005]
- Kapsalas, P. et al. „Regions of interest for accurate object detection“, 2008, International Workshop on Content-Based Multimedia Indexing, London, UK, S. 147–154 [0005]
- Broggi, A et al. „A New Approach to Urban Pedestrian Detection for Automatic Braking", Intelligent Transportation Systems, IEEE Transactions on, Band 10, no.4, Seiten.594,605, Dec. 2009 [0006]
- Premebida, C. et al.“Fusing LIDAR, camera and semantic information: A context based approach for pedestrian detection“, 2013, The International Journal of Robotics Research 32 (3), S.371–384 [0006]
- Keller, C.G. et al. „Dense stereo-based ROI generation for pedestrian detection“, in „Pattern Recognition“, 31st DAGM Symposium, Jena, Germany, September 9–11, 2009. Proceedings. Band 5748 of Lecture Notes in Computer Science, Seiten 81–90, Springer, 2009 [0007]
