-
Stand der Technik
-
Das Verfahren betrifft die Erkennung eines Objekts, welches in einen Überwachungsbereich eintritt. Das Verfahren sieht die Aufnahme eines ersten und eines zweiten Bildes zur Stereo Bildverarbeitung vor. Die Erkennung des eintretenden Objekts erfolgt basierend auf dem ersten und zweiten Bild.
-
Aus der Druckschrift
DE 10 2017 010 731 A1 ist Verfahren zur Erfassung eines Objektes anhand seines Schattens in einer Umgebung eines Fahrzeugs bekannt. Insbesondere wird basierend auf Bilddaten der Schatten von verdeckten Personen erfasst und als Gefahr erkannt.
-
Offenbarung der Erfindung
-
Es wird ein Verfahren zur Erkennung eines in einem Überwachungsbereich erscheinenden Objekts mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner werden ein Computerprogramm, ein maschinenlesbares Speichermedium und eine Steuereinrichtung vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
-
Es wird ein Verfahren zur Erkennung eines erscheinenden Objekts vorgeschlagen. Das Verfahren ist beispielsweise zur Ausführung auf einem Computer, einer Steuereinrichtung oder einer Kamera ausgebildet. Im Speziellen ist das Verfahren zum Einsatz im autonomen Fahren, beispielsweise eines PKWs, landwirtschaftlichen Fahrzeuges oder Fluggerätes, ausgebildet. Das Verfahren kann insbesondere ein maschinenlernendes Verfahren bilden, welches beispielsweise unter Verwendung eines neuronalen Netzes trainierbar ist.
-
Das Verfahren sieht die Erkennung eines erscheinenden Objektes in einem Überwachungsbereich vor. Erscheinen bedeutet hierbei beispielsweise ein Eintreten in den Überwachungsbereich. Im Speziellen wird als Erscheinen und/oder Eintreten ein laterales, bzw. seitliches, Eintreten oder Erscheinen des Objekts in den Überwachungsbereich verstanden. Der Überwachungsbereich ist insbesondere ein kamera-, bildtechnisch und/oder videotechnisch überwachter Bereich. Vorzugsweise ist der Überwachungsbereich die Umgebung um ein Fahrzeug, beispielsweise PKW, landwirtschaftliches Fahrzeug oder Fluggerät. Der Überwachungsbereich kann ferner als ein Gefahrenbereich, beispielsweise einer Produktionsanlage bzw. Maschine, sein. Die erscheinenden Objekte sind beispielsweise Personen, Tiere oder sachliche Objekte.
-
Das Verfahren sieht die Aufnahme eines ersten Bildes und eines zweiten Bildes vor. Die Aufnahme der Bilder kann dem Verfahren auch vorgelagert sein, sodass das Verfahren die Übernahme des ersten und des zweiten Bildes, beispielsweise von einer Kamera, vorsieht. Das erste Bild und das zweite Bild werden insbesondere zeitgleich aufgenommen. Die Aufnahme des ersten und des zweiten Bildes erfolgt beispielsweise mit einer Stereokamera. Das erste und das zweite Bild stellen eine Aufnahme des Überwachungsbereichs dar. Insbesondere erfolgt die Aufnahme des Überwachungsbereichs in eine Aufnahmerichtung, wobei lateral Eintreten beispielsweise ein Eintreten in die seitliche Begrenzung der Bilder und/oder den Überwachungsbereich meint. Im Speziellen erfolgt die Aufnahme des ersten Bildes und des zweiten Bildes mit einer Kamera des Fahrzeugs, beispielsweise einer Frontkamera oder einer Rückkamera. Die ersten Bilder und die zweiten Bilder sind ausgebildet, in gemeinsam in einer stereoskopischen Bildverarbeitung verarbeitet werden zu können. Besonders bevorzugt ist es, dass die Aufnahme des ersten Bildes und des zweiten Bildes mit einer Bildrate von mindestens 20 Hz, im Speziellen mindestens 30 Hz, erfolgt.
-
Das Verfahren sieht die Ermittlung und/oder Bestimmung einer Disparitätskarte vor. Die Ermittlung und/oder Bestimmung der Disparitätskarte erfolgt basierend und/oder mit dem ersten und dem zweiten Bild. Im Speziellen kann statt und/oder ergänzend zu der Disparitätskarte eine Tiefenkarte des Überwachungsbereichs bestimmt und/oder ermittelt werden. Die Disparitätskarte beschreibt Tiefen- und/oder Abstandsverhältnisse von Objekten im Überwachungsbereich, beispielsweise relativ zueinander und/oder relativ zur Kamera. Die Tiefenkarte und/oder die Disparitätskarte ist insbesondere als eine Art Entfernungsaufnahme zu verstehen.
-
Basierend auf der Disparitätskarte wird ein Überwachungsbereichsfreiraum bestimmt. Der Überwachungsbereichsfreiraum ist beispielsweise ein objektfreier Abschnitt, ein hindernisfreier Abschnitt, ein flacher und/oder ein ebener Abschnitt des Überwachungsbereichs. Beispielsweise ist als Überwachungsbereichsfreiraum eine freie Straße ohne Hindernisse wie weitere Fahrzeuge, zu verstehen, Seitenstreifen, sowie beispielsweise im Anwendungsfall von Landmaschinen freie Acker-, Flur- und/oder Feldabschnitte. Der Überwachungsbereichsfreiraum ist als eine Teilmenge des Überwachungsbereichs, im Speziellen als eine Teilmenge des ersten Bildes des zweiten Bildes und/oder der Disparitätskarte aufzufassen. Das Verfahren sieht eine Segmentierung in Stixelbereiche vor. Stixelbereiche sind beispielsweise Segmente der Disparitätskarte, im Speziellen des Überwachungsbereichsfreiraum, wobei die Segmente insbesondere eine gleiche Breite aufweisen. Die Segmente eines Stixelbereichs weisen insbesondere eine gleiche und/oder ähnliche Steigung bezüglich einer Bildebene auf. Insbesondere sind die Segmente, insbesondere Stixel genannt, vertikal ausgerichtete Segmente. Stixel basieren insbesondere auf der Überlegung, dass auf ebenen Flächen Objekte vertikal angeordnet sind, sodass eine Segmentierung von Objekten bevorzugt in vertikaler Richtung zu erfolgen hat. Mehrere Stixel werden zu einem Stixelbereich zusammengefasst, wobei diese Stixelbereiche freie Abschnitte, hindernisfreie Abschnitte, insbesondere Straßen, Randstreifen, Flur und/oder Feldbereiche darstellen. Abschnitte des Überwachungsbereichs mit einem Hindernis, beispielsweise einem vorausfahrenden Fahrzeug, einem Straßenhindernis, einem Baum und/oder einem Haus, welche insbesondere keine Freiräume darstellen, sind im Speziellen nicht Teil von Stixelbereichen. Basierend auf der Disparitätskarte, insbesondere auf dem ersten und dem zweiten Bild können insbesondere eine Mehrzahl an Stixelbereichen ermittelt und/oder bestimmt werden. Bei einer Mehrzahl an Stixelbereichen können diese zusammenhängend und/oder unzusammenhängend angeordnet sein.
-
-
Das Verfahren sieht die Aufnahme eines weiteren ersten Bildes und/oder die Aufnahme eines weiteren zweiten Bildes vor. Das weitere erste Bild wird insbesondere mit der gleichen Kamera aufgenommen wie das erste Bild, wobei das weitere zweite Bild beispielsweise von der gleichen Kamera aufgenommen wird wie das zweite Bild. Die Aufnahme von dem weiteren ersten Bild erfolgt insbesondere zu einem weiteren und/oder anderen Zeitpunkt als die Aufnahme des ersten Bildes, beispielsweise vorher oder nachher. Selbiges gilt für die Aufnahme des zweiten Bildes, sodass dieses beispielsweise vorher oder nachher erfolgt. Zur Durchführung des Verfahrens genügt es im Speziellen nur ein weiteres Bild aufzunehmen, beispielsweise ein weiteres erstes Bild oder ein weiteres zweites Bild. Alternativ kann die Aufnahme eines weiteren ersten Bildes und die Aufnahme eines weiteren zweiten Bildes vorgesehen sein, was die Robustheit des Verfahrens fördert.
-
Basierend auf dem ersten Bild und dem weiteren ersten Bild, alternativ und/oder ergänzend basierend auf dem zweiten Bild und dem weiteren zweiten Bild wird ein optischer Fluss bestimmt. Der optische Fluss ist beispielsweise der optische Fluss des Überwachungsbereichs, der optische Fluss zwischen ersten Bild und weiterem ersten Bild und/oder zwischen zweiten Bild und weiteren zweiten Bild. Basierend auf dem ermittelten optischen Fluss wird eine Flusskarte bestimmt und/oder ermittelt. Die Flusskarte umfasst und/oder beschreibt Objektflussbereiche. Objekteflussbereiche sind beispielsweise Abschnitte des Überwachungsbereichs und/oder der Bilder, im Speziellen Objekte des Überwachungsbereichs, die einen ähnlichen oder gleichen optischen Fluss aufweisen und/oder zu einem gleichen Objekt gehören. Insbesondere umfasst die Flusskarte eine Mehrzahl an Objektflussbereichen, beispielsweise, wenn unterschiedliche Objekte und/oder Bewegungen im Überwachungsbereich überwacht und/oder aufgenommen werden. Besonders bevorzugt ist es, dass die Flusskarte und die Disparitätskarte auf einem ähnlichen Koordinatensystem basieren und/oder sogar auf dem gleichen Koordinatensystem. Beispielsweise sind Flusskarte und Disparitätskarte Kartierung des Überwachungsbereichs, wobei Abschnitte der Disparitätskarte Abschnitten der Flusskarte zuordenbar sind. Diese Zuordnung ist insbesondere auch in umgekehrte Richtung möglich.
-
Das Verfahren sieht vor, dass die Objektflussbereiche mit den Stixelbereichen verglichen und/oder auf Plausibilität überprüft werden. Beispielsweise kann das Verfahren vorsehen, das Objektflussbereiche als erscheinendes Objekt gedeutet werden, wenn diese im Bereich einer oder mehrerer Stixelbereiche liegen. Die Stixelbereiche werden dem gemäß dem Verfahren insbesondere zur Verifikation und/oder Falsifikation eines erscheinenden Objektes basierend auf der Bestimmung und/oder Bewertung eines Objektflussbereiches herangezogen.
-
Dem Verfahren liegt die Überlegung zugrunde, dass die reine Verwendung von Objektflussbereichen häufig zu falsch positiven Bewertungen von eintretenden und/oder erscheinenden Objekten in einem Überwachungsbereich führen. Beispielsweise bereitet Schattenwurf häufig Probleme bei der Objektfrüherkennung, zum Beispiel wegen fälschlicher Bewertung als eintretendes Objekt. Andererseits kann ein Schattenwurf aber auch darauf hindeuten, dass bald ein Objekt in den Überwachungsbereich eintreten wird. Stixelbereiche, die gerade Freiräume und/oder Freibereiche charakterisieren, können somit herangezogen werden, die Art des optischen Fluss und/oder Objektenart genauer zu anaylsieren. Insbesondere basiert das vorgeschlagene Verfahren auf der Überlegung, dass erscheinende und/oder eintretende Objekte sich im Bereich von Umgebungsbereichsfreiräumen ankündigen, wobei durch die Stickselierung und/oder Segmentierung, die Bewertung der Überwachungsbereichfreiräume genauer möglich ist.
-
Beispielsweise wird zur Bestimmung, Verifizierung, zum Plausibilitätsscheck und/oder zur Feststellung eines erscheinenden Objektes ein Überlappt des Objektflussbereichs mit dem und/oder den Stixelbereichen bestimmt. Beispielsweise ist der Objektflussbereich und der Stixelbereich als ein flächiger Abschnitt und/oder Volumenabschnitt des Überwachungsbereiches, des ersten Bildes und/oder des zweiten Bildes ausgebildet. Beispielsweise wird bestimmt, wie groß die Überschneidung eines Objektflussbereiches mit einem oder mehreren Stixelbereichen ist und/oder wie viel Prozent eines Objektflussbereiches innerhalb der oder des Stixelbereiches liegen. Der Überlappt kann ein Flächenwert, ein Volumenwert, vorzugsweise jedoch ein prozentualer Anteil sein. Der prozentuale Anteil ist beispielsweise der Anteil des Objektflussbereiches innerhalb des/der Stixelbereiche und/oder mit Schnittmenge zwischen Stixelbereichen und Objektflussbereich. Als ein eintretendes Objekt, erscheinendes Objekt und/oder als relevantes Objekt wird insbesondere bei einem Überlappt größer oder gleich eines Schwellwerts ausgegangen. Der Schwellwert beträgt beispielsweise mindestens 40%, insbesondere mindestens 50 % und im Speziellen mindestens 70 %. Dieser Ausgestaltung liegt die Überlegung zu Grunde, dass Objektflussbereiche die zum Großteil und/oder zumindest mit einem Anteil größer als der Schwellwert, innerhalb eines Stixelbereiches liegen als eintretendes relevante und/oder erscheinendes Objekte zu verstehen sind. Beispielsweise können so gezielt bewegende Schatten, die in den Überwachungsbereich Freiräumen und damit in den Stick für Bereichen zu erwarten sind gezielt als relevante und erscheinende Objekte bestimmt werden. So können beispielsweise detektierte optische Flüsse, die beispielsweise durch ein vorausfahrendes Fahrzeug und/oder durch vorbeiziehende Hindernisse aufgrund einer Eigenbewegung, zu einem optischen Fluss und damit zu einem optischen Flussbereich führen, nicht als erscheinende Objekte gewertet, da diese nicht in den Sticksbereichen und/oder den Überwachungsbereichsfreiräumen liegen und so keinen relevanten Überlapp aufweisen. Es wird somit ein Verfahren vorgeschlagen, dass falsch positive Bewertungen von erscheinenden Objekten im Überwachungsbereich reduziert.
-
Eine Ausgestaltung der Erfindung sieht vor, dass die Objektflussbereiche einen minimalen optischen Fluss aufweisen müssen, insbesondere einen optischen Fluss größer als ein unterer Flussgrenzwert. Insbesondere ist es vorgesehen, dass Abschnitte mit einem optischen Fluss kleiner als der untere Flussgrenzwert keinen Objektflussbereich bilden und/oder zu keinem Objektflussbereich zugeordnet werden oder beitragen. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass als Objektflussbereichen nur Objekte mit einer Mindestbewegung und/oder Geschwindigkeit aufgefasst werden, sodass beispielsweise sehr langsame Bewegungen, beispielsweise Schattenwurf aufgrund von Sonnenstandsänderung, nicht fälschlich als eintretendes oder erscheinendes Objekt interpretiert werden.
-
Insbesondere ist es vorgesehen, dass vor der Bestimmung der Flusskarte optische Flüsse kleiner als ein Rauschflusswert herausgefiltert, unterdrückt und/oder verworfen werden. Beispielsweise kann der Rauschwert gleich der unteren Flussgrenzwert vorgesehen sein. Diese Ausgestaltung sieht vor, dass optische Flüsse von langsamen Vorgängen, insbesondere ein Rauschen und/oder statistische Streuung des optischen Flusses, herausgefiltert werden, wobei so nur relevante optische Flüsse zur Bestimmung und/oder Ermittlung der Flusskarte herangezogen werden. Es wird so ein besonders robustes und fehlertolerant Verfahren zur Objektbestimmung vorgeschlagen.
-
Die Aufnahme des ersten Bildes und des zweiten Bildes erfolgt insbesondere mittels einer Kameraanordnung. Die Kameraanordnung umfasst insbesondere eine erste und eine zweite Kamera, alternativ und/oder ergänzend eine Stereokamera. Die Kameraanordnung ist beispielsweise in dem Fahrzeug, beispielsweise Kraftfahrzeug, landwirtschaftlichen Fahrzeug oder Fluggerät angeordnet, sodass die Kameraanordnung der Bewegung des Fahrzeugs folgt. Die Kameraanordnung ist vorzugsweise in dem Überwachungsbereich beweglich und/oder bewegt. Bei dieser Ausgestaltung ist insbesondere eine Eigenbewegungsbestimmung vorgesehen. Die Eigenbewegungsbestimmung ist beispielsweise die Feststellung, ob sich ein Objekt in Überwachungsbereich bewegt oder ob sich die Kameraanordnung im Überwachungsbereich. Beispielsweise kann die Eigenbewegungsbestimmung auf der Auswertung von Objektklassen, beispielsweise Objekten die als stationär bekannt sind, beispielsweise Häuser oder Bäume, erfolgen. Alternativ und/oder ergänzend erfolgt die Eigenbewegungsbestimmung auf Sensoren, beispielsweise Inertialsensoren, der Kameraanordnung und/oder des Fahrzeugs. Diese Ausgestaltung sieht vor, dass basierend auf der ermittelten Eigenbewegungsbestimmung der optische Fluss in kamerainduzierten optischen Fluss und Objekt induzierten optischen Fluss unterschieden wird. Beispielsweise kann ein kamerainduzierter Fluss von bestimmten objektinduzierten Fluss herausgerechnet werden. Die Flusskarte wird dabei vorzugsweise alleine auf dem objektinduzierten optischen Fluss bestimmt, beispielsweise wird der kamerainduzierte optische Fluss zur Bestimmung der Flusskarte herausgefiltert. Die Objektflussbereiche sind insbesondere Abschnitte und Bereiche mit objektinduzierten optischen Fluss. Abschnitte und/oder Objekte mit kamerainduzierten optischen Fluss bilden und/oder tragen nicht zu den Objektflussbereichen bei.
-
Optional ist es vorgesehen, dass die Objektflussbereiche durch objektspezifische Zusammenfassung von optischen Flüssen gebildet werden. Beispielsweise erfolgt basierend auf dem ersten Bild, dem weiteren ersten Bild, dem zweiten Bild und/oder dem weiteren zweiten Bild, eine Objekterkennung und/oder Klassifizierung. Beispielsweise werden so Objektkategorien, -arten und/oder - cluster bestimmt. Basierend auf der Objektbestimmung werden die Objektflüsse zu den objektspezifischen Objektflussbereichen zusammengefasst. Beispielsweise wurde durch die Objekterkennung in einem der Bilder als Objekt ein Fahrzeug erkannt, wobei die optischen Flüsse im Bereich des erkannten Fahrzeuges, zu dem Objektflussbereich des Fahrzeugs zusammengefasst werden.
-
Beispielsweise erfolgt die Zusammenfassung der optischen Flüsse zu Objektflussbereichen basierend auf morphologischen Closing. Als morphologisches Closing wird im deutschen häufig der Begriff morphologische Zusammenfassung verwendet. Die Objekterkennung und/oder das morphologische Closing kann insbesondere als ein maschinengelerntes Verfahren erfolgen, beispielsweise unter Nutzung eines neuronalen Netzes.
-
Besonders bevorzugt ist es, dass die Objektflussbereiche auf einem Schatten basieren. Dabei wird der Schatten als Objekte erkannt und/oder behandelt. Schattenbereiche sind beispielsweise Abschnitte ohne starke Kontraste, Farben und/oder Strukturen. Beispielsweise können Objektflussbereiche, welche sehr grelle Farben, starke Kontrasten und/oder Muster aufweisen, herausgefiltert werden und nicht mittels der Stixelbereiche auf ein eintretendes Objekt abgeglichen werden. Hierbei wird beispielsweise Rechenleistung gespart, da der Vergleich von Objektflussbereichen und Stixelbereichen im Wesentlichen und/oder ausschließlich für Objektflussbereiche erfolgt, die einen Schatten darstellen.
-
Besonders bevorzugt ist es, dass ein Untergrund, eine Straße, ein Feld und/oder Flurbereich, im Speziellen eine ebene Fläche, einen Überwachungsbereichfreiraum bilden. Beispielsweise kann die Disparitätskarte auf Höhen- und/oder Tiefenänderungen, die nicht durch die Perspektive verursacht sind, untersucht werden, wobei solche Bereiche mit nicht perspektivisch verursachten Tiefen- und/oder Höhenänderungen als Überwachungbereichfreiräumen ausgeschlossen werden. Im Speziellen werden Abschnitte der Disparitätskarte und/oder des Überwachungsbereiches als Überwachungsbereichfreiräume bewertet, die die rein perspektivische (Fluchtlinienförmige) Höhen- unter Tiefenänderungen aufweisen.
-
Besonders bevorzugt ist es, dass das Verfahren und/oder Verfahrensschritte des Verfahrens ein maschinelles Lernen umfassen. Beispielsweise kann die Objektklassifizierung, die Bestimmung von Überwachungsbereichfreiräumen, die Segmentierung ins Stixelbereiche, die Bestimmung der Flusskarte und/oder Festlegung eines Schwellwerts maschinell gelernt und/oder trainiert werden, beispielsweise durch Verwendung eines neuronalen Netzes.
-
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, insbesondere mit Programmcodemittel. Das Computerprogramm ist zur Ausführung auf einem Computer, einem Navigationsgerät, einer Steuereinrichtung und/oder einen Bordcomputer ausgebildet. Das Computerprogramm ist ausgebildet, bei Ausführung das Verfahren wie vorher beschrieben durchzuführen und/oder auszuführen.
-
Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, beispielsweise CD oder DVD. Das maschinenlesbares Speichermedium umfasst das Computerprogramm wie vorher beschrieben.
-
Einen weiteren Gegenstand der Erfindung bildet eine Steuereinrichtung, wobei die Steuereinrichtung ausgebildet ist, das Verfahren wie vorher beschrieben auszuführen. Die Steuereinrichtung kann beispielsweise Teil eines Fahrzeugs, beispielsweise PKW, landwirtschaftlichen Fahrzeug oder Fluggerät bilden. Insbesondere ist die Steuereinrichtung Teil einer Einrichtung zum autonomen Fahren. Beispielsweise kann die Steuereinrichtung das autonom fahrende Fahrzeug steuern, beispielsweise bremsen und/oder beschleunigen, im Speziellen eine Warnung an einen Fahrer ausgeben, beispielsweise, wenn ein seitlich erscheinendes und/oder eintretendes Objekt im Überwachungsbereich detektiert wird.
-
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
- 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Steuereinrichtung;
- 2 eine Disparitätskarte als ein Ausführungsbeispiel;
- 3 eine Flusskarte als ein Ausführungsbeispiel;
- 4 schematischer Ablauf eines Ausführungsbeispiels des Verfahrens.
-
1 zeigt beispielhaft eine Anordnung eines Kraftfahrzeuges 1 mit einer Steuereinrichtung 2. Das Kraftfahrzeug 1 ist als landwirtschaftliches Fahrzeug ausgebildet, welches beispielsweise zur Feldbearbeitung eingesetzt wird. Das Kraftfahrzeug 1 ist ein Fortbewegungsmittel und bewegt sich in Fahrtrichtung 3 vor. Die Steuereinrichtung 2 ist beispielsweise als eine Alarmierungseinrichtung für den Fahrer ausgebildet, alternativ und/oder ergänzend als ein Bremssystem zum Bremsen bei Erscheinen von Personen und/oder Objekten vor dem Kraftfahrzeug 1. Der Steuereinrichtung 2 sind von einer Kameraanordnung 4 Bilder und/oder Aufnahmen bereitgestellt.
-
Die Kameraanordnung 4 ist in einem Frontbereich des Kraftfahrzeug 1 angeordnet. Die Kameraanordnung 4 ist ausgebildet, einen Überwachungsbereich 5 aufzunehmen und als Bilder auszugeben. Die Kameraanordnung 4 nimmt von dem Überwachungsbereich 5 erste und zweite Bilder auf. Der Überwachungsbereich 5 ist ein Abschnitt in Fahrtrichtung 3 vor dem Kraftfahrzeug 1 ausgebildet. In dem von der Kameraanordnung 4 erfassten Überwachungsbereichs 5 ist als stationäres Objekt ein Baum 6 angeordnet. Als ein bewegliches Objekt ist in dem Überwachungsbereich 5 ein vorausfahrendes Auto 7 angeordnet. Ferner befindet sich in einem seitlichen Bereich, der nicht Teil des Überwachungsbereichs 5 ist, eine Person 8. Die Person 8 bewegt sich selbst in Bewegungsrichtung 9 fort. Bei weiterer Bewegung des Kraftfahrzeuges 1 in Fahrtrichtung 3 und bei weiterer Belegung der Person 8 in Bewegungsrichtung 9 ist zu einem späteren Zeitpunkt zu erwarten, dass die Person 8 selbst im Überwachungsbereichs 5 sein wird und somit in einem Erfassungsbereich und/oder Gefahrbereich des Kraftfahrzeuges 1. Es ist damit Ziel des Verfahrens und der Steuereinrichtung 2, die Person 8 rechtzeitig zu detektieren und/oder zu erkennen, insbesondere bevor diese in den Gefahrenbereich eintritt.
-
Die Person 8 als ein räumliches Objekt resultiert in einem Schattenwurf mit Schatten 10. Der Schatten 10 erstreckt sich teilweise in den Überwachungsbereichs 5. Der Schatten 10 kann somit rechtzeitig, insbesondere vor Eintritt der eigentlichen Person 8 in den Überwachungsbereichs 5, zur Warnung des Fahrers und/oder zur rechtzeitigen Reaktion der Steuereinrichtung 2 dienen.
-
Für die gezeigte Anordnung ergibt sich bei angenommener weiterer Fortbewegung des Kraftfahrzeugs 1, des Autos 7 und der Person 8 sowie stationären Anordnung des Baus 6 bei Auswertung der aufgenommenen Bilder des Überwachungsbereichs 5 ein optischer Fluss für den Baum 6, da sich die Kameraanordnung 4 selbst bewegt. Ferner ergibt sich ein optischer Fluss für das vorausfahrende Fahrzeug 7 und die fortbewegende Person 9, wobei der Fluss hier von der Bewegung des Kraftfahrzeugs 1 und der Eigenbewegung des Autos 7 und der Person 8 sowie der Bewegung der Kameraanordnung 4 herrührt.
-
2 zeigt beispielhaft ein erstes Bild 11, aufgenommen von der Kameraanordnung 4 aus Figur ein. Die Kameraanordnung 4 aus 1 hat von dem Überwachungsbereich 5 auch ein zweites Bild aufgenommen, wobei erstes und zweites Bild 11 so aufgenommen sind, dass dieses zusammen stereoskopisch auswertbar sind. Das erste Bild 11 zeigt den Baum 6, das vorausfahrende Fahrzeug 7 und einen Teil des Schattens 10 der Person 8. Die Steuereinrichtung 2, die ausgebildet ist, das Verfahren anzuwenden, hat basierend auf dem ersten Bild 11 und des zweiten Bildes eine stereoskopische Auswertung durchgeführt und eine Disparitätskarte bestimmt. Basierend auf dieser des Disparitätskarte wurden Überwachungsbereichfreiräume bestimmt. Diese sind Bereiche des Überwachungsbereichs 5 und/oder des ersten Bildes 11 bzw. des zweiten Bildes, die keine Hindernisse aufweisen. Als Hindernisse werden beispielsweise Objekte wie der Baum 6, das Auto 7 und/oder Häuser verstanden. Basierend auf der stereoskopischen Auswertung, insbesondere der Disparitätskarte wird der Überwachungsbereichs 5, insbesondere auch das Bild 11, stixeliert und/oder segementiert, wobei die Segmente als Stixel bezeichnet werden. Stixel sind Abschnitte des Umgebungsbereichs 5, die zu dem Überwachungbereichsfreiraum zählen, wobei die Stixel vertikal orientiert sind und eine gleiche Breite aufweisen. Stixel welche eine gleiche Tiefe aufweisen bzw. einen gleichen oder ähnlichen Abstand zur Kameraanordnung 5 aufweisen, werden zu Stixelbereichen 13 zusammengefasst. Diese Stixelbereiche 13 kennzeichnen einen Freiraum. Ein Stixelbereich 13 mit einer Mehrzahl an Stixeln 12 erstreckt sich beispielsweise zwischen Kraftfahrzeug 1, zu dem Baum 6 und dem Auto 7. Zu diesem Stixelbereich 13 zählt ferner ein Straßenabschnitt und Seitenabschnitt, wobei in diesem Pixelbereich der Schatten 10 der Person 8 fällt.
-
3 zeigt eine Flusskarte 14, die auf dem ersten Bild 1 aus 2 und einen weiteren ersten Bild 1, aufgenommen zu einem späteren Zeitpunkt, basiert. Das erste Bild 11und das weitere erste Bild wurden bezüglich eines vorhandenen optischen Flusses ausgewertet. Die Auswertung ergab einen optischen Fluss, für den Baum 6, das Auto 7 und den Schattenwurf 10. Die optischen Flüsse unterscheiden sich insbesondere in ihrem Betrag, da sowohl Auto 7 als auch Person 11 eine Eigenbewegung aufweisen, die zum optischen Fluss beiträgt, wobei der optische Fluss des Baums 6 lediglich durch die Bewegung des Fahrzeugs 11 erzeugt ist. Die bestimmten optischen Flüsse basierend auf dem ersten Bild 11 und den weiteren ersten Bild wurden zusammengefasst zu Objektflussbereichern 15a, b, c. Der Objektflussbereich 1a gehört zur der Person 8 bzw. dem Schatten 10, Der Objektflussbereich 15b gehört zu dem Auto 7 und der Objektflussbereich 15c gehört zu dem Baum 6.
-
Das Verfahren berücksichtigt zur Bewertung, ob es sich bei den Objektflussbereichen 15 um eintretende Personen handelt, eine Überprüfung, ob die optischen Flussbereiche 15 a-c in den Stixelbereichen 13 liegen, da Schatten 10 von eintretende Personen nur auf Freiflächen zu beobachten sind und diese Stixelbereiche 13 bilden.
-
In 4 ist beispielhaft ein Ablauf des Verfahrens zur Erkennung eines eintretenden Objektes gezeigt. Die Verfahrensschritte 100a,b, c betrifft die Aufnahme von Bildern des Überwachtbereiches 5. In dem Schritt 100a wird ein erstes Bild 11 zu einem Zeitpunkt t aufgenommen, wobei in dem Schritt 100b ein zweites Bild zu dem Zeitpunkt t aufgenommen wird. Der Verfahrensschritt 100c betrifft die Aufnahme eines weiteren ersten Bildes 11 zu einem Zeitpunkt t+Δt.
-
In dem Verfahren Schritt 200 wird basierend auf dem ersten Bild 11 und dem zweiten Bild eine Disparitätskarte 16 bestimmt. Die Disparitätskarte 16 wird Stixelierung im Verfahrensschritt 300 unterzogen. Dabei werden freie Bereiche des Überwachungsbereichs 5 zu Stixelbereichen 13 zusammengefasst. Die Stixelbereiche 13 können beispielsweise als Pixelkarte 17 zusammengefasst werden, beispielsweise in Form einer Textdatei.
-
In dem Verfahren Schritt 400 wird basierend auf dem ersten Bild 11 aus 100a und dem weiteren ersten Bild aus 100c der optische Fluss bestimmt. Hieraus wird die Flusskarte 14 bestimmt, die in einem Nachbearbeitungsschritt 500 weiter ausgewertet wird. Hierbei werden beispielsweise Bereiche eines erkannten und/oder klassifizierten Objektes zu objektspezifischen Flussbereichen 15 zusammengefasst, alternativ oder ergänzend können Eigenbewegungen und/oder Objektbewegungen zur besseren Bestimmung von Objketflussbereichen 15 herangezogen werden. Resultat des Verfahrens des 500 ist die bereinigte Flusskarte 18.
-
In dem Verfahrensschritt 600 wird die bereinigte Flusskarte 18 bzw. die Flussbereiche 15 auf Plausibilität mit den Stixelbereichen 13 abgeglichen. Bei dem Verfahrensschritt 600 werden beispielsweise nur Objektflussbereiche 15 als relevante eintretende Ereignisse und/oder Objekte aufgefasst, die mit Stixelbereichen 13 zusammenfallen. Bei Bewertung und/oder Feststellung eines eintretenden Objekts wird eine Warnung 19 ausgegeben.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017010731 A1 [0002]
- DE 102009009047 A1 [0009]
- DE 102012000459 A1 [0009]
- DE 102011111440 A1 [0009]
