-
Die Erfindung betrifft ein Verfahren zur Erkennung von Objekten, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Erkennungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Erkennungsvorrichtung.
-
Verfahren zur Erkennung von Objekten mittels einer Beleuchtungseinrichtung und einem optischen Sensor sind bekannt. Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer
WO 2017/009848 A1 geht ein solches Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich aufzunehmen und Objekte in dieser Aufnahme zu erkennen.
-
Problematisch dabei ist, dass die Objekterkennung anhand einer zweidimensionalen Aufnahme durchgeführt wird. Mittels einer einzigen Aufnahme ist es allerdings nicht möglich, auf die Ausmaße des Objekts zu schließen. Für eine dreidimensionale Beobachtung und Beurteilung eines Objekts sind mindestens zwei Aufnahmen, bei Verwendung einer monokularen Kamera, notwendig. Bei einem fahrenden Fahrzeug ist es im Normalfall allerdings aufgrund der Fahrzeug-Eigenbewegung, dem Nicken, dem Rollen und Gieren nahezu unmöglich eine Bildregistrierung für zwei nacheinander aufgenommenen Aufnahmen durchzuführen. Eine registrierte, aus zwei Aufnahmen kombinierte Aufnahme würde sowohl beleuchtungsrelevante Unterschiede als auch davon nicht trennbare bewegungsrelevante Unterschiede aufweisen. Eine zuverlässige Objekterkennung ist damit nicht möglich.
-
Darüber hinaus ist eine Objekterkennung von Objekten, die einen geringen Kontrast zu dem Hintergrund und/oder zu der Umgebung aufweisen, nur sehr schwer möglich.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Erkennung von Objekten, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Erkennungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Erkennungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
-
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
-
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Erkennung von Objekten mittels einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und einem optischen Sensor geschaffen wird, wobei die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung räumlich voneinander beabstandet sind. Dabei werden Ansteuerungen der ersten Beleuchtungseinrichtung, der zweiten Beleuchtungseinrichtung und des optischen Sensors zeitlich aufeinander abgestimmt. Einer ersten abgestimmten Ansteuerung der ersten Beleuchtungseinrichtung und des optischen Sensors wird ein erster sichtbarer Abstandsbereich zugeordnet, und einer zweiten Ansteuerung der zweiten Beleuchtungseinrichtung und des optischen Sensors wird ein zweiter sichtbarer Abstandsbereich zugeordnet, wobei sich der erste sichtbare Abstandsbereich und der zweite sichtbare Abstandsbereich zumindest teilweise überschneiden. Mittels der ersten abgestimmten Ansteuerung wird eine erste Aufnahme des ersten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der ersten Beleuchtungseinrichtung mit dem optischen Sensor aufgenommen. Des Weiteren wird mittels der zweiten abgestimmten Ansteuerung eine zweite Aufnahme des zweiten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der zweiten Beleuchtungseinrichtung mit dem optischen Sensor aufgenommen. In einer als Differenzbild der ersten Aufnahme und der zweiten Aufnahme erzeugten Differenz-Aufnahme werden Bildinformationen gesucht und mittels in der Differenz-Aufnahme gefundener Bildinformationen wird wenigstens ein Objekt detektiert.
-
Mithilfe des hier vorgeschlagenen Verfahrens ist es vorteilhaft möglich, Szenen mit zwei unterschiedlichen Beleuchtungseinrichtungen auszuleuchten und unterschiedlich beleuchtete Aufnahmen zu erstellen. Die unterschiedlichen Beleuchtungen und die Auswertung der Aufnahmen ermöglicht es vorteilhaft, dreidimensionale Objekte bei Verwendung eines monokularen optischen Sensors zu detektieren.
-
Das Verfahren kann besonders vorteilhaft in automatisiert fahrenden Fahrzeugen, insbesondere automatisch fahrenden Lastkraftwagen, angewendet werden. Insbesondere bei einer Nachfahrt ohne Vorausfahrer mit hoher Reichweitenanforderung können vorteilhaft mithilfe des Verfahrens auf der eigenen Fahrspur des Fahrzeugs angeordnete, nicht überfahrbare Objekte detektiert werden. Das Verfahren ermöglicht eine rechtzeitige und angemessene Reaktion auf die Detektion solcher Objekte. Eine solche angemessene Reaktion kann beispielsweise eine Notbremsung oder das Befahren einer - gegebenenfalls ad hoc bestimmten - Ausweichtrajektorie sein.
-
Solche nicht überfahrbaren Objekte werden typischerweise auch als „lost cargo“ bezeichnet. Es kann sich bei solchen Objekten aber auch um auf der Straße liegende, insbesondere verunfallte, Personen oder Tiere handeln.
-
Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung von einer Beleuchtungseinrichtung und einem optischem Sensor ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten.
-
Insbesondere werden durch die Beleuchtungseinrichtungen eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtungen und andererseits des optischen Sensors mit entsprechend definierter örtliche Lage, das heißt insbesondere bestimmtem Abstand des Beginns des Abstandsbereichs von dem optischen Sensor und bestimmter Abstandsbereichs-Breite, durch den optischen Sensor erfasst werden.
-
Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtungen in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.
-
Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum, das heißt auf Seiten des zu beobachtenden Objekts, angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der sichtbare Abstandsbereich ist dabei objektseitig gegeben. Diesem entspricht durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zugeordnete bildseitige Bereich auf der Bildebene.
-
Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtungen treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtungen und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtungen und von dem optischen Sensor entfernt ist.
-
Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch entsprechende geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtungen einerseits und des optischen Sensors andererseits die Lage und räumliche Breite des sichtbaren Abstandsbereichs zu definieren.
-
In einer alternativen Ausgestaltung des Verfahrens kann der sichtbare Abstandsbereich vorgegeben sein, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtungen einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird.
-
In einer weiteren Ausführungsform des Verfahrens beleuchten die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung die objektseitige Szenerie abwechselnd, das heißt die Beleuchtungseinrichtungen senden nie gleichzeitig Lichtimpulse aus. In einem ersten Zeitintervall sendet die erste Beleuchtungseinrichtung Lichtimpulse aus, in einem zweiten Zeitintervall wird mit dem optischen Sensor eine erste Aufnahme erstellt, in einem dritten Zeitintervall sendet die zweite Beleuchtungseinrichtung Lichtimpulse aus und in einem vierten Zeitintervall wird mit dem optischen Sensor eine zweite Aufnahme erstellt. Die Zeitintervalle sind so gewählt, dass sich das erste Zeitintervall und das dritte Zeitintervall nicht überschneiden. Alternativ oder zusätzlich sind die erste Abstimmung und die zweite Abstimmung derart gewählt, dass der erste sichtbare Abstandsbereich und der zweite sichtbare Abstandsbereich nahezu identisch, vorzugsweise identisch, sind. Alternativ oder zusätzlich sind die ersten Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung derart an der Fahrzeugfront angebracht, dass der Abstand zwischen den Beleuchtungseinrichtungen maximal ist. Alternativ oder zusätzlich ist die erste Beleuchtungseinrichtung oder die zweite Beleuchtungseinrichtung in unmittelbarer Nähe zu dem optischen Sensor angeordnet. Vorzugsweise werden die erste Aufnahme und die zweite Aufnahme mit einem zeitlich möglichst geringen Abstand erstellt.
-
Die Beleuchtungseinrichtungen sind in bevorzugter Ausgestaltung jeweils ein Laser. Der optische Sensor ist in bevorzugter Ausgestaltung eine Kamera.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass ein erster Schattenwurf in der ersten Aufnahmen und ein zweiter Schattenwurf in der zweiten Aufnahme beurteilt werden, wobei basierend auf der Beurteilung des ersten Schattenwurfs und des zweiten Schattenwurfs auf das Objekt geschlossen wird.
-
Vorteilhafterweise entsteht durch die Beleuchtung der objektseitigen Szenerie mittels der ersten Beleuchtungseinrichtung ein erster objektseitiger Schattenwurf des Objekts und mittels der zweiten Beleuchtungseinrichtung ein zweiter objektseitiger Schattenwurf des Objekts. Die bildseitigen abgebildeten Schattenwürfe werden dann beurteilt. In der Differenz-Aufnahme sind dann lediglich die Teile der ersten Aufnahme und der zweiten Aufnahme zu sehen, welche nur von dem ersten, insbesondere bildseitigen, Schattenwurf oder dem zweiten, insbesondere bildseitigen, Schattenwurf überdeckt werden.
-
In einer bevorzugten Ausführungsform des Verfahrens sind die Beleuchtungseinrichtungen an der Fahrzeugfront derart angebracht, dass der Abstand zwischen der ersten Beleuchtungseinrichtung und der zweiten Beleuchtungseinrichtung maximal ist. Damit sind dementsprechend auch die Unterschiede zwischen dem ersten Schattenwurf und dem zweiten Schattenwurf stark ausgeprägt und eine Beurteilung der Schattenwürfe in der Differenz-Aufnahme ist in einfacher und robuster Weise, insbesondere auch bei kleinen Objekten, möglich.
-
Vorteilhafterweise ist die Beurteilung der Szenerie mittels des ersten Schattenwurfs und des zweiten Schattenwurfs unabhängig von den vorhandenen Kontrastverhältnissen. Somit ist insbesondere auch eine robuste und zuverlässige Erkennung von Objekten bei Regen und/oder Nebel und/oder Dunkelheit möglich.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Aufnahme und die zweite Aufnahme in einem zeitlichen Abstand von weniger als 0,1 Sekunden aufgenommen werden. Ein zeitlicher Abstand von 0,1 Sekunden zwischen der ersten Aufnahme und der zweiten Aufnahme bedeutet, dass zehn Bilder pro Sekunde aufgenommen werden können. Vorzugsweise wird die zeitliche Ansteuerung so abgestimmt, dass der optische Sensor 20 Bilder, vorzugsweise 50 Bilder, vorzugsweise 120 Bilder oder mehr, pro Sekunde aufnimmt.
-
Vorzugsweise wird das Verfahren kontinuierlich mit einer Aufnahmerate von 120 Bildern pro Sekunde durchgeführt. Damit ist eine kontinuierliche und zuverlässigen Erkennung von Objekten möglich. Dadurch ist es vorteilhaft möglich die bewegungsrelevanten Unterschiede zwischen der ersten Aufnahme der zweiten Aufnahme zu minimieren. Eventuelle, noch vorhandene, kleine Artefakte lassen sich mit einer korrelationsbasierten Registrierung, insbesondere durch Aufeinanderlegen der Aufnahmen, kompensieren.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass ein Abstand zwischen dem detektierten Objekt und dem optischen Sensor bestimmt wird. Die Abstandsbestimmung zwischen dem detektierten Objekt und dem optischen Sensor wird mittels eines geeigneten Verfahrens durchgeführt. Ein solches geeignetes Verfahren ist aus der deutschen Offenlegungsschrift mit der Veröffentlichungsnummer
DE 10 2020 002 994 A1 bekannt.
-
Vorteilhafterweise kann mit der Detektion des Objekts und der Abstandsbestimmung des detektierten Objekts die rechtzeitige und angemessene Reaktion auf solche Objekte optimiert werden.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Suche von Bildinformationen mittels Mustererkennung durchgeführt wird. Damit ist eine robuste Detektion und Interpretation von den Bildinformationen gewährleistet.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die gefundenen Bildinformationen mittels Deep Learning klassifiziert werden.
-
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Fahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
-
Die Aufgabe wird auch gelöst, indem eine Erkennungsvorrichtung geschaffen wird, die eine erste Beleuchtungseinrichtung, ein zweiter Beleuchtungseinrichtung, einen optischen Sensor, und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Erkennungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
-
Die Steuereinrichtung ist bevorzugt mit der ersten Beleuchtungseinrichtung, mit der zweiten Beleuchtungseinrichtung und mit dem optischen Sensor wirkverbunden und eingerichtet zu deren Ansteuerung.
-
Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Erkennungsvorrichtung oder einer Erkennungsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Erkennungsvorrichtung erläutert wurden.
-
In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ist.
-
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen:
- 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer Erkennungsvorrichtung, und
- 2 eine schematische Darstellung einer ersten Aufnahme, einer zweiten Aufnahme und einer Differenz-Aufnahme die im Rahmen einer Ausführungsform des Verfahrens mit einem optischen Sensor aufgenommen sind.
-
1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, mit einem Ausführungsbeispiel einer Erkennungsvorrichtung 3. Die Erkennungsvorrichtung 3 weist eine erste Beleuchtungseinrichtung 5, eine zweite Beleuchtungseinrichtung 7 und einen optischen Sensor 9 auf. Außerdem weist die Erkennungsvorrichtung 3 eine Steuereinrichtung 11 auf, die hier nur schematisch dargestellt und in nicht expliziter Weise mit der ersten Beleuchtungseinrichtung 5, der zweiten Beleuchtungseinrichtung 7 und dem optischen Sensor 9 zu deren jeweiliger Ansteuerung wirkverbunden ist. In 1 ist insbesondere ein erstes Beleuchtungs-Frustum 13, ein zweites Beleuchtungs-Frustum 15 und ein Beobachtungsbereich 17 des optischen Sensors 9 dargestellt. Schraffiert dargestellt ist außerdem ein sichtbarer Abstandsbereich 19, welcher sowohl ein erster sichtbarer Abstandsbereich 19.1 als auch ein zweiter sichtbarer Abstandsbereich 19.2 ist. In dem sichtbaren Abstandsbereich 19 ist ein Objekt 21 angeordnet.
-
Die Steuereinrichtung 11 ist insbesondere eingerichtet zur Durchführung einer im Folgenden näher beschriebenen Ausführungsform eines Verfahrens zur Erkennung von einem Objekt.
-
Dabei werden die erste Beleuchtungseinrichtung 5, die zweite Beleuchtungseinrichtung 7 und der optische Sensor 9 zeitlich aufeinander abgestimmt angesteuert, wobei eine örtliche Lage des ersten sichtbaren Abstandsbereichs 19.1 und des zweiten sichtbaren Abstandsbereichs 19.2 aus der zeitlichen Abstimmung der Ansteuerung der ersten Beleuchtungseinrichtung 5, der zweiten Beleuchtungseinrichtung 7 und des optischen Sensors 9 gegeben ist. Der erste sichtbare Abstandsbereich 19.1 und der zweite sichtbare Abstandsbereich 19.2 sind so ausgewählt, dass die Bereiche sich zumindest teilweise überschneiden. Mittels einer ersten abgestimmten Ansteuerung der ersten Beleuchtungseinrichtung 5 und des optischen Sensors 9 wird eine erste Aufnahme 23 des ersten Abstandsbereichs 19.1 aufgenommen. Mittels einer zweiten abgestimmten Ansteuerung der zweiten Beleuchtungseinrichtung 7 und des optischen Sensors 9 wird eine zweite Aufnahme 25 des zweiten Abstandsbereichs 19.2 aufgenommen. In einer Differenz-Aufnahme 29 werden dann Bildinformationen 31 gesucht und anhand von gefundenen Bildinformationen 31 wird das Objekt 21 detektiert.
-
2 zeigt eine schematische Darstellung einer ersten Aufnahme 23, einer zweiten Aufnahme 25 und einer Differenz-Aufnahme 29 in einer Bildebene des optischen Sensors 9. Vorzugsweise werden die erste Aufnahme 23 und die zweite Aufnahme 25 in einem zeitlichen Abstand von 0,1 Sekunden, vorzugsweise in einem zeitlichen Abstand von weniger als 0,01 Sekunden, aufgenommen.
-
In 2 ist mit 21' das Bild des Objekts 21 in der ersten Aufnahme 23 und der zweiten Aufnahme 25 bezeichnet.
-
In der ersten Aufnahme 23 sind das Bild 21' des Objekts 21 und ein erster bildseitiger Schattenwurf 27 zu sehen. Der erste bildseitige Schattenwurf 27 entsteht aufgrund der vertikal tiefen Ausrichtung der ersten Beleuchtungseinrichtung 5 und dem großen Abstand zwischen der ersten Beleuchtungseinrichtung 5 und dem optischen Sensor 9.
-
In der zweiten Aufnahme 25 ist ebenfalls das Bild 21' des Objekts 21 zu sehen. Ein zweiter bildseitiger Schattenwurf ist in der zweiten Aufnahme 25 aufgrund des minimalen Abstandes zwischen der zweiten Beleuchtungseinrichtung 7 und dem optischen Sensor 9 nicht vorhanden.
-
Die Differenz-Aufnahme 29 enthält alle Bildbereich, in welchen sich die erste Aufnahme 23 und die zweite Aufnahme 25 unterscheiden. Diese Bildbereiche enthalten dann die zu untersuchenden Bildinformationen 31. Aufgrund der räumlichen Anordnung der ersten Beleuchtungseinrichtung 5, der zweiten Beleuchtungseinrichtung 7 und des optischen Sensors 9 und des zeitlich kurzen Abstandes der Aufnahmen entspricht die Bildinformationen 31 dem ersten Schattenwurf 27. Mittels der in der Differenz-Aufnahme 29 gefundenen Bildinformationen 31 wird dann auf das Objekt 21 geschlossen. Vorzugsweise wird anschließend das detektierte Objekt 21 mittels Deep Learning klassifiziert.
-
Die Suche nach den Bildinformationen 31 wird vorzugsweise mit Hilfe eines Mustererkennungs-Algorithmus durchgeführt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2017/009848 A1 [0002]
- DE 102020002994 A1 [0026]
