DE102020003218A1

DE102020003218A1 - Verfahren zur Detektion von verlorenen Bildinformationen, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Detektionsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Detektionsvorrichtung

Info

Publication number: DE102020003218A1
Application number: DE102020003218.4A
Authority: DE
Inventors: Fridtjof Stein
Original assignee: Daimler AG
Current assignee: Daimler Truck Holding AG
Priority date: 2020-05-28
Filing date: 2020-05-28
Publication date: 2020-10-15
Also published as: CN115843338A; US20230221411A1; WO2021239322A1

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion von verlorenen Bildinformationen mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei- eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei- ein sichtbarer Abstandsbereichs (15) in einem Beobachtungsbereich (13) des optischen Sensors (7) aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) gegeben ist, wobei eine Aufnahme (25) des Beobachtungsbereichs (13) mit dem optischen Sensor (7) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei- in der Aufnahme (25) in Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs (15) Bildinformationen gesucht werden, und wobei- gefundene Bildinformationen detektiert und zugänglich gemacht werden.

Description

Die Erfindung betrifft ein Verfahren zur Detektion von verlorenen Bildinformationen, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Detektionsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Detektionsvorrichtung.
Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer WO 2017/009848 A1 geht ein Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich in einem Beobachtungsbereich des optischen Sensors aufzunehmen, wobei sich der sichtbare Abstandsbereich aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ergibt. Eine Detektion von Bildinformationen erfolgt in den Aufnahmen nur in dem sichtbaren Abstandsbereich. In diesem Bereich sind allerdings retroreflektierende Objekte überbelichtet und im Falle von Verkehrszeichen software-technisch nicht lesbar. Eine Auswertung der der Bildbereiche der Aufnahmen, welche nicht dem sichtbaren Abstandsbereich entsprechen, sind nicht bekannt.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Detektion von verlorenen Bildinformationen, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Detektionsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Detektionsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Detektion von verlorenen Bildinformationen mittels einer Beleuchtungseinrichtung und einem optischen Sensor geschaffen wird. Dabei werden die Beleuchtungseinrichtung und der optische Sensor zeitlich aufeinander abgestimmt angesteuert. Eine örtliche Lage eines sichtbaren Abstandsbereichs in einem Beobachtungsbereichs des optischen Sensors ist dabei gegeben durch die zeitliche Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors. Es wird eine Aufnahme des Beobachtungsbereichs mit dem optischen Sensor mittels der abgestimmten Ansteuerung aufgenommen. Schließlich werden in der Aufnahme in den Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs Bildinformationen gesucht. Falls in der Aufnahme in den Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs Bildinformationen gefunden werden, werden diese Bildinformationen detektiert und zugänglich gemacht. Unter „Zugänglichmachen“ wird dabei insbesondere verstanden, dass die detektierte Bildinformation an ein Steuergerät zur Weiterverarbeitung und/oder Nutzung beim autonomen Fahren weitergeleitet oder dem Steuergerät anderweitig zur Verfügung gestellt wird.
Mithilfe des hier vorgeschlagenen Verfahrens ist es vorteilhaft möglich, Objekte außerhalb des sichtbaren Abstandsbereichs zu detektieren und dem Fahrzeug, in dem das Verfahren durchgeführt wird, die entsprechenden Informationen zur Verfügung zu stellen. Insbesondere sind die Detektion und Erkennung von retroreflektierenden Verkehrszeichen, welche einen gewissen fluoreszierenden und/ oder phosphoreszierenden Effekt haben, mit großer Präzision möglich. Dies ist insbesondere deswegen möglich, da die Verkehrszeichen auf Grund einer photolumineszierenden Eigenschaft Lichtphotonen der Beleuchtung absorbieren und über einen gewissen Zeitraum, insbesondere bis zu wenigen Sekunden, nach Ende der Beleuchtung diese Photonen wieder emittieren. Daher sind die retroreflektierenden Verkehrszeichen mit einer photolumineszierenden Eigenschaft bei direkter Beleuchtung, das heißt wenn sie im sichtbaren Abstandsbereich sind, durch die zusätzliche reflektierende Wirkung überbelichtet und damit software-technisch nicht lesbar. Sobald die Verkehrszeichen nicht mehr innerhalb des sicherbaren Abstandsbereich sind, wirkt der photolumineszierende Effekt, und durch die emittierten Photonen werden die Verkehrszeichen deutlich in der Aufnahme des optischen Sensors abgebildet. Vorteilhafterweise eignet sich das Verfahren auch zur Erkennung von Fahrrädern mit photolumineszierenden Bauteilen und Personen mit photolumineszierender Kleidung.
Das Verfahren kann besonders vorteilhaft in automatisiert fahrenden Fahrzeugen, insbesondere automatisch fahrenden Lastkraftwagen, angewendet werden. Insbesondere bei einer Nachtfahrt können vorteilhaft mithilfe des Verfahrens Verkehrszeichen oder andere Verkehrsteilnehmer detektiert werden. Das Verfahren ermöglicht eine rechtzeitige und angemessene Reaktion auf die Detektion der Verkehrszeichen und der anderen Verkehrsteilnehmer. Eine solche angemessene Reaktion kann beispielsweise eine Geschwindigkeitsreduktion, eine Notbremsung oder das Befahren einer - gegebenenfalls ad hoc bestimmten - Ausweichtrajektorie sein.
Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung von Beleuchtungseinrichtung und optischem Sensor ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten.
Insbesondere wird durch die Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtliche Lage, das heißt insbesondere bestimmtem Abstand des Beginns des Abstandsbereichs von dem optischen Sensor und bestimmter Abstandsbereichs-Breite, durch den optischen Sensor erfasst werden.
Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.
Der Beobachtungsbereich ist demgegenüber insbesondere der - objektseitige - Bereich im dreidimensionalen Raum, welcher bei ausreichender Beleuchtung und Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme insgesamt - insbesondere maximal - abgebildet werden könnte. Insbesondere entspricht der Beobachtungsbereich dem gesamten belichtbaren Bildbereich des optischen Sensors, der theoretisch ausgeleuchtet werden könnte. Der sichtbare Abstandsbereich ist somit eine Teilmenge des Beobachtungsbereich im realen Raum.
Der bildseitige Beobachtungsbereich entspricht allen auf dem optischen Sensor vorhandenen Bildzeilen. Der bildseitige sichtbare Abstandsbereich ist als Teilbereich der Bildebene insbesondere zwischen einer Start-Bildzeile und einer End-Bildzeile gegeben. Die Start-Bildzeile bestimmt den Beginn des sichtbaren Abstandsbereichs in der Aufnahme. Weiterhin bestimmt die End-Bildzeile das Ende des sichtbaren Abstandsbereichs in der Aufnahme.
Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum, das heißt auf Seiten des zu beobachtenden Objekts, angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der Beobachtungsbereich und der sichtbare Abstandsbereich sind dabei objektseitig gegeben. Ihnen entsprechen durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zugeordnete bildseitige Bereiche auf der Bildebene.
Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtung treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und von dem optischen Sensor entfernt ist.
Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch entsprechende geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die Lage und räumliche Breite des sichtbaren Abstandsbereichs zu definieren.
In einer alternativen Ausgestaltung des Verfahrens kann der sichtbare Abstandsbereich vorgegeben sein, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird.
Unter einer Bildzeile wird hier insbesondere die Menge aller Bildpunkte einer Aufnahme in der Bildebene des optischen Sensors verstanden, die auf einer gemeinsamen horizontalen Linie in der Bildebene liegen.
Insbesondere wird die Detektion von Bildinformationen, vorzugsweise photolumineszierenden Objekten, auf alle Bild-Zeilen, die nicht zwischen der Start-Bildzeile und der End-Bildzeile liegen, angewendet.
Die Beleuchtungseinrichtung ist in bevorzugter Ausgestaltung ein Laser. Der optische Sensor ist in bevorzugter Ausgestaltung eine Kamera.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass für die Aufnahme des Abstandsbereichs ein Zeilenhistogramm über alle einem Auswerte-Bereich in dem Beobachtungsbereich auf dem optischen Sensor zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors erstellt wird. Die Start-Bildzeile und die End-Bildzeile werden dann mittels des Zeilenhistogramms bestimmt. Damit werden die bildseitigen Bereiche außerhalb des bildseitigen Abstandsbereichs bestimmt. Dies ermöglicht in vorteilhafter Weise die Ermittlung der Bild-Lage des dem objektseitigen sichtbaren Abstandsbereichs bildseitig zugeordneten Bereichs auf dem optischen Sensor. Insoweit ergibt sich nämlich aus der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits ein klarer Helligkeitsübergang am Beginn des bildseitigen Abstandsbereichs und am Ende des bildseitigen Abstandsbereichs. Dies ermöglicht letztlich die Bestimmung der Bereiche außerhalb des bildseitigen sichtbaren Abstandsbereichs, in welchem nach Bildinformationen, insbesondere von photolumineszierenden Objekten, gesucht wird.
Unter einem Zeilenhistogramm wird hier insbesondere verstanden, dass den einzelnen Bildzeilen des optischen Sensors in dem Auswerte-Bereich die Summe der Beleuchtungsintensitäten über alle in dem Auswerte-Bereich liegenden Bildpunkte der jeweiligen Bildzeile zugeordnet werden. Auf diese Weise ist der entsprechend durch die zeitliche Ansteuerung entstehende Helligkeitsübergang sehr einfach und sicher in der Bildebene des optischen Sensors detektierbar.
Der Auswerte-Bereich ist gemäß einer bevorzugten Ausgestaltung mit dem Beobachtungsbereich identisch. Dies entspricht einer besonders einfach zu implementierenden Ausführungsform des Verfahrens. Es ist aber auch möglich, dass der Auswerte-Bereich gemäß einer anderen bevorzugten Ausgestaltung kleiner gewählt wird als der Beobachtungsbereich, insbesondere als ein interessierender Bereich oder „region of interest“, in dem sich die zu detektierenden Objekte befinden können. Dies erlaubt vorteilhaft eine schnellere und effizientere Durchführung des Verfahrens.
Indem nur die in dem Auswerte-Bereich liegenden Bildpunkte in die Summation einbezogen werden, kann der Auswerte-Bereich insbesondere auch horizontal beschränkt sein.
Vorzugsweise wird der Auswerte-Bereich in der Aufnahme vor Berechnung des Zeilenhistogramms durch eine GPS-Vorausschau, insbesondere unter Rückprojektion des Straßenverlaufs in die Bildebene, und/ oder durch eine Methode zum optischen Spur-Tracking identifiziert
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Suche und Detektion der Bildinformationen mittels eines Mustererkennungsalgorithmus durchgeführt werden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Suche und Detektion der Bildinformationen mittels Deep Learning durchgeführt werden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die detektierten Bildinformationen wiederhergestellt und gespeichert werden. Damit ist es insbesondere möglich dem Fahrer die detektierten Bildinformationen in Kombination mit der Aufnahme zu zeigen. Bei autonom fahrenden Fahrzeugen werden die detektierten Bildinformationen bevorzugt gespeichert, um die Reaktionen des Fahrzeugs nach der Fahrt nachvollziehen zu können.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass zwei Aufnahmen, nämlich eine erste Aufnahme und eine zweite Aufnahme, mit dem optischen Sensor mittels zwei unterschiedlich zeitlich abgestimmter Ansteuerungen der Beleuchtungseinrichtung und des optischen Sensors aufgenommen werden. Die erste Aufnahme, die zweite Aufnahme und die detektierten Bildinformationen werden zu einer Gesamt-Aufnahme zusammengefügt. Bevorzugt sind die sichtbaren Abstandsbereiche der ersten Aufnahme und der zweiten Aufnahme nicht überlappend. Ein photolumineszierendes Objekt, welches im sichtbaren Abstandsbereich der ersten Aufnahme ist, wird in der ersten Aufnahme überbelichtet dargestellt. Vorteilhafterweise befindet sich das photolumineszierende Objekt nicht im sichtbaren Abstandsbereich der zweiten Aufnahme. Damit ist das Objekt auf Grund seiner nachleuchtenden Eigenschaft außerhalb des sichtbaren Abstandsbereichs zu erkennen. In der Gesamt-Aufnahme wird bei der Kombination der ersten Aufnahme und der zweiten Aufnahme bevorzugt die überbelichtete Darstellung des Objekts aus der ersten Aufnahme durch die Darstellung des Objekts aus der zweiten Aufnahme ersetzt. Insbesondere auf diese Weise wird die detektierte Bildinformation wiederhergestellt.
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Fahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die Aufgabe wird auch gelöst, indem eine Detektionsvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, einen optischen Sensor, und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Detektionsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
Die Steuereinrichtung ist bevorzugt einerseits mit der Beleuchtungseinrichtung und andererseits mit dem optischen Sensor wirkverbunden und eingerichtet zu deren Ansteuerung.
Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Detektionsvorrichtung oder einer Detektionsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Detektionsvorrichtung erläutert wurden.
In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ist.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen:

1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer Detektionsvorrichtung;
2 eine schematische Darstellung einer Aufnahme die im Rahmen einer Ausführungsform des Verfahrens mit einem optischen Sensor aufgenommen ist, und
3 eine schematische Darstellung eines Zeilenhistogramms, welches in einer Ausführungsform des Verfahrens verwendet wird.

1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, mit einem Ausführungsbeispiel einer Detektionsvorrichtung 3. Die Detektionsvorrichtung 3 weist eine Beleuchtungseinrichtung 5 und einen optischen Sensor 7 auf. Außerdem weist die Detektionsvorrichtung 3 eine Steuereinrichtung 9 auf, die hier nur schematisch dargestellt und in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5 und dem optischen Sensor 7 zu deren jeweiliger Ansteuerung wirkverbunden ist. Dargestellt in 1 ist insbesondere ein Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und ein Beobachtungsbereich 13 des optischen Sensors 7. Schraffiert dargestellt ist außerdem ein sichtbarer Abstandsbereich 15, der sich als Teilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt.
In dem sichtbaren Abstandsbereich 15 ist ein Verkehrszeichen 17 angeordnet. Außerhalb des sichtbaren Abstandsbereichs 15 ist ein Verkehrszeichen 19 angeordnet.
In 1 ist auch ein Beginn 21 und ein Ende 23 des sichtbaren Abstandsbereichs 15 eingezeichnet.
Die Steuereinrichtung 9 ist insbesondere eingerichtet zur Durchführung einer im Folgenden näher beschriebenen Ausführungsform eines Verfahrens zur Detektion von verlorenen Bildinformationen in einer mittels einer Beleuchtungseinrichtung 5 und einem optischen Sensor 7 erzeugten Aufnahme 25.
Dabei werden die Beleuchtungseinrichtung 5 und der optische Sensor 7 zeitlich aufeinander abgestimmt angesteuert, wobei ein sichtbarer Abstandsbereichs 15 in dem Beobachtungsbereich 13 aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 gegeben ist. Es wird eine Aufnahme des Beobachtungsbereichs 13 mit dem optischen Sensor 7 unter Anwendung der abgestimmten Ansteuerung aufgenommen.
2 zeigt eine schematische Darstellung einer solchen Aufnahme 25 in einer Bildebene des optischen Sensors 7. Dabei ist in 2 eine Start-Bildzeile 27 für den Beginn 21 und eine End-Bildzeile 29 für das Ende 23 des sichtbaren Abstandsbereichs 15 in der Aufnahme 25 dargestellt. In der Aufnahme 25 sind außerdem die Bilder der Verkehrszeichen 17 und 19 dargestellt. In der Aufnahme 25 ist mit 17' das Bild des Verkehrszeichens 17 und mit 19' das Bild des Verkehrszeichens 19 bezeichnet. Aufgrund der retroreflektierenden Eigenschaft der Verkehrszeichen 17 und 19 ist im Bild des Verkehrszeichen 17' keine Beschriftung erkennbar. Das Verkehrszeichen 19 war wenige Augenblicke vor dem Erstellen der Aufnahme 25 im objektseitigen sichtbaren Abstandsbereich lokalisiert. Durch die photolumineszierende Eigenschaft des Verkehrszeichens 19 ist im Bild des Verkehrszeichens 19' die Beschriftung deutlich erkennbar.
Ein Verfahren zur Detektion von verlorenen Bildinformationen wird dann in den Bereichen oberhalb der End-Bildzeile 29 und unterhalb der Start-Bildzeile 27 eingesetzt, um Bildinformationen, vorzugsweise Objekte mit photolumineszierender Eigenschaft, zu suchen. Falls Bildinformationen 19' gefunden werden, werden diese Bildinformationen detektiert und der Steuereinrichtung 9 und damit dem Kraftfahrzeug 1 und/ oder dem Fahrer zur Verfügung gestellt.
Vorzugsweise basiert das Verfahren zur Suche und Detektion von verlorenen Bildinformationen auf Mustererkennung oder Deep Learning.
Darüber hinaus ist in 2 ein Auswerte-Bereich 31 eingezeichnet, welcher insbesondere durch eine GPS-Vorausschau und/ oder durch eine Methode zum optischen Spur-Tracking bestimmt werden kann. Der Auswerte-Bereich 31 ist hier als interessierender Bereich kleiner als der Beobachtungsbereich 13. Er kann aber auch mit diesem zusammenfallen.
3 zeigt eine schematische Darstellung eines Zeilenhistogramms 33 der Aufnahme 25 gemäß 2 oder des Auswerte-Bereichs 31 der Aufnahme 25. In diesem Zeilenhistogramm 33 sind auf der Abszisse die einzelnen Bildzeilen des optischen Sensors 7 abgetragen, wobei auf der Ordinate für jede Bildzeile eine Summe der Beleuchtungsintensitäten pro Bildpunkt über alle Bildpunkte der jeweiligen Bildzeile in dem Auswerte-Bereich 31 aufgetragen ist. Dieses Zeilenhistogramm 33 wird über alle dem Auswertebereich 31 auf dem optischen Sensor 7 zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors 7 erstellt.
Die Start-Bildzeile 27 und die End-Bildzeile 29 werden dann mittels der Zeilenhistogramms 33 ermittelt, wobei insbesondere aufgrund der zeitlich abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 deutliche Intensitätssprünge einerseits in der Start-Bildzeile 27 und andererseits in der End-Bildzeile 29 erkennbar sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2017/009848 A1 [0002]

Claims

Verfahren zur Detektion von verlorenen Bildinformationen mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei - eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei - ein sichtbarer Abstandsbereichs (15) in einem Beobachtungsbereich (13) des optischen Sensors (7) aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) gegeben ist, wobei eine Aufnahme (25) des Beobachtungsbereichs (13) mit dem optischen Sensor (7) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei - in der Aufnahme (25) in Bereichen außerhalb des bildseitigen sichtbaren Abstandsbereichs (15) Bildinformationen gesucht werden, und wobei - gefundene Bildinformationen detektiert und zugänglich gemacht werden.
Verfahren nach Anspruch 1, wobei für eine Identifizierung des bildseitigen sichtbaren Abstandsbereichs (15) ein Zeilenhistogramm (33) über alle einem Auswerte-Bereich (31) in dem Beobachtungsbereich (13) auf dem optischen Sensor (7) zugeordneten Bildzeilen mittels Summation der Beleuchtungsintensitäten pro Bildzeile des optischen Sensors (7) erstellt wird, wobei eine Start-Bildzeile und eine End-Bildzeile mittels des Zeilenhistogramms (33) bestimmt werden, und wobei die Bereiche der Aufnahme (25) außerhalb des bildseitigen sichtbaren Abstandsbereichs (15) mittels der Start-Bildzeile und der End-Bildzeile identifiziert werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Suche und die Detektion der Bildinformationen mittels Mustererkennung durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Suche und die Detektion der Bildinformationen mittels Deep Learning durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die detektierten Bildinformationen wiederhergestellt und gespeichert werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zwei Aufnahmen (25) mit dem optischen Sensor (7) mittels zwei unterschiedlich zeitlich abgestimmter Ansteuerungen aufgenommen werden, und wobei die Aufnahmen (25) und die detektierten Bildinformationen zu einer Gesamt-Aufnahme zusammengefügt werden.
Steuereinrichtung (9), eingerichtet zur Durchführung eines Verfahrens zur Detektion von verlorenen Bildinformationen nach einem der vorhergehenden Ansprüche.
Detektionsvorrichtung (3) mit einer Beleuchtungseinrichtung (5), einem optischen Sensor (7) und einer Steuereinrichtung (9) nach Anspruch 7.
Kraftfahrzeug (1) mit einer Detektionsvorrichtung (3) nach Anspruch 8.