DE102020003199A1 - Verfahren zur Erkennung von Bildartefakten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung - Google Patents

Verfahren zur Erkennung von Bildartefakten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung Download PDF

Info

Publication number
DE102020003199A1
DE102020003199A1 DE102020003199.4A DE102020003199A DE102020003199A1 DE 102020003199 A1 DE102020003199 A1 DE 102020003199A1 DE 102020003199 A DE102020003199 A DE 102020003199A DE 102020003199 A1 DE102020003199 A1 DE 102020003199A1
Authority
DE
Germany
Prior art keywords
image
optical sensor
movement
control device
lighting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020003199.4A
Other languages
English (en)
Inventor
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler Truck Holding AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102020003199.4A priority Critical patent/DE102020003199A1/de
Publication of DE102020003199A1 publication Critical patent/DE102020003199A1/de
Priority to CN202180038741.7A priority patent/CN115803773A/zh
Priority to PCT/EP2021/059799 priority patent/WO2021239323A1/de
Priority to US17/928,237 priority patent/US20230222640A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein zur Erkennung von Bildartefakten bei einer zeitlichen Abfolge von Aufnahmen (23) aufgenommen mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei- die Beleuchtungseinrichtung (5) und der optische Sensor (7) mit einer Eigenbewegung verlagert werden, wobei- eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei- mindestens zwei aufeinanderfolgende Aufnahmen (23) mit dem optischen Sensor (7) mittels der zeitlich abgestimmten Ansteuerung aufgenommen werden, wobei- ein Bewegungsfeld mit Bewegungsfeld-Vektoren (25) der mindestens zwei aufeinander folgenden Aufnahmen (23) berechnet wird, wobei- aus dem Bewegungsfeld alle aufgrund der Eigenbewegung erwartbaren Bewegungsfeld-Vektoren (25) entfernt werden, wodurch ein Differenz-Bewegungsfeld erhalten wird, wobei- die Bewegungsfeld-Vektoren (25) in dem Differenz-Bewegungsfeld nach mindestens einem Gruppierungskriterium zu bildseitigen Objekten (27) zusammengefasst werden, wobei- die bildseitigen Objekte (27) einer Bewegungsplausibilitäts-Prüfung unterzogen werden, anhand der die bildseitigen Objekte (27) als plausibel oder als nicht plausibel klassifiziert werden, und wobei ein als nicht plausibel klassifiziertes bildseitiges Objekt (27) als Bildartefakt erkannt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Erkennung von Bildartefakten, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Erkennungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Erkennungsvorrichtung.
  • Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer WO 2017/009848 A1 geht ein Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich in einem Beobachtungsbereich des optischen Sensors aufzunehmen. Das Vorkommen von Bildartefakten und/ oder die Erkennung von Artefakten in den Aufnahmen des optischen Sensors werden darin allerdings nicht diskutiert.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Erkennung von Bildartefakten, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Erkennungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Erkennungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
  • Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
  • Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Erkennung von Bildartefakten bei einer zeitlichen Abfolge von Aufnahmen, aufgenommen mittels einer Beleuchtungseinrichtung und einem optischen Sensor, geschaffen wird. Die Beleuchtungseinrichtung und der optische Sensor werden mit einer Eigenbewegung verlagert. Dabei werden die Beleuchtungseinrichtung und der optische Sensor zeitlich aufeinander abgestimmt angesteuert, und mindestens zwei aufeinanderfolgende Aufnahmen werden mit dem optischen Sensor mittels der zeitlich abgestimmten Ansteuerung aufgenommen. Von den mindestens zwei aufeinanderfolgenden Aufnahmen wird ein Bewegungsfeld mit Bewegungsfeld-Vektoren berechnet. Aus dem Bewegungsfeld werden dann alle Bewegungsfeld-Vektoren, die aufgrund der Eigenbewegung der Beleuchtungseinrichtung und des optischen Sensors zu erwarten sind, entfernt, wodurch ein Differenz-Bewegungsfeld erhalten wird. In dem Differenz-Bewegungsfeld werden die Bewegungsfeld-Vektoren nach mindestens einem Gruppierungskriterium zu bildseitigen Objekten zusammengefasst. Die bildseitigen Objekte werden einer Bewegungsplausibilitäts-Prüfung unterzogen. Anhand der Bewegungsplausibilitäts-Prüfung werden die bildseitigen Objekte als plausibel oder als nicht plausibel klassifiziert. Abschließend wir ein als nicht plausibel klassifiziertes bildseitiges Objekt als Bildartefakt erkannt.
  • Mithilfe des hier vorgeschlagenen Verfahrens ist es vorteilhaft möglich, Bildartefakte zu erkennen, insbesondere Spiegelungen von retroreflektiven und/ oder photolumineszierenden Objekten an der Linse des optischen Sensors. Die Erkennung verhindert Fehleinschätzungen und Fehlinterpretationen dieser Bildartefakte.
  • Das Verfahren kann besonders vorteilhaft in automatisiert fahrenden Fahrzeugen, insbesondere automatisch fahrenden Lastkraftwagen, angewendet werden. Das Verfahren ermöglicht eine Erkennung von Bildinformationen, die keine Abbildungen von realen Objekten, sondern beispielsweise Spiegelungen sind. Damit kann insbesondere eine nicht notwendige Reaktion des Fahrzeugs verhindert werden.
  • Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung von Beleuchtungseinrichtung und optischem Sensor ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten.
  • Insbesondere wird durch die Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtliche Lage, das heißt insbesondere bestimmtem Abstand des Beginns des Abstandsbereichs von dem optischen Sensor und bestimmter Abstandsbereichs-Breite, durch den optischen Sensor erfasst werden.
  • Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum. welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.
  • Der Beobachtungsbereich ist demgegenüber insbesondere der - objektseitige - Bereich im dreidimensionalen Raum, welcher bei ausreichender Beleuchtung und Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme insgesamt - insbesondere maximal - abgebildet werden könnte. Insbesondere entspricht der Beobachtungsbereich dem gesamten belichtbaren Bildbereich des optischen Sensors, der theoretisch ausgeleuchtet werden könnte. Der sichtbare Abstandsbereich ist somit eine Teilmenge des Beobachtungsbereich im realen Raum.
  • Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum, das heißt auf Seiten des zu beobachtenden Objekts, angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der Beobachtungsbereich und der sichtbare Abstandsbereich sind dabei objektseitig gegeben. Ihnen entsprechen durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zugeordnete bildseitige Bereiche auf der Bildebene.
  • Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtung treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und von dem optischen Sensor entfernt ist.
  • Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch entsprechende geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die Lage und räumliche Breite des sichtbaren Abstandsbereichs zu definieren.
  • In einer alternativen Ausgestaltung des Verfahrens kann der sichtbare Abstandsbereich vorgegeben sein, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird.
  • Die Beleuchtungseinrichtung ist in bevorzugter Ausgestaltung ein Laser. Der optische Sensor ist in bevorzugter Ausgestaltung eine Kamera.
  • Ein Bewegungsfeld einer Abfolge von mindestens zwei Aufnahmen stellt die bildseitige Bewegung von einzelnen Bildpunkten der Aufnahmen als Vektoren dar. Das Bewegungsfeld einer Abfolge von Aufnahmen ist eine einfach zu implementierende Methode zur Visualisierung von Bewegungen in einer Abfolge von Aufnahmen.
  • In bevorzugter Ausgestaltung wird die Eigenbewegung der Beleuchtungseinrichtung und des optischen Sensors mittels erwarteten Bewegungsfeld-Vektoren dargestellt. Damit existiert zu jedem Punkt auf dem optischen Sensor ein erster Bewegungsfeld-Vektor der zeitlichen Abfolge der Aufnahmen und ein zweiter, erwarteter Bewegungsfeld-Vektor der Eigenbewegung der Beleuchtungseinrichtung und des optischen Sensors. An jedem Punkt des optischen Sensors werden der erste Bewegungsfeld-Vektor und der jeweils zugehörige zweite Bewegungsfeld-Vektor auf Ähnlichkeit überprüft. Vorzugsweise sind zwei Vektoren ähnlich, wenn der Winkel, der von den beiden Vektoren eingeschlossen ist, unter einem vordefinierten ersten Schwellenwert liegt. Das Differenz-Bewegungsfeld enthält dann alle ersten Bewegungsfeld-Vektoren, welche nicht ähnlich zu dem jeweiligen zugehörigen zweiten Bewegungsfeld-Vektor sind.
  • Mittels des mindestens einen Gruppierungskriteriums werden die einzelnen Bewegungsfeld-Vektoren aus dem Differenz-Bewegungsfeld zu bildseitigen Objekten zusammengefügt.
  • Vorzugsweise analysiert die Bewegungsplausibilitäts-Prüfung die physischen Eigenschaften, wie Größe, Größenänderung, Geschwindigkeit, Geschwindigkeitsänderung und Bewegungsrichtung der bildseitigen Objekte. Weist ein Objekt eine widersprüchliche Kombination von wenigstens zwei dieser Eigenschaften auf, wird das Objekt als nicht plausibel klassifiziert. Beispielsweise ist die Kombination aus Bildseitig-nach-oben-bewegen und Größer-werden widersprüchlich, und ein bildseitiges Objekt, welches sich so verhält, wird als nicht plausibel klassifiziert.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Gruppierungskriterium ausgewählt ist aus einer Gruppe, bestehend aus einer räumlichen Nachbarschaft und einer Vektorähnlichkeit. In einer bevorzugten Ausgestaltung erfolgt die Gruppierung der Bewegungsfeld-Vektoren mittels der räumlichen Nachbarschaft und der Vektorähnlichkeit als Gruppierungskriterien. Die räumliche Nachbarschaft stellt sicher, dass nur Bewegungsfeld-Vektoren zu bildseitigen Objekten zusammengefasst werden, die höchstens einen gewissen vordefinierten Abstand zu einander haben. Die Vektorähnlichkeit stellt sicher, dass nur Bewegungsfeld-Vektoren zusammengefasst werden, die höchstens einen kleinen Winkel, insbesondere kleiner als ein zweiter Schwellenwert, einschließen bzw. deren Richtung nur eine kleine Variation aufweist, insbesondere kleiner als ein dritter Schwellenwert. Die entsprechenden Schwellenwerte für den Abstand der Bewegungsfeld-Vektoren und für den Winkel zwischen den Bewegungsfeld-Vektoren sind vordefiniert und können in Abhängigkeit der Abfolge der Aufnahmen variieren.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Bewegungsplausibilitäts-Prüfung mittels eines neuronalen Netzes durchgeführt wird.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erkannten Bildartefakte mittels eines LIDAR-Systems verifiziert werden. Vorteilhafterweise wird die Abstands- und Geschwindigkeitsmessung eines LIDAR-Systems genutzt, um Objekte im Beobachtungsbereich des optischen Sensors zu erkennen. Damit ist eine einfache Verifikation möglich, ob ein Bildartefakt in den Aufnahmen zu sehen ist.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erkannten Bildartefakte mittels eines Radar-Systems verifiziert werden. Vorteilhafterweise wird die Abstands- und Geschwindigkeitsmessung eines Radar-Systems genutzt, um Objekte im Beobachtungsbereich des optischen Sensors zu erkennen. Damit ist eine einfache Verifikation möglich, ob ein Bildartefakt in den Aufnahmen zu sehen ist.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erkannten Bildartefakte mittels eines zusätzlichen optischen Sensors verifiziert werden. Vorteilhafterweise unterscheiden sich der optische Sensor und der zweite optische Sensor bezüglich des Wellenlängenbereichs des Lichtes der Belichtung. Damit ist eine einfache Verifikation möglich, ob ein Bildartefakt in den Aufnahmen zu sehen ist.
  • Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Fahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
  • Die Steuereinrichtung ist bevorzugt einerseits mit der Beleuchtungseinrichtung und andererseits mit dem optischen Sensor wirkverbunden und eingerichtet zu deren Ansteuerung.
  • Die Aufgabe wird auch gelöst, indem eine Erkennungsvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, einen optischen Sensor, und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Erkennungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
  • Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Erkennungsvorrichtung oder einer Erkennungsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Erkennungsvorrichtung erläutert wurden.
  • In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ist.
  • Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen:
    • 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer Erkennungsvorrichtung, und
    • 2 eine schematische Darstellung einer Aufnahme die im Rahmen einer Ausführungsform des Verfahrens mit einem optischen Sensor aufgenommen ist.
  • 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, mit einem Ausführungsbeispiel einer Erkennungsvorrichtung 3. Die Erkennungsvorrichtung 3 weist eine Beleuchtungseinrichtung 5 und einen optischen Sensor 7 auf. Außerdem weist die Erkennungsvorrichtung 3 eine Steuereinrichtung 9 auf, die hier nur schematisch dargestellt und in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5 und dem optischen Sensor 7 zu deren jeweiliger Ansteuerung wirkverbunden ist. Dargestellt in 1 ist insbesondere ein Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und ein Beobachtungsbereich 13 des optischen Sensors 7. Schraffiert dargestellt ist außerdem ein sichtbarer Abstandsbereich 15, der sich als Teilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt.
  • In dem sichtbaren Abstandsbereich 15 ist ein Objekt 17 angeordnet.
  • In 1 ist auch ein Beginn 19 und ein Ende 21 des sichtbaren Abstandsbereichs 15 eingezeichnet.
  • Die Steuereinrichtung 9 ist insbesondere eingerichtet zur Durchführung einer im Folgenden näher beschriebenen Ausführungsform eines Verfahrens zur Erkennung von Bildartefakten.
  • Dabei werden die Beleuchtungseinrichtung 5 und der optische Sensor 7 zeitlich aufeinander abgestimmt angesteuert, wobei ein sichtbarer Abstandsbereichs 15 in dem Beobachtungsbereich 13 aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 gegeben ist. Es wird eine zeitliche Abfolge von Aufnahmen des sichtbaren Abstandsbereichs 15 mit dem optischen Sensor 7 unter Anwendung der abgestimmten Ansteuerung aufgenommen.
  • 2 zeigt eine schematische Darstellung einer Aufnahme 23 einer solchen zeitlichen Abfolge von Aufnahmen in einer Bildebene des optischen Sensors 7. Dabei sind in 2 schematisch Bewegungsfeld-Vektoren 25 einer Straße 26, eines ersten bildseitigen Objekts 17' und eines zweiten bildseitigen Objekts 27 als Pfeile dargestellt. Zur übersichtlichen Darstellung ist nur ein Pfeil mit einem Bezugszeichen versehen. Die Bewegungsfeld-Vektoren 25 der Straße 26 entsprechen einem erwarteten Bewegungsfeld, welches durch die Eigenbewegung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 entsteht. Des Weiteren ist das erste bildseitige Objekt 17' das Bild des objektseitigen Objekts 17. Das zweite bildseitige Objekt 27 ist als Spiegelung des objektseitigen Objektes 17 dargestellt. Die Bewegungsfeld-Vektoren 25 des ersten bildseitigen Objekts 17' sind ähnlich - in Richtung und Länge - zu den Bewegungsfeld-Vektoren 25 der Straße 26. Damit entsprechen die Bewegungsfeld-Vektoren 25 des ersten bildseitigen Objekts 17' dem erwarteten Bewegungsfeld. Die Bewegungsfeld-Vektoren 25 des zweiten bildseitigen Objekts 27 unterscheiden sich in Richtung und Länge deutlich von den Bewegungsfeld-Vektoren 25 der Straße 26 und damit auch von dem erwarteten Bewegungsfeld. Somit besteht ein Differenz-Bewegungsfeld aus den Bewegungsfeld-Vektoren 25 des zweiten bildseitigen Objekts 27. Die Bewegungsfeld-Vektoren 25 im Differenz-Bewegungsfeld werden bevorzugt mittels bildseitiger räumlicher Nachbarschaft und Vektorähnlichkeit zu dem zweiten bildseitigen Objekt 27 und dessen Bewegung zusammengefasst. Die Bewegungsfeld-Vektoren 25 des zweiten bildseitigen Objekts 27 stellen eine Aufwärtsbewegung und eine Objektvergrößerung, welche nicht in 2 abgebildet ist, dar. Eine Bewegungsplausibilitäts-Prüfung klassifiziert dieses Verhalten - Aufwärtsbewegung und Vergrößerung - als nicht plausibel. Daraufhin wird das zweite bildseitige Objekt 27 als Bildartefakt erkannt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2017/009848 A1 [0002]

Claims (9)

  1. Verfahren zur Erkennung von Bildartefakten bei einer zeitlichen Abfolge von Aufnahmen (23) aufgenommen mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei - die Beleuchtungseinrichtung (5) und der optische Sensor (7) mit einer Eigenbewegung verlagert werden, wobei - eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei - mindestens zwei aufeinanderfolgende Aufnahmen (23) mit dem optischen Sensor (7) mittels der zeitlich abgestimmten Ansteuerung aufgenommen werden, wobei - ein Bewegungsfeld mit Bewegungsfeld-Vektoren (25) der mindestens zwei aufeinander folgenden Aufnahmen (23) berechnet wird, wobei - aus dem Bewegungsfeld alle aufgrund der Eigenbewegung erwartbaren Bewegungsfeld-Vektoren (25) entfernt werden, wodurch ein Differenz-Bewegungsfeld erhalten wird, wobei - die Bewegungsfeld-Vektoren (25) in dem Differenz-Bewegungsfeld nach mindestens einem Gruppierungskriterium zu bildseitigen Objekten (27) zusammengefasst werden, wobei - die bildseitigen Objekte (27) einer Bewegungsplausibilitäts-Prüfung unterzogen werden, anhand der die bildseitigen Objekte (27) als plausibel oder als nicht plausibel klassifiziert werden, und wobei - ein als nicht plausibel klassifiziertes bildseitiges Objekt (27) als Bildartefakt erkannt wird.
  2. Verfahren nach Anspruch 1, wobei das mindestens eine Gruppierungskriterium ausgewählt ist aus einer Gruppe, bestehend aus einer räumlichen Nachbarschaft und einer Vektorähnlichkeit.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bewegungsplausibilitäts-Prüfung mittels eines neuronalen Netzes durchgeführt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erkannten Bildartefakte mittels eines LIDAR-Systems verifiziert werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erkannten Bildartefakte mittels eines Radar-Systems verifiziert werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erkannten Bildartefakte mittels eines zusätzlichen optischen Sensors verifiziert werden.
  7. Steuereinrichtung (9) eingerichtet zur Durchführung eines Verfahrens zur Erkennung von Bildartefakten nach einem der vorhergehenden Ansprüche.
  8. Erkennungsvorrichtung (3) mit einer Beleuchtungseinrichtung (5), einem optischen Sensor (7), und einer Steuereinrichtung (9) nach Anspruch 7.
  9. Kraftfahrzeug (1) mit einer Erkennungsvorrichtung (3) nach Anspruch 8.
DE102020003199.4A 2020-05-28 2020-05-28 Verfahren zur Erkennung von Bildartefakten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung Pending DE102020003199A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102020003199.4A DE102020003199A1 (de) 2020-05-28 2020-05-28 Verfahren zur Erkennung von Bildartefakten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
CN202180038741.7A CN115803773A (zh) 2020-05-28 2021-04-15 用于识别图像伪影的方法、用于执行这种方法的控制装置、具有这种控制装置的识别装置和具有这种识别装置的机动车
PCT/EP2021/059799 WO2021239323A1 (de) 2020-05-28 2021-04-15 Verfahren zur erkennung von bildartefakten, steuereinrichtung zur durchführung eines solchen verfahrens, erkennungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen erkennungsvorrichtung
US17/928,237 US20230222640A1 (en) 2020-05-28 2021-04-15 Method for Recognizing Image Artifacts, Control Device for Carrying Out a Method of this Kind, Recognition Device Having a Control Device of this Kind and Motor Vehicle Having a Recognition Device of this Kind

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020003199.4A DE102020003199A1 (de) 2020-05-28 2020-05-28 Verfahren zur Erkennung von Bildartefakten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung

Publications (1)

Publication Number Publication Date
DE102020003199A1 true DE102020003199A1 (de) 2020-08-06

Family

ID=71615332

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020003199.4A Pending DE102020003199A1 (de) 2020-05-28 2020-05-28 Verfahren zur Erkennung von Bildartefakten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung

Country Status (4)

Country Link
US (1) US20230222640A1 (de)
CN (1) CN115803773A (de)
DE (1) DE102020003199A1 (de)
WO (1) WO2021239323A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020007061A1 (de) 2020-11-19 2022-05-19 Daimler Truck AG Verfahren zum Betreiben einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102020007064A1 (de) 2020-11-19 2022-05-19 Daimler Truck AG Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
WO2022167343A1 (de) * 2021-02-02 2022-08-11 Daimler Truck AG Verfahren zum kalibrieren einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kalibrierungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kalibrierungsvorrichtung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
IT201600094414A1 (it) * 2016-09-20 2018-03-20 St Microelectronics Srl Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020007061A1 (de) 2020-11-19 2022-05-19 Daimler Truck AG Verfahren zum Betreiben einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102020007064A1 (de) 2020-11-19 2022-05-19 Daimler Truck AG Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102020007064B4 (de) 2020-11-19 2022-08-11 Daimler Truck AG Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102020007061B4 (de) 2020-11-19 2022-08-11 Daimler Truck AG Verfahren zum Betreiben einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
WO2022167343A1 (de) * 2021-02-02 2022-08-11 Daimler Truck AG Verfahren zum kalibrieren einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kalibrierungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kalibrierungsvorrichtung

Also Published As

Publication number Publication date
CN115803773A (zh) 2023-03-14
US20230222640A1 (en) 2023-07-13
WO2021239323A1 (de) 2021-12-02

Similar Documents

Publication Publication Date Title
DE102020002994B4 (de) Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
DE102020003199A1 (de) Verfahren zur Erkennung von Bildartefakten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
DE102020004690A1 (de) Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
DE102018207821A1 (de) Verfahren zur Bereitstellung eines Übersichtsbildes
WO2019238319A1 (de) Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung
EP4241114A1 (de) Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
DE102020007061B4 (de) Verfahren zum Betreiben einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
WO2022042902A1 (de) Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung
DE102021000508A1 (de) Verfahren zum Kalibrieren einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinnchtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102017221797A1 (de) Lidar-System zur Umfelderfassung und Verfahren zum Betreiben eines Lidar-Systems
DE102021003153B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Schulterblickvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Schulterblickvorrichtung
DE102020100122A1 (de) Vorrichtung und Verfahren zur Funktionsüberwachung von Lichtquellen
DE102019129101A1 (de) Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt
WO2022184738A1 (de) Verfahren zum betreiben einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kameravorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kameravorrichtung
DE102020005762B4 (de) Verfahren zum Kalibrieren einer Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung sowie Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102021004516B3 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera
DE102021004521B4 (de) Gated-Kamera-Vorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102020007064B4 (de) Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102022116317A1 (de) Verfahren zur Detektion einer Verschmutzung auf einer Kamera eines Fahrzeugs, Kamera und Fahrerassistenzsystem
EP4352547A1 (de) Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, sichtweitenmessvorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen sichtweitenmessvorrichtung
WO2021239322A1 (de) Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
DE102021000447A1 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kameravorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kameravorrichtung
DE102023100567A1 (de) Verfahren und Vorrichtung zum Betreiben eines Lidarsensors
WO2024149545A1 (de) Verfahren und vorrichtung zum betreiben von mehreren lidarsensoren

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER TRUCK AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70372 STUTTGART, DE

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70372 STUTTGART, DE

R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R081 Change of applicant/patentee

Owner name: DAIMLER TRUCK AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE