DE102019212021B4 - Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren - Google Patents

Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren Download PDF

Info

Publication number
DE102019212021B4
DE102019212021B4 DE102019212021.0A DE102019212021A DE102019212021B4 DE 102019212021 B4 DE102019212021 B4 DE 102019212021B4 DE 102019212021 A DE102019212021 A DE 102019212021A DE 102019212021 B4 DE102019212021 B4 DE 102019212021B4
Authority
DE
Germany
Prior art keywords
sensor
sensors
sensor data
measured values
viewing area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019212021.0A
Other languages
English (en)
Other versions
DE102019212021A1 (de
Inventor
Simon Steinmeyer
Thorsten Graf
Michael Schlichte
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102019212021.0A priority Critical patent/DE102019212021B4/de
Priority to US16/985,256 priority patent/US11719825B2/en
Priority to CN202010787393.0A priority patent/CN112346040A/zh
Publication of DE102019212021A1 publication Critical patent/DE102019212021A1/de
Application granted granted Critical
Publication of DE102019212021B4 publication Critical patent/DE102019212021B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

Verfahren zum Feststellen eines Parallaxenproblems in Sensordaten (10,20) zweier Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei der eine der Sensoren (51) Abstandsinformationen (12) bereitstellt, umfassend:Erhalten der erfassten Sensordaten (10,20) der Sensoren (51,52),Erhalten oder Schätzen von Sensorsichtbereichsinformationen (22) des anderen der Sensoren (52) auf Grundlage der erfassten Sensordaten (20) des anderen Sensors (52),Zuordnen von Messwerten in den erfassten Sensordaten (10) des einen Sensors (51) zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten (20) des anderen Sensors (52), wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren (51,52) erfolgt,Vergleichen der Abstandsinformationen (12) und der erhaltenen oder geschätzten Sensorsichtbereichsinformationen (22) an jeweils einander zugeordneten Messwerten der Sensordaten (10,20), wobei ein Parallaxenproblem festgestellt wird, wenn ein auf Grundlage eines Abstandsmaßes bestimmter Abstand (31) zwischen einer jeweiligen Abstandsinformation (12) und einer hiermit korrespondierendenSensorsichtbereichsinformation (22) ein Schwellenwertkriterium (32) überschreitet, Ausgegeben eines Vergleichsergebnisses (30).

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren. Ferner betrifft die Erfindung ein Kraftfahrzeug.
  • Moderne Kraftfahrzeuge weisen eine Vielzahl von Assistenzsystemen auf, die einen Fahrer beim Führen des Kraftfahrzeugs unterstützen oder das Kraftfahrzeug automatisiert oder halbautomatisiert führen können. Die Assistenzsysteme benötigen hierzu Informationen über ein Umfeld des Kraftfahrzeugs. Diese Informationen werden mittels Sensoren erfasst und in Form von Sensordaten bereitgestellt. Die Sensoren arbeiten üblicherweise mit Hilfe unterschiedlicher Messprinzipien. Beispielsweise können als Sensoren eine Kamera und ein eine Abstandinformation bereitstellender Laserscanner bzw. Light Detection and Ranging-(LIDAR)-Sensor oder ein Radarsensor mit einer Elevationserfassung vorgesehen sein.
  • In der Regel sind die Sensoren an unterschiedlichen Positionen am oder im Kraftfahrzeug angeordnet. Dies führt dazu, dass die einzelnen Sensoren das Umfeld des Kraftfahrzeugs aus unterschiedlichen Perspektiven erfassen. Insbesondere bei einer späteren Sensordatenfusion führt dies zu einem Parallaxenproblem, da Sensordaten unterschiedlicher Sensoren eines aus unterschiedlichen Perspektiven erfassten Objektes nicht korrekt miteinander assoziiert werden können. Die fehlerhafte Assoziation der Sensordaten kann insbesondere zu einer fehlerhaften Entfernungsschätzung führen.
  • Aus der DE 10 2015 201 747 A1 ist ein Sensorsystem für ein Fahrzeug bekannt, mit einer Vielzahl von Sensoreinrichtungen, welche ausgebildet sind, Rohdaten zu einer Umgebung des Fahrzeugs zu erfassen und für jeden Erfassungszeitpunkt zumindest ein Belegungsgitter aus den erfassten Rohdaten zu berechnen und auszugeben, und mit einer Steuereinrichtung, welche ausgebildet ist, basierend auf den einzelnen Belegungsgittern der Sensoreinrichtungen ein fusioniertes Belegungsgitter zu berechnen und die für unterschiedliche Erfassungszeitpunkte berechneten fusionierten Belegungsgitter zeitlich zu akkumulieren und ein akkumuliertes Belegungsgitter auszugeben. Ferner ist ein entsprechendes Verfahren bekannt.
  • Aus der DE 10 2013 206 707 A1 ist ein Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs bekannt, wobei das Umfelderfassungssystem mindestens zwei verschiedene Umfeldsensortypen umfasst und wobei Objekte im Umfeld des Fahrzeugs mit einem ersten Umfeldsensortyp erfasst werden, die Objekte mit den Daten des ersten Umfeldsensortyps in statische und dynamische Objekte kategorisiert werden, die relative Position der erfassten statischen Objekte zum Fahrzeug bestimmt wird, diese Position mit einer über einen zweiten Umfeldsensortyp ermittelten Position verglichen wird und bei einer Abweichung über einem Grenzwert auf einen Fehler geschlossen wird, wobei der Sichtbereich des ersten Umfeldsensortyps nicht mit dem Sichtbereich des zweiten Umfeldsensortyps überlappt und die relative Position der erfassten statischen Objekte nach dem Verlassen des Sichtbereichs des ersten Umfeldsensortyps unter Berücksichtigung der Bewegung des Fahrzeugs aktualisiert wird. Des Weiteren sind ein Computerprogramm und eine Vorrichtung zur Durchführung des Verfahrens bekannt.
  • Aus der US 2019/0120955 A1 ist ein Verfahren zur Kamera-Radar-Fusion bekannt.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zu schaffen, mit denen ein Parallaxenproblem in Sensordaten zweier Sensoren festgestellt werden kann.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 6 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Insbesondere wird ein Verfahren zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren zur Verfügung gestellt, wobei die Sensoren an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld erfassen, und wobei der eine der Sensoren Abstandsinformationen bereitstellt, umfassend: Erhalten der erfassten Sensordaten der Sensoren, Erhalten oder Schätzen von Sensorsichtbereichsinformationen des anderen der Sensoren auf Grundlage der erfassten Sensordaten des anderen Sensors, Zuordnen von Messwerten in den erfassten Sensordaten des einen Sensors zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten des anderen Sensors, wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren erfolgt, Vergleichen der Abstandsinformationen und der erhaltenen oder geschätzten Sensorsichtbereichsinformationen an jeweils einander zugeordneten Messwerten der Sensordaten, wobei ein Parallaxenproblem festgestellt wird, wenn ein auf Grundlage eines Abstandsmaßes bestimmter Abstand zwischen einer jeweiligen Abstandsinformation und einer hiermit korrespondierenden Sensorsichtbereichsinformation ein Schwellenwertkriterium überschreitet, Ausgeben eines Vergleichsergebnisses.
  • Ferner wird insbesondere eine Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren geschaffen, wobei die Sensoren an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld erfassen, und wobei der eine der Sensoren eine Abstandsinformation bereitstellt, umfassend eine Eingangseinrichtung, eine Recheneinrichtung, und eine Ausgabeeinrichtung, wobei die Eingangseinrichtung derart ausgebildet ist, erfasste Sensordaten von den Sensoren zu erhalten, wobei die Recheneinrichtung derart ausgebildet ist, Sensorsichtbereichsinformationen des anderen der Sensoren zu erhalten oder die Sensorsichtbereichsinformationen des anderen Sensors auf Grundlage der erfassten Sensordaten des anderen Sensors zu schätzen, Messwerte in den erfassten Sensordaten des einen Sensors zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten des anderen Sensors zuzuordnen, wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren erfolgt, die Abstandsinformationen und die erhaltenen oder geschätzten Sensorsichtbereichsinformationen an den jeweils einander zugeordneten Messwerten der Sensordaten miteinander zu vergleichen, und ein Parallaxenproblem festzustellen, wenn ein auf Grundlage eines Abstandsmaßes bestimmter Abstand zwischen einer jeweiligen Abstandsinformation und einer hiermit korrespondierenden Sensorsichtbereichsinformation ein Schwellenwertkriterium überschreitet, und wobei die Ausgabeeinrichtung derart ausgebildet ist, ein Vergleichsergebnis auszugeben.
  • Das Verfahren und die Vorrichtung ermöglichen es, ein Parallaxenproblem in erfassten Sensordaten von zwei Sensoren, die zumindest teilweise das gleiche Umfeld erfassen, jedoch an unterschiedlichen Verbaupositionen angeordnet sind, festzustellen. Dies erfolgt, indem einzelne Messwerte in den Sensordaten der Sensoren einander zugeordnet werden, wobei dies unter Berücksichtigung der jeweiligen Abbildungsbedingungen der jeweiligen Sensoren erfolgt. Im Wege eines Vergleichs von Abstandsinformationen, die von dem einen Sensor bereitgestellt werden, mit für den anderen Sensor erhaltenen oder geschätzten Sensorsichtbereichsinformationen an den jeweils einander zugeordneten Messwerten wird überprüft, ob ein Parallaxenproblem vorliegt. Hierbei wird davon ausgegangen, dass für einander zugeordnete Messwerte ein Parallaxenproblem vorliegt, wenn ein auf Grundlage eines Abstandsmaßes bestimmter Abstand zwischen einer jeweiligen Abstandsinformation und einer hiermit korrespondierenden Sensorsichtbereichsinformation ein Schwellenwertkriterium überschreitet. Im einfachsten Fall ist das verwendete Abstandsmaß ein euklidischer Abstand. Es können jedoch auch andere Abstandsmaße verwendet werden, beispielsweise eine Mahalanobis-Abstand, in der beispielsweise eine Messungenauigkeit der Sensoren berücksichtigt werden kann. Ein Schwellenwertkriterium kann beispielsweise als einfacher Schwellenwert ausgebildet sein und im Bereich zwischen einem oder wenigen Zentimetern und einigen zehn Zentimetern liegen. Ein aus dem Vergleich der einzelnen Messwerte erhaltenes Vergleichsergebnis wird anschließend ausgegeben.
  • Vorteile des beschriebenen Verfahrens und der Vorrichtung sind, dass diese einfach umzusetzen sind und nur eine geringe Rechenleistung der Recheneinrichtung benötigt wird.
  • Die Abbildungsbedingungen umfassen insbesondere die Bedingungen, unter denen die Sensordaten jeweils von den Sensoren erfasst werden, wie beispielsweise eine optische Abbildung, einen Öffnungswinkel und/oder einen Erfassungszeitpunkt. Durch Berücksichtigung der jeweiligen Abbildungsbedingungen ist es möglich, die Sensordaten der Sensoren einander zuzuordnen.
  • Der eine Sensor ist insbesondere ein Laserscanner bzw. LIDAR-Sensor, ein Radarsensor mit Elevationsmessung oder eine Stereokamera. Der andere Sensor kann beispielsweise eine Kamera sein. Die Abstandsinformation ist insbesondere eine Information darüber, wie weit ein erfasster Messwert der Sensordaten von dem Sensor entfernt ist.
  • Die Sensorsichtbereichsinformationen umfassen insbesondere Informationen darüber, wie weit ein Messwert in den Sensordaten des anderen Sensors von dem anderen Sensor entfernt sind. Hierbei kann insbesondere vorgesehen sein, dass keine Abstandsinformation des Messwertes bereitgestellt wird, sondern lediglich eine Abschätzung im Hinblick auf ein Mindestabstand. Beispielsweise kann auf Grundlage der Sensordaten und der Abbildungsbedingungen des anderen Sensors geschätzt werden, dass ein Messwert einen Mindestabstand von 10 Meter zum anderen Sensor aufweist. Die Sensorsichtbereichsinformationen werden insbesondere auf Grundlage von Merkmalen in den erfassten Sensordaten geschätzt. Hierzu wird mittels der Recheneinrichtung eine Merkmalserkennung durchgeführt, beispielsweise mit Hilfe bekannter Verfahren der Computer Vision und des Maschinenlernens. Beispielsweise kann in einem erfassten Kamerabild ausgehend von einer erkannten Textur eine vorausliegende Straße erkannt werden. Soweit sich die Textur der Straße (z.B. Asphalt und parallel verlaufende Fahrbahnmarkierungen) ohne Unterbrechungen oder ohne andere, davor angeordnete Objekte weiter in Richtung einer in dem Kamerabild erkannten Horizontlinie fortsetzt, kann davon ausgegangen werden, dass im Bereich der erkannten Straße ein Freibereich vorliegt, bis zu dem die Kamera das Umfeld jeweils erfassen kann. Ferner kann auch ein optischer Fluss dazu verwendet werden, um die Sensorsichtbereichsinformationen zu bestimmen. Ein Sensorsichtbereich kann auch ausgehend von erkannten Objekten bestimmt werden, von denen eine absolute Objektgröße bekannt ist. Mit Hilfe bekannter Abbildungsbedingungen für den anderen Sensor können aus der absoluten Objektgröße dann eine Entfernung zum Objekt und hierüber die Sensorsichtbereichsinformationen für die zugehörigen Messwerte berechnet bzw. geschätzt werden.
  • Insbesondere ist vorgesehen, dass die Sensordaten des einen Sensors und des anderen Sensors synchronisiert sind, sodass die Sensordaten zeitlich bereits korrekt miteinander assoziiert sind. Dies bedeutet insbesondere, dass die Sensordaten in Bezug auf eine Zeitbasis miteinander übereinstimmen. Prinzipiell kann eine solche Synchronisation im Vorfeld auf verschiedenen Wegen erfolgen. Objekte können im Bildraum der Sensordaten mittels optischen Flusses und Matching von dreidimensionalen Bildpunkten im Bildraum verfolgt werden (Objekttracking). Ferner können Objekte in den Sensordaten des mindestens einen die Abstandsinformation bereitstellenden Sensors verfolgt werden. Auf Grundlage dieser Objektverfolgung kann ein jeweils mit zugehörigen Sensordaten korrespondierender Zeitpunkt in den Sensordaten des anderen Sensors geschätzt werden. Weiter kann das Erfassen der Sensordaten der Sensoren zeitgleich erfolgen, beispielsweise indem ein gemeinsames Triggersignal verwendet wird.
  • Es kann vorgesehen sein, dass eine Interpolation der Sensordaten erfolgt, um das Zuordnen der Sensordaten zueinander zu ermöglichen.
  • Es kann vorgesehen sein, dass eine Mindestanzahl von Messwerten erreicht werden muss, für die der bestimmte Abstand das Schwellenwertkriterium überschreitet, damit ein Parallaxenproblem festgestellt wird. Hierdurch können fehlerhafte oder zufällige Abweichungen bei einzelnen Messwerten aufgrund von fehlerhaften oder verrauschten Sensordaten berücksichtigt werden.
  • Die Messwerte sind insbesondere Messpunkte. Es kann jedoch auch vorgesehen sein, dass die Messwerte aus den Sensordaten abgeleitete Merkmale sind, beispielsweise Kantenpunkte in einem erfassten Kamerabild, welche aus einem größeren Bereich des Kamerabildes bestimmt werden.
  • Teile der Vorrichtung, insbesondere die Recheneinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
  • In einer Ausführungsform ist vorgesehen, dass das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten des einen Sensors in einen aus den Messwerten der Sensordaten des anderen Sensors gebildeten Bildraum erfolgt. Dies ermöglicht eine besonders einfache und schnelle Überprüfung, ob ein Parallaxenproblem vorliegt. Ist der eine Sensor beispielsweise ein LIDAR-Sensor und der andere Sensor eine Kamera, so werden die Messwerte der Sensordaten des LIDAR-Sensors in das zugehörige Kamerabild projiziert, das heißt einzelne Messwerte der Sensordaten des LIDAR-Sensors werden gemäß den jeweiligen Abbildungsbedingungen einzelnen Messwerten bzw. Bildelementen in dem Kamerabild zugeordnet.
  • In einer Ausführungsform ist vorgesehen, dass die Sensorsichtbereichsinformationen zumindest teilweise auf Grundlage von geschätzten Freibereichen geschätzt werden, wobei zum Schätzen der Freibereiche eine Mustererkennung an den Sensordaten des anderen Sensors durchgeführt wird. Ein Freibereich bezeichnet hierbei insbesondere einen Bereich vor dem anderen Sensor, insbesondere einer Kamera, der zumindest bis zu einem vorgegebenen Abstand frei von Objekten ist. Hierdurch können die Sensorsichtbereichsinformationen auf einfache und rechenaufwandsarme Weise geschätzt werden. Beispielsweise können hierdurch für die einzelnen Messwerte jeweils Sensorsichtbereichsinformationen erzeugt werden, indem die Sensorsichtbereichsinformation Messwertweise als ein Mindestabstand definiert wird, bis zu dem der andere Sensor mindestens das Umfeld erfassen kann bzw. eine direkte Sichtlinie aufweist. Ein weiterer Vorteil ist, dass bereits Kameras existieren, die auf Grundlage einer an den erfassten Kameradaten durchgeführten Umfelderkennung und -interpretation Abschätzungen zu Freibereichen in dem Umfeld erzeugen und bereitstellen. Auf Grundlage dieser von der Kamera bereitgestellten Abschätzung können dann die Sensorsichtbereichsinformationen geschätzt werden.
  • In einer Ausführungsform ist vorgesehen, dass im Rahmen der Mustererkennung eine Objekterkennung durchgeführt wird und die Freibereiche auf Grundlage von im Umfeld erkannten Objekten geschätzt werden. Insbesondere ist hierbei vorgesehen, dass Objekte in dem Umfeld erkannt werden, Objektpositionen in dem Umfeld geschätzt werden, und die Freibereiche als die Bereiche definiert werden, die keine Objektpositionen umfassen. Hierdurch können die Freibereiche auf besonders einfach zu realisierende und rechenaufwandsarme Weise geschätzt werden. Insbesondere bei sich bewegenden Objekten erlaubt dies eine vereinfachte Schätzung der Freibereiche, da die Objekte zwischen benachbarten Zeitschritten mittels einer Objektverfolgung auf einfache Weise verfolgt werden können.
  • In einer Ausführungsform ist vorgesehen, dass die Sensorsichtbereichsinformationen des anderen Sensors auf Grundlage von Sensordaten mindestens eines weiteren Sensors geschätzt werden. Der mindestens eine weitere Sensor kann beispielsweise ebenfalls ein Laserscanner oder LIDAR-Sensor sein, der jedoch näher an dem anderen Sensor angeordnet ist. Dieser kann beispielsweise kleiner sein und ein geringes Auflösungsvermögen aufweisen. Auf Grundlage der vom weiteren Sensor erfassten weiteren Sensordaten werden die Sensorsichtbereichsinformationen geschätzt. Hierbei kann auch vorgesehen sein, dass auflösungsbedingt für mehrere benachbarte Messwerte der Sensordaten des anderen Sensors eine gemeinsame Sensorsichtbereichsinformation geschätzt wird.
  • Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
  • Weiter wird insbesondere auch ein Kraftfahrzeug geschaffen, umfassend zwei Sensoren, wobei die Sensoren an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld erfassen, und wobei der eine der Sensoren eine Abstandsinformation bereitstellt, und eine Vorrichtung nach einer beliebigen der beschriebenen Ausführungsformen.
  • In einer Ausführungsform des Kraftfahrzeugs ist vorgesehen, dass der eine Sensor ein LIDAR-Sensor oder ein 3D-Radarsensor und der andere Sensor eine Kamera ist.
  • Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
    • 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren;
    • 2 eine schematische Darstellung zur Verdeutlichung des Verfahrens zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren.
  • In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Feststellen eines Parallaxenproblems in Sensordaten 10, 20 zweier Sensoren 51, 52 gezeigt. Die Vorrichtung 1 und die Sensoren 51, 52 sind in einem Kraftfahrzeug 50 angeordnet. Die Vorrichtung 1 umfasst eine Eingangseinrichtung 2, eine Recheneinrichtung 3 und eine Ausgabeeinrichtung 4.
  • Die Sensoren 51, 52 sind an voneinander beabstandeten Positionen angeordnet und erfassen zumindest teilweise das gleiche Umfeld. Der Sensor 51 ist beispielsweise ein Laserscanner bzw. LIDAR-Sensor, der Sensordaten 10 in Form von dreidimensionalen Reflexionspunkten mit jeweils einer Abstandinformation 12 bereitstellt. Der Sensor 52 ist beispielsweise eine Kamera, die Sensordaten 20 in Form von Kamerabildern bereitstellt. Die Sensoren 51, 52 erfassen beispielsweise das in der 2 dargestellte Umfeld 60.
  • Die Eingangseinrichtung 2 erhält die von den Sensoren 51, 52 erfassten Sensordaten 10, 20 und synchronisiert diese insbesondere auf eine gemeinsame Zeitbasis.
  • Die Recheneinrichtung 3 ordnet Messwerte in den erfassten Sensordaten 10 des Sensors 51 zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten 20 des anderen Sensors 52 zu. Das Zuordnen erfolgt unter Berücksichtigung von Abbildungsbedingungen der beiden Sensoren 51, 52. Einfach ausgedrückt bedeutet dies, dass eine Sichtstrahluntersuchung durchgeführt wird, bei der auf Grundlage der Erfassungsrichtungen, aus denen die einzelnen Messwerte in einem Öffnungswinkel des jeweiligen Sensors 51, 52 erfasst werden, eine Zuordnung der Messwerte auf Grundlage von miteinander korrespondierenden Sichtstrahlen bzw. Erfassungsrichtungen erfolgt. Das Ziel ist, dass die einander zugeordneten Messwerte jeweils denselben Bereich im Umfeld abbilden.
  • Insbesondere ist vorgesehen, dass das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten 10 des einen Sensors 51 in einen aus den Messwerten der Sensordaten 20 des anderen Sensors 52 gebildeten Bildraum erfolgt. Ist der andere Sensor 52 eine Kamera, so werden die Messwerte der Sensordaten 10 des einen Sensors 51 unter Berücksichtigung der jeweiligen Abbildungsbedingungen des einen Sensors 51 und der Kamera in ein aus den Sensordaten 20 der Kamera erzeugtes Kamerabild projiziert.
  • Die Recheneinrichtung 3 erhält ferner Sensorsichtbereichsinformationen 22 des anderen Sensors 52 oder schätzt die Sensorsichtbereichsinformationen 22 auf Grundlage der erfassten Sensordaten 20 des anderen Sensors 52.
  • Anschließend vergleicht die Recheneinrichtung 3 die Abstandsinformationen 12 und die erhaltenen oder geschätzten Sensorsichtbereichsinformationen 22 an jeweils einander zugeordneten Messwerten der Sensordaten 10, 20. Ausgehend von dem Vergleich stellt die Recheneinrichtung 3 ein Parallaxenproblem fest, wenn ein auf Grundlage eines Abstandsmaßes bestimmter Abstand zwischen einer jeweiligen Abstandsinformation 12 und einer hiermit korrespondierenden Sensorsichtbereichsinformation 22 ein Schwellenwertkriterium überschreitet. Hierbei kann vorgesehen sein, dass eine Mindestanzahl von Messwerten erreicht werden muss, für die der jeweils bestimmte Abstand das Schwellenwertkriterium überschreitet, damit ein Parallaxenproblem festgestellt wird. Hierdurch können fehlerhafte oder zufällige Abweichungen bei einzelnen Messwerten aufgrund von fehlerhaften oder verrauschten Sensordaten 10, 20 berücksichtigt werden.
  • Ein Vergleichsergebnis 30 wird anschließend von der Ausgabeeinrichtung 4 ausgegeben, beispielsweise in Form eines digitalen Datenpakets, das die Messwerte bezeichnet, bei denen das Parallaxenproblem aufgetreten ist.
  • Es kann ferner vorgesehen sein, dass die Sensorsichtbereichsinformationen 22 zumindest teilweise auf Grundlage von geschätzten Freibereichen geschätzt werden, wobei zum Schätzen der Freibereiche eine Mustererkennung an den Sensordaten 20 des anderen Sensors 52 durchgeführt wird.
  • Weiterbildend kann vorgesehen sein, dass im Rahmen der Mustererkennung eine Objekterkennung durchgeführt wird und die Freibereiche auf Grundlage von im Umfeld erkannten Objekten geschätzt werden.
  • Ferner kann vorgesehen sein, dass die Sensorsichtbereichsinformationen 22 des anderen Sensors 52 auf Grundlage von Sensordaten 40 mindestens eines weiteren Sensors 54 geschätzt werden.
  • In 2 ist eine schematische Darstellung zur Verdeutlichung des Verfahrens zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren 51, 52 gezeigt. Die Sensoren 51, 52 weisen einen Abstand 53 zueinander auf und erfassen einen überlappenden Bereich eines Umfelds 60. Gezeigt sind ferner Sichtstrahlen 11, 21 der Sensoren 51, 52, wobei die Sichtstrahlen 11, 21 jeweils mit Erfassungswinkeln für einzelne Messwerte in den Sensordaten korrespondieren. Der Sensor 51 ist im gezeigten Beispiel ein LIDAR-Sensor, der dreidimensionale Messwerte mit zugehörigen Abstandsinformationen 12 des Umfeldes 60 bereitstellt (der Übersichtlichkeit halber sind nicht alle Sichtstrahlen 11 mit einem Bezugszeichen für die Abstandsinformation 12 markiert). Der andere Sensor 52 ist eine Kamera, welche als Sensordaten ein Kamerabild bereitstellt.
  • In dem Umfeld 60 befindet sich eine ebene Wand 61 und ein Objekt 62 in Form eines anderen Kraftfahrzeugs. Aufgrund des Abstands 53 erfassen die Sensoren 51, 52 das Objekt 62 aus unterschiedlichen Richtungen. Der Sensor 51 erfasst an dem Objekt 62 vorbei in einem Bereich 63 die Wand 61, während die Wand 61 aus Sicht des Sensors 52, das heißt der Kamera, in diesem Bereich 63 von dem Objekt 62 verdeckt wird. Es besteht also ein Parallaxenproblem.
  • Um das Parallaxenproblem festzustellen, werden Sensorsichtbereichsinformationen 22 verwendet. Diese werden entweder von dem anderen Sensor 52 erzeugt und bereitgestellt oder mittels der Recheneinrichtung auf Grundlage von Merkmalen in den erfassten Sensordaten geschätzt. Beispielsweise kann in einem erfassten Kamerabild ausgehend von einer erkannten Textur eine vorausliegende Straße erkannt werden. Soweit sich die Textur der Straße (z.B. Asphalt und parallel verlaufende Fahrbahnmarkierungen) ohne Unterbrechungen oder ohne andere, davor angeordnete Objekte weiter in Richtung einer in dem Kamerabild erkannten Horizontlinie fortsetzt, kann davon ausgegangen werden, dass im Bereich der erkannten Straße ein Freibereich vorliegt. Ferner kann auch ein optischer Fluss dazu verwendet werden, um die Sensorsichtbereichsinformationen 22 zu bestimmen. Sensorsichtbereichsinformationen 22 können auch ausgehend von einem erkannten Objekt (z.B. ein anderes Kraftfahrzeug bekannten Typs) bestimmt werden, von dem eine absolute Objektgröße bekannt ist. Mit Hilfe bekannter Abbildungsbedingungen für den anderen Sensor 52 kann aus der bekannten absoluten Objektgröße dann eine Entfernung zum Objekt und hierüber zugehörige Sensorsichtbereichsinformationen 22 berechnet bzw. geschätzt werden.
  • Es kann vorgesehen sein, dass die Sensorsichtbereichsinformationen 22 zumindest teilweise auf Grundlage von geschätzten Freibereichen 23 geschätzt werden, wobei zum Schätzen der Freibereiche 23 eine Mustererkennung an den Sensordaten des anderen Sensors 52, das heißt der Kamera, durchgeführt wird.
  • Weiterbildend kann vorgesehen sein, dass im Rahmen der Mustererkennung eine Objekterkennung durchgeführt wird und die Freibereiche 23 auf Grundlage von im Umfeld 60 erkannten Objekten 61, 62 geschätzt werden. Die Freibereiche 23 werden dann durch die Bereiche festgelegt, an denen keine Objekte erkannt wurden. Dies kann beispielsweise durch einfaches Erstellen einer negativen Maskierung erfolgen, welche durch die erkannten Objekte definiert ist und alle Bereiche außerhalb der erkannten Objekte umfasst.
  • Im gezeigten Beispiel umfassen die Sensorsichtbereichsinformationen 22 eine Schätzung von Sichtweiten der Kamera für jeden der Messwerte bzw. Bildelemente.
  • Nachdem die Recheneinrichtung die Messwerte in den erfassten Sensordaten des einen Sensors 51 zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten des anderen Sensors 52 unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren 51, 52 zugeordnet hat, führt die Recheneinrichtung einen Vergleich der Abstandsinformationen und der erhaltenen oder geschätzten Sensorsichtbereichsinformationen 22 an jeweils einander zugeordneten Messwerten der Sensordaten durch.
  • In dem in der 2 gezeigten Beispiel ergeben sich hierbei auf Grundlage eines Abstandsmaßes bestimmte Abstände 31 bei den Messwerten (der Übersichtlichkeit halber nicht für jeden Messwert/Sichtstrahl 11 dargestellt), die sich im Bereich 63 befinden. Diese Abstände 31 werden mit einem Schwellenwertkriterium 32 verglichen, das beispielsweise durch einen vorgegebenen Schwellenwert definiert ist, der im gezeigten Beispiel zur Veranschaulichung 10 % der bestimmten Abstände 31 entsprechen soll. Je nach Eigenschaften der verwendeten Sensoren 51, 52 beträgt der Schwellenwert des Schwellenwertkriteriums 32 wenige bis einige zehn Zentimeter. Bei den Messwerten außerhalb des Bereichs 63 stimmen die Abstandsinformationen und die Sensorsichtbereichsinformationen 22 hingegen überein.
  • Da die bestimmten Abstände 31 der im Bereich 63 liegenden Messwerte den Schwellenwert des Schwellenwertkriteriums 32 überschreiten, stellt die Recheneinrichtung ein Parallaxenproblem fest und erzeugt ein entsprechendes Vergleichsergebnis, das von der Ausgabeeinrichtung ausgegeben wird.
  • Bezugszeichenliste
    • 1
    Vorrichtung
    2
    Eingangseinrichtung
    3
    Recheneinrichtung
    4
    Ausgabeeinrichtung
    10
    Sensordaten
    11
    Sichtstrahl
    12
    Abstandsinformation
    20
    Sensordaten
    21
    Sichtstrahl
    22
    Sensorsichtbereichsinformation
    23
    Freibereich
    30
    Vergleichsergebnis
    31
    Abstand
    32
    Schwellenwertkriterium
    40
    Sensordaten
    50
    Kraftfahrzeug
    51
    Sensor (LI DAR-Sensor)
    52
    Sensor (Kamera)
    53
    Abstand
    54
    weiterer Sensor
    60
    Umfeld
    61
    Wand
    62
    Objekt
    63
    Bereich

Claims (10)

  1. Verfahren zum Feststellen eines Parallaxenproblems in Sensordaten (10,20) zweier Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei der eine der Sensoren (51) Abstandsinformationen (12) bereitstellt, umfassend: Erhalten der erfassten Sensordaten (10,20) der Sensoren (51,52), Erhalten oder Schätzen von Sensorsichtbereichsinformationen (22) des anderen der Sensoren (52) auf Grundlage der erfassten Sensordaten (20) des anderen Sensors (52), Zuordnen von Messwerten in den erfassten Sensordaten (10) des einen Sensors (51) zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten (20) des anderen Sensors (52), wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren (51,52) erfolgt, Vergleichen der Abstandsinformationen (12) und der erhaltenen oder geschätzten Sensorsichtbereichsinformationen (22) an jeweils einander zugeordneten Messwerten der Sensordaten (10,20), wobei ein Parallaxenproblem festgestellt wird, wenn ein auf Grundlage eines Abstandsmaßes bestimmter Abstand (31) zwischen einer jeweiligen Abstandsinformation (12) und einer hiermit korrespondierenden Sensorsichtbereichsinformation (22) ein Schwellenwertkriterium (32) überschreitet, Ausgegeben eines Vergleichsergebnisses (30).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten (10) des einen Sensors (51) in einen aus den Messwerten der Sensordaten (20) des anderen Sensors (52) gebildeten Bildraum erfolgt.
  3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Sensorsichtbereichsinformationen (22) zumindest teilweise auf Grundlage von geschätzten Freibereichen (23) geschätzt werden, wobei zum Schätzen der Freibereiche (23) eine Mustererkennung an den Sensordaten (20) des anderen Sensors (52) durchgeführt wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass im Rahmen der Mustererkennung eine Objekterkennung durchgeführt wird und die Freibereiche (23) auf Grundlage von im Umfeld (60) erkannten Objekten (62) geschätzt werden.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Sensorsichtbereichsinformationen (22) des anderen Sensors (52) auf Grundlage von Sensordaten (40) mindestens eines weiteren Sensors (54) geschätzt werden.
  6. Vorrichtung (1) zum Feststellen eines Parallaxenproblems in Sensordaten (10,20) zweier Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei der eine der Sensoren (51) eine Abstandsinformation (12) bereitstellt, umfassend: eine Eingangseinrichtung (2), eine Recheneinrichtung (3), und eine Ausgabeeinrichtung (4), wobei die Eingangseinrichtung (2) derart ausgebildet ist, erfasste Sensordaten (10,20) von den Sensoren (51,52) zu erhalten, wobei die Recheneinrichtung (3) derart ausgebildet ist, Sensorsichtbereichsinformationen (22) des anderen der Sensoren (52) zu erhalten oder die Sensorsichtbereichsinformationen (22) des anderen Sensors (52) auf Grundlage der erfassten Sensordaten (20) des anderen Sensors (52) zu schätzen, Messwerte in den erfassten Sensordaten (10) des einen Sensors (51) zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten (20) des anderen Sensors (52) zuzuordnen, wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren (51,52) erfolgt, die Abstandsinformationen (12) und die erhaltenen oder geschätzten Sensorsichtbereichsinformationen (22) an den jeweils einander zugeordneten Messwerten der Sensordaten (10,20) miteinander zu vergleichen, und ein Parallaxenproblem festzustellen, wenn ein auf Grundlage eines Abstandsmaßes bestimmter Abstand (31) zwischen einer jeweiligen Abstandsinformation (12) und einer hiermit korrespondierenden Sensorsichtbereichsinformation (22) ein Schwellenwertkriterium (32) überschreitet, und wobei die Ausgabeeinrichtung (4) derart ausgebildet ist, ein Vergleichsergebnis (30) auszugeben.
  7. Vorrichtung (1) nach Anspruch 6, dadurch gekennzeichnet, dass die Recheinrichtung (3) ferner derart ausgebildet ist, das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten (10) des einen Sensors (51) in einen aus den Messwerten der Sensordaten (20) des anderen Sensors (52) gebildeten Bildraum durchzuführen.
  8. Vorrichtung (1) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Recheinrichtung (3) ferner derart ausgebildet ist, die Sensorsichtbereichsinformationen (22) zumindest teilweise auf Grundlage von geschätzten Freibereichen (23) zu schätzen und zum Schätzen der Freibereiche (23) eine Mustererkennung an den Sensordaten (20) des anderen Sensors (52) durchzuführen.
  9. Kraftfahrzeug, umfassend: - zwei Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei der eine der Sensoren (51) eine Abstandsinformation (12) bereitstellt, und - eine Vorrichtung (1) nach einem beliebigen der Ansprüche 6 bis 8.
  10. Kraftfahrzeug nach Anspruch 9, dadurch gekennzeichnet, dass der eine Sensor (51) ein LIDAR-Sensor oder ein 3D-Radarsensor und der andere Sensor (52) eine Kamera ist.
DE102019212021.0A 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren Active DE102019212021B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019212021.0A DE102019212021B4 (de) 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
US16/985,256 US11719825B2 (en) 2019-08-09 2020-08-05 Method and device for determining a parallax problem in sensor data of two sensors
CN202010787393.0A CN112346040A (zh) 2019-08-09 2020-08-07 确定两个传感器的传感器数据中的视差问题的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019212021.0A DE102019212021B4 (de) 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren

Publications (2)

Publication Number Publication Date
DE102019212021A1 DE102019212021A1 (de) 2021-02-11
DE102019212021B4 true DE102019212021B4 (de) 2024-02-08

Family

ID=74188338

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019212021.0A Active DE102019212021B4 (de) 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren

Country Status (3)

Country Link
US (1) US11719825B2 (de)
CN (1) CN112346040A (de)
DE (1) DE102019212021B4 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206707A1 (de) 2013-04-15 2014-10-16 Robert Bosch Gmbh Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
DE102015201747A1 (de) 2015-02-02 2016-08-04 Continental Teves Ag & Co. Ohg Sensorsystem für ein fahrzeug und verfahren
US20190120955A1 (en) 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
DE102006060893A1 (de) * 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
US20090122161A1 (en) * 2007-11-08 2009-05-14 Technical Vision Inc. Image to sound conversion device
DE102008001409A1 (de) * 2008-04-28 2009-11-05 Robert Bosch Gmbh Verfahren zur Bestimmung von freien Bereichen in der, insbesondere für die Fahrzeugführung relevanten Umgebung eines Kraftfahrzeugs
DE102010009620B4 (de) * 2010-02-27 2019-09-12 Volkswagen Ag Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld
JP5440461B2 (ja) * 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP6014440B2 (ja) * 2012-09-26 2016-10-25 日立オートモティブシステムズ株式会社 移動物体認識装置
EP2757524B1 (de) * 2013-01-16 2018-12-19 Honda Research Institute Europe GmbH Tiefenmessungsverfahren und System für autonome Fahrzeuge
US10140717B2 (en) * 2013-02-27 2018-11-27 Hitachi Automotive Systems, Ltd. Imaging apparatus and vehicle controller
CN103292710B (zh) * 2013-05-27 2016-01-06 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
JP6528447B2 (ja) 2014-02-25 2019-06-12 株式会社リコー 視差演算システム及び距離測定装置
KR101734985B1 (ko) * 2015-08-13 2017-05-25 전자부품연구원 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치
JP6752024B2 (ja) 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
CN109074476A (zh) * 2016-08-01 2018-12-21 深圳市大疆创新科技有限公司 用于障碍物规避的系统以及方法
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
JP6673160B2 (ja) * 2016-11-24 2020-03-25 株式会社デンソー 距離測定装置
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20200004840A (ko) * 2017-05-15 2020-01-14 아우스터, 인크. 파노라마 lidar 결과의 컬러 보강
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP6970577B2 (ja) * 2017-09-29 2021-11-24 株式会社デンソー 周辺監視装置および周辺監視方法
CN107869989B (zh) * 2017-11-06 2020-02-07 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
KR102587085B1 (ko) * 2018-10-01 2023-10-11 현대자동차주식회사 자율주행차량의 호출자 탐색 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206707A1 (de) 2013-04-15 2014-10-16 Robert Bosch Gmbh Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
DE102015201747A1 (de) 2015-02-02 2016-08-04 Continental Teves Ag & Co. Ohg Sensorsystem für ein fahrzeug und verfahren
US20190120955A1 (en) 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion

Also Published As

Publication number Publication date
US20210041235A1 (en) 2021-02-11
CN112346040A (zh) 2021-02-09
DE102019212021A1 (de) 2021-02-11
US11719825B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
EP2539117B1 (de) Verfahren und vorrichtung zum bestimmen von abständen an einem fahrzeug
EP2569953B1 (de) Optische selbstdiagnose eines stereoskopischen kamerasystems
DE102014101587B4 (de) Registrierung einer Szene mit Konsistenzprüfung
DE102010012811B4 (de) Verfahren zur Messung von Geschwindigkeiten und Zuordnung der gemessenen Geschwindigkeiten zu angemessenen Fahrzeugen durch Erfassen und Zusammenführen von Objekt-Trackingdaten und Bild-Trackingdaten
DE102012221563B4 (de) Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems
EP3775767B1 (de) Verfahren und system zur vermessung eines objekts mittels stereoskopie
DE10258794A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE19926559A1 (de) Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
EP3714286B1 (de) Verfahren und vorrichtung zur ermittlung eines installationswinkels zwischen einer fahrbahn, auf der ein fahrzeug fährt, und einer erfassungsrichtung eines mess- bzw. radarsensors
DE102015122172A1 (de) Scheinwerferbasierte Projetion von Mustern zur Vermessung räumlicher Eigenschaften einer Fahrzeugumgebung
DE102013224502A1 (de) Verfahren zur Kalibrierung einer Stereokamera eines Fahrzeugs
DE102012009577A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
DE102007013664A1 (de) Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
EP2690459A2 (de) Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrendes Objektes
DE102009007055A1 (de) Verfahren zur Messung der Geschwindigkeit eines Fahrzeuges und sichtbaren Zuordnung in einer Dokumentation
DE102019212021B4 (de) Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
EP3659113B1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102019212022B4 (de) Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
DE102010042821B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
EP2916102B1 (de) Verfahren zur massstabskorrekten skalierung einer aufnahme eines kamerasensors und system
DE102019211459B4 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
AT517658A1 (de) System zur Aufnahme von Fahrzeugseitenansichten
DE19517032B4 (de) Verfahren zur Lokalisierung von Punkten eines bewegten Objektes in einer Videobildsequenz und Vorrichtung zur Durchführung des Verfahrens
DE102019209849B4 (de) Verfahren und Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug und Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät
DE19517029B4 (de) Verfahren zur Bestimmung der Höhe eines Fahrzeuges mit Hilfe einer das Fahrzeug aufnehmenden Videokamera und Vorrichtung zur Durchführung des Verfahrens

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R083 Amendment of/additions to inventor(s)
R016 Response to examination communication
R018 Grant decision by examination section/examining division