DE102019212022A1 - Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren - Google Patents

Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren Download PDF

Info

Publication number
DE102019212022A1
DE102019212022A1 DE102019212022.9A DE102019212022A DE102019212022A1 DE 102019212022 A1 DE102019212022 A1 DE 102019212022A1 DE 102019212022 A DE102019212022 A DE 102019212022A DE 102019212022 A1 DE102019212022 A1 DE 102019212022A1
Authority
DE
Germany
Prior art keywords
sensor
sensor data
measured values
sensors
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102019212022.9A
Other languages
English (en)
Other versions
DE102019212022B4 (de
Inventor
Simon Steinmeyer
Thorsten Graf
Michael Schlichte
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102019212022.9A priority Critical patent/DE102019212022B4/de
Priority to US16/986,485 priority patent/US11704824B2/en
Priority to CN202010787658.7A priority patent/CN112346041B/zh
Publication of DE102019212022A1 publication Critical patent/DE102019212022A1/de
Application granted granted Critical
Publication of DE102019212022B4 publication Critical patent/DE102019212022B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

Die Erfindung betrifft ein Verfahren zum Feststellen eines Parallaxenproblems in Sensordaten (10,20) zweier Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei mindestens einer der Sensoren (51) eine Abstandsinformation bereitstellt, umfassend die Schritte: Erhalten der erfassten Sensordaten (10,20) der Sensoren (51,52), Zuordnen von Messwerten in den erfassten Sensordaten (10) des einen Sensors (51) zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten (20) des anderen Sensors (52), wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren (51,52) erfolgt, Durchnummerieren der Messwerte in den Sensordaten (10,20), Überprüfen, ob eine Sortierung der Nummerierung der miteinander korrespondierenden Messwerte übereinstimmt, wobei ein Parallaxenproblem festgestellt wird, wenn eine Sortierung nicht übereinstimmt, Ausgeben eines Überprüfungsergebnisses (30). Ferner betrifft die Erfindung eine Vorrichtung (1) zum Feststellen eines Parallaxenproblems in Sensordaten (10,20) zweier Sensoren (51,52) und ein Kraftfahrzeug (50).

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren. Ferner betrifft die Erfindung ein Kraftfahrzeug.
  • Moderne Kraftfahrzeuge weisen eine Vielzahl von Assistenzsystemen auf, die einen Fahrer beim Führen des Kraftfahrzeugs unterstützen oder das Kraftfahrzeug teilautomatisiert oder automatisiert führen können. Die Assistenzsysteme benötigen hierzu Informationen über ein Umfeld des Kraftfahrzeugs. Diese Informationen werden mittels Sensoren erfasst und in Form von Sensordaten den Assistenzsystemen bereitgestellt. Die Sensoren arbeiten üblicherweise mit Hilfe unterschiedlicher Messprinzipien. Beispielhaft seien als Sensoren ein Laserscanner, ein LIDAR-Sensor oder ein Radarsensor mit einer Elevationserfassung, die eine Abstandsinformation bzw. dreidimensionale Messwerte bereitstellen, oder eine Kamera genannt.
  • In der Regel sind die Sensoren an unterschiedlichen Positionen am oder im Kraftfahrzeug angeordnet. Dies führt dazu, dass die einzelnen Sensoren das Umfeld des Kraftfahrzeugs aus unterschiedlichen Richtungen erfassen. Insbesondere bei einer späteren Sensordatenfusion kann dies zu einem Parallaxenproblem führen, da Sensordaten unterschiedlicher Sensoren eines aus unterschiedlichen Richtungen erfassten Objektes unterschiedliche Teile des Objekts umfassen und daher teilweise nicht korrekt miteinander assoziiert werden können. Die fehlerhafte Assoziation der Sensordaten kann insbesondere zu einer fehlerhaften Entfernungsschätzung führen.
  • Aus der WO 2015/129907 A1 sind eine Entfernungsmessungseinrichtung und ein Parallaxenberechnungssystem bekannt.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zu schaffen, mit denen ein Parallaxenproblem in Sensordaten zweier Sensoren festgestellt werden kann.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 6 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Insbesondere wird ein Verfahren zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren zur Verfügung gestellt, wobei die Sensoren an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld erfassen, und wobei mindestens einer der Sensoren eine Abstandsinformation bereitstellt, umfassend die Schritte: Erhalten der erfassten Sensordaten der Sensoren, Zuordnen von Messwerten in den erfassten Sensordaten des einen Sensors zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten des anderen Sensors, wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren erfolgt, Durchnummerieren der Messwerte in den Sensordaten, Überprüfen, ob eine Sortierung der Nummerierung der miteinander korrespondierenden Messwerte übereinstimmt, wobei ein Parallaxenproblem festgestellt wird, wenn eine Sortierung nicht übereinstimmt, Ausgeben eines Überprüfungsergebnisses.
  • Ferner wird eine Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren geschaffen, wobei die Sensoren an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld erfassen, und wobei mindestens einer der Sensoren eine Abstandsinformation bereitstellt, umfassend eine Eingangseinrichtung, eine Recheneinrichtung, und eine Ausgabeeinrichtung, wobei die Eingangseinrichtung derart ausgebildet ist, erfasste Sensordaten von den Sensoren zu erhalten, wobei die Recheneinrichtung derart ausgebildet ist, Messwerte in den erfassten Sensordaten des einen Sensors zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten des anderen Sensors zuzuordnen, wobei das Zuordnen unter Berücksichtigung von Abbildungsbedingungen der beiden Sensoren erfolgt, Messwerte in den Sensordaten durchzunummerieren und zu überprüfen, ob eine Sortierung der miteinander korrespondierenden Messwerte übereinstimmt, und ein Parallaxenproblem festzustellen, wenn eine Sortierung nicht übereinstimmt, und wobei die Ausgabeeinrichtung derart ausgebildet ist, ein Überprüfungsergebnis auszugeben.
  • Das Verfahren und die Vorrichtung ermöglichen es, ein Parallaxenproblem in erfassten Sensordaten von zwei Sensoren, die zumindest teilweise das gleiche Umfeld erfassen, jedoch an unterschiedlichen Verbauposition angeordnet sind, festzustellen. Dies erfolgt, indem einzelne Messwerte in den Sensordaten der Sensoren einander zugeordnet werden, wobei dies unter Berücksichtigung der jeweiligen Abbildungsbedingungen der jeweiligen Sensoren erfolgt. Die einzelnen Messwerte in den Sensordaten werden für jeden der Sensoren gesondert durchnummeriert. Dies erfolgt bei zweidimensionalen Sensordaten insbesondere jeweils zeilen- und spaltenweise (also Messwerte 1 bis n für jede Zeile und Messwerte 1 bis n für jede Spalte). Anschließend werden die Sortierungen auf Grundlage der getroffenen Zuordnungen der Messwerte in den Sensordaten der Sensoren miteinander verglichen. Dies erfolgt bei zweidimensionalen Sensordaten insbesondere jeweils zeilenweise und spaltenweise. Liegt kein Parallaxenproblem vor, so stimmen die Sortierungen überein, das heißt ein Messwert mit der Ziffer 1 der Sensordaten des die Abstandsinformation bereitstellenden Sensors korrespondiert mit einem Messwert mit der Ziffer 1 der Sensordaten des anderen Sensors und so weiter. Liegt hingegen ein Parallaxenproblem vor, beispielsweise, weil ein von den Sensoren erfasstes Objekt sich sehr nahe an den Sensoren befindet, so stimmen die Sortierungen zumindest teilweise nicht miteinander überein (z.B. befindet sich der Messwert mit der Ziffer 8 der Sensordaten des die Abstandsinformation bereitstellenden Sensors auf Grund der unter Berücksichtigung der Abbildungsbedingungen erfolgten Zuordnung vor einem Messwert mit der Ziffer 5 des anderen Sensors). Stimmen die Sortierungen nicht miteinander überein, so wird ein Parallaxenproblem festgestellt. Anschließend wird ein Überprüfungsergebnis ausgegeben, beispielsweise als Überprüfungsergebnissignal oder in Form eines digitalen Datenpakets.
  • Die Vorteile des beschriebenen Verfahrens und der Vorrichtung sind, das diese einfach zu realisieren sind und nur eine geringe Rechenleistung der Recheneinrichtung benötigt wird.
  • Die Abbildungsbedingungen umfassen insbesondere die Bedingungen, unter denen die Sensordaten von den Sensoren jeweils erfasst werden, wie beispielsweise eine optische Abbildung, einen Öffnungswinkel, einen Erfassungsbereich und/oder einen Erfassungszeitpunkt. Durch Berücksichtigung der jeweiligen Abbildungsbedingungen ist es möglich, die Sensordaten der Sensoren einander zuzuordnen.
  • Der die Abstandsinformation bereitstellende Sensor ist insbesondere ein Laserscanner bzw. ein Light Detection and Ranging-(LIDAR)-Sensor, ein Radarsensor mit Elevationsmessung oder eine Stereokamera. Der die Abstandsinformation bereitstellende Sensor stellt beispielsweise Sensordaten in Form von dreidimensionalen Messwerten bereit, die insbesondere über Laufzeitmessungen bestimmt werden.
  • Der andere Sensor kann beispielsweise eine Kamera sein. Die Kamera stellt Sensordaten in Form eines oder mehrerer Kamerabilder bereit. Prinzipiell kann der andere Sensor zusätzlich auch eine Abstandsinformation bereitstellen.
  • Insbesondere ist vorgesehen, dass die Sensordaten des mindestens einen die Abstandsinformation bereitstellenden Sensors und des anderen Sensors synchronisiert sind. Dies bedeutet insbesondere, dass die Sensordaten in Bezug auf einen Erfassungsbereich und eine Zeitbasis miteinander übereinstimmen, das heißt zumindest teilweise denselben Ausschnitt des Umfelds zum gleichen Zeitpunkt abbilden. Prinzipiell kann eine solche Synchronisation im Vorfeld auf verschiedenen Wegen erfolgen. Objekte können im Bildraum der Sensordaten mittels optischen Flusses und Matching von dreidimensionalen Bildpunkten im Bildraum verfolgt werden (Objekttracking). Ferner können Objekte in den Sensordaten des mindestens einen die Abstandsinformation bereitstellenden Sensors verfolgt werden. Auf Grundlage dieser Objektverfolgung kann ein jeweils mit zugehörigen Sensordaten korrespondierender Zeitpunkt in den Sensordaten des anderen Sensors geschätzt werden, sodass die Sensordaten synchronisiert werden können. Weiter kann das Erfassen der Sensordaten der Sensoren zeitgleich erfolgen, beispielsweise indem ein gemeinsames Triggersignal verwendet wird.
  • Es kann vorgesehen sein, dass eine Interpolation der Sensordaten erfolgt, um das Zuordnen der Sensordaten zueinander zu ermöglichen. Dies ist insbesondere notwendig, wenn eine Abtastung der Sensoren unterschiedlich ist.
  • Teile der Vorrichtung, insbesondere die Recheneinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
  • Es kann vorgesehen sein, dass das Verfahren für weitere Sensoren durchgeführt wird, wobei Sensordaten der Sensoren dann immer jeweils paarweise miteinander verglichen werden.
  • Die Messwerte sind insbesondere Messpunkte. Es kann jedoch auch vorgesehen sein, dass die Messwerte aus den Sensordaten abgeleitete Merkmale sind, beispielsweise Kantenpunkte in einem erfassten Kamerabild, welche aus einem größeren Bereich des Kamerabildes bestimmt werden.
  • In einer Ausführungsform ist vorgesehen, dass das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten des mindestens einen die Abstandsinformation bereitstellenden Sensors in einen aus den Messwerten der Sensordaten des anderen Sensors gebildeten Bildraum erfolgt. Dies ermöglicht eine besonders einfache und schnelle Überprüfung, ob ein Parallaxenproblem vorliegt. Ist der die Abstandsinformation bereitstellende Sensor beispielsweise ein LIDAR-Sensor und der andere Sensor eine Kamera, so werden die Messwerte der Sensordaten des LIDAR-Sensors in das zugehörige Kamerabild projiziert, das heißt einzelne Messwerte der Sensordaten des LIDAR-Sensors werden gemäß den jeweiligen Abbildungsbedingungen der Sensoren einzelnen Messwerten bzw. Bildelementen in dem Kamerabild zugeordnet. Das Durchnummerieren erfolgt jedoch für die Sensordaten des LIDAR-Sensors und die Sensordaten der Kamera (d.h. das Kamerabild) getrennt, unabhängig von der Rückprojektion. Anschließend werden die Sortierungen auf Grundlage der über die Rückprojektion erfolgten Zuordnung der Messwerte überprüft.
  • In einer Ausführungsform ist vorgesehen, dass zum Überprüfen der Sortierung ein Vorzeichen von Winkeländerungen zwischen benachbarten Messwerten der Sensordaten des mindestens einen die Abstandinformation bereitstellenden Sensors in Bezug auf die jeweils korrespondierenden Messwerte der Sensordaten des anderen Sensors ausgewertet wird, wobei ein Parallaxenproblem festgestellt wird, wenn mindestens ein Vorzeichenwechsel bei den Winkeländerungen auftritt. Hierdurch kann eine schnelle und einfache Überprüfung erfolgen.
  • Insbesondere wird hierzu ein Winkel zwischen Messwerten der Sensordaten des die Abstandinformation bereitstellenden Sensors bestimmt, wobei dies mit Bezug auf die jeweils korrespondierenden Messwerte der Sensordaten des anderen Sensors erfolgt. Im Beispiel mit dem LIDAR-Sensor und der Kamera werden die Messwerte der Sensordaten des LIDAR-Sensors unter Berücksichtigung der Abbildungsbedingungen in das Kamerabild rückprojiziert. Anschließend werden Winkel (z.B. Azimut aus Sicht der Kamera) für die einzelnen rückprojizierten Messwerte der Sensordaten des LIDAR-Sensors mit Bezug auf die Kamera in dem Kamerabild bestimmt. Die Winkeländerungen zwischen den sortierten rückprojizierten Messwerten werden bestimmt. Tritt bei Durchlaufen der einzelnen Messwerte gemäß einer Reihenfolge der Sortierung an einer Stelle eine Änderung eines Vorzeichens der Winkeländerung auf, so wird ein Parallaxenproblem festgestellt, da der zugehörige Messwert in diesem Fall in der Rückprojektion in eine entgegengesetzte Richtung gesprungen ist.
  • In einer Ausführungsform ist vorgesehen, dass Messwerte der Sensordaten des mindestens einen die Abstandsinformation erfassenden Sensors, die in einem durch eine nicht übereinstimmende Sortierung definierten Bereich liegen, als ungültig markiert werden. Die als ungültig markierten Sensordaten können zwar grundsätzlich von den Assistenzsystemen weiterverwendet werden, allerdings ist eine Fusion von den Sensordaten der beiden betrachteten Sensoren zumindest bereichsweise nicht mehr möglich, da die als ungültig markierten Messwerte nur von einem der beiden Sensoren erfasst werden.
  • In einer weiteren Ausführungsform ist vorgesehen, dass zusätzlich überprüft wird, ob bei einem von den Sensoren erfassten Objekt Sensordaten des mindestens einen die Abstandsinformation bereitstellenden Sensors das Objekt mit Bezug auf eine durch den Abstand zwischen den Sensoren ausgezeichneten Dimension vollständig erfassen, wobei ein hieraus abgeleitetes Überprüfungsergebnis beim Überprüfen des Parallaxenproblems berücksichtigt wird. Hierdurch kann sichergestellt werden, dass ein Objekt vollständig erfasst wurde. Insbesondere in dem Fall, in dem kein Parallaxenproblem für einen Bereich um ein erfasstes Objekt herum festgestellt wird, kann sichergestellt werden, dass das Objekt vollständig erfasst wurde, das Überprüfungsergebnis beim Überprüfen des Parallaxenproblems also richtig ist.
  • Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
  • Weiter wird insbesondere ein Kraftfahrzeug geschaffen, umfassend zwei Sensoren, wobei die Sensoren an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld erfassen, und wobei mindestens einer der Sensoren eine Abstandsinformation bereitstellt. Ferner umfasst das Kraftfahrzeug eine Vorrichtung nach einer beliebigen der beschriebenen Ausführungsformen.
  • In einer weiterbildenden Ausführungsform des Kraftfahrzeugs ist vorgesehen, dass der die Abstandsinformation bereitstellende Sensor ein LIDAR-Sensor und der andere Sensor eine Kamera ist.
  • Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
    • 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren;
    • 2 eine schematische Darstellung zur Verdeutlichung des Verfahrens zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren.
  • In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Feststellen eines Parallaxenproblems in Sensordaten 10, 20 zweier Sensoren 51, 52 gezeigt. Die Vorrichtung 1 und die Sensoren 51, 52 sind in einem Kraftfahrzeug 50 angeordnet. Die Vorrichtung 1 umfasst eine Eingangseinrichtung 2, eine Recheneinrichtung 3 und eine Ausgabeeinrichtung 4.
  • Die Sensoren 51, 52 sind an voneinander beabstandeten Positionen angeordnet und erfassen zumindest teilweise das gleiche Umfeld. Der Sensor 51 stellt eine Abstandsinformation bereit. Der Sensor 51 ist beispielsweise ein Laserscanner bzw. ein LIDAR-Sensor, der Sensordaten 10 in Form von dreidimensionalen Messwerte bereitstellt. Der Sensor 52 ist beispielsweise eine Kamera, die Sensordaten 20 in Form von Kamerabildern bereitstellt. Die Sensoren 51, 52 erfassen beispielsweise das in der 2 dargestellte Umfeld 60.
  • Die Eingangseinrichtung 2 erhält die von den Sensoren 51, 52 erfassten Sensordaten 10, 20 und synchronisiert diese auf eine gemeinsame Zeitbasis.
  • Die Recheneinrichtung 3 ordnet Messwerte in den erfassten Sensordaten 10 des Sensors 51 zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten 20 des anderen Sensors 52 zu. Das Zuordnen erfolgt unter Berücksichtigung von Abbildungsbedingungen der beiden Sensoren 51, 52. Einfach ausgedrückt bedeutet dies, dass eine Sichtstrahluntersuchung durchgeführt wird, bei der auf Grundlage der Erfassungsrichtungen, aus denen die einzelnen Messwerte in einem Öffnungswinkel des jeweiligen Sensors 51, 52 erfasst werden, eine Zuordnung der Messwerte auf Grundlage von miteinander korrespondierenden Sichtstrahlen bzw. Erfassungsrichtungen erfolgt. Das Ziel ist, diejenigen Messwerte einander zuzuordnen, die unter Berücksichtigung der jeweiligen Abbildungsbedingungen jeweils denselben Bereich im Umfeld abbilden.
  • Die Messwerte in den Sensordaten 10, 20 werden für jeden der Sensoren 51, 52 von der Recheneinrichtung 3 separat durchnummeriert. Diese durchnummerierten Messwerte sind in der 2 schematisch gezeigt, wobei die Ziffern Sx den jeweiligen Messwerten bzw. hiermit korrespondierenden Sichtstrahlen 11, 21 zugeordnet sind.
  • Anschließend überprüft die Recheneinrichtung 3, ob eine Sortierung der einander zugeordneten Messwerte übereinstimmt. Stimmt die Sortierung nicht überein, so stellt die Recheneinrichtung 3 ein Parallaxenproblem fest. Anderenfalls stellt die Recheneinrichtung 3 kein Parallaxenproblem fest. Ein Überprüfungsergebnis 30 wird anschließend von der Ausgabeeinrichtung 4 ausgegeben. Das Überprüfungsergebnis 30 umfasst insbesondere auch eine Information darüber, welcher Teil der Sensordaten 10, 20 hiervon betroffen ist.
  • Es kann vorgesehen sein, dass das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten 10 des mindestens einen die Abstandsinformation bereitstellenden Sensors 51 in einen aus den Messwerten der Sensordaten 20 des anderen Sensors 52 gebildeten Bildraum erfolgt.
  • Es kann ferner vorgesehen sein, dass zum Überprüfen der Sortierung ein Vorzeichen von Winkeländerungen zwischen benachbarten Messwerten der Sensordaten 10 des mindestens einen die Abstandinformation bereitstellenden Sensors 51 in Bezug auf die jeweils korrespondierenden Messwerte der Sensordaten 20 des anderen Sensors 52 ausgewertet wird, wobei ein Parallaxenproblem festgestellt wird, wenn mindestens ein Vorzeichenwechsel bei den Winkeländerungen auftritt.
  • Weiter kann vorgesehen sein, dass Messwerte der Sensordaten 10 des mindestens einen die Abstandsinformation erfassenden Sensors 51, die in einem durch eine nicht übereinstimmende Sortierung definierten Bereich liegen, mittels der Recheneinrichtung 3 als ungültig markiert werden.
  • Es kann vorgesehen sein, dass zusätzlich überprüft wird, ob bei einem von den Sensoren erfassten Objekt Sensordaten 10 des mindestens einen die Abstandsinformation bereitstellenden Sensors 51 das Objekt mit Bezug auf eine durch den Abstand zwischen den Sensoren 51, 52 ausgezeichneten Dimension vollständig erfassen, wobei ein hieraus abgeleitetes Überprüfungsergebnis beim Überprüfen des Parallaxenproblems berücksichtigt wird.
  • In 2 ist eine schematische Darstellung zur Verdeutlichung des Verfahrens zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren 51, 52 gezeigt. Die Sensoren 51, 52 weisen einen Abstand 53 zueinander auf und erfassen einen überlappenden Bereich eines Umfelds 60. Gezeigt sind ferner Sichtstrahlen 11, 21 der Sensoren 51, 52, wobei die Sichtstrahlen 11, 21 jeweils mit gemäß den jeweiligen Abbildungsbedingungen projizierten Erfassungsrichtungen für einzelne Messwerte der Sensordaten korrespondieren. Der Sensor 51 ist im gezeigten Beispiel ein LIDAR-Sensor, der dreidimensionale Messwerte von Objekten 61, 62 des Umfeldes 60 bereitstellt. Der andere Sensor 52 ist eine Kamera, welche als Sensordaten ein Kamerabild bereitstellt.
  • In dem Umfeld 60 befindet sich eine ebene Wand 61 und ein Objekt 62 in Form eines anderen Kraftfahrzeugs. Aufgrund des Abstands 53 erfassen die Sensoren 51, 52 das Objekt 62 aus unterschiedlichen Richtungen. Der Sensor 51 erfasst an dem Objekt 62 vorbei in einem Bereich 63 die Wand 61, während die Wand 61 aus Sicht des Sensors 52 in diesem Bereich 63 von dem Objekt 62 verdeckt wird. Es besteht also ein Parallaxenproblem.
  • Um zu überprüfen, ob in den Sensordaten ein Parallaxenproblem vorliegt, werden die Messwerte in den erfassten Sensordaten des einen Sensors 51 (LIDAR-Sensor) zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten des anderen Sensors 52 (Kamera) zugeordnet, wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren 51, 52 erfolgt.
  • Das Zuordnen erfolgt insbesondere durch Rückprojektion der Messwerte der Sensordaten des Sensors 51 (LIDAR-Sensor) in einen aus den Messwerten der Sensordaten des anderen Sensors 52 (Kamera) gebildeten Bildraum. Einfach ausgedrückt werden die dreidimensionalen Messwerte des Sensors 51 (LIDAR-Sensor) gemäß den Abbildungsbedingungen in den Bildraum des Sensors 52 bzw. in das erfasste Kamerabild projiziert. Hierbei sind in diesem Beispiel insbesondere die Zuordnungen der Messwerte bzw. Sichtstrahlen 11 mit den Ziffern S8, S9 und S10 beachtlich, da diese das Objekt 62 betreffen.
  • Anschließend werden gemäß dem beschriebenen Verfahren die Messwerte der Sensordaten, welche in der 2 mit einzelnen Sichtstrahlen 11, 21 korrespondieren, jeweils - wie schematisch gezeigt - mit den Ziffern S1 bis S8 durchnummeriert. Das Durchnummerieren erfolgt hierbei in der Reihenfolge der Erfassung bzw. der Reihenfolge der zugehörigen Messwerte bzw. Bildelemente in dem Kamerabild. Beispielsweise werden die einzelnen Messwerte, welche mit einzelnen Sichtstrahlen 11, 21 korrespondieren, wie in der 2 gezeigt von oben nach unten durchnummeriert.
  • Sodann wird überprüft, ob eine Sortierung der Nummerierung der aufeinander projizierten Messwerte übereinstimmt, das heißt ob eine Sortierung der Ziffern S1 bis S10 der Messwerte der Sensordaten des Sensors 51 (LIDAR-Sensor) im Verhältnis zur Sortierung der Ziffern S1 bis S8 der Messwerte der Sensordaten des Sensors 52 (Kamera) anders ist. Dies ist aufgrund des Vorhandenseins des Objektes 62 und des hierdurch hervorgerufenen Parallaxenproblems vorliegend der Fall beim Sichtstrahl 11 des Sensors 51 mit der Ziffer S8. Dieser müsste ohne Vorliegen eines Parallaxenproblems einem Sichtstrahl 21 des Sensors 52 mit der Ziffer S8 zugeordnet sein, befindet sich jedoch aufgrund seiner Position bei der Projektion in den Bildraum (Kamerabild) des Sensors 52 (Kamera) vor einem Sichtstrahl 21 mit der Ziffer S5. Mit Bezug auf das Kamerabild stimmen die Sortierungen daher nicht überein, sodass ein Parallaxenproblem festgestellt wird.
  • Insbesondere ist vorgesehen, dass zum Überprüfen der Sortierung ein Vorzeichen von Winkeländerungen zwischen benachbarten Messwerten der Sensordaten des Sensors 51 in Bezug auf die jeweils einander zugeordneten Messwerte der Sensordaten des anderen Sensors 52 ausgewertet wird, wobei ein Parallaxenproblem festgestellt wird, wenn mindestens ein Vorzeichenwechsel bei den Winkeländerungen auftritt. Hierzu wird im Bildraum des Sensors 52 jeweils ein Winkel 22 der in den Bildraum projizierten Messwerte der Sensordaten des Sensors 51 bestimmt (mit Bezug auf 2 im Uhrzeigersinn).
  • Nach Bestimmen der Winkel 22 für die einzelnen Sichtstrahlen 11 im Bildraum ergeben sich die in der folgenden Tabelle zusammengefassten Ergebnisse:
    Sichtstrahl Sensor 51 (Ziffer) S1 S2 S3 S4 S5 S6 S7 S8 S9 S10
    Vorzeichen Winkeländerung im Bildraum - - - - - - + - -
    Klasse im Bildraum Wand Wand Wand Wand Objekt Objekt Objekt Objekt Objekt Objekt
  • Beim Sichtstrahl 11 mit der Ziffer S8 ändert sich das Vorzeichen, da dieser in der Projektion in den Bildraum des Sensors 52, das heißt in das erfasste Kamerabild, vor den Sichtstrahlen 21 mit den Ziffern S5, S6, S7 liegt. Da eine Änderung im Vorzeichen der Winkeländerung aufgetreten ist, wird ein Parallaxenproblem festgestellt.
  • Es kann vorgesehen sein, dass Messwerte der Sensordaten des Sensors 51 (LIDAR-Sensor), die in einem durch die nicht übereinstimmende Sortierung definierten Bereich 63 liegen, als ungültig markiert werden. Der Bereich ist hierbei definiert durch die Messwerte bzw. Sichtstrahlen 11, die von dem Messwert bzw. dem Sichtstrahl 11 mit der Ziffer S8 eingeschlossen werden, das heißt die von dem Rücksprung im Bildraum (Kamerabild) betroffen sind. Vorliegend sind dies die Messwerte bzw. Sichtstrahlen 11 mit den Ziffern S5, S6 und S7. Anschaulich ist dies in der 2 zu sehen. Die betroffenen Messwerte bzw. Sichtstrahlen 11 liegen alle in dem Bereich 63, der von dem Sensor 52 (Kamera) nicht erfasst werden kann, da dieser durch das Objekt 62 verdeckt wird.
  • Der Vorteil des beschriebenen Verfahrens und der Vorrichtung ist, das es einfach umzusetzen ist und nur eine geringe Rechenleistung der Recheneinrichtung benötigt wird.
  • Bezugszeichenliste
    • 1
    Vorrichtung
    2
    Eingangseinrichtung
    3
    Recheneinrichtung
    4
    Ausgabeeinrichtung
    10
    Sensordaten
    11
    Sichtstrahl
    20
    Sensordaten
    21
    Sichtstrahl
    22
    Winkel
    30
    Überprüfungsergebnis
    50
    Kraftfahrzeug
    51
    Sensor (LI DAR-Sensor)
    52
    Sensor (Kamera)
    53
    Abstand
    60
    Umfeld
    61
    Wand
    62
    Objekt
    63
    Bereich
    Sx
    Ziffer (Messwert bzw. Sichtstrahl)
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2015/129907 A1 [0004]

Claims (10)

  1. Verfahren zum Feststellen eines Parallaxenproblems in Sensordaten (10,20) zweier Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei mindestens einer der Sensoren (51) eine Abstandsinformation bereitstellt, umfassend die Schritte: Erhalten der erfassten Sensordaten (10,20) der Sensoren (51,52), Zuordnen von Messwerten in den erfassten Sensordaten (10) des einen Sensors (51) zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten (20) des anderen Sensors (52), wobei das Zuordnen unter Berücksichtigung von jeweiligen Abbildungsbedingungen der beiden Sensoren (51,52) erfolgt, Durchnummerieren der Messwerte in den Sensordaten (10,20), Überprüfen, ob eine Sortierung der Nummerierung der miteinander korrespondierenden Messwerte übereinstimmt, wobei ein Parallaxenproblem festgestellt wird, wenn eine Sortierung nicht übereinstimmt, Ausgeben eines Überprüfungsergebnisses (30).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten (10) des mindestens einen die Abstandsinformation bereitstellenden Sensors (51) in einen aus den Messwerten der Sensordaten (20) des anderen Sensors (52) gebildeten Bildraum erfolgt.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zum Überprüfen der Sortierung ein Vorzeichen von Winkeländerungen zwischen benachbarten Messwerten der Sensordaten (10) des mindestens einen die Abstandinformation bereitstellenden Sensors (51) in Bezug auf die jeweils korrespondierenden Messwerte der Sensordaten (20) des anderen Sensors (52) ausgewertet wird, wobei ein Parallaxenproblem festgestellt wird, wenn mindestens ein Vorzeichenwechsel bei den Winkeländerungen auftritt.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Messwerte der Sensordaten (10) des mindestens einen die Abstandsinformation erfassenden Sensors (51), die in einem durch eine nicht übereinstimmende Sortierung definierten Bereich (63) liegen, als ungültig markiert werden.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zusätzlich überprüft wird, ob bei einem von den Sensoren (51,52) erfassten Objekt (62) Sensordaten (10) des mindestens einen die Abstandsinformation bereitstellenden Sensors (51) das Objekt (62) mit Bezug auf eine durch den Abstand (53) zwischen den Sensoren (51,52) ausgezeichneten Dimension vollständig erfassen, wobei ein hieraus abgeleitetes Überprüfungsergebnis beim Überprüfen des Parallaxenproblems berücksichtigt wird.
  6. Vorrichtung (1) zum Feststellen eines Parallaxenproblems in Sensordaten (10,20) zweier Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei mindestens einer der Sensoren (51,52) eine Abstandsinformation bereitstellt, umfassend: eine Eingangseinrichtung (2), eine Recheneinrichtung (3), und eine Ausgabeeinrichtung (4), wobei die Eingangseinrichtung (2) derart ausgebildet ist, erfasste Sensordaten (10,20) von den Sensoren (51,52) zu erhalten, wobei die Recheneinrichtung (3) derart ausgebildet ist, Messwerte in den erfassten Sensordaten (10) des einen Sensors (51) zu hiermit jeweils korrespondierenden Messwerten in den erfassten Sensordaten (20) des anderen Sensors (52) zuzuordnen, wobei das Zuordnen unter Berücksichtigung von Abbildungsbedingungen der beiden Sensoren (51,52) erfolgt, Messwerte in den Sensordaten (10,20) durchzunummerieren und zu überprüfen, ob eine Sortierung der miteinander korrespondierenden Messwerte übereinstimmt, und ein Parallaxenproblem festzustellen, wenn eine Sortierung nicht übereinstimmt, und wobei die Ausgabeeinrichtung (4) derart ausgebildet ist, ein Überprüfungsergebnis (30) auszugeben.
  7. Vorrichtung (1) nach Anspruch 6, dadurch gekennzeichnet, dass die Recheneinrichtung (3) ferner derart ausgebildet ist, das Zuordnen der Messwerte durch Rückprojektion der Messwerte der Sensordaten (10) des mindestens einen die Abstandsinformation bereitstellenden Sensors (51) in einen aus den Messwerten der Sensordaten (20) des anderen Sensors (52) gebildeten Bildraum durchzuführen.
  8. Vorrichtung (1) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Recheneinrichtung (3) ferner derart ausgebildet ist, zum Überprüfen der Sortierung ein Vorzeichen von Winkeländerungen zwischen benachbarten Messwerten der Sensordaten (10) des mindestens einen die Abstandinformation bereitstellenden Sensors (51) in Bezug auf die jeweils korrespondierenden Messwerte der Sensordaten (20) des anderen Sensors (52) auszuwerten und ein Parallaxenproblem festzustellen, wenn mindestens ein Vorzeichenwechsel bei den Winkeländerungen auftritt.
  9. Kraftfahrzeug (50), umfassend: - zwei Sensoren (51,52), wobei die Sensoren (51,52) an voneinander beabstandeten Positionen angeordnet sind und zumindest teilweise das gleiche Umfeld (60) erfassen, und wobei mindestens einer der Sensoren (51,52) eine Abstandsinformation bereitstellt, und - eine Vorrichtung (1) nach einem beliebigen der Ansprüche 6 bis 8.
  10. Kraftfahrzeug (50) nach Anspruch 9, dadurch gekennzeichnet, dass der die Abstandsinformation bereitstellende Sensor (51) ein LIDAR-Sensor und der andere Sensor (52) eine Kamera ist.
DE102019212022.9A 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren Active DE102019212022B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019212022.9A DE102019212022B4 (de) 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
US16/986,485 US11704824B2 (en) 2019-08-09 2020-08-06 Method and device for determining a parallax problem in sensor data of two sensors
CN202010787658.7A CN112346041B (zh) 2019-08-09 2020-08-07 确定两个传感器的传感器数据中的视差问题的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019212022.9A DE102019212022B4 (de) 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren

Publications (2)

Publication Number Publication Date
DE102019212022A1 true DE102019212022A1 (de) 2021-02-11
DE102019212022B4 DE102019212022B4 (de) 2021-03-04

Family

ID=74188349

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019212022.9A Active DE102019212022B4 (de) 2019-08-09 2019-08-09 Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren

Country Status (2)

Country Link
US (1) US11704824B2 (de)
DE (1) DE102019212022B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230132967A1 (en) * 2021-10-28 2023-05-04 Argo AI, LLC Method, System, and Computer Program Product for Parallax Estimation for Sensors for Autonomous Vehicles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015129907A1 (en) * 2014-02-25 2015-09-03 Ricoh Company, Ltd. Distance measuring device and parallax calculation system
DE102015201747A1 (de) * 2015-02-02 2016-08-04 Continental Teves Ag & Co. Ohg Sensorsystem für ein fahrzeug und verfahren

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP6014440B2 (ja) * 2012-09-26 2016-10-25 日立オートモティブシステムズ株式会社 移動物体認識装置
WO2014132748A1 (ja) * 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 撮像装置及び車両制御装置
JP6752024B2 (ja) 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
KR102587085B1 (ko) * 2018-10-01 2023-10-11 현대자동차주식회사 자율주행차량의 호출자 탐색 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015129907A1 (en) * 2014-02-25 2015-09-03 Ricoh Company, Ltd. Distance measuring device and parallax calculation system
DE102015201747A1 (de) * 2015-02-02 2016-08-04 Continental Teves Ag & Co. Ohg Sensorsystem für ein fahrzeug und verfahren

Also Published As

Publication number Publication date
DE102019212022B4 (de) 2021-03-04
US20210042951A1 (en) 2021-02-11
CN112346041A (zh) 2021-02-09
US11704824B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
EP3497476A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102019220049A1 (de) Verfahren und Vorrichtung zur Kalibrierung mindestens eines Sensors
DE102009019399B4 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
DE102013224502A1 (de) Verfahren zur Kalibrierung einer Stereokamera eines Fahrzeugs
DE102012009577A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
DE102009030644B4 (de) Berührungslose Erfassungseinrichtung
DE102007021106B4 (de) Verfahren und Vorrichtung zum Kalibrieren eines Kamerasystems
DE102019212022B4 (de) Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
DE102012005966B4 (de) Vorrichtung und Verfahren zur Erzeugung einer flächenhaften Darstellung eines dreidimensionalen Körpers sowie Beleuchtungseinrichtung dazu
DE102010042821B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
DE102019211459B4 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE112017007812T5 (de) Fahrzeugperipheriebildanzeigevorrichtung und Fahrzeugperipheriebildanzeigeverfahren
DE102017217063A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten
DE102017005056A1 (de) Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug
EP3561772B1 (de) Verfahren zur kalibrierung einer zeilenbildaufnahmeeinheit
DE102019212021B4 (de) Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
DE102018114390A1 (de) Umfelderfassungssystem, Kraftfahrzeug mit einem Umfelderfassungssystem und Verfahren zur Kalibrierung von zumindest zwei Sensoren an einem Kraftfahrzeug
DE102014003221A1 (de) Verfahren zur maßstabskorrekten Skalierung einer Aufnahme eines Kamerasensors
DE102019212279B3 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE102012009155A1 (de) Verfahren und Analyseanordnung zum Ermitteln von Abweichungen eines Bauteils von einem Referenzbauteil
DE102022001653B4 (de) Computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion, Computerprogramm zur Durchführung eines solchen Verfahrens, Rechenvorrichtung zur Durchführung eines solchen Verfahrens, Analysevorrichtung mit einer solchen Rechenvorrichtung und computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus zur Ermittlung einer Tiefeninformation
DE102011112150A1 (de) Verfahren zur Bestimmung eines Ausmaßes eines Objekts in einer Umgebung eines Fahrzeugs sowie eine entsprechende Vorrichtung und ein Fahrzeug mit einer derartigen Vorrichtung.
DE102007021107A1 (de) Vorrichtung zur Bestimmung eines Hauptpunktes eines Kamerasystems
DE102015205174A1 (de) Vorrichtung und Verfahren zum gleichzeitigen Kalibrieren einer Mehrzahl von Kameras

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final