DE102021103012A1 - Lidar-polarisation für fahrzeuge - Google Patents

Lidar-polarisation für fahrzeuge Download PDF

Info

Publication number
DE102021103012A1
DE102021103012A1 DE102021103012.9A DE102021103012A DE102021103012A1 DE 102021103012 A1 DE102021103012 A1 DE 102021103012A1 DE 102021103012 A DE102021103012 A DE 102021103012A DE 102021103012 A1 DE102021103012 A1 DE 102021103012A1
Authority
DE
Germany
Prior art keywords
vehicle
polarization pattern
polarization
polarized light
light beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021103012.9A
Other languages
English (en)
Inventor
Sanjay Emani Sarma
Dajiang Suo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Massachusetts Institute of Technology
Original Assignee
Ford Global Technologies LLC
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC, Massachusetts Institute of Technology filed Critical Ford Global Technologies LLC
Publication of DE102021103012A1 publication Critical patent/DE102021103012A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Offenbarung sieht eine Lidar-Polarisation für Fahrzeuge vor. Ein Computer, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen enthält, die durch den Prozessor auszuführen sind zum Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird, und zum Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch sein kann. Die Anweisungen können weitere Anweisungen zum Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts beinhalten.

Description

  • GEBIET DER TECHNIK
  • Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren und insbesondere LIDARSensoren für Fahrzeuge.
  • ALLGEMEINER STAND DER TECHNIK
  • Fahrzeuge können mit Rechenvorrichtungen, Netzen, Sensoren und Steuerungen ausgestattet sein, um Daten bezüglich der Umgebung des Fahrzeugs zu erlangen und das Fahrzeug auf Grundlage der Daten zu betreiben. Fahrzeugsensoren können Daten, die zu fahrende Routen und zu vermeidende Objekte in der Umgebung des Fahrzeugs betreffen, bereitstellen. Der Betrieb des Fahrzeugs kann auf dem Erlangen genauer und aktueller Daten zu Objekten in der Umgebung eines Fahrzeugs während des Betriebs des Fahrzeugs auf einer Fahrbahn fußen.
  • KURZDARSTELLUNG
  • In der vorliegenden Schrift ist ein Verfahren offenbart, beinhaltend ein Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird, ein Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch ist, und ein Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts. Das lineare Polarisationsmuster kann mit dem zirkularen Polarisationsmuster verglichen werden, indem ein Verhältnis zwischen einer Intensität des linearen Polarisationsmusters und einer Intensität des zirkularen Polarisationsmusters bestimmt wird. Das tiefe neuronale Netz kann trainiert werden, indem das Polarisationsmuster und der Abstand, die dem Objekt entsprechen, in das tiefe neuronale Netz eingegeben und Zustandshinweise mit Ground Truth verglichen werden, die der Identität des Objekts entsprechen. Das lineare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Analysators bestimmt werden, wobei der Analysator einen Polarisationswinkel des empfangenen polarisierten Lichtstrahls misst. Das zirkulare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Viertelwellenplättchenanalysators bestimmt werden, wobei der Viertelwellenplättchenanalysator die Richtung der zirkularen Polarisation des empfangenen polarisierten Lichtstrahls misst.
  • Der polarisierte Lichtstrahl kann als eines oder mehrere von einem Puls und einer frequenzmodulierten kontinuierlichen Welle emittiert werden, wobei der Abstand zu dem Objekt auf einem Bestimmen einer Zeit zwischen dem Emittieren des polarisierten Lichtstrahls und dem Empfangen des polarisierten Lichtstrahls auf Grundlage von einem oder mehr von Laufzeit und Phasenverschiebung beruht. Der polarisierte Lichtstrahl kann durch Lenkoptik emittiert werden, die den polarisierten Lichtstrahl in einer Vielzahl von Winkeln in Bezug auf den Emitter lenkt, wobei eine Richtung zu dem Objekt durch Winkel bestimmt wird, in denen der polarisierte Lichtstrahl zu einer Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Ein Bild der Polarisationsmuster und der Abstände kann auf Grundlage der Richtung gebildet werden, in der der polarisierte Lichtstrahl zu der Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Das Bild der Polarisationsmuster und der Abstände kann in das tiefe neuronale Netz eingegeben werden, um auf das Objekt bezogene Zustandshinweise zu bestimmen, wobei die Zustandshinweise eine Position und Identität des Objekts beinhalten. Das Fahrzeug kann betrieben werden, indem ein Fahrzeugweg bestimmt wird, bei welchem Kontakt mit dem lokalisierten, identifizierten Objekt vermieden wird. Das Fahrzeug kann durch Steuern eines oder mehrerer von Fahrzeugantriebsstrang, Fahrzeuglenkung und Fahrzeugbremsen zum Fahren auf dem Fahrzeugweg betrieben werden. Zu den nichtmetallischen Objekten können eines oder mehrere von Laub, Ful gängern und Tieren zählen. Zu den metallischen Objekten können eines oder mehrere von Fahrzeugen, Barrieren und Verkehrszeichen zählen. Das Polarisationsmuster kann mit einem oder mehreren von Videodaten, Radardaten oder Ultraschalldaten kombiniert werden.
  • Des Weiteren offenbart ist ein computerlesbares Medium, das Programmanweisungen zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte speichert. Des Weiteren offenbart ist ein Computer, der zum Ausführen eines oder aller der vorstehenden Verfahrensschritte programmiert ist, beinhaltend eine Computereinrichtung, die programmiert ist zum Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird, zum Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch ist, und zum Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts. Das lineare Polarisationsmuster kann mit dem zirkularen Polarisationsmuster verglichen werden, indem ein Verhältnis zwischen einer Intensität des linearen Polarisationsmusters und einer Intensität des zirkularen Polarisationsmusters bestimmt wird. Das tiefe neuronale Netz kann trainiert werden, indem das Polarisationsmuster und der Abstand, die dem Objekt entsprechen, in das tiefe neuronale Netz eingegeben werden und Zustandshinweise mit Ground Truth verglichen werden, die der Identität des Objekts entsprechen. Das lineare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Analysators bestimmt werden, wobei der Analysator einen Polarisationswinkel des empfangenen polarisierten Lichtstrahls misst. Das zirkulare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Viertelwellenplättchenanalysators bestimmt werden, wobei der Viertelwellenplättchenanalysator eine Richtung der zirkularen Polarisation des empfangenen polarisierten Lichtstrahls misst.
  • Der Computer kann des Weiteren dazu programmiert sein, den polarisierten Lichtstrahl als eines oder mehrere von einem Puls und einer frequenzmodulierten kontinuierlichen Welle zu emittiert, wobei der Abstand zu dem Objekt auf einem Bestimmen einer Zeit zwischen dem Emittieren des polarisierten Lichtstrahls und dem Empfangen des polarisierten Lichtstrahls auf Grundlage von einem oder mehr von Laufzeit und Phasenverschiebung beruht. Der polarisierte Lichtstrahl kann durch Lenkoptik emittiert werden, die den polarisierten Lichtstrahl in einer Vielzahl von Winkeln in Bezug auf den Emitter lenkt, wobei eine Richtung zu dem Objekt durch Winkel bestimmt wird, in denen der polarisierte Lichtstrahl zu einer Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Ein Bild der Polarisationsmuster und der Abstände kann auf Grundlage der Richtung gebildet werden, in der der polarisierte Lichtstrahl zu der Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Das Bild der Polarisationsmuster und der Abstände kann in das tiefe neuronale Netz eingegeben werden, um auf das Objekt bezogene Zustandshinweise zu bestimmen, wobei die Zustandshinweise eine Position und Identität des Objekts beinhalten. Das Fahrzeug kann betrieben werden, indem ein Fahrzeugweg bestimmt wird, bei welchem Kontakt mit dem lokalisierten, identifizierten Objekt vermieden wird. Das Fahrzeug kann durch derartiges Steuern eines oder mehrerer von Fahrzeugantriebsstrang, Fahrzeuglenkung und Fahrzeugbremsen betrieben werden, dass es den Fahrzeugweg entlang fährt. Zu den nichtmetallischen Objekten können eines oder mehrere von Laub, Ful gängern und Tieren zählen. Zu den metallischen Objekten können eines oder mehrere von Fahrzeugen, Barrieren und Verkehrszeichen zählen. Das Polarisationsmuster kann mit einem oder mehreren von Videodaten, Radardaten oder Ultraschalldaten kombiniert werden.
  • Figurenliste
    • 1 ist eine Darstellung eines beispielhaften Verkehrsinfrastruktursystems.
    • 2 ist eine Darstellung eines beispielhaften Fahrzeugs mit Sensoren.
    • 3 ist eine Darstellung eines beispielhaften Lidarbilds.
    • 4 ist eine Darstellung von beispielhaftem linear polarisiertem Licht.
    • 5 ist eine Darstellung von beispielhaftem zirkular polarisiertem Licht.
    • 6 ist ein Blockschema eines beispielhaften Lidarsensors, beinhaltend polarisiertes Licht.
    • 7 ist ein Blockschema eines beispielhaften tiefen neuronalen Netzes.
    • 8 ist ein Flussdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs auf Grundlage von Lidar-Polarisationsmustern.
  • DETAILLIERTE BESCHREIBUNG
  • Fahrzeuge können derart ausgestattet sein, dass sie sowohl in einem autonomen als auch in einem insassengesteuerten Modus arbeiten. Unter einem halb- oder vollautonomen Modus verstehen die Erfinder einen Betriebsmodus, in dem ein Fahrzeug teilweise oder vollständig von einer Rechenvorrichtung als Teil eines Systems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, wobei das Fahrzeug in beiden Fällen teilweise oder vollständig ohne Unterstützung eines Insassen gesteuert werden kann. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem jedes von Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung des Fahrzeugs durch einen oder mehrere Fahrzeugcomputer gesteuert wird; in einem halbautonomen Modus steuert/steuern der/die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. In einem nichtautonomen Modus wird keines von diesen durch einen Computer gesteuert.
  • Eine Rechenvorrichtung in einem Fahrzeug kann dazu programmiert sein, Daten bezüglich der Außenumgebung eines Fahrzeugs zu erlangen und die Daten dazu zu verwenden, einen Fahrzeugweg zu bestimmen, auf dem ein Fahrzeug in einem autonomen oder halbautonomen Modus betrieben werden soll. Ein Fahrzeug kann auf Grundlage eines Fahrzeugwegs auf einer Fahrbahn fahren, indem Befehle bestimmt werden, die Antriebsstrang- , Brems- und Lenkungskomponenten zum Betreiben des Fahrzeugs zu steuern, sodass das Fahrzeug den Weg entlang fährt. Die Daten, welche die Außenumgebung betreffen, können die Position eines oder mehrerer sich bewegender Objekte, etwa Fahrzeuge und Fulßgänger usw., in einer Umgebung um ein Fahrzeug beinhalten und durch eine Rechenvorrichtung im Fahrzeug zum Betreiben des Fahrzeugs verwendet werden.
  • Eine Art Sensor, der die äul ere Umgebung betreffende Daten erlangen kann, ist ein Lidar(Light Detection and Ranging)-Sensor. Ein Lidarsensor emittiert einen Lichtstrahl typischerweise im Wellenlängenbereich von Infrarot (IR). Licht wird auch als optische Strahlung bezeichnet, und diese Ausdrücke werden vorliegend synonym verwendet. Das vom Lidarsensor emittierte Licht wird von Flächen in der äul eren Umgebung reflektiert und zum Lidarsensor zurückgeworfen. Der Lichtstrahl wird typischerweise von einem Laser emittiert, um einen gerichteten Lichtstrahl mit einer Energie zu erzeugen, die ausreicht, um von Flächen reflektiert und durch den Lidarsensor detektiert zu werden. Der Lidarsensor verarbeitet das reflektierte Licht, um einen Abstand oder eine Reichweite zwischen dem Lidarsensor und der das Licht reflektierenden Fläche zu bestimmen. Ein Lidarsensor kann eine Entfernung bestimmen, indem er einen Lichtpuls emittiert und die Zeit misst, die erforderlich ist, damit er sich zu und von der Oberfläche fortpflanzt, was als Laufzeit(ToF)-Lidar bezeichnet wird. Ein Lidarsensor kann auch das Licht modulieren und eine Phasenverschiebung in der Modulation des zurückgeworfenen Signals messen, um den Abstand zu bestimmen, was als frequenzmoduliertes Dauerstrich-Lidar (FMCW-Lidar) bezeichnet wird. Mithilfe von FMCW-Lidar kann auch eine Frequenzverschiebung in dem empfangenen Signal gemessen werden, um eine Doppler-Verschiebung zu bestimmen und damit eine Geschwindigkeit des Objekts in Bezug auf den Lidarsensor zu bestimmen.
  • Das von einem Lidarsensor emittierte Licht kann mittels elektromechanischer Komponenten, einschließlich rotierender Spiegel oder Prismen, gescannt werden, um den Lichtstrahl auf eine Gruppe von Stellen in der Umgebung zu richten. Durch Synchronisieren der Abstandsmessung mittels Abtastens des Strahls optischer Energie kann eine Gruppe von Datenpunkten erzeugt werden, die einem Bild entsprechen, wobei jedes Pixel des Bilds einer Abstandsmessung entlang eines Strahls entspricht, der von dem Lidarsensor ausgeht. Durch Verarbeiten eines derart erzeugten Lidarbilds kann eine Rechenvorrichtung Objekte in einer Umgebung aul erhalb des Lidarsensors identifizieren und lokalisieren. Vorliegend beschriebene Techniken verbessern die Fähigkeit eines Lidarsensors, die Identität und Position von Objekten zu bestimmen, indem das von dem Lidarsensor emittierte Licht polarisiert und ein Polarisationsmuster des zurückgeworfenen Lichts zusammen mit dem Abstand gemessen wird. Das Polarisationsmuster und der Abstand können mithilfe eines tiefen neuronalen Netzes verarbeitet werden, um die Identität und Position von Objekten in einer Umgebung aul erhalb des Lidarsensors zu bestimmen.
  • Polarisationsmuster, die Polarisationsdaten mit Positionsdaten kombinieren, die durch einen Polarisationssensor erzeugt werden, wie vorliegend in Bezug auf 6 beschrieben, können mit anderen Arten von Sensordaten kombiniert werden. Beispielsweise können Polarisationsmuster mit Video-, Radar- oder Ultraschallsensordaten kombiniert werden. Video-, Radar- oder Ultraschallsensoren können Bilddaten erzeugen, die mit Polarisationsmustern auf Grundlage von Daten bezüglich der Sichtfelder des Polarisationssensors und der Sichtfelder der Video-, Radar- und Ultraschallsensoren ausgerichtet werden können. Ein tiefes neuronales Netz kann trainiert werden, um Objekte basierend auf einem Kombinieren von Polarisationsmustern mit einem oder mehreren von einem Videobild, einem Radarbild oder einem Ultraschallbild unter Verwendung von Techniken, die nachstehend in Bezug auf 7 beschrieben sind, zu identifizieren und zu lokalisieren.
  • In der vorliegenden Schrift ist ein Verfahren offenbart, beinhaltend ein Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird, ein Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch ist, und ein Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts. Das lineare Polarisationsmuster kann mit dem zirkularen Polarisationsmuster verglichen werden, indem ein Verhältnis zwischen einer Intensität des linearen Polarisationsmusters und einer Intensität des zirkularen Polarisationsmusters bestimmt wird. Das tiefe neuronale Netz kann trainiert werden, indem das Polarisationsmuster und der Abstand, die dem Objekt entsprechen, in das tiefe neuronale Netz eingegeben werden und Zustandshinweise mit Ground Truth verglichen werden, die der Identität des Objekts entsprechen. Das lineare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Analysators bestimmt werden, wobei der Analysator einen Polarisationswinkel des empfangenen polarisierten Lichtstrahls misst. Das zirkulare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Viertelwellenplättchenanalysators bestimmt werden, wobei der Viertelwellenplättchenanalysator eine Richtung der zirkularen Polarisation des empfangenen polarisierten Lichtstrahls misst.
  • Der polarisierte Lichtstrahl kann als eines oder mehrere von einem Puls und einer frequenzmodulierten kontinuierlichen Welle emittiert werden, wobei der Abstand zu dem Objekt auf einem Bestimmen einer Zeit zwischen dem Emittieren des polarisierten Lichtstrahls und dem Empfangen des polarisierten Lichtstrahls auf Grundlage von einem oder mehr von Laufzeit und Phasenverschiebung beruht. Der polarisierte Lichtstrahl kann durch Lenkoptik emittiert werden, die den polarisierten Lichtstrahl in einer Vielzahl von Winkeln in Bezug auf den Emitter lenkt, wobei eine Richtung zu dem Objekt anhand von Winkeln bestimmt wird, in denen der polarisierte Lichtstrahl zu einer Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Ein Bild der Polarisationsmuster und der Abstände kann auf Grundlage der Richtung gebildet werden, in der der polarisierte Lichtstrahl zu der Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Das Bild der Polarisationsmuster und der Abstände kann in das tiefe neuronale Netz eingegeben werden, um auf das Objekt bezogene Zustandshinweise zu bestimmen, wobei die Zustandshinweise eine Position und Identität des Objekts beinhalten. Das Fahrzeug kann betrieben werden, indem ein Fahrzeugweg bestimmt wird, auf welchem Kontakt mit dem lokalisierten, identifizierten Objekt vermieden wird. Das Fahrzeug kann durch derartiges Steuern eines oder mehrerer von Fahrzeugantriebsstrang, Fahrzeuglenkung und Fahrzeugbremsen betrieben werden, dass es den Fahrzeugweg entlang fährt. Zu den nichtmetallischen Objekten können eines oder mehrere von Laub, Ful gängern und Tieren zählen. Zu den metallischen Objekten können eines oder mehrere von Fahrzeugen, Barrieren und Verkehrszeichen zählen. Das Polarisationsmuster kann mit einem oder mehreren von Videodaten, Radardaten oder Ultraschalldaten kombiniert werden.
  • Des Weiteren offenbart ist ein computerlesbares Medium, das Programmanweisungen zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte speichert. Des Weiteren offenbart ist ein Computer, der zum Ausführen eines oder aller der vorstehenden Verfahrensschritte programmiert ist, beinhaltend eine Computereinrichtung, die programmiert ist zum Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird, zum Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch ist, und zum Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts. Das lineare Polarisationsmuster kann mit dem zirkularen Polarisationsmuster verglichen werden, indem ein Verhältnis zwischen einer Intensität des linearen Polarisationsmusters und einer Intensität des zirkularen Polarisationsmusters bestimmt wird. Das tiefe neuronale Netz kann trainiert werden, indem das Polarisationsmuster und der Abstand, die dem Objekt entsprechen, in das tiefe neuronale Netz eingegeben werden und Zustandshinweise mit Ground Truth verglichen werden, die der Identität des Objekts entsprechen. Das lineare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Analysators bestimmt werden, wobei der Analysator einen Polarisationswinkel des empfangenen polarisierten Lichtstrahls misst. Das zirkulare Polarisationsmuster kann durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Viertelwellenplättchenanalysators bestimmt werden, wobei der Viertelwellenplättchenanalysator eine Richtung der zirkularen Polarisation des empfangenen polarisierten Lichtstrahls misst.
  • Der Computer kann des Weiteren dazu programmiert sein, den polarisierten Lichtstrahl als eines oder mehrere von einem Puls und einer frequenzmodulierten kontinuierlichen Welle zu emittieren, wobei der Abstand zu dem Objekt auf einem Bestimmen einer Zeit zwischen dem Emittieren des polarisierten Lichtstrahls und dem Empfangen des polarisierten Lichtstrahls auf Grundlage von einem oder mehr von Laufzeit und Phasenverschiebung beruht. Der polarisierte Lichtstrahl kann durch Lenkoptik emittiert werden, die den polarisierten Lichtstrahl in einer Vielzahl von Winkeln in Bezug auf den Emitter lenkt, wobei eine Richtung zu dem Objekt anhand von Winkeln bestimmt wird, in denen der polarisierte Lichtstrahl zu einer Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Ein Bild der Polarisationsmuster und der Abstände kann auf Grundlage der Richtung gebildet werden, in der der polarisierte Lichtstrahl zu der Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden. Das Bild der Polarisationsmuster und der Abstände kann in das tiefe neuronale Netz eingegeben werden, um auf das Objekt bezogene Zustandshinweise zu bestimmen, wobei die Zustandshinweise eine Position und Identität des Objekts beinhalten. Das Fahrzeug kann betrieben werden, indem ein Fahrzeugweg bestimmt wird, auf welchem Kontakt mit dem lokalisierten, identifizierten Objekt vermieden wird. Das Fahrzeug kann durch derartiges Steuern eines oder mehrerer von Fahrzeugantriebsstrang, Fahrzeuglenkung und Fahrzeugbremsen betrieben werden, dass es den Fahrzeugweg entlang fährt. Zu den nichtmetallischen Objekten können eines oder mehrere von Laub, Ful gängern und Tieren zählen. Zu den metallischen Objekten können eines oder mehrere von Fahrzeugen, Barrieren und Verkehrszeichen zählen. Das Polarisationsmuster kann mit einem oder mehreren von Videodaten, Radardaten oder Ultraschalldaten kombiniert werden.
  • 1 ist eine Darstellung eines Verkehrsinfrastruktursystems 100, das ein Fahrzeug 110 beinhaltet, welches in einem autonomen („autonom“ für sich bedeutet in dieser Offenbarung „vollautonom“), einem halbautonomen und einem insassengesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Eine oder mehrere Rechenvorrichtungen 115 des Fahrzeugs 110 können von Sensoren 116 Daten bezüglich des Betriebs des Fahrzeugs 110 empfangen. Die Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem halbautonomen Modus oder einem nichtautonomen Modus betreiben.
  • Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen computerlesbarer Medien und speichert Anweisungen, die durch den Prozessor ausgeführt werden können, um unterschiedliche Vorgänge durchzuführen, welche die in dieser Schrift offenbarten beinhalten. Beispielsweise kann die Rechenvorrichtung 115 eine Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Beschleunigungssteuerung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, Hybridmotor usw.), Lenkung, Klimaregelung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrer derartige Vorgänge steuern soll.
  • Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten beinhaltet sind, z. B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., beinhalten oder z.B. über einen Fahrzeugkommunikationsbus, wie ferner nachstehend beschrieben, kommunikativ mit dieser (diesen) gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation in einem FahrzeugkommunikationsNetz angeordnet, das z. B. einen Bus in dem Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netz des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen, wie sie bekannt sind, beinhalten, z. B. Ethernet oder andere Kommunikationsprotokolle.
  • Über das FahrzeugNetz kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Betätigungselemente, Sensoren usw. einschließlich der Sensoren 116. Alternativ oder zusätzlich kann in Fällen, bei denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das FahrzeugkommunikationsNetz für Kommunikationen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, der Rechenvorrichtung 115 Daten über das FahrzeugkommunikationsNetz bereitstellen.
  • Zusätzlich kann die Rechenvorrichtung 115 dazu konfiguriert sein, über ein Netz 130, das, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, über ein Netz 130, wie etwa drahtloses Internet (WI-FI®) oder Mobilfunknetze, mit einem Remote-Servercomputer 120 zu kommunizieren, durch eine Fahrzeug-Infrastruktur-Schnittstelle (V-to-I-Schnittstelle) 111 mit einem Remote-Servercomputer 120, z. B. einem Cloud-Server, zu kommunizieren. Die F-I-Schnittstelle 111 kann dementsprechend Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netztechnologien zu nutzen, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose PaketNetze. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug(V-to-V)-Netzen z. B. gemäß dedizierter Nahbereichskommunikation (DSRC) und/oder dergleichen, konfiguriert sein, die z.B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netze gebildet werden. Die Rechenvorrichtung 115 beinhaltet zudem einen nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur(F-I)-Schnittstelle 111 an einen Servercomputer 120 oder eine mobile Vorrichtung 160 eines Benutzers in einem nichtflüchtigem Speicher speichert. Der Servercomputer 120 kann auch als Rechenvorrichtung 115 fungieren, die in einem straßenseitigen Infrastruktur- oder Kantenrechenknoten enthalten ist, wobei es sich bei einem Kantenrechenknoten um eine Rechenvorrichtung 115 handelt, die in oder an einem stationären Infrastrukturelement enthalten ist, wie etwa einem Pfosten, einer Brücke usw. Wand usw., und die Sensordaten erlangt und mit Fahrzeugen 110 über dedizierte Nahbereichskommunikation (DSRC) oder dergleichen in einem lokalen Abschnitt von einem oder mehreren von einer Fahrbahn, einem Parkplatz oder einer Parkstruktur usw. kommuniziert.
  • Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert und durch den Prozessor der Rechenvorrichtung 115 ausführbar sind, im Allgemeinen eine Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsen, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Bedieners beinhaltet. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. der Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Beispielsweise kann die Rechenvorrichtung 115 eine Programmierung zum Regeln des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa Geschwindigkeit, Beschleunigung, Abbremsung, Lenken usw., und des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens auf eine Weise, die in der Regel ein sicheres und effizientes Abfahren einer Route erreichen soll), wie etwa eines Abstands zwischen Fahrzeugen und/oder einer Zeit zwischen Fahrzeugen, Spurwechseln, des Mindestabstands zwischen Fahrzeugen, der Mindestzeit zur Wegquerung bei Linksabbiegung, der Zeit bis zur Ankunft an einem bestimmten Standort und der Mindestzeit bis zum Überqueren der Kreuzung an einer Kreuzung (ohne Ampel) beinhalten.
  • Im vorliegend verwendeten Sinne beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die in der Regel dazu programmiert sind, ein konkretes Fahrzeugteilsystem zu überwachen und/oder zu steuern. Zu Beispielen gehören eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (ECU) sein, wie sie bekannt ist, und möglicherweise eine zusätzliche Programmierung wie in dieser Schrift beschrieben beinhalten. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäl den Anweisungen zu betätigen. Beispielsweise kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
  • Die eine oder die mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen beinhalten, die als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 beinhalten. Jede der Steuerungen 112, 113, 114 kann jeweilige Prozessoren und Speicher und ein oder mehrere Betätigungselemente beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie zum Beispiel einem Controller-Area-Network-(CAN-)Bus oder einem Local-Interconnect-Network-(LIN- )Bus, um Anweisungen von der Rechenvorrichtung 115 zu empfangen und Betätigungselemente auf Grundlage der Anweisungen zu steuern.
  • Die Sensoren 116 können vielfältige Vorrichtungen beinhalten, die für die Bereitstellung von Daten über den Fahrzeugkommunikationsbus bekannt sind. Beispielsweise kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, eine Entfernung von dem Fahrzeug 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor für ein globales Positionsbestimmungssystem (GPS), der in dem Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Die durch das RADAR und/oder die anderen Sensoren 116 bereitgestellte(n) Entfernung(en) und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 zum Beispiel autonom oder teilautonom zu betreiben.
  • Das Fahrzeug 110 ist im Allgemeinen ein Landfahrzeug 110, das zu autonomem und/oder teilautonomem Betrieb fähig ist und das drei oder mehr Räder aufweist, z. B. ein PKW, ein Kleinlaster usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten in Bezug auf das Fahrzeug 110 und die Umgebung, in der das Fahrzeug 110 betrieben wird, erheben. Beispielhaft und nicht einschränkend können die Sensoren 116 z. B. Höhenmesser, Kameras, Lidar, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hallsensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren wie etwa Schalter usw. beinhalten. Die Sensoren 116 können verwendet werden, um die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird; bspw. können die Sensoren 116 Phänomene wie Wetterverhältnisse (Niederschlag, äul ere Umgebungstemperatur usw.), die Neigung einer Stral e, den Standort einer Stral e (z. B. unter Verwendung von Straßenrändern, Spurmarkierungen usw.) oder Positionen von Zielobjekten wie etwa Nachbarfahrzeugen 110 detektieren. Die Sensoren 116 können ferner verwendet werden, um Daten, einschließlich dynamischer Daten des Fahrzeugs 110, die sich auf Vorgänge des Fahrzeugs 110 beziehen, wie etwa Geschwindigkeitsvektor, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, des auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewandten Leistungspegels, Konnektivität zwischen Komponenten und einer genauen und rechtzeitigen Leistung von Komponenten des Fahrzeugs 110, zu erheben.
  • 2 ist eine Darstellung eines Fahrzeugs 110, das eine Vielzahl von Sensoren 116 beinhaltet, die mehreren Sensormodalitäten entspricht. Eine Sensormodalität bedeutet ein Medium, in dem ein Sensor physikalische Phänomene detektiert, z. B. ein akustisches Medium, ein Teil des elektromagnetischen Spektrums usw. Zu Sensormodalitäten zählen beispielsweise Lidar, Video, Radar und Ultraschall. Die Sensoren 116 beinhalten einen Lidarsensor 206 und Videosensoren 204a, 204b, 204c, 204e (zusammengefasst Videosensoren 204), die alle in einer Sensorverkleidung 202 enthalten sind, die am Dachabschnitt des Fahrzeugs 110 angebracht ist. Das Fahrzeug 110 beinhaltet zudem Radarsensoren 208a, 208b, 208c (zusammengefasst Radarsensoren 208), die in einem Karosserieabschnitt des Fahrzeugs 110 enthalten sind. Eine Rechenvorrichtung 115 kann Daten vom Lidarsensor 206, den Videosensoren 204 und Radarsensoren 208 erlangen und die erlangten Daten verwenden, um das Fahrzeug 110 auf einer Fahrbahn zu betreiben. Das Betreiben eines Fahrzeugs auf einer Fahrbahn kann ein Detektieren von Positionen von Objekten, einschließlich Fahrzeugen und Ful gängern, und ein Vermeiden von Kontakt mit den Objekten beinhalten.
  • 3 ist eine Darstellung eines Lidarbilds 300 von Punktwolkendaten, die durch einen Lidarsensor 206 erlangt wurden. Das Lidarbild beinhaltet Regionen von Pixeln, die Licht entsprechen, das von Objekten 302a, 302b, 302c, 302d (zusammengefasst Objekte 302) zurückgeworfen wird. In diesem Beispiel sind Objekte 302 Verkehrszeichen, die in der Nähe einer Fahrbahn positioniert sind, auf der ein Fahrzeug 110 fährt. In dem Lidarbild 300 sind zudem Rückemissionen 304, 306 von Hintergrundelementen enthalten, die empfangenem Licht von Objekten in der Nähe einer Fahrbahn, einschließlich Laub und Steine, entsprechen. Vorliegend offenbarte Techniken können Daten des Lidarsensors 206 verbessern, indem ein Abstand zu einem Pixel bestimmt wird und bestimmt wird, ob das Pixel in einem Lidarbild 300 als metallisch oder nichtmetallisch eingestuft werden kann.
  • Die Einstufung als nichtmetallisch bedeutet, dass ein Pixel einem Objekt entspricht, das aus Materialien wie Pflanzen, Schmutz, Beton, Steinen, Holz, Kleidung, Haut, Pelz usw. besteht. Nichtmetallische Materialien können Laub, Ful gängern, Tieren, Gebäuden, Barrieren usw. entsprechen. Die Einstufung als metallisch bedeutet, dass ein Pixel einem Objekt entspricht, das aus Materialien besteht, zu denen Stahl, Aluminium und lackiertes Metall zählt und die reflektiertes polarisiertes Licht mit Polarisationskoeffizienten nahe dem Maximalwert von eins zurückwerfen. Metallpixel können Fahrzeugen, Verkehrszeichen und Barrieren entsprechen. Nichtmetallische Materialien, einschließlich Schmutz, Beton, Steine, Holz, Kleidung, Haut, Pelz usw., können reflektiertes polarisiertes Licht mit Polarisationskoeffizienten nahe dem Minimalwert von Null zurückwerfen. Durch empirisches Messen der Polarisationskoeffizienten dieser Materialien unter Verwendung eines Systems eines polarisierten Lidarsensors 600, wie nachstehend in Bezug auf 6 beschrieben, z. B. in einer Labor- oder Prüfstandsumgebung, können die Polarisationskoeffizienten von Materialien, die polarisiertes Licht reflektieren, entweder als metallisch oder nichtmetallisch klassifiziert werden, je nach Benutzerauswahl eines Schwellenwerts. Ein Schwellenwert kann von einem Benutzer ausgewählt werden, um Pixeln mit Polarisationskoeffizienten und damit Polarisationsgrad(DOP)-Werten über dem Schwellenwert eine Einstufung als metallisch zuzuweisen und Pixeln mit Polarisationskoeffizienten und damit DOP-Werten gleich oder unter dem Schwellenwert eine Einstufung als nichtmetallisch zuzuweisen. Die Beziehung zwischen Polarisationskoeffizienten und DOP wird nachstehend in Bezug auf die Gleichungen (1)-(4) beschrieben. Der Schwellenwert kann derart ausgewählt werden, dass Polarisationskoeffizientenwerten, die für Materialien in einer Umgebung im Sichtfeld eines polarisierenden Lidarsensors 600 bestimmt sind, entweder eine Einstufung als metallisch oder als nichtmetallisch zugewiesen wird, wie nachstehend in Bezug auf 6 beschrieben.
  • 4 ist eine Darstellung von linear polarisiertem Licht 400. Linear polarisiertes Licht 400 entspricht einer Lichtwelle 402, die den elektrischen Teil der elektromagnetischen Wellen darstellt, die in linear polarisiertem Licht 400 enthalten sind. Die Lichtwelle 402 breitet sich von links nach rechts entlang der z-Achse 404, senkrecht zu einer x-Achse 406 und y-Achse 408 aus. Lineare Polarisation bezieht sich auf die Lichtwelle 402, die sich entlang der z-Achse 404 in einer Ebene in Bezug auf die x-Achse 406 und y-Achse 408 ausbreitet. Die Ebene kann in einem beliebigen Winkel in Bezug auf die x-Achse 406 und die y-Achse 408 liegen, entspricht jedoch nur einer Ebene. Der Winkel, in dem sich die Lichtwelle 402 in Bezug auf die x-Achse 406 und y-Achse 408 ausbreitet, wird als Polarisationswinkel bezeichnet.
  • Linear polarisiertes Licht 400 kann erzeugt werden, indem nicht polarisiertes Licht durch einen Polarisator geleitet wird. Ein Polarisator ist eine optische Komponente, die eine Lichtwelle 402 in einer einzelnen Ebene durchlassen kann, wie in 4 dargestellt. Lichtwellen 402, die in anderen Winkeln als der einzelnen Ebene oszillieren, werden durch den Polarisator blockiert. Einige Laser erzeugen linear polarisiertes Licht 400 in natürlicher Weise. Instrumente wie Lidarsensoren können einen oder mehrere Laser verwenden, die auf natürliche Weise linear polarisiertes Licht 400 erzeugen. In einem Beispiel, in dem der eine oder die mehreren Laser linear polarisiertes Licht erzeugen, macht das Ausrichten des einen oder der mehreren Laser, um sicherzustellen, dass das Licht in einem gewünschten Polarisationswinkel emittiert wird, die Notwendigkeit eines externen Polarisators überflüssig, um linear polarisiertes Licht 400 zu erzeugen.
  • Ein Polarisator kann auch verwendet werden, um Licht zu empfangen. In Beispielen, in denen ein Polarisator verwendet wird, um Licht zu empfangen, kann er als Linearpolarisationsanalysator bezeichnet werden. Ein Analysator ist ein Linearpolarisator, der an einen Lichtdetektor gekoppelt ist, welcher eine Intensität des durch den Analysator übertragenen einfallenden Lichts misst. Einfallendes Licht ist das Licht, das auf den Analysator trifft. In diesem Beispiel handelt es sich bei einfallendem Licht um Licht, das durch Oberflächen in der Umgebung auf den Analysator reflektiert wird. Der Analysator überträgt im Wesentlichen das gesamte einfallende Licht in dem Polarisationswinkel, der mit dem Polarisationswinkel des Analysators übereinstimmt. Der Analysator blockiert einfallendes Licht proportional zu seiner Winkeldifferenz ihm Verhältnis zum Polarisationswinkel des Analysators. Beispielsweise wird Licht mit einem Polarisationswinkel von 90° im Verhältnis zum Winkel des Analysators vollständig blockiert. Ein Analysator, der an einen Lichtdetektor gekoppelt ist, kann den Anteil des einfallenden Lichts bestimmen, der in demselben Winkel wie der Analysator polarisiert ist.
  • 5 ist eine Darstellung von zirkular polarisiertem Licht 500. Zirkular polarisiertes Licht 500 kann aus linear polarisiertem Licht 400 gebildet werden, indem das Licht durch ein Viertelwellenplättchen 510 geleitet wird. In diesem Beispiel breitet sich eine erste Lichtwelle 502 entlang einer z-Achse 504 von links nach rechts parallel zur x-Achse 508 aus. Die Lichtwelle 502 bezieht sich auf die Richtung, in der die elektrische Komponente der ersten Leuchte 502 oszilliert. Ein Viertelwellenplättchen 510 ist eine optische Komponente, die das einfallende Licht in eine erste Lichtwelle 502, die sich in einer einfallenden Polarisationsrichtung ausbreitet, und eine zweite Lichtwelle 512 aufteilt, welche in einem rechten Winkel zur ursprünglichen Richtung gedreht und deren Phase in Bezug auf die erste Welle 502 um 90 Grad verzögert wird, um eine zweite Lichtwelle 512 parallel zur y-Achse zu bilden. Da die elektrischen Komponenten der ersten und zweiten Lichtwelle 502, 512 die gleiche Frequenz aufweisen, obwohl sie phasenverschoben sind, werden sie linear kombiniert, um eine dritte Lichtwelle 514 zu bilden (gepunktete Linie). Die dritte Lichtwelle 514 wird durch die Vektorsumme der elektrischen Wellen der ersten und der zweiten Lichtwelle 502, 512 gebildet und erscheint infolgedessen als spiralförmig um die z-Achse 504. Diese spiralförmige Oszillation in der Ausbreitungsrichtung der dritten Lichtwelle 514 wird als zirkulare Polarisation bezeichnet. Die Viertelwellenplättchen 510 können rechts- oder linksläufig seinund bewirken, dass sich das zirkular polarisierte Licht 500 entweder im Uhrzeigersinn oder gegen den Uhrzeigersinn zu drehen scheint.
  • Ein Viertelwellenplättchen kann als Analysator für zirkular polarisiertes Licht verwendet werden. Ein Viertelwellenplättchen, das als Empfänger für einfallendes Licht eingerichtet ist, wird das einfallende Licht aufteilen, drehen und verzögern. Wenn das einfallende Licht in der gleichen Richtung (links oder rechts, wie im vorhergehenden Absatz erläutert) zirkular polarisiert wird, wird das Viertelwellenplättchen die zirkulare Polarisation genau umkehren, wodurch unpolarisiertes Licht mit der ursprünglichen Intensität übertragen wird. Wenn das einfallende Licht in der entgegengesetzten Richtung zirkular polarisiert wird, wird das Viertelwellenplättchen das einfallende Licht aufteilen, drehen und verzögern und das Licht aufgrund der auslöschenden Interferenz der Lichtwellen löschen. Durch das Koppeln eines Viertelwellenplättchenanalysators mit einem Lichtdetektor kann die Richtung der zirkularen Polarisation des einfallenden Lichts bestimmt werden.
  • 6 ist ein Blockschema eines Polarisationslidarsensors 600, der Linear- und Zirkularpolarisationsemission und -erfassung beinhaltet. Der Polarisationslidarsensor 600 kann einen Emitterabschnitt 602 aufweisen, der einen Laser (LASER) 606, einen Linearpolarisator (LP) 608, ein erstes Viertelwellenplättchen (QWP1) und einen Scanner (SCAN) 612 beinhaltet. Der Polarisationslidarsensor 600 kann zudem einen Detektorabschnitt 604 beinhalten, der ein zweites Viertelwellenplättchen (QWP2), einen polarisierenden Strahlteiler (PBS) 622, einen ersten Detektor (DET1) 624, einen zweiten Detektor (DET2) 626 und einen Prozessor (PROC) 628 beinhaltet.
  • Der Emitterabschnitt 602 beinhaltet einen Laser 606, der Licht emittiert, bei dem es sich um IR-Licht handeln kann. Der Laser 606 kann Pulse von IR-Licht oder FMCW-IR-Licht emittieren, wie vorstehend erläutert. Das vom Laser 606 emittierte Licht wird zu einem Linearpolarisator 608 geleitet, der das vom Laser 606 emittierte Licht linear polarisiert, wie vorstehend in Bezug auf 4 erläutert. In einigen Beispielen wird das vom Laser 606 emittierte Licht in natürlicher Weise linear polarisiert; der lineare Polarisator 608 kann dann weggelassen werden. Das Licht wird daraufhin durch ein erstes Viertelwellenplättchen 610 geleitet. Die Viertelwellenplättchen 610 polarisiert einen Teil des Lichts zirkular, wie vorstehend in Bezug auf 5 erläutert, wodurch Licht Se 614 erzeugt wird, das linear polarisiertes Licht und zirkular polarisiertes Licht beinhaltet.
  • Im Anschluss an das Viertelwellenplättchen 610 wird das Licht durch einen Scanner 612 geleitet, der den Lichtstrahl in einem Muster verteilt, um es dem Polarisationslidarsensor 600 zu gestatten, ein Lidarbild 300 auf Grundlage des emittierten Lichts Se 614 zu erzeugen. Der Scanner 612 kann elektrooptische Komponenten verwenden, wie vorstehend in Bezug auf 2 erläutert, um das emittierte Licht Se 614 an Stellen in der Umgebung des Polarisationslidarsensors 600 zu verteilen. In einigen Beispielen verteilen die elektrooptischen Komponenten das emittierte Licht sowohl in horizontaler als auch vertikaler Richtung, um eine x- und y-Verteilung von Strahlen des emittierten Lichts Se 614 zu bilden. In einigen Beispielen kann emittiertes Licht Se 614 durch eine horizontale Anordnung von Lasern 606 emittiert werden, durch den Linearpolarisator 608 und das erste Viertelwellenplättchen 610 geleitet und dann vertikal mittels der elektrooptischen Komponenten im Scanner 612 verteilt werden, um ein Bild entstehen zu lassen. Das emittierte Licht Se 614 kann auf eine Fläche in der Umgebung auftreffen, einschließlich einer Fläche, die in einem Objekt (OBJ) 616 beinhaltet ist. Das von dem Objekt 616 reflektierte emittierte Licht Se 614 wird zu reflektiertem Licht Sr 618.
  • Der Polarisationszustand des emittierten Lichts Se 614 lässt sich durch einen Stokes-Vektor Se = (I, Q, U, V) charakterisieren. I ist die Gesamtstrahlungsintensität der optischen Strahlung und kann in Watt pro Steradiant gemessen werden. Q und U sind die Strahlungsintensitäten, ebenfalls in Watt pro Steradiant gemessen, der optischen Strahlung, die parallel (Q) zum Winkel der linearen Polarisation des emittierten Lichts Se bzw. bei 45° (U) zum Winkel der linearen Polarisation des emittierten Lichts Se 614 gemessen wird. V ist die Strahlungsintensität, ebenfalls gemessen in Watt pro Steradiant, des zirkular polarisierten Teils des emittierten Lichts Se 614, gemessen in Bezug auf die Richtung (links- oder rechtsläufig) der zirkularen Polarisation des emittierten Lichts Se 614.
  • Der Stokes-Vektor, der dem reflektierten Licht Sr 618 entspricht, kann durch Multiplizieren des Stokes-Vektors, der dem emittierten Licht Se 614 entspricht, anhand einer 4 × 4-Müller-Matrix M bestimmt werden, wobei M = [ 1 0 0 0 0 M 11 0 0   0   0 M 11 0 0   0 0 M 33 ]
    Figure DE102021103012A1_0001
    und S r = M ⋅ S e
    Figure DE102021103012A1_0002
    Die Werte der Müller-Matrix M11 und M33 sind Matrixkoeffizienten, die bestimmen, wie viel linear polarisiertes Licht bzw. zirkular polarisiertes Licht durch die Oberfläche reflektiert werden wird. Eine Müller-Matrix M kann verwendet werden, um Licht zu bestimmen, das durch nicht-doppelbrechende Materialien reflektiert wird. Die Doppelbrechung ist eine Eigenschaft eines Materials, bei welcher der Brechungsindex des Materials von der Polarisation des einfallenden Lichts abhängig ist. Doppelbrechung findet sich typischerweise in Materialien mit nicht-kubischen Kristallstrukturen wie Calcit und einigen Kunststoffen unter mechanischer Beanspruchung. Materialien, die vorliegend von Interesse sind, z. B. Pflanzen, Ful gänger, Fahrzeuge, Barrieren, Verkehrszeichen usw., sind typischerweise nicht doppelbrechend.
  • Einige typische Werte der Müller-Matrix-Koeffizienten M11 und M33 für metallische Objekte wie Stahl betragen ungefähr M11 = 0,9 und M33 = 0,9, wie bekannt. Einige typische Werte für nichtmetallische Objekte wie Holz betragen ungefähr M11 = 0,2 und M33 = 0,16, wie bekannt. Nichtmetallische Materialien wie Steine können mittlere Müller-Matrix-Koeffizienten von ungefähr M11 = 0,4 und M33 = 0,4 aufweisen, wie bekannt. Diese Werte können empirisch bestimmt werden, indem die Strahlungsintensitäten von linear und zirkular polarisiertem Licht, das von verschiedenen Materialien reflektiert wird, mit Abschnitt 604 des optischen Sensors gemessen werden, der die optische Strahlung in Watt des durch Linear- und Zirkularpolarisatoren empfangenen Lichts messen kann. Wie vorstehend in Bezug auf 3 erläutert, können Materialien, die Müller-Matrix-Koeffizienten nahe eins ergeben, wie Stahl und Aluminium usw., als metallische Objekte klassifiziert werden. Materialien, die Müller-Matrix-Koeffizienten von weniger als etwa 0,5 ergeben, so etwa Schmutz, Steine, Beton, Holz, Textil, Haut, Pelz usw., können als nichtmetallisch klassifiziert werden. Vorliegend beschriebene Techniken kombinieren Müller-Matrix-Koeffizienten zu einem einzigen DOP-Wert, bevor ein Schwellenwert angewendet wird, um metallische und nichtmetallische Materialien in reflektiertem Licht Sr 618 zu identifizieren. Vorliegend beschriebene Techniken verbessern die Identifizierung von Objekten unter Verwendung von Daten des polarisierten Lidarsensors 600 durch Eingeben eines Bilds, das Abstandsmaße und Polarisationsmuster (DOP-Werte) beinhaltet, in ein tiefes neuronales Netz. Das tiefe neuronale Netz kann auf Grundlage von Training lernen, metallische und nichtmetallische Objekte zu identifizieren, wie nachstehend in Bezug auf 7 beschrieben.
  • Das reflektierte Licht Sr 618 kann durch den Detektorabschnitt 604 des Polarisationslidarsensors 600 empfangen werden. Das reflektierte Licht Sr 618 wird zuerst vom zweiten Viertelwellenplättchen 620 des Detektorabschnitts 604 empfangen. Das zweite Viertelwellenplättchen 620 ist derart angeordnet, dass es Licht mit zirkularer Polarisation in einer 90° zur linearen Polarisationsrichtung des emittierten Lichts Se 614 verlaufenden Richtung umwandelt. Das reflektierte Licht Sr 618 wird dann zum polarisierenden Strahlteiler 622 geleitet. Der polarisierende Strahlteiler 622 leitet Licht mit einer linearen Polarisation dem Polarisationswinkel des emittierten Lichts Se 614 entsprechend zum ersten Detektor 624. Der polarisierende Strahlteiler 622 reflektiert Licht mit einem linearen Polarisationswinkel in einer Richtung, die 90° zur Richtung der linearen Polarisation des emittierten Lichts Se 614 verläuft, zum zweiten Detektor 626. So kann der erste Detektor unter Verwendung des ersten Detektors 624 = I1 den Anteil des reflektierten Lichts Sr 614 mit einer linearen Polarisation gleich der linearen Polarisation des emittierten Lichts Se 614 bestimmen und unter Verwendung des zweiten Detektors 626 = I2 den Anteil des reflektierten Lichts mit einer zirkularen Polarisation gleich dem emittierten Licht Se 614 bestimmen.
  • Das durch den ersten und zweiten Detektor 624, 626 I1, I2 detektierte Licht wird dann zum Prozessor 628 weitergeleitet. Der Prozessor 628 summiert zunächst die Ausgabe von dem ersten und zweiten Detektor 624, 626, um die Gesamtintensität = / des reflektierten Lichts Sr 618 zu bilden. I = I 1 + I 2
    Figure DE102021103012A1_0003
    Die Gesamtintensität kann durch den Prozessor 628 verwendet werden, um den Abstand zum Objekt 616 unter Verwendung entweder der Laufzeit oder Phasenverschiebung zu bestimmen, wie vorstehend in Bezug auf 3 erläutert. Die erste und zweite Polarisationsintensität I1, I2 können durch den Prozessor 628 kombiniert werden, um einen Polarisationsgrad (DOP) gemäl der folgenden Gleichung zu bestimmen: DOP = I 1 + I 2 I 1 − I 2 = 1 3 ( 2 M 11 + M 33 )
    Figure DE102021103012A1_0004
    Der DOP steht in direktem Zusammenhang mit den Werten von M11 und M33, weshalb die durch den Prozessor 628 bestimmten DOP-Werte der Identität der Materialien entsprechen, die das emittierte Licht Se reflektieren 614. Da der Polarisationslidarsensor 600 die räumliche Lage der Polarisationsintensitäten I1, I2 verfolgt, während sie generiert werden, entsprechen die Polarisationsintensitäten Polarisationsmustern im Falle der linearen Polarisation bzw. zirkularen Polarisation. Ein lineares Polarisationsmuster kann mithilfe der Gleichung (4) mit einem zirkularen Polarisationsmuster kombiniert werden, um ein Polarisationsmuster zu bilden. Ein Polarisationsmuster entspricht einem DOP, bei dem die räumliche Lage des DOP in Bezug auf den Polarisationslidarsensor 600 im Falle jeder DOP-Messung bekannt ist. Die räumliche Lage sowohl der Abstandsmessung als auch der DOP-Messung befindet sich entlang eines Strahls, der vom Polarisationslidarsensor 600 ausgeht und den Winkeln in Bezug auf die x-, y- und z-Achse entspricht, in denen das emittierte Licht Se 614 durch den Scanner 612 zu dem Zeitpunkt gerichtet wurde, in dem das reflektierte Licht Sr 618 durch den Detektorabschnitt 604 eingegeben und durch den Prozessor 628 gemessen wurde.
  • Der Prozessor 628 gibt ein kombiniertes Abstands- und Polarisationsmusterbild 630 aus, wobei jedes Pixel des Ausgabebilds Daten bezüglich Reichweite oder Abstand zu einem Objekt 616 und ein Polarisationsmuster, das dem Material des Objekts 616 entspricht, beinhalten kann. Nicht jedes Pixel beinhaltet eine Messung des Abstands und des Polarisationsmusters. Beispielsweise wird nicht jeder Strahl oder Puls des emittierten Lichts Se 614 durch ein Objekt 616 reflektiert, um reflektiertes Licht Sr 614 mit ausreichender Energie zu bilden, um die Detektion durch den ersten und zweiten Detektor 624, 626 zu ermöglichen. In Beispielen, in denen der erste und der zweite Detektor 624, 626 nicht ausreichend Lichtenergie empfangen, kann eine Null an einer Pixelposition in das Bild eingefügt werden, die dem Empfang von nicht ausreichender Energie entspricht, womit fehlende Daten angegeben werden.
  • Unzureichende Lichtenergie entspricht dem Empfangen von weniger als der minimalen Strahldichte des Lichts in Watt pro Steradiant, um zu ermöglichen, dass der erste und zweite Detektor 624, 626 ein elektronisches Signal generieren, das ein Grundrauschen übersteigt. Ein Grundrauschen ist der Betrag an elektrischem Strom, der durch einen Detektor in Abwesenheit von Eingangssignalen erzeugt wird. Wenn der erste oder zweite Detektor 624, 626 optische Eingangsstrahlung empfangen, die elektrische Signale erzeugt, die einen Strom aufweisen, der das Grundrauschen übersteigt, kann der Detektor die elektrischen Signale in digitale Zahlen umwandeln und die digitalen Zahlen zur Verarbeitung gemäl den Gleichungen (3) und (4) oben und zum Bestimmen eines Abstands und DOP an den Prozessor 628 weiterleiten. Im Anschluss an die Verarbeitung zum Bestimmen eine Abstands und DOP können die räumliche dreidimensionale Lage der Abstands- und DOP-Messungen in Bezug auf den Polarisationslidarsensor 600 bestimmt werden, und der Abstand und DOP können als Abstand und Polarisationsmuster in einem Abstands- und Polarisationsmusterbild 630 gespeichert werden. Das Abstands- und Polarisationsmusterbild 630 kann an ein tiefes neuronales Netz weitergeleitet werden, um zur Bestimmung der Identität und Position eines Objekts 616 im Sichtfeld des Polarisationslidarsensors 600 verarbeitet zu werden.
  • Eine Rechenvorrichtung 115, die in einem Fahrzeug 110 enthalten ist, kann Polarisationsmusterdaten aus einem Abstands- und Polarisationsmusterbild 630 mit Bilddaten von anderen Bildgebungsmodalitäten kombinieren. Zu anderen Bildgebungsmodalitäten zählen Video, Radar und Ultraschall, wie vorstehend in Bezug auf 2 erläutert. Die Rechenvorrichtung 115 kann auf Grundlage von Daten bezüglich der Sichtfelder jedes Sensors eine Position im dreidimensionalen Raum bestimmen, die jedem Pixel eines Bilds entspricht, das Video, Radar und Ultraschall entspricht. Daten bezüglich der Sichtfelder jedes Sensors können durch Ausrichten von Daten für jeden Sensor bestimmt werden, die bestimmt werden, indem Daten bezüglich Ausrichtungsmustern bestimmt werden, welche sich in den Sichtfeldern der Sensoren befinden, wenn die Sensoren in einem Fahrzeug 110 installiert werden, wenn das Fahrzeug 110 hergestellt wird. Daten bezüglich der Ausrichtung eines Sichtfelds jedes Sensors können verwendet werden, um ein kombiniertes Polarisationsmuster- und Videobild, ein kombiniertes Polarisationsmuster- und Radarbild oder ein kombiniertes Polarisationsmuster- und Ultraschallbild zu erzeugen, um ein Beispiel zu nennen. Ein kombiniertes Polarisationsmuster- und Videobild, ein kombiniertes Polarisationsmuster- und Radarbild oder ein kombiniertes Polarisationsmuster- und Ultraschallbild können in ein trainiertes tiefes neuronales Netz eingegeben werden, um eine Identität und Position eines Objekts in einer Umgebung eines Fahrzeugs 110 zu bestimmen.
  • Ein Polarisationslidarsensor 600 kann in einem Fahrzeug 110 enthalten oder ein stationärer Sensor sein, der in einem Verkehrsinfrastruktursystem 100 enthalten ist. Ein stationärer Polarisationslidarsensor 600 kann an einem Pfosten, einem Gebäude oder einer anderen stationären Plattform in der Nähe einer Fahrbahn befestigt sein. Ein mobiler Polarisationslidarsensor 600 kann auch an einer Drohne, einem Roboter oder einer anderen mobilen Plattform befestigt sein, um Daten bezüglich Objekten auf oder in der Nähe einer Fahrbahn zu erlangen. Eine Rechenvorrichtung 115, die in einem Verkehrsinfrastruktursystem 100 enthalten ist, kann ein Abstands- und Polarisationsmusterbild 630 von einem stationären oder mobilen Polarisationslidarsensor 600 erlangen, der in einem Verkehrsinformationssystem 100 enthalten ist, um eine Identität und Position von Objekten auf oder in der Nähe einer Fahrbahn zu bestimmen und die Daten bezüglich einer Identität und Position von Objekten auf eine Rechenvorrichtung 115, die in einem Fahrzeug 110 enthalten ist, herunterzuladen. Das Verkehrsinfrastruktursystem 100 kann zudem Bilddaten von stationären oder mobilen Video-, Radar- und Ultraschallsensoren erlangen und Polarisationsmusterdaten mit Video- oder Radar- oder Ultraschalldaten oder mehreren davon kombinieren. Die kombinierten Polarisationsmuster- und Video-, Radar- oder Ultraschalldaten können auf eine Rechenvorrichtung 115 in einem Fahrzeug 110 heruntergeladen werden.
  • 7 ist eine Darstellung eines tiefen neuronalen Netzes 700. Das tiefe neuronale Netz 700 kann ein kombiniertes Abstands- und Polarisationsmusterbild 630 eingeben, das kombinierte Abstands- und Polarisationsmusterbild 630 verarbeiten und Zustandshinweise 708 ausgeben, die der dreidimensionalen Position und Identität eines Objekts 616 im Sichtfeld eines Polarisationslidarsensors 600 entsprechen. Das tiefe neuronale Netz 700 beinhaltet Faltungsschichten (CONV) 702 und vollständig verbundene Schichten (FC) 706. Faltungsschichten geben ein kombiniertes Abstands- und Polarisationsmusterbild 630 ein und falten das kombinierte Abstands- und Polarisationsmusterbild 630 mit Faltungskernen, die das kombinierte Abstands- und Polarisationsmusterbild 630 verarbeiten, um verborgene Variablen 704 zu bilden. Die verborgenen Variablen 704 entsprechen einer Codierung des kombinierten Abstands- und Polarisationsmusterbilds 630, das Daten bezüglich der Position und Identität eines Objekts 616 beinhaltet, welches in dem kombinierten Abstands- und Polarisationsmusterbild 630 enthalten ist.
  • Die vollständig verbundenen Schichten 706 geben verborgene Variablen 704 ein und verarbeiten die verborgenen Variablen, um Zustandshinweise 708 zu erzeugen, die der dreidimensionalen Position und Identität eines Objekts 616 entsprechen, das in dem kombinierten Abstands- und Polarisationsmusterbild 630 enthalten ist. Vollständig verbundene Schichten 706 können lineare oder nichtlineare Funktionen auf Grundlage der verborgenen Variablen 704 berechnen. Die vollständig verbundenen Schichten 706 werden als vollständig verbunden bezeichnet, da jede Variable, die als Element der verborgenen Variablen 704 eingegeben wird, mit jeder anderen Variablen, welche als Elemente der verborgenen Variablen 704 eingegeben werden, kombiniert werden kann.
  • Das tiefe neuronale Netz 700 kann dazu trainiert werden, eine dreidimensionale Position und Identität eines Objekts 616 in einem kombinierten Abstands- und Polarisationsmusterbild 630 zu bestimmen, indem eine große Anzahl (> 1000) an kombinierten Abstands- und Polarisationsmusterbildern 630 nebst Ground-Truth-Daten bezüglich jedes kombinierten Abstands- und Polarisationsmusterbilds 630 generiert wird. Ground-Truth-Daten sind Daten bezüglich der dreidimensionalen Position und Identität von Objekten 616, die in jedem kombinierten Abstands- und Polarisationsmusterbild 630 enthalten sind, die unabhängig von der Verarbeitung des tiefen neuronalen Netzes 700 erhalten wurden. Beispielsweise können Ground-Truth-Daten durch einen Betrachter bestimmt werden, der die dreidimensionale Position des Objekts 616 identifiziert und misst, das in einem kombinierten Abstands- und Polarisationsmusterbild 630 enthalten ist.
  • Während des Trainierens kann ein kombiniertes Abstands- und Polarisationsmusterbild für eine große Anzahl (< 1000) an Trainingsversuchen in ein tiefes neuronales Netz eingegeben werden. Für jeden Trainingsversuch werden Parameter, die Faltungskernen und vollständig verbundenen Funktionen entsprechen, systematisch verändert und die resultierenden Zustandshinweise 708 zurückpropagiert, um mit den Ground-Truth-Daten bezüglich der eigentlichen dreidimensionalen Position und Identität des Objekts 616 verglichen zu werden. Wenn bestimmt wird, dass die rückpropagierten Zustandshinweise 708 den Ground-Truth-Daten entsprechen, werden die Parameter, die verwendet wurden, um die Zustandshinweise 708 zu erzeugen, gespeichert. Dieser Prozess wird für die große Anzahl der kombinierten Abstands- und Polarisationsmusterbilder 630 mit entsprechenden Ground-Truth-Daten wiederholt, und der Satz gespeicherter Parameter, der im Wesentlichen alle der kombinierten Abstands- und Polarisationsmusterbilder 630 auf Grundlage der Ground-Truth-Daten korrekt verarbeitet, bestimmt die Parameter, die dem trainierten tiefen neuronalen Netz 700 entsprechen.
  • Der Polarisationslidarsensor 600 verbessert die Detektion und Lokalisierung eines Objekts 616 in einer Umgebung eines Fahrzeugs, indem er sowohl Abstandsdaten als auch ein Polarisationsmuster, die dem Objekt 616 entsprechen, bestimmt. Das Bestimmen sowohl von Abstandsdaten als auch eines Polarisationsmusters ermöglicht es einem tiefen neuronalen Netz, eine Identität und dreidimensionale Position eines Objekts 616 zu bestimmen. Beispielsweise kann das tiefe neuronale Netz bestimmen, dass es sich bei einem Objekt 616 um ein Fahrzeug, einen Fußgänger, ein Verkehrsschild, Laub oder Beton handelt; dies erfolgt auf der Grundlage des Polarisationsmuster und der Position der Pixel, die dem Objekt 616 entsprechen. Auf Grundlage der Identität und Position eines Objekts 616 kann eine Rechenvorrichtung 115 in einem Fahrzeug 110 einen Fahrzeugweg bestimmen, auf dem das Fahrzeug 110 betrieben werden soll, der einer Fahrbahn entspricht und auf dem Kontakt mit dem Objekt 616 vermieden wird.
  • Das tiefe neuronale Netz 700 kann trainiert werden, um Identitäts- und Positionsdaten bezüglich eines Objekts 616 auf Grundlage von Polarisationsmusterdaten, kombiniert mit Video-, Radar- oder Ultraschalldaten, zu bestimmen. In diesem Beispiel werden Ground-Truth-Daten bezüglich der Identität und Position eines Objekts 616 in einer Vielzahl von Trainingsbildern generiert, die kombinierte Polarisationsmuster- und Video-, Radar- oder Ultraschallbilddaten beinhalten. Die Ground-Truth-Daten können durch einen Beobachter bestimmt werden, der die Position eines Objekts 616 identifiziert und misst, das in dem kombinierten Polarisationsmuster- und Video-, Radar- oder Ultraschallbild enthalten ist. Die Ground-Truth-Daten werden mit den rückpropagierten Zustandshinweisen 710 verglichen, die durch das tiefe neuronale Netz 700 generiert werden, was als Reaktion auf eingegebene kombinierte Polarisationsmuster- und Video-, Radar- oder Ultraschallbilddaten erfolgt.
  • 8 ist ein Flussdiagramm eines in Bezug auf 1-7 beschriebenen Prozesses 800 zum Betreiben eines Fahrzeugs auf Grundlage des Bestimmens einer dreidimensionalen Position und Identität eines Objekts. Der Prozess 800 kann durch einen Prozessor der Rechenvorrichtung umgesetzt werden, der zum Beispiel Informationen von Sensoren als Eingabe heranzieht und Befehle ausführt und Objektinformationen ausgibt. Der Prozess 800 beinhaltet mehrere Blöcke, die in der dargestellten Reihenfolge ausgeführt werden können. Der Prozess 800 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder die Blöcke mit Ausführung in anderer Reihenfolge beinhalten.
  • Der Prozess 800 beginnt bei Block 802, wo eine Rechenvorrichtung 115, die in einem Fahrzeug enthalten ist, ein Abstands- und Polarisationsmusterbild 630 erlangt. Das Abstands- und Polarisationsmusterbild 630 wird durch einen Polarisationslidarsensor 600 generiert, wie vorstehend in Bezug auf 6 beschrieben. Bei jedem Pixel beinhaltet das Abstands- und Polarisationsmusterbild 630 eine Abstandsmessung zu einem Abschnitt eines Objekts 616 und ein Polarisationsmuster, das einer kombinierten Linear- und Zirkularpolarisationsmessung dieses Abschnitts des Objekts 616 entspricht. Das Abstands- und Polarisationsmusterbild 630 kann auch null Daten an Pixelpositionen beinhalten, an denen das Signal, das dem reflektierten Licht Sr 618 entspricht, nicht ausreichte, um eines oder mehrere von einem Abstand, einer linearen Polarisation oder einer zirkularen Polarisation zu messen.
  • Bei Block 804 wird ein kombiniertes Abstands- und Polarisationsmusterbild 630 in ein tiefes neuronales Netz 700 eingegeben, das auf der Rechenvorrichtung 115 ausgeführt wird, um das kombinierte Abstands- und Polarisationsmusterbild 630 zum Bestimmen von Zustandshinweisen 710 zu verarbeiten. Die Zustandshinweise 710 entsprechen einer dreidimensionalen Position und Identität eines Objekts 616. Beispielsweise können die Zustandshinweise 710 Objekte als Hintergrundobjekte identifizieren, einschließlich einer Fahrbahn, Laubs, eines Geländes und von Gebäuden, oder als Vordergrundobjekte, einschließlich Fahrzeuge, Ful gänger, Verkehrszeichen und Barrieren. Die Identität der Objekte basiert auf einem oder mehreren Polarisationsmustern und einer oder mehreren Abstandsmessungen, die durch das tiefe neuronale Netz 700 als einem Objekt entsprechend bestimmt wurden. Beispielsweise kann bestimmt werden, dass ein Objekt, das ein Polarisationsmuster ergibt, welches Stahl entspricht, wie in Tabelle 1 veranschaulicht, und von dem bestimmt wird, dass es eine Mindestgröl e übersteigt und in weniger als einem maximalen Abstand von dem Polarisationslidarsensor 600 entfernt ist, ein Fahrzeug ist. Die Zustandshinweise 710 beinhalten Daten bezüglich der Identität und dreidimensionalen Position eines Objekts von dem Polarisationslidarsensor 600.
  • Bei Block 806 verarbeitet eine Rechenvorrichtung 115 die Zustandshinweise 710, um einen Fahrzeugweg zu bestimmen, auf dem ein Fahrzeug 110 betrieben werden soll. Ein Fahrzeugweg ist eine Polynomfunktion, die von der Rechenvorrichtung 115 verarbeitet werden kann, um Anweisungen zu erzeugen, die an die Steuerungen 112, 113, 114 zum Steuern von Antriebsstrang, Lenkung und Bremsung des Fahrzeugs gesendet werden sollen, um zu bewirken, dass ein Fahrzeug 110 auf dem Fahrzeugweg betrieben wird. Der Fahrzeugweg kann derart bestimmt werden, dass Kontakt mit Objekten in einer Umgebung eines Fahrzeugs 110 vermieden wird; dies erfolgt auf Grundlage der Identität und dreidimensionalen Position eines Objekts 616, die in Bezug auf einen Polarisationslidarsensor 600 und damit das Fahrzeug 110 bestimmt werden. Im Anschluss an Block 806 endet der Prozess 800.
  • Rechenvorrichtungen, wie etwa die vorliegend erläuterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Die vorstehend erläuterten Prozessblöcke können zum Beispiel als computerausführbare Befehle ausgeführt sein.
  • Computerausführbare Befehle können von Computerprogrammen zusammengestellt oder interpretiert werden, die unter Verwendung einer Vielzahl von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem, entweder allein oder in Kombination Java™, C, C++, Python, Julia, SCALA, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Befehle aus, wodurch er ein oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der hier beschriebenen Prozesse. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung vielfältiger computerlesbarer Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
  • Ein computerlesbares Medium beinhaltet jedes beliebige Medium, das am Bereitstellen von Daten (z. B. Befehlen) beteiligt ist, die durch einen Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich, unter anderem, nichtflüchtiger Medien, flüchtiger Medien usw. Nichtflüchtige Medien beinhalten beispielsweise optische oder magnetische Platten und sonstige Dauerspeicher. Flüchtige Medien beinhalten einen dynamischen Direktzugriffsspeicher (DRAM), der typischerweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
  • Sämtliche in den Ansprüchen verwendeten Ausdrücke sind in ihrer eindeutigen und gewöhnlichen Bedeutung aufzufassen, wie sie von einem Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich das Gegenteil angegeben wird. Insbesondere ist die Verwendung der Singularartikel wie „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält.
  • Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte eine Bezugnahme auf ein „beispielhaftes Gerät“ einfach als Bezugnahme auf ein Beispiel für ein Gerät gelesen werden.
  • Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Bestimmung, eine Berechnung usw. von einer bzw. einem genau beschriebenen Geometrie, Abstand, Messwert, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungszeit, Kommunikationszeit usw. abweichen kann.
  • In den Zeichnungen geben gleiche Bezugszeichen jeweils gleiche Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte oder Blöcke derartiger Prozesse usw. zwar als gemäl einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt, werden die vorliegenden Beschreibungen von Prozessen zur Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
  • Gemäl der vorliegenden Erfindung ist ein Computer vorgesehen, aufweisend einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen enthält, die durch den Prozessor ausführbar sind zum: Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird; Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch ist; und Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Vergleichen des linearen Polarisationsmusters mit dem zirkularen Polarisationsmuster, indem ein Verhältnis zwischen einer Intensität des linearen Polarisationsmusters und einer Intensität des zirkularen Polarisationsmusters bestimmt wird.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Trainieren des tiefen neuronalen Netzes, indem das Polarisationsmuster und der Abstand, die dem Objekt entsprechen, in das tiefe neuronale Netz eingegeben werden und Zustandshinweise mit Ground Truth verglichen werden, die der Identität des Objekts entsprechen.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Bestimmen des linearen Polarisationsmusters durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Analysators, wobei der Analysator einen Polarisationswinkel des empfangenen polarisierten Lichtstrahls misst.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Bestimmen des zirkularen Polarisationsmuster durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Viertelwellenplättchenanalysators, wobei der Viertelwellenplättchenanalysator eine Richtung der zirkularen Polarisation des empfangenen polarisierten Lichtstrahls misst.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Emittieren des polarisierten Lichtstrahls als eines oder mehrere von einem Puls und einer frequenzmodulierten kontinuierlichen Welle, wobei der Abstand zu dem Objekt auf einem Bestimmen einer Zeit zwischen dem Emittieren des polarisierten Lichtstrahls und dem Empfangen des polarisierten Lichtstrahls auf Grundlage von einem oder mehr von Laufzeit und Phasenverschiebung beruht.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Emittieren des polarisierten Lichtstrahls durch Lenkoptik, die den polarisierten Lichtstrahl in einer Vielzahl von Winkeln in Bezug auf den Emitter lenkt, wobei eine Richtung zu dem Objekt anhand von Winkeln bestimmt wird, in denen der polarisierte Lichtstrahl zu einer Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Bilden eines Bilds der Polarisationsmuster und der Abstände auf Grundlage der Richtung, in der der polarisierte Lichtstrahl zu der Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Eingeben des Bilds der Polarisationsmuster und der Abstände in das tiefe neuronale Netz, um auf das Objekt bezogene Zustandshinweise zu bestimmen, wobei die Zustandshinweise eine Position und Identität des Objekts beinhalten.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Betreiben des Fahrzeugs durch Bestimmen eines Fahrzeugwegs, auf dem Kontakt mit dem lokalisierten, identifizierten Objekt vermieden wird.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Betreiben des Fahrzeugs durch derartiges Steuern eines oder mehrerer von Fahrzeugantriebsstrang, Fahrzeuglenkung und Fahrzeugbremsen, dass es den Fahrzeugweg entlang fährt.
  • Gemäl einer Ausführungsform zählen zu den nichtmetallischen Objekten eines oder mehrere von Laub, Ful gängern und Tieren.
  • Gemäl einer Ausführungsform zählen zu den metallischen Objekten eines oder mehrere von Fahrzeugen, Barrieren und Verkehrszeichen.
  • Gemäl einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Kombinieren des Polarisationsmusters mit einem oder mehreren von Videodaten, Radardaten oder Ultraschalldaten.
  • Gemäl der vorliegenden Erfindung beinhaltet ein Verfahren: Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird; Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch ist; und Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts.
  • Gemäl einem Aspekt der Erfindung beinhaltet das Verfahren ein Vergleichen des linearen Polarisationsmusters mit dem zirkularen Polarisationsmuster, indem ein Verhältnis zwischen einer Intensität des linearen Polarisationsmusters und einer Intensität des zirkularen Polarisationsmusters bestimmt wird.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren ein Trainieren des tiefen neuronalen Netzes, indem das Polarisationsmuster und der Abstand, die dem Objekt entsprechen, in das tiefe neuronale Netz eingegeben werden und Zustandshinweise mit Ground Truth verglichen werden, die der Identität des Objekts entsprechen.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren ein Bestimmen des linearen Polarisationsmusters durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Analysators, wobei der Analysator einen Polarisationswinkel des empfangenen polarisierten Lichtstrahls misst.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren ein Bestimmen des zirkularen Polarisationsmusters durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Viertelwellenplättchenanalysators, wobei der Viertelwellenplättchenanalysator eine Richtung der zirkularen Polarisation des empfangenen polarisierten Lichtstrahls misst.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren ein Emittieren des polarisierten Lichtstrahls durch Lenkoptik, die den polarisierten Lichtstrahl in einer Vielzahl von Winkeln in Bezug auf den Emitter lenkt, wobei eine Richtung zu dem Objekt anhand von Winkeln bestimmt wird, in denen der polarisierte Lichtstrahl zu einer Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden.

Claims (15)

  1. Verfahren, umfassend: Empfangen eines emittierten polarisierten Lichtstrahls an einem Lidarempfänger, der ein Polarisationsmuster und einen Abstand zu einem Objekt bestimmt, wobei das Polarisationsmuster durch Vergleichen eines linearen Polarisationsmusters und eines zirkularen Polarisationsmusters bestimmt wird; Identifizieren des Objekts durch Verarbeiten des Polarisationsmusters und des Abstands mithilfe eines tiefen neuronalen Netzes, wobei die Identität des Objekts metallisch oder nichtmetallisch ist; und Betreiben eines Fahrzeugs auf Grundlage des identifizierten Objekts.
  2. Verfahren nach Anspruch 1, ferner umfassend Vergleichen des linearen Polarisationsmusters mit dem zirkularen Polarisationsmuster, indem ein Verhältnis zwischen einer Intensität des linearen Polarisationsmusters und einer Intensität des zirkularen Polarisationsmusters bestimmt wird.
  3. Verfahren nach Anspruch 1, ferner umfassend Trainieren des tiefen neuronalen Netzes, indem das Polarisationsmuster und der Abstand, die dem Objekt entsprechen, in das tiefe neuronale Netz eingegeben werden und Zustandshinweise mit Ground Truth verglichen werden, die der Identität des Objekts entsprechen.
  4. Verfahren nach Anspruch 1, ferner umfassend Bestimmen des linearen Polarisationsmusters durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Analysators, wobei der Analysator einen Polarisationswinkel des empfangenen polarisierten Lichtstrahls misst.
  5. Verfahren nach Anspruch 1, ferner umfassend Bestimmen des zirkularen Polarisationsmusters durch Verarbeiten des empfangenen polarisierten Lichtstrahls mithilfe eines Viertelwellenplättchenanalysators, wobei der Viertelwellenplättchenanalysator eine Richtung der zirkularen Polarisation des empfangenen polarisierten Lichtstrahls misst.
  6. Verfahren nach Anspruch 1, ferner umfassend Emittieren des polarisierten Lichtstrahls als eines oder mehrere von einem Puls und einer frequenzmodulierten kontinuierlichen Welle, wobei der Abstand zu dem Objekt auf einem Bestimmen einer Zeit zwischen dem Emittieren des polarisierten Lichtstrahls und dem Empfangen des polarisierten Lichtstrahls auf Grundlage von einem oder mehr von Laufzeit und Phasenverschiebung beruht.
  7. Verfahren nach Anspruch 1, ferner umfassend Emittieren des polarisierten Lichtstrahls durch Lenkoptik, die den polarisierten Lichtstrahl in einer Vielzahl von Winkeln in Bezug auf den Emitter lenkt, wobei eine Richtung zu dem Objekt anhand von Winkeln bestimmt wird, in denen der polarisierte Lichtstrahl zu einer Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden.
  8. Verfahren nach Anspruch 7, ferner umfassend Bilden eines Bilds der Polarisationsmuster und der Abstände auf Grundlage der Richtung, in der der polarisierte Lichtstrahl zu der Zeit emittiert wurde, zu welcher die Polarisationsmuster und der Abstand gemessen wurden.
  9. Verfahren nach Anspruch 8, ferner umfassend Eingeben des Bilds der Polarisationsmuster und der Abstände in das tiefe neuronale Netz, um auf das Objekt bezogene Zustandshinweise zu bestimmen, wobei die Zustandshinweise eine Position und Identität des Objekts beinhalten.
  10. Verfahren nach Anspruch 9, ferner umfassend Betreiben des Fahrzeugs durch Bestimmen eines Fahrzeugwegs, auf dem Kontakt mit dem lokalisierten, identifizierten Objekt vermieden wird.
  11. Verfahren nach Anspruch 10, ferner umfassend Betreiben des Fahrzeugs durch derartiges Steuern eines oder mehrerer von Fahrzeugantriebsstrang, Fahrzeuglenkung und Fahrzeugbremsen, dass es den Fahrzeugweg entlang fährt.
  12. Verfahren nach Anspruch 1, wobei zu den nichtmetallischen Objekten eines oder mehrere von Laub, Ful gängern und Tieren zählt.
  13. Verfahren nach Anspruch 1, wobei zu den metallischen Objekten eines oder mehrere von Fahrzeugen, Barrieren und Verkehrszeichen gehört.
  14. Verfahren nach Anspruch 1, ferner umfassend Kombinieren des Polarisationsmusters mit einem oder mehreren von Videodaten, Radardaten oder Ultraschalldaten.
  15. System, umfassend einen Computer, der zum Ausführen der Verfahren nach einem der Ansprüche 1-14 programmiert ist.
DE102021103012.9A 2020-02-12 2021-02-09 Lidar-polarisation für fahrzeuge Pending DE102021103012A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/788,951 2020-02-12
US16/788,951 US11619722B2 (en) 2020-02-12 2020-02-12 Vehicle lidar polarization

Publications (1)

Publication Number Publication Date
DE102021103012A1 true DE102021103012A1 (de) 2021-08-12

Family

ID=76968903

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021103012.9A Pending DE102021103012A1 (de) 2020-02-12 2021-02-09 Lidar-polarisation für fahrzeuge

Country Status (3)

Country Link
US (1) US11619722B2 (de)
CN (1) CN113253298A (de)
DE (1) DE102021103012A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018125736B4 (de) * 2018-10-17 2021-02-18 Sick Ag Verfahren zum Schutz von Menschen in einer Umgebung einer beweglichen Maschine
US11619722B2 (en) * 2020-02-12 2023-04-04 Ford Global Technologies, Llc Vehicle lidar polarization
US20220206148A1 (en) * 2020-12-28 2022-06-30 GM Global Technology Operations LLC Polarization diversity detection in fmcw lidar
WO2023047175A1 (en) * 2021-09-24 2023-03-30 Bosch Car Multimedia Portugal, S.A. Road monitoring with polarimetry by multifunctional lidar
CN113781798B (zh) * 2021-11-11 2022-07-26 四川九通智路科技有限公司 一种基于偏振光的车辆管控方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522407B2 (en) 1999-01-22 2003-02-18 The Regents Of The University Of California Optical detection dental disease using polarized light
US9123116B2 (en) * 2011-04-19 2015-09-01 University Of Southern California Multiview face capture using polarized spherical gradient illumination
DE10353001A1 (de) 2003-11-13 2005-06-16 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung
US7352584B1 (en) 2005-05-10 2008-04-01 Chien-Min Sung Diamond-like carbon coated devices
US8125370B1 (en) 2007-04-16 2012-02-28 The United States Of America As Represented By The Secretary Of The Navy Polarimetric synthetic aperture radar signature detector
CN101498789B (zh) 2009-02-25 2011-10-12 中国测绘科学研究院 一种基于全极化合成孔径雷达的地物目标分类方法和装置
CA2859616A1 (en) 2011-01-31 2012-08-09 Dosi - Medical Imaging Systems Ltd. Optical polarimetric imaging
JP2012234142A (ja) * 2011-04-20 2012-11-29 Sony Corp 表示装置
US10684362B2 (en) * 2011-06-30 2020-06-16 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
DE102013102424A1 (de) 2013-03-11 2014-09-11 Stefan Trummer Polarimetrisches Radar zur Objektklassifikation sowie geeignetes Verfahren und Verwendung hierfür
US9720075B2 (en) 2014-11-21 2017-08-01 Nec Corporation System and method for remote object sensing
LU93302B1 (en) 2016-11-14 2018-06-18 Iee Sa Polarimetric Radar System and Method for Classifying Objects ahead of a Vehicle
LU93431B1 (en) 2016-12-27 2018-06-28 Iee Sa Polarimetric Radar System and Method for Object Classification and Road Condition Estimation in Stationary Applications
US10598764B2 (en) * 2017-10-30 2020-03-24 Yekutiel Josefsberg Radar target detection and imaging system for autonomous vehicles with ultra-low phase noise frequency synthesizer
DE102019105478A1 (de) * 2019-03-05 2020-09-10 Infineon Technologies Ag LIDAR-Sensoren und Verfahren für dieselben
CN113795773A (zh) * 2019-03-08 2021-12-14 欧司朗股份有限公司 用于lidar传感器系统的部件，lidar传感器系统，lidar传感器装置，用于lidar传感器系统的方法和用于lidar传感器装置的方法
US20210048695A1 (en) * 2019-08-14 2021-02-18 GM Global Technology Operations LLC Image scanning using stationary optical elements
CN114746717A (zh) * 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
US20210197720A1 (en) * 2019-12-27 2021-07-01 Lyft, Inc. Systems and methods for incident detection using inference models
US11619722B2 (en) * 2020-02-12 2023-04-04 Ford Global Technologies, Llc Vehicle lidar polarization
US11480662B2 (en) * 2020-02-12 2022-10-25 Aptiv Technologies Limited Fast-scanning frequency-modulated continuous wave (FMCW) lidar systems

Also Published As

Publication number Publication date
US11619722B2 (en) 2023-04-04
US20210247505A1 (en) 2021-08-12
CN113253298A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
DE102021103012A1 (de) Lidar-polarisation für fahrzeuge
DE102019127058A1 (de) Fahrzeugwegplanung
DE102019121140A1 (de) Sensorfusion
DE102019100497A1 (de) Lidar-lokalisierung
DE102016114535B4 (de) Wegbestimmung für automatisierte Fahrzeuge
DE102020131323A1 (de) Kamera-zu-lidar-kalibration und -validierung
DE102019131384A1 (de) Strassenbelagcharakterisierung unter verwendung von posenbeobachtungen von benachbarten fahrzeugen
DE102020112314A1 (de) Verifizierung von fahrzeugbildern
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102017217961A1 (de) Einrichtung zum steuern eines fahrzeugs an einer kreuzung
DE102019126542A1 (de) Lokalisierung einer stationären kamera
DE102012016800A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrzeugposition in einer kartierten Umgebung
DE102019119162A1 (de) Posenschätzung
DE112018004891T5 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper
DE102021124913A1 (de) Metrik-backpropagation für die beurteilung der leistung von untersystemen
DE102020122752A1 (de) Sensorlokalisierung anhand externer quelldaten
DE112021002680T5 (de) Systeme und verfahren zum erkennen einer offenen tür
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten
DE102020122488A1 (de) Verbesserte gefahrenbewertung
DE102021103774A1 (de) Fahrzeugsensorfusion
DE102022128884A1 (de) Sensoroptimierung
DE102023101354A1 (de) Sensorfusion
DE102020100022A1 (de) Positionsbestimmungstechnik
DE102020124331A1 (de) Fahrzeugspurkartierung
DE102022108656A1 (de) Neuronales quantilnetz

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE