DE102021212292A1 - Vorrichtung und Verfahren zur Umgebungsüberwachung - Google Patents

Vorrichtung und Verfahren zur Umgebungsüberwachung Download PDF

Info

Publication number
DE102021212292A1
DE102021212292A1 DE102021212292.2A DE102021212292A DE102021212292A1 DE 102021212292 A1 DE102021212292 A1 DE 102021212292A1 DE 102021212292 A DE102021212292 A DE 102021212292A DE 102021212292 A1 DE102021212292 A1 DE 102021212292A1
Authority
DE
Germany
Prior art keywords
sensor
sensors
distance
vehicle
sensor arrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102021212292.2A
Other languages
English (en)
Inventor
Thomas Waschulzik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to DE102021212292.2A priority Critical patent/DE102021212292A1/de
Publication of DE102021212292A1 publication Critical patent/DE102021212292A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren (100) und eine Vorrichtung (1) zum Überwachen der Umgebung (2) eines Fahrzeugs (10), insbesondere eines Schienenfahrzeugs, sowie ein Fahrzeug (10).Um die Zuverlässigkeit einer auf Kameradaten basierenden Ermittlung einer Entfernungsinformation, die eine Entfernung zu einem Objekt (3; 3a, 3b, 3c, 3d) in der Umgebung (2) eines Fahrzeugs (10) betrifft, zu verbessern, wird vorgeschlagen, dass die Umgebung (2) des Fahrzeugs (10) mit einer Sensoranordnung (5) erfasst wird (S1). Die Sensoranordnung (5) weist dabei mehrere, sich bezüglich einer ihnen zugeordneten physikalischen Eigenschaft unterscheidende Sensoren (6) und eine von den Sensoren (6) gemeinsam genutzte Abbildungsoptik (13) auf. Auf Grundlage der physikalischen Eigenschaft zumindest eines der Sensoren (6) wird die Entfernungsinformation ermittelt (S2).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Überwachen der Umgebung eines Fahrzeugs sowie ein Fahrzeug.
  • Beim Betrieb von Fahrzeugen ist man, insbesondere durch eine zunehmende Automation der Fahrzeugsteuerung, daran interessiert, die Umgebung mit einem möglichst hohen Detailgrad zu erfassen. Beispielsweise sollen Objekte in der Umgebung des Fahrzeugs erkannt und die räumliche Beziehung zum zu steuernden Fahrzeug ermittelt werden. Dadurch ist es möglich, Gefährdungen des Fahrzeugs und/oder des identifizierten Objekts festzustellen und gegebenenfalls entsprechende Maßnahmen einzuleiten.
  • Dazu ist es bekannt, von mehreren zur Erfassung der Umgebung eingerichteten Sensoren gelieferte Daten mithilfe von Algorithmen auszuwerten. Die von den Sensoren gelieferten Sensordaten werden dabei üblicherweise verknüpft. Man spricht auch von Sensordatenfusion. Aufgrund der Breite der dadurch vorliegenden, gegebenenfalls teilweise redundanten und/oder sich ergänzenden Information können Objekte zuverlässig erkannt, klassifiziert und bei der Steuerung des Fahrzeugs berücksichtigt werden.
  • Üblicherweise verfügt das Fahrzeug auch über Sensoren zur Bestimmung seiner Position, Geschwindigkeit und/oder Beschleunigung. Diese Informationen können z. B. durch eine zeitsynchrone Erfassung mit anderen Sensorinformationen korreliert werden oder durch die Zuordnung der Messwerte zu einer exakten Zeitinformation. Über die Zeitinformation können dann die verschiedenen Sensorinformationen miteinander korreliert werden. Dann ist es beispielsweise bekannt, wo sich z. B. ein Fahrzeug zu einem bestimmten Zeitpunkt genau befand, mit welcher Geschwindigkeit es sich bewegte und/oder wie es beschleunigte, als die Sensorsignale eines anderen Sensors, z. B. einer Kamera oder eines Lidarsensors, erzeugt wurden.
  • Dabei kann es wichtig sein, die verschiedenen Sensoren zu justieren, kalibrieren und zueinander auszurichten bzw. die Ausrichtung gegebenenfalls bei variierenden Parametern zu bestimmen.
  • Die Klassifizierung von Objekten erfolgt in der Regel auf der Grundlage von Eigenschaften des erkannten Objekts. Eine wesentliche Rolle spielt dabei die Form des Objekts. Beispielsweise kann ein Objekt über seine beim Erkennen ermittelte Form oftmals recht zuverlässig identifiziert werden. Die Form eines Objekts lässt sich besonders zuverlässig mithilfe eines bildgebenden Sensors wie etwa einer Kamera oder einem Lidar ermitteln, indem die entsprechenden Kameradaten mit Methoden der Optik oder der digitalen Bildverarbeitung analysiert werden.
  • Eine andere, insbesondere für die Steuerung des Fahrzeugs wichtige Größe ist die Entfernung zwischen dem (identifizierten) Objekt und dem Fahrzeug. Nur wenn diese bekannt ist, kann beispielsweise entschieden werden, ob eine Bremsung oder ein Ausweichmanöver eingeleitet werden muss. Ferner kann die Entfernungsinformation in Relation zu anderen Objekten zum Beispiel für die Fragestellung wichtig sein, ob sich ein Objekt auf dem Fahrweg befindet oder nicht.
  • Dabei wird üblicherweise nicht nur die Entfernung des Objektes, sondern insbesondere auch seine räumliche Struktur und Ausdehnung bestimmt. Insbesondere die räumliche Struktur ist wichtig, um z. B. Abbildungen von Objekten von realen Objekten unterscheiden zu können.
  • Die ermittelte Entfernung zum Objekt kann auch eine wichtige Rolle bei der Sensordatenfusion spielen. Um den von einem Abstandssensor wie etwa Radar oder Lidar erzeugten Daten entsprechende Daten eines bildgebenden Sensors zuordnen zu können, ist es hilfreich, wenn auch aus den Daten des bildgebenden Sensors eine (ungefähre) Entfernung abgeleitet wird. Dazu ist es bekannt, über die mit der Entfernung skalierenden Größe der Form eines Objekts auf die Entfernung des Objekts zum Fahrzeug zurückzuschließen.
  • Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, die Zuverlässigkeit einer auf Sensordaten basierenden Ermittlung einer Entfernung zu einem Objekt in der Umgebung eines Fahrzeugs zu verbessern.
  • Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs sowie ein Fahrzeug gemäß den unabhängigen Ansprüchen.
  • Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche und der folgenden Beschreibung.
  • Beim erfindungsgemäßen Verfahren zum Überwachen der Umgebung eines Fahrzeugs, insbesondere eines Schienenfahrzeugs, wird die Umgebung des Fahrzeugs mit einer Sensoranordnung erfasst. Die Sensoranordnung weist dabei mehrere, sich bezüglich einer ihnen zugeordneten physikalischen Eigenschaft unterscheidende Sensoren und eine von den Sensoren gemeinsam genutzte Abbildungsoptik auf. Auf Grundlage der physikalischen Eigenschaft zumindest einer der Sensoren wird eine Entfernung zwischen einem Objekt aus der Umgebung des Fahrzeugs und der Sensoranordnung ermittelt.
  • Eine Erfassung der Umgebung eines Fahrzeugs im Sinne der Erfindung ist vorzugsweise das Erzeugen einer Abbildung der Umgebung, insbesondere wenigstens eines sich in der Umgebung befindlichen Objekts, mithilfe eines Sensors. Beim Erfassen der Umgebung werden zweckmäßigerweise entsprechende Sensordaten erzeugt, die mit der Abbildung korrespondieren. D. h., dass sich aus den beim Erfassen der Umgebung erzeugten Sensordaten eine Abbildung in Form einer bildlichen Darstellung erzeugen lässt oder die Sensordaten diese Abbildung bereits direkt repräsentieren. Die Sensordaten können dazu beispielsweise als Datensatz erzeugt werden, der Information zu Objektaspekten enthält. Alternativ oder zusätzlich kann eine Erfassung der Umgebung eines Fahrzeugs auch eine Vermessung der Umgebung sein, z. B. das Messen von Abständen von Objekten untereinander oder zum Fahrzeug, das Messen der Strahlungsintensität in verschiedenen Wellenlängenbereichen und/oder der Bewegungsgeschwindigkeit von Objekten in der Umgebung des Fahrzeugs.
  • Ein Aspekt der Erfindung basiert auf dem Ansatz, einen Abstand eines Objekts aus der Umgebung oder sogar mehrerer Punkte auf der Oberfläche des Objekts zu einem Fahrzeug auf Grundlage einer physikalischen, z. B. optischen, Eigenschaft zumindest eines von mehreren Sensoren, die eine gemeinsame Abbildungsoptik nutzen und mit denen die Umgebung des Fahrzeugs erfasst wird, zu ermitteln. Aus der physikalischen Eigenschaft des zumindest einen Sensors lässt sich die Entfernung zu einem Objekt besonders präzise und zuverlässig ableiten. Insbesondere kann auch eine sog. „2,5 D“-Form eines Objektes genauer bestimmt werden, d. h. nicht nur sein Umriss, sondern auch seine Topologie auf der der Abbildungsoptik zugewandten Seite.
  • Der Sensor ist in bevorzugter Weise zusammen mit den weiteren Sensoren Teil einer Sensoranordnung, mit der die Umgebung des Fahrzeugs erfasst wird. Die Sensoren unterscheiden sich dabei zweckmäßigerweise bezüglich der physikalischen Eigenschaft. Dabei ist es zweckmäßig, wenn die pyhsikalische Eigenschaft mit einer vorgegebenen Entfernung korrespondiert, in der die Abbildung eines Objekts aus der Umgebung des Fahrzeugs durch die gemeinsame Abbildungsoptik ein vorgegebenes Abbildungskriterium erfüllt, zum Beispiel scharf ist. Alternativ oder zusätzlich ist es zweckmäßig, wenn die physikalische Eigenschaft mit einem Messprinzip korrespondiert, das besonders zur Bestimmung von Entfernungen geeignet ist.
  • Die Sensoreinrichtung kann somit beispielsweise derart eingerichtet sein, dass die Sensoren zum Erfassen von Objekten in jeweils einer anderen Entfernung ausgelegt sind. Zweckmäßigerweise unterscheiden sich dazu die Erfassungsbereiche, in denen die Sensoren Objekte aus der Umgebung des Fahrzeugs in einer vorgegebenen Weise, zum Beispiel mit hoher Schärfe, abbilden können.
  • Durch den gemeinsamen Strahlengang haben die Sensoren zweckmäßigerweise den gleichen Blickwinkel auf das Objekt. Dadurch kann die Strahlungsintensität eines auf einem Objekt liegenden Punktes besser bestimmt werden, als wenn der Punkt auf dem Objekt - wie in konventionellen Systemen üblich - aus unterschiedlichen Richtungen gemessen wird. In solchen konventionellen Systemen können z. B. Spiegelungen und richtungsselektive Beleuchtung einen zusätzlichen Einfluss auf den Messwert nehmen. Vorzugsweise können durch eine Ergänzung der Messung aus unterschiedlichen Blickwinkeln mit der mehrfachen Messung aus einem Blickwinkel zusätzliche Informationen mit anderen Qualitätseigenschaften zur Verfügung stehen, als wenn nur aus unterschiedlichen Winkeln Messwerte aufgenommen werden. Für sicherheitskritische Anwendungen können diese Eigenschaften von besonderer Bedeutung sein.
  • Im Gegensatz zu algorithmenbasierten Verfahren zur Entfernungsbestimmung, die rein auf der Analyse von z. B. durch eine Kamera gelieferte (Bild-)Daten und damit ausschließlich auf „digitaler“ Information basieren, kann der Ermittlung der Entfernung vorliegend eine physikalisch definierte Größe zugrunde gelegt werden. Der dabei zur Ermittlung der Entfernung beschrittene Weg ist direkter und somit weniger fehleranfällig. Auf konventionelle Algorithmen zur Bildverarbeitung, die sich bei der Ermittlung der Entfernung als kompliziert und fehleranfällig erwiesen haben, kann verzichtet werden.
  • Die auf den unterschiedlichen physikalischen Eigenschaften basierende Entfernungsbestimmung kann zum Beispiel zum Nachweis der Erfüllung von Systemeigenschaften entsprechend der Norm DIN EN 61508 oder den davon abgeleiteten Normen genutzt werden. Es kann insbesondere geprüft werden, ob beispielsweise weniger als eine sicherheitskritische Fehlbeurteilung der Entfernung oder Form eines Objekts in etwa 11 Jahren auftritt.
  • Beispielsweise kann die Entfernung anhand von Kameradaten und Lidardaten ermittelt werden, die von mehreren Kameras und einem Lidarsensor jeweils beim Erfassen der Umgebung durch die gemeinsame Abbildungsoptik erzeugt werden. Die Kameradaten können beispielsweise durch die optische Eigenschaft der entsprechenden Kamera in einer für die Entfernung zwischen der Sensoranordnung und Objekten aus der Umgebung des Fahrzeugs charakteristischen Weise beeinflusst sein. Zumindest einem Teil der Kameradaten einer Kamera - und der auf diesem Teil der Kameradaten basierenden Abbildung - kann dadurch die mit der optischen Eigenschaft korrespondierende Entfernung zugeordnet werden.
  • Beispielsweise kann ein Array von Kameras vorgesehen sein, die jeweils einen Strahlengang mit einem ersten Strahlengangteil und einem zweiten Strahlengangteil aufweisen. Während die ersten Strahlengangteile durch die gemeinsame Abbildungsoptik definiert sind und sich dadurch gleichen, unterscheiden sich die zweiten Strahlengangteile zweckmäßigerweise voneinander. Die zweiten Strahlengangteile können durch unterschiedliche Brennweiten, Blendengrößen und/oder dergleichen beeinflusst oder beeinflussbar sein. Vorzugsweise ist jedem der Strahlengänge bzw. jeder der Kameras eine mit dem jeweiligen Strahlengang korrespondierende vorgegebene Entfernung zugeordnet. Eine Analyse der entsprechenden Kameradaten erlaubt dann eine Beurteilung, ob sich mithilfe der Kamera erfasste Objekte in der vorgegebenen Entfernung befinden. Anders gesagt ist es möglich, für jede der Kameras anhand der entsprechenden Kameradaten zu prüfen, ob ein Objekt in der der jeweiligen Kamera zugeordneten, vorgegebenen Entfernung erfasst wird. Die Ermittlung der Entfernung zwischen einem Objekt und der Sensoranordnung anhand der den Kameras zugeordneten, vorgegebenen Entfernungen kann dabei präziser und zuverlässiger sein als eine rein algorithmische Ermittlung der Entfernung ohne Berücksichtigung der optischen Eigenschaften der erfassenden Kamera.
  • Es ist auch denkbar, dass der Ermittlung der Entfernung auch die Kameradaten mehrerer der Kameras zugrunde gelegt werden. Die Entfernung kann beispielsweise durch einen Vergleich der Kameradaten, insbesondere der Qualität der durch sie repräsentierten Abbildungen, ermittelt werden. Eine Berücksichtigung aller Kameradaten kann dann eine besonders präzise Bestimmung der Entfernung erlauben.
  • Alternativ oder zusätzlich kann eine Entfernungsinformation auch auf Grundlage von Lidardaten eines Lidarsensors, der mit den Kameras die Sensoranordnung mit gemeinsamer Abbildungsoptik bildet, ermittelt und den Kameradaten zugeordnet, insbesondere mit den Kameradaten verknüpft werden. Beispielsweise kann jedem Bildpunkt in einem durch die Kamera(s) erfassten Bilds, eine mithilfe des Lidarsensors erfasste Entfernungsinformation zugeordnet werden. Alternativ oder zusätzlich ist es auch denkbar, dass die Entfernungsinformation auch aus einer sog. „gated“ Kamera mit einer entsprechenden Beleuchtung bzw. einer Time-of-Flight Kamera (TOF-Kamera) gewonnen wird.
  • Es ist insbesondere vorteilhaft, wenn die Sensoranordnung wenigstens zwei verschiedene Sensortypen, z. B. Kamera und Lidarsensor, aufweist.
  • Dabei ist die Nutzung einer gemeinsamen Abbildungsoptik besonders vorteilhaft, wenn zum Beispiel die Sensordaten untereinander verglichen oder anderweitig in Beziehung zueinander gesetzt werden sollen. Die gemeinsame Abbildungsoptik ermöglicht etwa eine Erleichterung der Justage der Sensoren, also zum Beispiel deren Ausrichtung relativ zueinander. Es kann insbesondere auf eine algorithmische bzw. digitale Justage der Sensoren, zum Beispiel eine Eichung der Sensoren, verzichtet werden.
  • Es lässt sich mithilfe der gemeinsamen Abbildungsoptik überdies auch eine Qualitätssicherung der Sensoren durchführen oder zumindest erleichtern. Dadurch, dass zu allen Zeitpunkten von den Sensoren gelieferte Sensordaten relativ zueinander die gleichen Eigenschaften aufweisen müssen, kann anhand von Abweichungen zwischen den Sensordaten zum Beispiel auf eine Fehlfunktion einer der Sensoren geschlossen werden. Alternativ oder zusätzlich ist es z. B. gegebenenfalls auch möglich, durch eine Anordnung von Bildsensoren von Kameras in der gleichen Bildebene der gemeinsamen Abbildungsoptik die Kameras zu überprüfen. Jede der Kameras sollte in diesem Fall die gleichen Kameradaten bzw. das gleiche Bild liefern.
  • Die physikalischen Eigenschaften können sich z. B. zumindest dahingehend unterscheiden, dass Kameras Objekte aus der Umgebung des Fahrzeugs jeweils in unterschiedlichen Entfernungen scharf abbilden. Mit anderen Worten werden durch die physikalischen, insbesondere optischen, Eigenschaften zweckmäßigerweise unterschiedliche Tiefenschärfebereiche definiert, in denen Objekte scharf abgebildet werden. Unter einer scharfen Abbildung ist hierbei zu verstehen, dass ein Objekt in einer durch die entsprechenden Kameradaten repräsentierten Abbildung scharf dargestellt wird, d. h. wenn in der Darstellung seine Konturen nicht verwaschen, sondern klar und deutlich erkennbar erscheinen.
  • Soll die Entfernung zu einem vorgegebenen Objekt ermittelt werden, lässt sich andersherum beispielsweise prüfen, welche der Kameras das Objekt besonders scharf abbildet. Eine solche Prüfung kann bereits mit einfachen Algorithmen durchgeführt und deren Zuverlässigkeit daher leicht beurteilt werden.
  • In einer bevorzugten Ausführungsform wird die Umgebung mit einer weiteren Sensoranordnung erfasst, wobei die Sensoranordnung und die weitere Sensoranordnung einen unterschiedlichen Blickwinkel auf die Umgebung aufweisen und aus den Sensordaten der Sensoranordnung und der weiteren Sensoranordnung unter Berücksichtigung der unterschiedlichen Blickwinkel eine weitere Entfernung zwischen dem Fahrzeug und dem Objekt ermittelt wird. Anders gesagt kann die Umgebung mithilfe der Sensoranordnung und der weiteren Sensoranordnung stereoskopisch erfasst werden. Durch die weitere Sensoranordnung wird so zweckmäßigerweise die Entfernungsbestimmung durch mehrere Sensoren über eine gemeinsame Abbildungsoptik kombiniert mit einer stereoskopischen Entfernungsbestimmung. Durch Berücksichtigung der weiteren Entfernung kann die tatsächliche Entfernung zwischen dem Fahrzeug und dem Objekt noch präziser ermittelt werden, z. B. indem die ermittelte Entfernung und die (stereoskopisch) ermittelte weitere Entfernung miteinander verrechnet werden. Alternativ oder zusätzlich lässt sich die ermittelte weitere Entfernung auch dazu nutzen, um Fehler in der Abbildungsoptik bzw. den Sensoren der Sensoranordnung zu finden.
  • In einer weiteren bevorzugten Ausführungsform enthält die ermittelte Entfernungsinformation eine Topologieinformation zu zumindest einem Teil der erfassten Umgebung. Vorzugsweise wird eine Objekterkennung auf Grundlage der Topologieinformation durchgeführt. Mit anderen Worten kann die ermittelte Entfernung zu einer Vielzahl von Punkten auf der Oberfläche z. B. des Objekts zur Objekterkennung genutzt werden. Die Topologieinformation kann somit einer Entfernungskarte, welche die Entfernungen von einzelnen Punkten aus der erfassten Umgebung zur Sensoranordnung charakterisiert, entsprechen. Die Erkennung von Objekten in der Umgebung des Fahrzeugs kann dadurch deutlich erleichtert und die Erkennungszuverlässigkeit deutlich erhöht werden.
  • In einer weiteren bevorzugten Ausführungsform wird ein Gütemaß für die Sensordaten, die beim Erfassen der Umgebung erzeugt werden, und/oder die aus den Sensordaten abgeleitete Entfernungsinformation ermittelt. Vorzugsweise wird das Gütemaß dabei für jeden Sensor und/oder für jeden Messwert der Sensoren ermittelt.
  • Ein hohes Gütemaß entspricht dabei in bevorzugter Weise einer hohen Abbildungsqualität, insbesondere einer präzisen Entfernungsinformation, während ein geringes Gütemaß einer geringen Abbildungsqualität entspricht, insbesondere einer unpräzisen Entfernungsinformation. Eine hohe Abbildungsqualität ist hierbei zweckmäßigerweise eine deutliche und klare Abbildung, während eine geringe Abbildungsqualität zweckmäßigerweise eine undeutliche und verwaschene Abbildung ist. Mithilfe des Gütemaßes kann besonders schnell und einfach geprüft werden, ob die Entfernungsinformation vorgegebene Qualitäts- bzw. Sicherheitsstandards erfüllt.
  • Beispielsweise kann auf Grundlage der Sensordaten für alle der Sensoren jeweils ein Gütemaß ermittelt werden. Einem Objekt wird dann zweckmäßigerweise die durch die physikalische Eigenschaft desjenigen Sensors definierte Entfernung zugeordnet, für dessen Abbildung des Objekts das höchste Gütemaß ermittelt wurde.
  • Das Gütemaß, d. h. die Qualität der Entfernungsbestimmung, hängt zweckmäßigerweise von den Eigenschaften der Sensoren und von der Entfernung des Objektes von der Ebene der schärfsten Abbildung durch diese ab. Das Gütemaß für die Entfernungsbestimmung wird vorzugsweise aus den Sensordaten und Prozessdaten der Sensoren bestimmt.
  • Wenn ein Objekt durch einen Sensor unscharf erfasst bzw. abgebildet wird, kann das Objekt entweder vor oder hinter der scharf abgebildeten Ebene liegen. Bei konventionellen Erfassungen durch nur einen Sensor kann die Lage des Objekts relativ zur scharf abgebildeten Ebene sicher bestimmt werden. Durch die Information von mehreren Sensoren, welche aufgrund der unterschiedlichen physikalischen, insbesondere optischen, Eigenschaft in unterschiedlichen Entfernungen scharf „sehen“, kann dieser Nachteil ausgeräumt werden. Die Kopplung mehrerer Sensortypen durch die gemeinsame Abbildungsoptik, z. B. einer oder mehrere Kameras mit einem Lidarsenor, ist dabei besonders vorteilhaft. Der Lidarsensor kann die Entfernung einzelner Punkte besonders exakt messen. Er kann die Messung aber nur für wenige Punkte machen, da seine Raumwinkelauflösung beschränkt ist. Da die gleiche Abbildungsoptik verwendet wird, können die (exakten) Entfernungen für diese einzelnen Punkte aber mit Punkten gleicher oder ähnlicher Schärfeverteilung in der Abbildung der Kameras korreliert werden.
  • In einer weiteren bevorzugten Ausführungsform wird eine Szene aus der erfassten Umgebung, z. B. eine optische Abbildung etwa in Form eines Bilds, auf Grundlage der Entfernungsinformation und einer Zusammenführung der Sensordaten zumindest eines Teils der Sensoren mithilfe eines physikalischen Modells ermittelt. Vorzugsweise ist in dem Modell die Erfassung der Umwelt durch die Sensoren über die gemeinsame Abbildungsoptik berücksichtigt. Beispielsweise können die Sensordaten verschiedener Sensoren, etwa mehrerer Kameras, eines Lidarsensors und/oder einer gated Kamera mithilfe des physikalischen Modells fusioniert werden. Das physikalische Modell ist vorzugsweise ein Low-Level-Sensormodell. Das pyhsikalische Modell basiert zweckmäßigerweise auf dem Wissen, dass alle Information über einen gemeinsamen Strahlengang aufgenommen wird. Dieses Wissen kann die Fusion der Sensordaten erheblich vereinfachen, da ein einfacheres Modell für die Bildgebung verwendet werden kann.
  • Das physikalische Modell ist zweckmäßigerweise durch die physikalische Eigenschaft, bezüglich der sich die Sensoren der Sensoranordnung voneinander unterscheiden, charakterisiert. Anders gesagt ist in dem Modell zweckmäßigerweise die jeweilige physikalische Eigenschaft, bezüglich der sich die Sensoren unterscheiden, berücksichtigt. In diesem Sinne kann die Entfernungsbestimmung bei der Anwendung des Modells explizit auf der pyhsikalischen Eigenschaft der unterschiedlichen Sensoren basieren.
  • In einer weiteren bevorzugten Ausführungsform wird die Szene auf Grundlage des Gütemaßes ermittelt. Somit lassen sich die Sensordaten auf besonders differenzierte Weise fusionieren. Insbesondere kann so eine Gewichtung der Sensordaten verschiedener Sensoren bei der Zusammenführung durch das physikalische Modell vorgenommen werden. Eine hohe Qualität der ermittelten Szene kann so sichergestellt werden.
  • In einer weiteren bevorzugten Ausführungsform ist zumindest eine physikalische, insbesondere optische, Eigenschaft der Sensoranordnung änderbar. Vorzugsweise wird ein Maß für die änderbare physikalische Eigenschaft dem Ermitteln der Entfernungsinformation zugrunde gelegt. Dadurch kann das Ermitteln der Entfernungsinformation an eine Änderung der physikalischen Eigenschaft der Sensoranordnung, beispielsweise bei der Verwendung eines Zoomobjektivs, angepasst werden.
  • Die physikalische Eigenschaft der Sensoranordnung korrespondiert dabei zweckmäßigerweise mit einer gemeinsamen physikalischen Eigenschaft aller Sensoren der Sensoranordnung, zum Beispiel mit einer optischen Eigenschaft mehrerer Kameras. Mit anderen Worten weisen die Sensoren jeweils eine physikalische Eigenschaft auf, die für alle Sensoren gleich ist und der physikalischen Eigenschaft der Sensoranordnung entspricht. Bei der Änderung der physikalischen Eigenschaft der Sensoranordnung ändert sich die physikalische Eigenschaft zweckmäßigerweise in gleicher Weise für jeden der Sensoren. Dies ist zum Beispiel der Fall, wenn die Eigenschaft oder der Zustand der gemeinsamen Abbildungsoptik geändert wird. Eine solche Änderung kann zum Beispiel mithilfe eines gemeinsam genutzten Zoomobjektivs realisiert werden. Durch die Berücksichtigung der änderbaren pyhsikalischen Eigenschaft der Sensoranordnung kann das Erfassen von Objekten aus der Umgebung des Fahrzeugs situationsabhängig angepasst werden.
  • In einer weiteren bevorzugten Ausführungsform wird zumindest eine physikalische Eigenschaft der Sensoranordnung gemäß einer Vorgabe geändert. Anders gesagt werden zweckmäßigerweise die physikalischen Eigenschaften der mehreren Sensoren in gleicher Weise für jeden der Sensoren gemäß der Vorgabe geändert. Dies kann beispielsweise zur leichteren und besseren Erkennung oder Klassifikation des Objekts beitragen.
  • Beispielsweise kann die Sensoranordnung gemäß der Vorgabe auf ein Objekt fokussiert werden, sodass die Entfernung zwischen dem Objekt und der Sensoranordnung durch die pyhsikalische Eigenschaft zumindest eines der Sensoren definiert ist. Anders gesagt muss nicht darauf gewartet werden, dass sich das Objekt relativ zum Fahrzeug bis in den Erfassungsbereich eines der Sensoren bewegt, sondern zumindest eine pyhsikalische Eigenschaft der Sensoranordnung kann derart angepasst werden, dass der Erfassungsbereich zumindest eines der Sensoren mit der Position des Objekts relativ zur Sensoranordnung korrespondiert.
  • In einer weiteren bevorzugten Ausführungsform wird die Vorgabe für die Änderung der zumindest einen physikalischen Eigenschaft der Sensoranordnung aus einer Datenbank für die Führung eines Fahrzeugs, insbesondere Schienenfahrzeugs, gelesen. Bei der Datenbank kann es sich beispielsweise um eine Karte der Route des Fahrzeugs handeln, in der sogenannte Landmarken erfasst sind. Anders gesagt enthält die Datenbank zweckmäßigerweise detaillierte Information zu Objekten wie Bauwerken, Vegetation, Verkehrszeichen und/oder dergleichen, die vom Fahrzeug beim Befahren der Route erfasst werden können. Die Information kann dabei insbesondere Angaben zur Position der Objekte relativ zur Route und zu Eigenschaften der Objekte enthalten. Insbesondere die Position der Objekte kann dabei als Vorgabe für die Änderung der zumindest einen physikalischen Eigenschaft der Sensoranordnung dienen. Durch eine gemäß der Vorgabe durchgeführten Änderung können die Objekte mithilfe der mehreren Sensoren erfasst und insbesondere mithilfe zumindest einer der mehreren Sensoren mit hoher Güte abgebildet werden.
  • Dies kann besonders vorteilhaft zum Beispiel zur gezielten Überwachung kritischer Routenabschnitte genutzt werden. Es ist etwa denkbar, die zumindest eine physikalische Eigenschaft derart anzupassen, dass auf einen besonders kritischen Routenabschnitt wie etwa einen Bahnübergang, dem sich das Schienenfahrzeug nähert, fokussiert wird. Dadurch kann zumindest einer der mehreren Sensoren Objekte im Bereich des kritischen Routenabschnitts scharf abbilden.
  • In einer weiteren bevorzugten Ausführungsform ist die wenigstens eine physikalische Eigenschaft eine Brennweite oder ein spektraler Erfassungsbereich der Sensoranordnung. Unter einer Brennweite der Sensoranordnung kann hierbei eine globale Brennweite mehrerer Kameras der Sensoranordnung verstanden werden. Durch die Änderung der Brennweite, etwa durch Betätigung eines entsprechenden Zoomobjektivs, ist es möglich, die Erfassungsbereiche der mehreren Kameras auf eine vorgegebene Position auszurichten.
  • Unter einem spektralen Erfassungsbereich der Sensoranordnung kann ein Wellenlängenbereich verstanden werden, in dem zumindest einer der mehreren Sensoren sensitiv ist, d. h. in dem zum Beispiel zumindest eine Kamera Bilder der Umgebung liefert. Durch die Änderung des spektralen Erfassungsbereichs, etwa mithilfe entsprechender Filter und/oder durch Zuschalten weiterer Sensoren, kann auch unter sich ändernden Umgebungsbedingungen eine zuverlässige Erfassung der Umwelt sichergestellt werden. So ist es etwa denkbar, bei hereinbrechender Dämmerung und/oder bei Nacht die Erfassung der Umwelt in den infraroten Spektralbereich zu ändern, um weiterhin zuverlässig Objekte erkennen zu können.
  • In einer weiteren bevorzugten Ausführungsform ist die physikalische Eigenschaft wenigstens eines Sensors, durch die der Sensor sich von den anderen Sensoren unterscheidet, änderbar. Vorzugsweise wird ein Maß für die geänderte physikalische Eigenschaft dem Ermitteln der Entfernung zugrunde gelegt. Es ist beispielsweise denkbar, dass der Abstand zwischen einem Sensorelement zumindest eines der Sensoren und einem von den mehreren Sensoren gemeinsam genutzten optischen Element der Sensoranordnung änderbar ist. Dem Ermitteln der Entfernungsinformation kann entsprechend ein Maß für den geänderten Abstand zugrunde gelegt werden. Durch die Berücksichtigung der Änderung der optischen Eigenschaft lässt sich die Tiefenauflösung der Sensoreinrichtung situationsbedingt anpassen.
  • In einer weiteren bevorzugten Ausführungsform werden die mehreren Sensoren synchronisiert betrieben. Dadurch kann sichergestellt werden, dass die Sensordaten jedes Sensors und der darauf basierenden Abbildungen jederzeit unter gleichen Bedingungen aufgenommen werden. Eventuelle Störungen, zum Beispiel ausgelöst durch eine Erschütterung der Sensoranordnung, können sich so in gleicher Weise auf alle Sensordaten auswirken. Dadurch lassen sich beim Vergleichen der Sensordaten zum Ermitteln der Entfernung entstehende Fehler oder Störungen vermeiden oder zumindest reduzieren.
  • Solche Fehler oder Störungen können insbesondere durch Objekte im Strahlengang verursacht werden, welche Teile oder die Gesamtheit des elektromagnetischen Spektrums ganz oder teilweise nicht oder nur unter bestimmten Winkeln transmittieren. Das können z. B. Fenster eines anderen Fahrzeuges oder Glasscheiben entlang der Route sein. Unterschiedliche Entfernungsbestimmungen aus verschiedenen Sensoren resultieren dann z. B. dadurch, dass die von einem Sensor erfasste elektromagnetische Wellenlänge die Glasscheibe durchdringen kann, während die andere reflektiert oder absorbiert wird.
  • Darüber hinaus erlaubt das synchronisierte Betreiben der Sensoren das Aufnehmen von in Bezug auf die Entfernung zur Sensoranordnung „gestapelten“ Bildern. Unterscheiden sich z. B. die Fokusebenen mehrerer Sensoren, insbesondere Kameras, der Sensoranordnung, können Objekte - oder Topologie eines Objekts - in unterschiedlichen Abständen zur Sensoranordnung gleichzeitig jeweils scharf von einem der Sensoren erfasst werden. Die Sensoranordnung liefert damit einen „Stapel“ von Bildern, der Information aus einem Volumen in der Umgebung des Fahrzeugs, nicht nur aus einer Ebene, enthält. Anders gesagt kann durch den synchronisierten Betrieb der Sensoren ein dreidimensionaler Bereich aus der Umgebung des Fahrzeugs - im Wesentlichen in Echtzeit - erfasst und analysiert werden.
  • Die erfindungsgemäße Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs, insbesondere eines Schienenfahrzeugs, weist eine Sensoranordnung zum Erfassen der Umgebung des Fahrzeugs auf, wobei die Sensoranordnung mehrere, sich bezüglich einer ihnen zugeordneten physikalischen Eigenschaft unterscheidende Sensoren und eine von den Sensoren gemeinsam genutzte Abbildungsoptik aufweist. Die Sensoren sind vorzugsweise dazu eingerichtet, beim Erfassen der Umgebung des Fahrzeugs entsprechende Sensordaten zu erzeugen. Die Vorrichtung weist zudem eine Datenverarbeitungseinrichtung auf, die dazu eingerichtet ist, auf Grundlage der physikalischen Eigenschaft zumindest eines der Sensoren eine Entfernungsinformation, welche die Entfernung zwischen einem Objekt aus der Umgebung des Fahrzeugs und der Sensoranordnung betrifft, zu ermitteln.
  • Die Sensoranordnung umfasst vorzugsweise eine gemeinsame Plattform, auf der die Sensoren montiert sind. Die Plattform kann wiederum am Fahrzeug montiert sein. Die Sensoren weisen dabei zweckmäßigerweise in dieselbe Richtung, zum Beispiel in Fahrtrichtung des Fahrzeugs. Insbesondere weisen alle Sensoren in bevorzugter Weise dasselbe Sichtfeld auf, sodass Objekte in der Umgebung des Fahrzeugs, bevorzugt gleichzeitig, von allen Sensoren erfasst werden können.
  • Die Plattform ist in bevorzugter Weise ausrichtbar. Damit lassen sich auch die Sensoren, beispielsweise relativ zum Koordinatensystem des Fahrzeugs, unterschiedlich ausrichten. Somit ist es denkbar, die Sensoranordnung auf besonders interessierende Bereiche aus der Umgebung des Fahrzeugs auszurichten, insbesondere unabhängig von der Lage der interessierenden Bereiche relativ zum Fahrzeug. Eine Information zur Ausrichtung der Plattform kann dabei in der Datenbank, also z. B. einer Karte, hinterlegt sein bzw. aus dieser entnommen werden.
  • Vorzugsweise ist die Vorrichtung, insbesondere die Datenverarbeitungseinrichtung, zudem dazu eingerichtet, die ermittelte Entfernung zwischen dem Objekt und der Sensoranordnung auszugeben. Beispielsweise kann die ermittelte Entfernung für eine Objekterkennung und/oder -klassifikation, insbesondere für eine Sensordatenfusion, bereitgestellt werden. Zweckmäßigerweise weist die Vorrichtung, insbesondere die Datenverarbeitungseinrichtung, dazu eine Schnittstelle zur Ausgabe der ermittelten Entfernung auf.
  • Die Datenverarbeitungseinrichtung kann hard- und/oder softwaretechnisch ausgebildet sein. Sie kann zum Beispiel ein oder mehrere Programme oder Programmmodule aufweisen. Alternativ oder zusätzlich kann sie eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungseinheit aufweisen, etwa eine Mikroprozessoreinheit (CPU). Die CPU kann insbesondere dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten. Die Datenverarbeitungseinrichtung kann insbesondere dazu eingerichtet sein, das erfindungsgemäße Verfahren auszuführen.
  • Die Datenverarbeitungseinrichtung ist zweckmäßigerweise etwa dazu eingerichtet, beim Erfassen von Objekten erzeugte Sensordaten mit der ermittelten Entfernung zu verknüpfen. Die Datenverwaltungseinrichtung kann insbesondere dazu eingerichtet sein, anhand der Sensordaten Abweichungen von einer durch die pyhsikalische Eigenschaft des wenigstens einen Sensors definierten Entfernung zu ermitteln und einer Ermittlung der Entfernung eines Objekts aus der Umgebung des Fahrzeugs zugrunde zu legen. Diese Abweichungen korrespondieren vorzugsweise mit einem Gütemaß für die auf den Kameradaten basierende Abbildung der Umgebung des Fahrzeugs.
  • In einer bevorzugten Ausführungsform weist jeder Sensor ein Sensorelement auf. Die Sensorelemente sind vorzugsweise in jeweils unterschiedlichen Abständen zu einem gemeinsam genutzten optischen Element angeordnet oder anordenbar. Beispielsweise können die Sensorelemente in unterschiedlichen Abständen zu einem Strahlteiler angeordnet sein, welcher durch die gemeinsame Abbildungsoptik, etwa ein Zoomobjektiv, fallende Lichtstrahlen auf die unterschiedlichen Sensorelemente verteilt. Durch die unterschiedlichen Abstände der Sensorelemente werden Objekte in der Umgebung des Fahrzeugs von jedem Sensor in einer unterschiedlichen Entfernung scharf, d. h. mit hoher Güte, abgebildet. Die Anordnung der Sensorelemente in unterschiedlichen Abständen zum gemeinsamen optischen Element ist dabei eine besonders effiziente Weise, den Sensoren jeweils eine unterschiedliche pyhsikalische (optische) Eigenschaft zuzuordnen.
  • Eine Verteilung des einfallenden Lichts auf die Sensoren erfolgt bevorzugt durch eine Aufspaltung nach Wellenlängen. Es können auch mehrere Strahlteiler hintereinander angeordnet sein, z. B. zur Aufspaltung der Wellenlängen und einer anschließenden Aufteilung auf diejenigen Sensoren, welche in einem gleichen Wellenlängenbereich sensitiv sind. Ein Lidarsensor ist bevorzugt so angeordnet, dass die Abtaststrahlen des Lidar-Scanners zwar durch den Strahlteiler, aber ohne eine Ablenkung auf die Umwelt gerichtet sind. Gated Light Kameras arbeiten mit einer sehr genau definierten Wellenlänge und können daher besonders gut „aussortiert“ werden, ebenso wie Sensoren, die im IR und UV arbeiten. Das Licht für im sichtbaren Bereich des Spektrums arbeitende Kameras kann gleichmäßig auf Kameras mit unterschiedlichen Fokusebenen aufgeteilt werden.
  • Die Sensoranordnung kann dabei auch dazu eingerichtet sein, den Abstand zumindest eines Sensorelements zum gemeinsamen optischen Element zu ändern. Dadurch kann die physikalische Eigenschaft des entsprechenden Sensors zum Beispiel situationsbedingt angepasst werden. Zum Beispiel kann die Tiefenauflösung, mit der Objekte aus der Umgebung des Fahrzeugs unterschiedlichen Entfernungen zuordenbar sind, nach Bedarf angepasst werden.
  • Alternativ oder zusätzlich kann die Sensoranordnung auch dazu eingerichtet sein, die Ausrichtung von zumindest einem der Sensorelemente relativ zum gemeinsam genutzten optischen Element zu ändern. Beispielsweise kann die Verkippung bzw. Drehung des Sensorelements zum gemeinsamen optischen Element geändert werden. Dadurch ist es möglich, die Sensoren relativ zueinander zu justieren und gleiche Abbildungseigenschaften - gegebenenfalls bis auf die pyhsikalische Eigenschaft, bezüglich der sich die Sensoren unterscheiden - sicherzustellen. Die Justage der Sensoren muss daher nicht mehr algorithmisch bzw. digital durchgeführt werden, etwa durch Eichung der Sensordaten, sondern kann mechanisch vorgenommen werden. Infolgedessen kann die Komplexität der Auswertung der Sensordaten verringert und somit Rechenzeit eingespart werden.
  • Das erfindungsgemäße Fahrzeug, insbesondere ein Schienenfahrzeug, weist eine erfindungsgemäße Vorrichtung auf.
  • Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Merkmale, die in den einzelnen Unteransprüchen teilweise zu mehreren zusammengefasst wiedergegeben sind. Diese Merkmale können jedoch zweckmäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammengefasst werden. Insbesondere sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung sowie dem erfindungsgemäßen Fahrzeug kombinierbar. So sind Verfahrensmerkmale auch als Eigenschaft der entsprechenden Vorrichtungseinheit gegenständlich formuliert zu sehen und umgekehrt.
  • Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Die Ausführungsbeispiele dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale eines jeden Ausführungsbeispiels auch explizit isoliert betrachtet, aus einem Ausführungsbeispiel entfernt, in ein anderes Ausführungsbeispiel zu dessen Ergänzung eingebracht und mit einem beliebigen der Ansprüche kombiniert werden.
  • Es zeigen:
    • 1 ein Beispiel eines Fahrzeugs mit einer Vorrichtung zur Überwachung der Umgebung;
    • 2 ein Beispiel einer Vorrichtung zur Überwachung der Umgebung;
    • 3 ein Beispiel einer Sensoranordnung; und
    • 4 ein Beispiel eines Verfahrens zur Überwachung der Umgebung eines Fahrzeugs.
  • 1 zeigt ein Beispiel eines Fahrzeugs 10 mit einer Vorrichtung 1 zur Überwachung der Umgebung 2 des Fahrzeugs 10. Die Vorrichtung 1 ist dazu eingerichtet, die Umgebung 2 des Fahrzeugs 10 mithilfe einer Sensoranordnung aus mehreren Sensoren zu erfassen und eine Entfernungsinformation, welche die Entfernung zwischen einem Objekt 3a, 3b, 3c, 3d aus der Umgebung 2 und der Sensoranordnung betrifft, zu ermitteln.
  • Im vorliegenden Beispiel handelt es sich bei dem Fahrzeug 10 um ein Schienenfahrzeug, zum Beispiel einen Zug, der auf Schienen 4a einer vorgegebenen Route 4 folgt. Die ermittelte Entfernung zu Objekten aus der Umgebung 2, beispielsweise zu Teilen der Vegetation wie etwa einem Baum 3a, zu Verkehrszeichen wie etwa einer Signalanlage 3b, zu Bauwerken wie etwa einer Brücke 3c, zu beweglichen Objekten wie etwa einer Person 3d und/oder dergleichen, kann zum Beispiel der Erkennung und/oder Klassifikation der Objekte 3a-d zugrunde gelegt werden, etwa im Rahmen einer Sensordatenfusion.
  • 2 zeigt ein Beispiel einer Vorrichtung 1 zur Überwachung einer Umgebung 2 eines Fahrzeugs. Die Vorrichtung 1 weist eine Sensoranordnung 5 aus mehreren, im gezeigten Beispiel drei als Kameras ausgebildete, Sensoren 6 sowie eine Datenverarbeitungseinrichtung 7 auf. Die Sensoranordnung 5 ist dazu eingerichtet, die Umgebung 2 des Fahrzeugs, insbesondere sich darin befindliche Objekte 3, mithilfe der Kameras 6 zu erfassen. Zweckmäßigerweise ist jede der Kameras 6 eine physikalische, insbesondere optische, Eigenschaft zugeordnet, wobei sich die Kameras 6 bezüglich dieser optischen Eigenschaft unterscheiden. Die Datenverarbeitungseinrichtung 7 ist dazu eingerichtet, auf Grundlage der optischen Eigenschaft zumindest einer der Kameras 6 eine Entfernung zwischen einem Objekt 3 aus der Umgebung 2 des Fahrzeugs und der Sensoranordnung 5 zu ermitteln. Die Datenverarbeitungseinrichtung 7 kann dazu eingerichtet sein, die ermittelte Entfernung auszugeben. Im vorliegenden Beispiel umfasst die Vorrichtung 1 dazu eine Schnittstelle 8, über welche die ermittelte Entfernung beispielsweise zur Steuerung des Fahrzeugs bereitstellbar ist. Über die Schnittstelle 8 kann die ermittelte Entfernung insbesondere für eine Sensordatenfusion bereitgestellt werden.
  • Die Sensoren 6 können beispielsweise auf einer gemeinsamen Plattform montiert sein. Die Sensoren 6 weisen vorzugsweise alle in dieselbe Richtung, zum Beispiel in die Fahrtrichtung des Fahrzeugs. Anders gesagt weisen die Sensoren 6 bevorzugt im Wesentlichen das gleiche Sichtfeld auf. D. h., dass die Sensoren 6 im Wesentlichen den gleichen Ausschnitt aus der Umgebung 2 des Fahrzeugs erfassen können.
  • Beim Erfassen der Umgebung 2 kann jede der Kameras 6 entsprechende Kameradaten erzeugen, welche mit einer Abbildung der Umgebung 2 korrespondieren. Anders gesagt lassen sich mit den Kameras Kameradaten in Form von (Ab-)Bildern der Umgebung 2 erzeugen. Die Datenverarbeitungseinrichtung 7 kann dazu eingerichtet sein, diese Kameradaten zu analysieren und gegebenenfalls ebenfalls der Ermittlung der Entfernung zwischen einem Objekt 3 und der Sensoranordnung 5 zugrunde zu legen.
  • Wie in 2 durch die gestrichelten Linien angedeutet, ist durch die optische Eigenschaft jeder Kamera eine Entfernung 9a definiert, in welcher die entsprechende Kamera 6 ein Objekt 3 aus der Umgebung 2 derart erfassen kann, dass eine auf den dabei erzeugten Kameradaten basierende Abbildung des Objekts 3 ein vorgegebenes Abbildungskriterium, zum Beispiel eine minimale (Abbildungs-)Güte, aufweist. In den durch die optische Eigenschaft definierten Entfernungen 9a kann jede der Kameras 6 beispielsweise einen Erfassungsbereich 9b aufweisen. Ein sich in den Erfassungsbereichen 9b befindliches Objekt 3 wird durch eine gemeinsame Abbildungsoptik der Kameras 6 zum Beispiel derart auf ein Sensorelement der jeweiligen Kamera 6 abgebildet, dass das Objekt 3 in einer auf den Kameradaten basierenden Abbildung, d. h. in einem von der Kamera 6 erzeugten Bild, scharf erscheint. Da sich die optische Eigenschaft für jede der Kameras unterscheidet, können die Kameras 6 ein Objekt 3 in unterschiedlichen (vorgegebenen) Entfernungen 9a mit dem vorgegebenen Abbildungskriterium, insbesondere scharf, abbilden.
  • Die Datenverarbeitungseinrichtung 7 ist zweckmäßigerweise dazu eingerichtet, anhand der Kameradaten zu ermitteln, von welcher der Kameras 6 das Objekt 3 mit dem vorgegebenen Abbildungskriterium abgebildet wird. Die mit der optischen Eigenschaft der ermittelten Kamera 6 korrespondierende vorgegebene Entfernung 9a kann dann als ermittelte Entfernung von der Datenverarbeitungseinrichtung 7 über die Schnittstelle 8 ausgegeben werden.
  • Zum Ermitteln der Entfernung und/oder Toplogie kann die Datenverarbeitungseinrichtung 7 dazu eingerichtet sein, auf Grundlage der Sensordaten jeweils ein Gütemaß für die Abbildung der Umwelt 2, insbesondere des Objekts 3, durch die Sensoren 6 zu ermitteln. Das Gütemaß gibt dabei in bevorzugter Weise die Qualität der entsprechenden Kameradaten für die Bestimmung der Entfernung des Objektes 3 von der Sensoranordnung 5 und/oder der Strahlungsintensität, welche von Teilen des abgebildeten Objektes 3 reflektiert wird, und/oder der Bestimmung der Bewegungsrichtung und/oder Geschwindigkeit des Objektes 3 oder von Teilen des Objektes 3 an.
  • Bei der Ermittlung des Gütemaßes kann einer oder mehrere der folgenden Faktoren mit eingehen: (i) der Sensor 6 funktioniert, ohne dass ein Fehler gemeldet wurde (z. B. Stromversorgung vorhanden, Sensordaten werden im erwarteten Zeitraster und im erwarteten Wertebereich geliefert); (ii) auf Grundlage der Sensordaten konnten mehrmals aufeinanderfolgend erwartete Objekte 3 in einem erwarteten Abstand erkannt werden; (iii) der Sensor 6 kann unter den gegebenen Rahmenbedingungen sinnvolle Daten liefern (z. B. die Beleuchtungsbedingungen in dem vom Sensor 6 genutzten Spektralbereich sind geeignet) (iv) die Sensordaten sind in einem Wertebereich, der zur Bestimmung von Entfernungen geeignet ist. Wenn das Sensorsignal unter einem Schwellenwert liegt, dann ist das Rauschen im Sensor so groß, dass die Qualität der Entfernungsbestimmung beeinträchtigt ist; (v) die Sensordaten weisen eine Variabilität in einem lokalen Umfeld auf, die zu einer Entfernungsbestimmung genutzt werden können. Aus den Sensordaten kann ein Schärfemaß berechnet werden, welches auf der Variabilität der Sensorwerte basiert. Sind die Messwerte in einer lokalen Umgebung eines Messpunktes alle annähernd gleich, dann können diese keinen Beitrag zur Entfernungsbestimmung leisten; (vi) die Sensoren haben hinsichtlich der Genauigkeit der Entfernungsbestimmungen unterschiedliche Eigenschaften. Z. B. kann mit einem Lidarsensor die Entfernung einzelner Punkte sehr genau bestimmt werden, während aus Kamerabildern die Entfernung im Allgemeinen mit einer geringeren Qualität hinsichtlich der Entfernung, dafür aber mit einer höheren Ortsauflösung gewonnen werden kann.
  • Zweckmäßigerweise ist die Datenverarbeitungseinrichtung 7 dazu eingerichtet, die ermittelte Entfernungsinformation und/oder die ermittelten Gütemaße bei der Ermittlung einer Szene aus der Umgebung 2, also zum Beispiel einer Abbildung zumindest eines Teils der Umgebung 2, zu berücksichtigen. Die Datenverarbeitungseinrichtung 7 kann insbesondere dazu eingerichtet sein, der Ermittlung der Szene ein pyhsikalisches Modell zugrunde zu legen, durch welches die Kameradaten der Kameras 6 zusammengeführt werden, wobei die ermittelten Gütemaße berücksichtigt werden. Beispielsweise können die Sensordaten mit dem jeweiligen Gütemaß gewichtet werden.
  • In einer bevorzugten Ausführungsform wird eine Anordnung mit mehreren Sensoren 6, die einen gemeinsamen Strahlengang zur Detektion der Objekte 3 nutzen (MSSmgS - Mehr Sensoren System mit gemeinsamen Strahlengang) verwendet. Die Anwendung dieser Anordnung kann insbesondere für Aufgabenstellungen relevant sein, bei denen die Entfernung und die Form des Objektes 3 mit hoher Qualität, Sicherheit und Zuverlässigkeit bestimmt werden muss und bei dem die Offenbarung von Fehlern von Komponenten, wie bei einer Messung als auch bei der Interpretation der einzelnen Messwerte, von besonderer Bedeutung ist.
  • In einer Vorrichtung 1 mit dieser Anordnung kann anders als bisher im Bereich des automatisierten Fahrens üblich nicht auf einzelne einfache und leicht zu kombinierende Einzelsysteme gesetzt werden, sondern auf eine Anordnung, die bewusst unterschiedliche physikalische Effekte integriert, um sowohl die Qualität der einzelnen Informationen verbessern zu können als auch durch die Redundanz der verwendeten Messprinzipien die notwendigen Systemeigenschaften erreichen zu können. Deshalb bildet z. B. eine Kombination der eher im Bereich der Mikroskopie eingesetzten Verfahren wie Multifokus oder Nutzung eines Strahlenganges für mehrere Sensoren mit den bekannten Ansätzen aus dem Bereich Automotive wie LIDAR, Gated Light, Stereokamerasysteme und/oder dergleichen eine Innovation, wobei für den Gewinn an Sicherheit und Qualität der Tiefeninformation bewusst die höheren Herstellkosten und die höhere Systemkomplexität in Kauf genommen werden kann. Nur die gewählte Kombination dieser Technologien ermöglicht die Nutzung unterschiedlicher physikalischer Prinzipien und damit den Zugewinn an Redundanz für die Identifikation und Behebung von Fehlern sowohl in der Hardware des Systems als auch bei der Berechnung und der Interpretation der Messwerte. Dadurch kann im Raum der möglichen Sensorkonfigurationen ein vollständig anderer neuer Arbeitspunkt gewählt werden, der eine neue Qualität der Erfassung des Tiefenbildes und der räumlichen Form der Objekte 3 erlaubt.
  • Durch die Vorrichtung 1 können insbesondere folgende Vorteile erzielt werden: (i) durch die mehrfachen gleichzeitigen Messungen von Sensoren 6 mit unterschiedlichen Fokusebenen im MSSmgS kann die Strahlungsintensität des Messpunktes unabhängig von der Beleuchtung dieses Punktes aus unterschiedlichen Richtungen und ggf. der unterschiedlichen Reflexionseigenschaften des Messpunktes in unterschiedliche Richtungen bestimmt werden; (ii) es können Objekte 3 im Strahlengang identifiziert werden, welche aus der Richtung des einen Strahlengangs durchsichtig sind aber aus der Richtung des anderen Strahlenganges nicht. Das sind z. B. Glasscheiben von Autos oder Schienenfahrzeugen; (iii) durch die Nutzung von unterschiedlichen Spektralbereichen kann festgestellt werden, in welchen Bereichen ein Objekt 3 für elektromagnetische Wellen durchlässig ist und für welche nicht, wodurch Rückschlüsse auf das Material des Objektes 3 im Zusammenhang z. B. mit der Form des Objektes 3 geschlossen werden können (Glasscheiben von kreuzenden oder vorbeifahrenden Fahrzeugen); (iv) Fehler bei der Entfernungsbestimmung können korrigiert oder zumindest erkannt werden, z. B. wenn eine Lidarmessung andere Ergebnisse ergibt als die Bestimmung des Abstands durch Kameras 6 mit unterschiedlichen Abständen der Bildsensoren von der Fokusebene; (v) redundante Information aus verschiedenen Ansätzen zur Entfernungsbestimmung kann integriert werden. Vorzugsweise erfolgt die Integration der redundanten Information auf der Basis eins physikalischen Modells unter Berücksichtigung der Güte der Sensordaten, insbesondere der Güte der dadurch charakterisierten Entfernung; (vi) durch Lidar- bzw. „Time of flight“-Messungen kann die Integration auch über verschiedene Zeitpunkte und Defokus-Einstellungen hinweg erfolgen; (vii) zusätzlich kann eine Integration von Information, die beim Erfassen der Umgebung 2 aus einem anderen Blickwinkel gewonnen wurde, erfolgen.
  • Insgesamt kann durch diese Ansätze das Tiefenbild genauer und mit höherer Sicherheit und Zuverlässigkeit erstellt werden. Das ist insbesondere wichtig für sicherheitskritische Anwendungen z. B. im Bereich der Hinderniserkennung von autonom fahrenden Fahrzeugen. Die Redundanzinformation wird im Sicherheitsnachweis verwendet, um die möglichen Fehler bei der Erfassung des Tiefenbildes zu erkennen und ggf. auch korrigieren zu können.
  • 3 zeigt ein Beispiel einer Sensoranordnung 5 aus mehreren, im gezeigten Beispiel drei als Kameras ausgebildeten, Sensoren 6 zum Erfassen der Umgebung 2 eines Fahrzeugs. Jedem der Sensoren 6 ist dabei wenigstens eine physikalische Eigenschaft zugeordnet, bezüglich der sich die Sensoren 6 voneinander unterscheiden. Grundsätzlich können auch weitere physikalischen Eigenschaften der Sensoren 6 unterschiedlich sein. Jedoch ist es auch denkbar, dass die Sensoren 6 sich bezüglich zumindest eines Teils dieser weiteren Eigenschaften gleichen.
  • Im vorliegenden Beispiel werden unterschiedliche optische Eigenschaften der Kameras dadurch erreicht, dass als Bildsensoren ausgebildete Sensorelemente 6a der Kameras 6 jeweils unterschiedliche Abstände zu einem gemeinsam genutzten optischen Element 12 der Sensoranordnung 5 aufweisen. Bei dem gemeinsam genutzten optischen Element 12 handelt es sich im vorliegenden Beispiel um einen Strahlteiler, der durch eine gemeinsame Abbildungsoptik 13 der Sensoranordnung 5 fallende Lichtstrahlen in mehrere, im vorliegenden Beispiel drei, Strahlenpakete aufteilt und, vorzugsweise zu gleichen Teilen, auf die Sensorelemente 6a lenkt.
  • Alternativ zum in 3 gezeigten Beispiel könnten die Sensorelemente 6a aber auch in jeweils unterschiedlichen Abständen zu einem anderen gemeinsam genutzten optischen Element, insbesondere der gemeinsamen Abbildungsoptik 13, angeordnet sein, insbesondere wenn kein Strahlteiler vorgesehen ist.
  • Durch diese Anordnung der Sensorelemente 6a wird ein Objekt 3 aus der Umgebung 2 in einer für jede der Kameras 6 vorgegebenen Entfernung 9a zur Sensoranordnung 5, im vorliegenden Beispiel zur gemeinsamen Abbildungsoptik 13, scharf auf den Sensorelementen 6a abgebildet. Dabei unterscheiden sich die vorgegebenen Entfernungen 9a - aufgrund der unterschiedlichen Abstände zum gemeinsam genutzten optischen Element 12 - voneinander (siehe 2). In 3 ist rein beispielhaft gezeigt, dass das Objekt 3 nur auf dem Sensorelement 6a scharf abgebildet wird, das auf der optischen Achse X liegt. Ein sich in einer kleineren Entfernung zur Sensoranordnung 5 befindliches Objekt 3 könnte dagegen auf dem in 3 unterhalb der optischen Achse X angeordneten Sensorelement 6a, ein sich in größerer Entfernung zur Sensoranordnung 5 befindliches Objekt 3 dagegen auf dem in 3 oberhalb der optischen Achse X angeordneten Sensorelement 6a scharf abgebildet werden.
  • Die gemeinsame Abbildungsoptik 13 ist in 3 schematisch als Linse dargestellt. Diese Darstellung ist nicht einschränkend zu verstehen. Es kann sich bei der Abbildungsoptik 13 zum Beispiel um ein Zoomobjektiv handeln, mit dem eine Brennweite B variiert werden kann. Beispielsweise kann die Brennweite B gemäß einer Vorgabe so eingestellt werden, dass ein vorgegebenes Objekt 3 auf zumindest einem der Sensorelemente 6a scharf abgebildet wird.
  • Auf Grundlage der pyhsikalischen Eigenschaft insbesondere desjenigen Sensors 6, auf dessen Sensorelement 6a das Objekt 3 scharf abgebildet wird, kann die Entfernung zwischen dem Objekt 3 und der Sensoranordnung 5 ermittelt werden. Besonders bevorzugt wird die Entfernungsbestimmung unter Ausnutzung der in den Sensordaten enthaltenen Information von wenigstens zwei Sensoren 6 berechnet. Wenn beispielsweise ein Objekt 3 auf einem Sensor 6 scharf abgebildet ist, kann insbesondere beim Vorliegen einer großen Schärfentiefe etwa die Stärke der Defokussierung bei einem anderen Sensor eine wichtige Information über die Entfernung liefern.
  • Alternativ oder zusätzlich kann durch eine Analyse von Sensordaten, die beim Erfassen der Umgebung 2 von den Sensoren 6 erzeugt werden, auch die Entfernung zu einem Objekt 3 ermittelt werden, das auf keinem der Sensorelemente 6a scharf abgebildet wird. Eine solche Möglichkeit bietet etwa das Zusammenführen der Sensordaten mithilfe eines pyhsikalischen Modells, in welchem die gemeinsame Abbildungsoptik 13 berücksichtigt ist.
  • Wie bereits in 2 angedeutet ergeben sich durch die in 3 gezeigte unterschiedliche Beabstandung der Sensorelemente 6a zum gemeinsam genutzten optischen Element 12 nicht oder nur teilweise überlappende Erfassungsbereiche. Um die Entfernung zwischen diesen Erfassungsbereichen zu vergrößern oder zu verkleinern und damit die Tiefenauflösung der Sensoranordnung 5 variieren zu können, ist vorzugsweise zumindest eines der Sensorelemente 6a, im gezeigten Beispiel alle Sensorelemente 6a, beweglich gelagert und besonders bevorzugt motorisch verfahrbar. Dies ist durch die Pfeile neben den Sensorelementen 6a angedeutet. Jedes der Sensorelemente 6a kann dadurch, zum Beispiel mithilfe eines Motors (nicht gezeigt), in einen vorgegebenen Abstand zum gemeinsam genutzten optischen Element 12 gebracht werden. Die Tiefenauflösung der Sensoranordnung 5 lässt sich so situationsbedingt anpassen.
  • Darüber hinaus ist es auch denkbar, die Sensorelemente 6a in den gleichen Abstand zum gemeinsamen optischen Element 12 zu verfahren, um eine Überprüfung der Erfassungsqualität der Sensorelemente 6a zu ermöglichen. Insbesondere können die von den Sensorelementen 6a dabei erzeugten Sensordaten miteinander verglichen und zum Beispiel auf Abweichungen voneinander geprüft werden.
  • Dabei ist es vorteilhaft, auch die Ausrichtung der Sensorelemente 6a relativ zum gemeinsamen optischen Element 12 ändern zu können, um die Sensoren 6 zu justieren. Zweckmäßigerweise sind die Sensorelemente 6a dazu schwenkbar gelagert, insbesondere motorisch schwenkbar ausgebildet. Die Justage der Sensoranordnung bzw. Eichung der Sensoren 6 kann so rein mechanisch erfolgen.
  • Auch wenn im vorliegenden Beispiel drei Kameras 6 beschrieben sind, kann genausogut eine andere Anzahl von Sensoren 6 verwendet werden. Insbesondere ist es zweckmäßig, unterschiedliche Sensortypen vorzusehen. Beispielsweise kann wenigstens einer der Sensoren 6, zweckmäßigerweise der auf der optischen Achse X angeordnete Sensor 6, als Lidarsensor oder Gated Light Sensor ausgebildet sein. Dadurch kann, zusätzlich zu Bildinformation der Kameras 6, auch eine besonders exakte Entfernungsinformation gewonnen werden, die den Kameradaten der Kameras 6 zuordenbar ist. Eine Szene aus der Umgebung 2 kann so besonders präzise beschrieben werden.
  • 4 zeigt ein Beispiel eines Verfahrens 100 zum Überwachen der Umgebung eines Fahrzeugs.
  • In einem Verfahrensschritt S1 wird die Umgebung des Fahrzeugs mithilfe einer Sensoranordnung aus mehreren Sensoren erfasst, denen jeweils eine pyhsikalische Eigenschaft zugeordnet ist. Die Sensoren unterscheiden sich dabei wenigstens bezüglich dieser einen physikalischen Eigenschaft.
  • Beim Erfassen der Umgebung erzeugen die Sensoren jeweils Sensordaten. Die Sensordaten sind dabei jeweils in charakteristischer Weise durch die wenigstens eine physikalische Eigenschaft des jeweils erzeugenden Sensors, bezüglich der sich die Sensoren unterscheiden, beeinflusst.
  • Die physikalische Eigenschaft kann beispielsweise mit einer Entfernung korrespondieren, in welcher eine auf den Sensordaten basierende Abbildung der Umgebung des Fahrzeugs scharf ist, d. h. zum Beispiel mit einem Abstand eines Sensorelements des Sensors zur Fokusebene. Alternativ oder zusätzlich kann die physikalische Eigenschaft eine Wellenlänge oder einen Wellenlängenbereich betreffen, bei der bzw. in dem der jeweilige Sensor sensitiv ist.
  • In einem weiteren Verfahrensschritt S2 wird auf Grundlage der pyhsikalischen Eigenschaft zumindest eines der Sensoren eine Entfernungsinformation, welche die Entfernung zwischen einem Objekt aus der Umgebung des Fahrzeugs und der Sensoranordnung betrifft, ermittelt.
  • Dazu kann beispielsweise derjenige Sensor ermittelt werden, deren Sensordaten mit einer scharfen Abbildung des Objekts korrespondieren. Insbesondere kann geprüft werden, für welchen der Sensoren die Abbildung des Objekts ein vorgegebenes Abbildungskriterium erfüllt. Ist das Abbildungskriterium für einen Sensor erfüllt, kann dessen physikalische Eigenschaft, die ihn von den anderen Sensoren unterscheidet, zur Entfernungsbestimmung herangezogen werden. Beispielsweise kann aus einem Abstand des Sensorelements dieses Sensors zur Fokusebene die Entfernung, in der das (scharf abgebildete) Objekt erfasst wurde, ermittelt werden.
  • Alternativ oder zusätzlich kann auf Grundlage der Sensordaten auch die Entfernung zwischen einem Objekt und der Sensoranordnung ermittelt werden, wenn sich die Entfernung nicht unmittelbar aus der physikalischen Eigenschaft berechnen lässt, z. B. wenn die physikalische Eigenschaft eine Sensitivität für eine bestimmte Wellenlänge ist. Vorzugsweise werden dazu Sensordaten verwendet, die über einen vorgegebenen Zeitraum aufgenommen wurden. Beispielsweise können Sensordaten verwendet werden, die mehrere „Aufnahmen“ der Sensoren über die gemeinsame Abbildungsoptik repräsentieren.
  • Zweckmäßigerweise wird zur Entfernungsbestimmung dann eine Fusion der Sensordaten aller Sensoren vorgenommen, wobei der Fusion zweckmäßigerweise Gütemaße, welche die Qualität der jeweiligen Sensordaten charakterisieren, zugrunde gelegt werden. Beispielsweise können die Sensordaten mithilfe eines pyhsikalischen Modells, welches die gemeinsame Abbildungsoptik berücksichtigt, zusammengeführt werden. Dabei können die Sensordaten beispielsweise gemäß des für sie ermittelten Gütemaßes gewichtet werden. Das physikalische Modell spiegelt dabei vorzugsweise die unterschiedlichen physikalischen Eigenschaften der Sensoren wieder. Anders gesagt ist das Modell vorzugsweise darauf zugeschnitten, die Sensordaten von (bezüglich der pyhsikalischen Eigenschaft) unterschiedlichen Sensoren zu fusionieren.
  • In einem weiteren Verfahrensschritt S3 wird die ermittelte Entfernungsinformation ausgegeben. Die ermittelte Entfernungsinformation kann beispielsweise für eine Objekterkennung bereitgestellt werden.
  • Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims (15)

  1. Verfahren (100) zum Überwachen der Umgebung (2) eines Fahrzeugs (10), wobei die Umgebung (2) des Fahrzeugs (10) mit einer Sensoranordnung (5) erfasst wird (S1), wobei die Sensoranordnung (5) mehrere, sich bezüglich einer ihnen zugeordneten physikalischen Eigenschaft unterscheidende Sensoren (6) und eine von den Sensoren (6) gemeinsam genutzte Abbildungsoptik (13) aufweist, und auf Grundlage der physikalischen Eigenschaft zumindest einer der Sensoren (6) eine Entfernungsinformation, welche die Entfernung zwischen einem Objekt (3; 3a, 3b, 3c, 3d) aus der Umgebung (2) des Fahrzeugs (10) und der Sensoranordnung (5) betrifft, ermittelt wird (S2).
  2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Umgebung (2) mit einer weiteren Sensoranordnung erfasst wird, wobei die Sensoranordnung (5) und die weitere Sensoranordnung einen unterschiedlichen Blickwinkel auf die Umgebung (2) aufweisen und aus Sensordaten der Sensoranordnung (5) und der weiteren Sensoranordnung unter Berücksichtigung der unterschiedlichen Blickwinkel eine weitere Entfernungsinformation, welche die Entfernung zwischen dem Fahrzeug (10) und dem Objekt (3; 3a, 3b, 3c, 3d) betrifft, ermittelt wird.
  3. Verfahren (100) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die ermittelte Entfernungsinformation eine Topologieinformation zu zumindest einem Teil der erfassten Umgebung (2) enthält und eine Objekterkennung auf Grundlage der Topologieinformation durchgeführt wird.
  4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Gütemaß für die Sensordaten, die beim Erfassen der Umgebung (2) erzeugt werden, und/oder die aus den Sensordaten abgeleitete Entfernungsinformation ermittelt wird, wobei das Gütemaß für jeden Sensor (6) und/oder für jeden Messwert jedes Sensors (6) ermittelt wird.
  5. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Szene aus der erfassten Umgebung (2) auf Grundlage der Entfernungsinformation und einer Zusammenführung der Sensordaten zumindest eines Teils der Sensoren (6) mithilfe eines physikalischen Modells ermittelt wird, wobei in dem Modell die Erfassung der Umgebung (2) durch die Sensoren (6) über die gemeinsame Abbildungsoptik (13) berücksichtigt ist.
  6. Verfahren (100) nach Anspruch 4 und 5, dadurch gekennzeichnet, dass die Szene auf Grundlage des Gütemaßes ermittelt wird.
  7. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eine physikalische Eigenschaft der Sensoranordnung (5) änderbar ist und ein Maß für die änderbare optische Eigenschaft dem Ermitteln der Entfernungsinformation zugrunde gelegt wird.
  8. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eine physikalische Eigenschaft der Sensoranordnung (5) gemäß einer Vorgabe geändert wird.
  9. Verfahren (100) nach Anspruch 8, dadurch gekennzeichnet, dass die Vorgabe für die Änderung zumindest der einen physikalischen Eigenschaft der Sensoranordnung (5) aus einer Datenbank für die Führung des Fahrzeugs (10) gelesen wird.
  10. Verfahren (100) nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die wenigstens eine physikalische Eigenschaft eine Brennweite (B) oder ein spektraler Erfassungsbereich der Sensoranordnung (5) ist.
  11. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Abstand zwischen einem Sensorelement (6a) zumindest eines der Sensoren (6) und einem von den mehreren Sensoren(6) gemeinsam genutzten optischen Element (12) der Sensoranordnung (5) änderbar ist und ein Maß für den änderbaren Abstand dem Ermitteln der Entfernungsinformation zugrunde gelegt wird.
  12. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die mehreren Sensoren (6) synchronisiert betrieben werden.
  13. Vorrichtung (1) zum Überwachen der Umgebung (2) eines Fahrzeugs (10), mit - einer Sensoranordnung (5) zum Erfassen der Umgebung (2) des Fahrzeugs (10), wobei die Sensoranordnung (5) mehrere, sich bezüglich einer ihnen zugeordneten physikalischen Eigenschaft unterscheidende Sensoren (6) und eine von den Sensoren (6) gemeinsam genutzte Abbildungsoptik (13) aufweist, und - einer Datenverarbeitungseinrichtung (7), die dazu eingerichtet ist, auf Grundlage der physikalischen Eigenschaft zumindest eines der Sensoren (6) eine Entfernungsinformation, welche die Entfernung zwischen einem Objekt (3; 3a, 3b, 3c, 3d) aus der Umgebung (2) des Fahrzeugs (10) und der Sensoranordnung (5) betrifft, zu ermitteln.
  14. Vorrichtung (1) nach Anspruch 13, dadurch gekennzeichnet, dass jeder Sensor (6) ein Sensorelement (6a) aufweist und die Sensorelemente (6a) in jeweils unterschiedlichen Abständen zu einem gemeinsam genutzten optischen Element (12) angeordnet oder anordenbar sind.
  15. Fahrzeug (10) mit einer Vorrichtung (1) nach einem der Ansprüche 13 oder 14.
DE102021212292.2A 2021-11-02 2021-11-02 Vorrichtung und Verfahren zur Umgebungsüberwachung Ceased DE102021212292A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021212292.2A DE102021212292A1 (de) 2021-11-02 2021-11-02 Vorrichtung und Verfahren zur Umgebungsüberwachung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021212292.2A DE102021212292A1 (de) 2021-11-02 2021-11-02 Vorrichtung und Verfahren zur Umgebungsüberwachung

Publications (1)

Publication Number Publication Date
DE102021212292A1 true DE102021212292A1 (de) 2023-05-04

Family

ID=85983630

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021212292.2A Ceased DE102021212292A1 (de) 2021-11-02 2021-11-02 Vorrichtung und Verfahren zur Umgebungsüberwachung

Country Status (1)

Country Link
DE (1) DE102021212292A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200005097A1 (en) 2018-06-27 2020-01-02 The Charles Stark Draper Laboratory, Inc. Compact Multi-Sensor Fusion System with Shared Aperture
US20200172014A1 (en) 2018-12-03 2020-06-04 Didi Research America, Llc Multicamera system for autonamous driving vehicles
US20200271761A1 (en) 2016-08-10 2020-08-27 James Thomas O'Keeffe Distributed lidar with fiber optics and a field of view combiner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200271761A1 (en) 2016-08-10 2020-08-27 James Thomas O'Keeffe Distributed lidar with fiber optics and a field of view combiner
US20200005097A1 (en) 2018-06-27 2020-01-02 The Charles Stark Draper Laboratory, Inc. Compact Multi-Sensor Fusion System with Shared Aperture
US20200172014A1 (en) 2018-12-03 2020-06-04 Didi Research America, Llc Multicamera system for autonamous driving vehicles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MÜNZBERG, M., HÜBNER, M.: A multispectral VIS/SWIR sensor suite with integrated laser range finder, 2015, Proceedings IRS², S. 948 – 956, DOI:10.5162/irs2015/4.3

Similar Documents

Publication Publication Date Title
DE102018129441B4 (de) System zur Überwachung eines Laserbearbeitungsprozesses, Laserbearbeitungssystem sowie Verfahren zur Überwachung eines Laserbearbeitungsprozesses
DE3926349C2 (de)
EP2733459A1 (de) Vorrichtung und Verfahren zum Ermitteln der Lage zweier gekuppelter Wellen zueinander
DE102009030644B4 (de) Berührungslose Erfassungseinrichtung
DE102019127323B4 (de) Laserbearbeitungssystem zum Durchführen eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls und Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls
EP1531342A1 (de) Verfahren zur Erkennung von Fussgängern
WO2019030094A1 (de) Verfahren zum überwachen eines umgebungsbereiches eines kraftfahrzeugs, sensorsteuergerät, fahrerassistenzsystem sowie kraftfahrzeug
EP4150370A1 (de) Verfahren zum kalibrieren und/oder justieren und steuereinheit für ein lidar-system, lidar-system und arbeitsvorrichtung
DE102005037094B3 (de) Kalibrierverfahren für einen Sensor zur Abstandsmessung
WO2020099323A1 (de) Verfahren zum erfassen eines arbeitsbereichs einer generativen fertigungsvorrichtung sowie fertigungsvorrichtung zum generativen fertigen von bauteilen aus einem pulvermaterial
DE19914962C2 (de) Optoelektronische Vorrichtung
DE102010020537A1 (de) Wasserdetektor
WO2016000764A1 (de) Chromatisch konfokale sensoranordnung
WO2016180906A1 (de) Vorrichtung und verfahren zur ermittlung der anzahl an feststoffpartikeln in einem fluidstrom
WO2021213788A1 (de) Verfahren und vorrichtung zum erkennen von blooming in einer lidarmessung
WO2021078557A1 (de) Filterung von messdaten eines aktiven optischen sensorsystems
CH697319B1 (de) Verfahren und Vorrichtung zum geometrischen Kalibrieren von optoelektronischen Messbildkameras.
DE602004003912T2 (de) Vorrichtung und Verfahren zur Messung der Sichtweite
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102021212292A1 (de) Vorrichtung und Verfahren zur Umgebungsüberwachung
DE10153581A1 (de) Verfahren und Vorrichtung zur Ermittlung der Wirkkontur von Rotationswerkzeugen
DE69835331T2 (de) Verfahren und Vorrichtung für eine Distanzdeterminierung
EP4288799A1 (de) Verfahren zum kalibrieren einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kalibrierungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kalibrierungsvorrichtung
DE102013210736A1 (de) Vorrichtung zum Ermitteln der Lage von mechanischen Elementen
DE102019118481A1 (de) Kalibrieren eines aktiven optischen Sensorsystems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final