DE102018130745A1 - Verfahren zur Steuerung eines autonomen Fahrzeugs - Google Patents

Abstract

Ein Verfahren zur Steuerung eines autonomen Fahrzeugs mit einem Sensor umfasst zumindest folgende Schritte: - Betreiben des Fahrzeugs in einem Erkundungsbetriebsmodus, umfassend: Ermitteln von Messwerten des Erfassungsbereichs; Ermitteln von wenigstens einem Referenzmodellobjekt auf der Grundlage der Messwerte, wobei das wenigstens eine Referenzmodellobjekt ein Referenzobjekt in dem Erfassungsbereich repräsentiert und geometrisch standardisiert ist; - Betreiben des Fahrzeugs in einem Normalbetriebsmodus, umfassend: Ermitteln von Messwerten des Erfassungsbereichs; Ermitteln von wenigstens einem Modellobjekt auf der Grundlage der Messwerte, wobei das wenigstens eine Modellobjekt ein Objekt in dem Erfassungsbereich repräsentiert und geometrisch standardisiert ist; Feststellen, ob das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht; und Ermitteln der Position des Fahrzeugs und/oder Steuern des Fahrzeugs in Abhängigkeit von der Feststellung, ob das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht.

Description

• Die vorliegende Erfindung betrifft ein Verfahren zur Steuerung eines autonomen Fahrzeugs mit einem Sensor, wobei der Sensor dazu angepasst ist, Messwerte eines Erfassungsbereichs des Sensors zu ermitteln, um Objekte in dem Erfassungsbereich zu erfassen. Das Fahrzeug wird auf der Grundlage der Messwerte autonom gesteuert. Die kann auch als sensorgestützte autonome Navigation bezeichnet werden.
• Ein Problem bei der sensorgestützten Navigation autonomer Fahrzeuge besteht in der mangelnden Echtzeitfähigkeit. Einerseits sind zwar Verfahren bekannt, bei denen das Fahrzeug autonom gesteuert und gleichzeitig durch Selbstlokalisierung eine unbekannte Umgebung kartographiert wird (z.B. SLAM). Solche Verfahren sind jedoch rechenaufwändig und somit - wenn überhaupt - nur unter Bereitstellung massiver Computerressourcen annähernd echtzeitfähig. Ferner kann sich bei diesen Verfahren wegen der iterativen Selbstlokalisierung die inkrementelle Fehlerfortpflanzung sehr nachteilig auf die Steuerungsgenauigkeit auswirken. Andererseits sind auch Verfahren bekannt, die auf einer zentralen Positionsermittlung des Fahrzeugs beruhen, z.B. GPS (global positioning system) oder IPS (indoor positioning system). Die auf diese Weise ermittelte Position ermöglicht unter Heranziehung von vordefiniertem Kartenmaterial eine autonome Navigation. Dies setzt aber wiederum vordefiniertes Kartenmaterial voraus, dessen Beschaffung oder Anfertigung allerdings zeitaufwändig und mit unerwünschten Kosten verbunden ist. Ferner ergeben sich Unsicherheiten bezüglich der Validität des Kartenmaterials.
• Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur sensorgestützten Steuerung eines autonomen Fahrzeugs anzugeben.
• Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
• Ein Verfahren zur Steuerung eines autonomen Fahrzeugs der eingangs genannten Art weist zumindest folgende Schritte auf:
• - Betreiben des Fahrzeugs in einem Erkundungsbetriebsmodus, umfassend: Ermitteln von Messwerten des Erfassungsbereichs; Ermitteln von wenigstens einem Referenzmodellobjekt auf der Grundlage der Messwerte, wobei das wenigstens eine Referenzmodellobjekt ein Referenzobjekt in dem Erfassungsbereich repräsentiert und geometrisch standardisiert ist;
• - Betreiben des Fahrzeugs in einem Normalbetriebsmodus, umfassend: Ermitteln von Messwerten des Erfassungsbereichs; Ermitteln von wenigstens einem Modellobjekt auf der Grundlage der Messwerte, wobei das wenigstens eine Modellobjekt ein Objekt in dem Erfassungsbereich repräsentiert und geometrisch standardisiert ist,
• - Feststellen, ob das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht; und Ermitteln der Position des Fahrzeugs und/oder Steuern des Fahrzeugs in Abhängigkeit von der Feststellung, ob das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht.
• Ein Aspekt des Verfahrens besteht darin, dass das Fahrzeug wahlweise in einem von zwei unterschiedlichen Betriebsmoden betrieben wird. Zum einen ist der Erkundungsbetriebsmodus vorgesehen, um eine unbekannte oder zu aktualisierende Betriebsumgebung des Fahrzeugs zu erkunden. Dies geschieht mithilfe des Sensors, welcher vorzugsweise periodisch Messwerte des Erfassungsbereichs ermittelt. Vorzugsweise handelt es sich bei dem Sensor um einen optischen Sensor, welcher dazu angepasst ist, die Messwerte auf optischem Wege, zum Beispiel mittels gepulster Laserstrahlen abzutasten. Es sind jedoch auch andere Sensoren denkbar, die einen jeweiligen Erfassungsbereich abdecken und diesen durch entsprechende Messwerte „vermessen“ können. Der Sensor ist vorzugsweise dazu angepasst, unabhängig vom gewählten Betriebsmodus die Messwerte zu ermitteln, d.h. die Messfunktionalität ist vorzugsweise immer gleich. Allgemein können die im Erkundungsbetriebsmodus ermittelten Messwerte auch als Referenzmesswerte bezeichnet werden.
• Im Erkundungsbetriebsmodus wird das Fahrzeug vorzugsweise autonom innerhalb der Betriebsumgebung gesteuert, sodass deterministisch oder zufällig möglichst die gesamte Betriebsumgebung zumindest einmal durch den Erfassungsbereich des Sensors abgedeckt und auf diese Weise optisch oder auf anderem Wege abgetastet bzw. vermessen wird. Die Betriebsumgebung des Fahrzeugs kann im Allgemeinen beliebig ausgebildet sein (z.B. als ein Boden eines Raums, der durch Wände begrenzt ist) und insbesondere ein oder mehrere Referenzobjekte umfassen, welche in dem Erfassungsbereich angeordnet sein können. Referenzobjekte sind im Allgemeinen Objekte, welche sich normalerweise in dem Erfassungsbereich befinden und sich üblicherweise nicht bewegen. Es kann sich z.B. um Stützpfeiler eines Gebäudes oder um Wände handeln, die nicht bewegbar sind. Denkbar sind aber auch Maschinen oder Mobiliar, die zwar prinzipiell bewegbar sind, aber nicht bewegt werden sollen. Ein jeweiliges Referenzobjekt kann somit allgemein ein Objekt sein, welches zumindest während des Betriebs des Fahrzeugs (unabhängig vom aktivierten Betriebsmodus) ortsfest ist.
• Die Referenzobjekte sind für die spätere Steuerung des Fahrzeugs im Normalbetriebsmodus zwecks Vermeidung von Kollisionen und zur Selbstlokalisierung besonders nützlich und sollen daher mit hoher Zuverlässigkeit erfasst werden. Ferner kann durch die Berücksichtigung der Referenzobjekte das Steuerungsverfahren insgesamt verbessert werden, wie im Folgenden noch weiter erläutert wird.
• Ein weiterer Aspekt des Verfahrens liegt darin, dass zur Erfassung von Objekten bzw. Referenzobjekten Modellobjekte bzw. Referenzmodellobjekte ermittelt werden. Obgleich Modellobjekte und Referenzmodellobjekte durchaus unterschiedlich ermittelt und definiert sein können, ist es bevorzugt, dass Modellobjekte und Referenzmodellobjekte auf dieselbe Weise ermittelt werden. Die folgenden Erläuterungen zu Modellobjekten treffen somit - abgesehen von der Tatsache, dass ein Referenzmodellobjekt ein Referenzobjekt repräsentiert - in entsprechender Weise auch auf Referenzmodellobjekte zu. Es sind aber auch Abweichungen zwischen Modellobjekten und Referenzmodellobjekten denkbar.
• Ein Modellobjekt ist allgemein ein geometrisch definiertes Objekt, welches ein reales Objekt repräsentiert. Das Modellobjekt ist vorzugsweise durch wenige, z.B. 1 bis 10, vorzugsweise 2 bis 8 Parameter definiert (andere Parameteranzahlen sind möglich) und stellt insofern ein stark vereinfachtes Modell des realen Objekts dar. Beispielsweise kann ein Objekt, dessen Form beliebig komplex sein kann, durch ein geometrisches Standardelement oder einen geometrischen Standardkörper, wie etwa ein Quadrat, einen Zylinder oder einen Quader, dargestellt werden. Auf diese Weise kann das reale Objekt geometrisch abstrahiert werden, um dessen Komplexität und insbesondere die zur Erfassung des Objekts erforderliche Datenmenge zu reduzieren.
• Eine Besonderheit der Modellobjekte besteht darin, dass sie geometrisch standardisiert sind. Dies bedeutet, dass zur Definition der Modellobjekte ein einheitlicher, also insbesondere stets derselbe Satz von geometrischen Parametern verwendet wird, wobei die Werte der Parameter zwischen verschiedenen Modellobjekten im Regelfall natürlich variieren werden. Ein geometrischer Parameter ist allgemein eine Variable, die eine räumliche Ausprägung des Modellobjekts beschreibt. Bevorzugte geometrische Parameter werden weiter unten detailliert erläutert.
• Die geometrische Standardisierung der Modellobjekte erlaubt eine besonders zuverlässige und schnelle Verarbeitung von durch ein jeweiliges Modellobjekt erfassten Objekten. So können insbesondere mehrere Modellobjekte gemeinsam ausgewertet werden.
• Die Ermittlung eines Modellobjekts kann insbesondere durch eine sogenannte BLOB-(binarized large object)-Analyse erfolgen. BLOBs bzw. binäre Datenobjekte sind aus der Bildverarbeitung bekannt und sind durch zusammenhängende Flächenabschnitte in zweidimensionalen Bildern charakterisiert. Im Rahmen einer BLOB-Analyse können die Messwerte, die vorzugsweise ein Bild des Erfassungsbereichs ergeben, durch ein Segmentierungsverfahren oder eine Clusteranalyse verarbeitet werden, um ein oder mehrere BLOBs in dem Bild zu ermitteln. Derartige BLOBs können Modellobjekte sein.
• Der Normalbetriebsmodus ist allgemein derjenige Betriebsmodus des Fahrzeugs, welcher einer bestimmungsgemäßen Verwendung des autonomen Fahrzeugs entspricht. Im Normalbetriebsmodus werden wiederum Messwerte ermittelt, auf deren Grundlage ein oder mehrere Modellobjekte ermittelt werden. Wie bereits erwähnt können die Referenzmodellobjekte hierzu entsprechend ermittelt werden. Als weiterer Schritt wird festgestellt, ob die ermittelten Modellobjekte den im Erkundungsbetriebsmodus ermittelten Referenzmodellobjekten entsprechen. Mit anderen Worten werden die Modellobjekte und die Referenzmodellobjekte miteinander verglichen, um eine etwaige Korrespondenz zwischen den Modellobjekten und den Referenzmodellobjekten festzustellen. Das Ziel besteht darin, aus den ermittelten Modellobjekten diejenigen zu identifizieren, die einem jeweiligen Referenzmodellobjekt entsprechen. Es versteht sich, dass ein jeweiliges Modellobjekt nicht exakt mit einem jeweiligen Referenzmodellobjekt übereinstimmen muss, um eine Korrespondenz bzw. Entsprechung zwischen den Modellobjekten zu begründen. Beispielsweise können sich Abweichungen aufgrund einer unterschiedlichen Sensorposition und -perspektive bei der Ermittlung der Messwerte ergeben. Diese Abweichungen können sich selbstverständlich auch in den ermittelten Modellobjekten bzw. Referenzmodellobjekten niederschlagen. Dennoch wird auch in solchen Fällen erkannt, dass es sich bei den Objekten, die durch ein Modellobjekt und einem Referenzmodellobjekt repräsentiert werden, in einem betreffenden Fall tatsächlich um ein und dasselbe Objekt handelt. Das betreffende Modellobjekt sowie das betreffende Referenzmodellobjekt werden daher als sich entsprechend erkannt.
• Die geschilderte Feststellung von Korrespondenzen zwischen Modellobjekten und Referenzmodellobjekten erlaubt eine vorteilhafte Selbstreferenzierung des Fahrzeugs, z.B. in Form einer Selbstlokalisierung in Bezug auf die Referenzmodellobjekte. Durch die Verwendung von Modellobjekten und im Voraus ermittelten Referenzmodellobjekten kann die Selbstreferenzierung besonders effizient erfolgen. Eine rechenaufwendige Kartographierung der Betriebsumgebung ist hierbei nicht notwendig. Vielmehr kann sich das Fahrzeug anhand der Referenzmodellobjekte, die wie erwähnt eine signifikante Datenreduzierung gegenüber den Messwerten mit sich bringen, besonders schnell orientieren.
• Die Feststellung einer etwaigen Korrespondenz zwischen Modellobjekten und Referenzmodellobjekten wird für die Steuerung des autonomen Fahrzeugs herangezogen. Hierbei kann - als eine Form der Selbstreferenzierung - insbesondere auch eine aktuelle Position des Fahrzeugs ermittelt werden und der Steuerung des Fahrzeugs zugrunde gelegt werden. Zusätzlich oder alternativ ist es möglich, dass das Fahrzeug bezüglich identifizierter Referenzmodellobjekte anders gesteuert wird im Vergleich zu Modellobjekten, welche nicht mit einem bekannten Referenzmodellobjekt übereinstimmen und insofern als neu klassifiziert werden. Dies wird im Folgenden noch genauer erläutert.
• Vorzugsweise wird das Fahrzeug in beiden Betriebsmoden auf der Grundlage von erfassten Modellobjekten bzw. Referenzmodellobjekten gesteuert. Mit anderen Worten navigiert das Fahrzeug autonom in Abhängigkeit von erfassten Modellobjekten. Dies kann beispielsweise unter der Bedingung erfolgen, dass eine potentielle Kollision mit einem Objekt automatisch vermieden wird. So kann etwa ein ermittelter Fahrzeugkurs auf der Grundlage der ermittelten Modellobjekte um etwaige im Erfassungsbereich befindliche Objekte bzw. Referenzobjekte herum geführt werden. Als Alternative zur autonomen Steuerung im Erkundungsbetriebsmodus ist es denkbar, das Fahrzeug entlang einer vordefinierten Route zu steuern, um die Betriebsumgebung aus der Sicht des Fahrzeugs zu erkunden. Dies kann effizienter als eine autonome Erkundung sein, setzt allerdings die Definition einer geeigneten Route voraus.
• Das Verfahren kann in Verbindung mit dem autonomen Fahrzeug allgemein als ein selbstlernendes System angesehen werden, indem es eine Betriebsumgebung in Bezug auf Referenzobjekte erlernt und der späteren Steuerung zugrunde legt. Die Unterscheidung zwischen Referenzobjekten und sonstigen Objekten stellt zudem eine nützliche Zusatzinformation dar, die gezielt ausgenutzt werden kann, um eine rechenaufwändige Steuerung und/oder die Notwendigkeit eines Ortungssystems zu vermeiden.
• Ausführungsformen bzw. beispielhafte Varianten des Verfahrens werden im Folgenden beschrieben und ergeben sich allgemein aus der Beschreibung, den Ansprüchen und den Figuren.
• Nach einer bevorzugten Ausführungsform repräsentiert das wenigstens eine Referenzmodellobjekt ein ortsfestes Objekt in einer Betriebsumgebung des Fahrzeugs. Zwar kann grundsätzlich jedes im Erkundungsbetriebsmodus erfasste Objekt durch ein jeweiliges Referenzmodellobjekt als ein ortsfestes Objekt klassifiziert werden, indem zum Beispiel sichergestellt wird, dass während des Erkundungsbetriebsmodus sich lediglich ortsfeste Objekte in der Betriebsumgebung befinden. Es ist allerdings auch möglich, während des Erkundungsbetriebsmodus nicht alle Modellobjekte als Referenzmodellobjekte zu behandeln, sondern nur vorbestimmte Modellobjekte. Dies wird im Folgenden erläutert.
• Das Betreiben des Fahrzeugs in dem Erkundungsbetriebsmodus kann ferner umfassen: Ermitteln von Kandidaten-Modellobjekten auf der Grundlage der (Referenz-) Messwerte, wobei die Kandidaten-Modellobjekte jeweils ein Objekt in dem Erfassungsbereich repräsentieren und geometrisch standardisiert sind; Auswählen des wenigstens einen Referenzmodellobjekts aus den Kandidaten-Modellobjekten unter Verwendung einer Auswahlregel. Mit anderen Worten wird aus den Kandidaten-Modellobjekten, die während des Erkundungsbetriebsmodus ermittelt werden, bestimmte Modellobjekte ausgewählt, welche dann als Referenzmodellobjekte behandelt werden. Hierfür wird eine Auswahlregel benutzt, die fest vordefinierte Auswahlkriterien umfassen kann. Denkbar sind allerdings auch Auswahlkriterien, welche in Abhängigkeit von der Betriebsumgebung insbesondere dynamisch anpasst werden.
• Die Auswahlregel kann dazu angepasst sein, Kandidaten-Modellobjekte zu identifizieren, welche jeweils ein ortsfestes Objekt in einer Betriebsumgebung des Fahrzeugs repräsentieren. Die identifizierten Kandidaten-Modellobjekte können dann unmittelbar die anhand der Auswahlregel ausgewählten Referenz-Modellobjekte bilden.
• Die Auswahlregel kann insbesondere dazu angepasst sein, Kandidaten-Modellobjekte zu identifizieren, welche jeweils eine vorbestimmte Mindestgröße und/oder eine vorbestimmte Form aufweisen. Bei derartiger Ausgestaltung der Auswahlregel wird unterstellt, dass ortsfeste Objekte in der Regel groß sind und eine Form aufweisen, die durch eine vorbestimmte Form charakterisiert werden kann.
• Zur Identifizierung der vorbestimmten Kandidaten-Modellobjekte können feste vordefinierte Auswahlregeln verwendet werden, deren Verwendung als solche besonders zuverlässig ist. Es ist aber auch denkbar, statistische Auswahlregeln vorzusehen, die auf Trainingsdaten basieren und insbesondere robuster sein können, als fest definierte Auswahlregeln. Eine statistische Auswahlregel kann z.B. durch ein Verfahren des maschinellen Lernens oder dergleichen trainiert werden.
• Zur Erhöhung der Zuverlässigkeit bezüglich der Identifikation der beabsichtigten Kandidaten-Modellobjekte kann die Auswahlregel ferner dazu angepasst sein, mehrere Kandidaten-Modellobjekte, die jeweils auf zu unterschiedlichen Zeitpunkten ermittelten Messwerten beruhen, gemeinsam auszuwerten, um die Kandidatenmodell-Objekte, welche jeweils ein ortsfestes Objekt in der Betriebsumgebung des Fahrzeugs repräsentieren, zu identifizieren. Auf diese Weise kann mit hoher Sicherheit festgestellt werden, ob ein betreffendes Kandidaten-Modellobjekt tatsächlich auf einem ortsfesten Objekt beruht. Beispielsweise kann die Relativbewegung zwischen dem Fahrzeug und einem betreffenden Kandidaten-Modellobjekt unter Berücksichtigung der Eigenbewegung des Fahrzeugs ausgewertet werden, um festzustellen, ob sich ein betreffendes Kandidaten Modellobjekt zwischen zwei Zeitpunkten bewegt hat. Es versteht sich, dass die Referenzmodellobjekte aus den Kandidaten-Modellobjekten nicht unbedingt in Echtzeit ausgewählt werden müssen, da eine Echtzeitfähigkeit im Erkundungsbetriebsmodus nicht unbedingt realisiert werden muss. Somit können problemlos mehrere Kandidaten-Modellobjekte gemeinsam ausgewertet werden, die einen längeren Zeitraum abdecken.
• Die Kandidaten-Modellobjekte und die Modellobjekte werden vorzugsweise jeweils auf dieselbe Weise ermittelt. Die Komplexität des Verfahrens kann auf diese Weise wirkungsvoll reduziert werden, da lediglich ein einziger Algorithmus zur Bestimmung von Modellobjekten bereitgehalten werden muss. Ferner können auch die Referenzmodellobjekte, wie bereits oben angedeutet, entsprechend zu den Modellobjekten ermittelt werden. Somit ist es möglich, im gesamten Verfahren lediglich einen einzigen Algorithmus zur Bestimmung von Modellobjekten zur Anwendung zu bringen.
• Nach einer weiteren Ausführungsform umfasst das Betreiben des Fahrzeugs in dem Erkundungsbetriebsmodus ferner folgende Schritte: Zusammenfassen von ein oder mehreren Referenzmodellobjekten zu einem jeweiligen Referenzmuster des Erfassungsbereichs, wobei die zu einem jeweiligen Referenzmuster zusammengefassten Referenzmodellobjekte jeweils auf zu einem gemeinsamen Zeitpunkt (oder innerhalb einer vorbestimmten Zeitspanne, z.B. 30 Sekunden) ermittelten Messwerten beruhen; und Abspeichern des jeweiligen Referenzmusters in einem Speicher. Darüber hinaus umfasst das Betreiben des Fahrzeugs in dem Normalbetriebsmodus vorzugsweise folgende Schritte: Auslesen wenigstens eines Referenzmusters aus dem Speicher, wobei das Feststellen, ob das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht, unter Berücksichtigung zumindest einiger, bevorzugt sämtlicher Referenzmodellobjekte des wenigstens einen Referenzmusters erfolgt. Es versteht sich, dass die Schritte „Abspeichern“ und „Auslesen“ nicht notwendigerweise mit dem Betreiben eines nicht-flüchtigen Speichers zusammenhängen müssen. Vielmehr sind die Schritte auch in einem funktionalen Sinn zu verstehen, der auch die Verwendung flüchtiger Speicher einschließt. Vorzugsweise kommt ein in dem Fahrzeug angeordneter nicht-flüchtiger Speicher zum Einsatz, sodass die Referenzmuster wegen einer längeren Unterbrechung der Energieversorgung des Fahrzeugs nicht verloren gehen.
• Ein Referenzmuster umfasst allgemein einen oder mehrere Referenzmodellobjekte und bildet insofern eine Gruppe von Referenzmodellobjekten, die mit einem gemeinsamen Aufnahme- bzw. Messzeitpunkt korrespondieren und somit als ein „interpretiertes Abbild“ des Erfassungsbereichs aufgefasst werden können. Es ist möglich, die Auswertung jeweils für ein einzelnes Referenzmuster durchzuführen.
• Mit anderen Worten kann die Feststellung, ob ein jeweiliges Modellobjekt einem jeweiligen Referenzmodellobjekt entspricht, jeweils für ein einzelnes Referenzmuster getroffen und dementsprechend beschränkt werden. Die Effizienz des Verfahrens kann hierdurch beträchtlich erhöht werden. Ferner wird die Zuverlässigkeit der Feststellung erhöht, indem die relativen Unterschiede zwischen den Modellobjekten und den Referenzmodellobjekten in einem jeweiligen Referenzmuster berücksichtigt werden. Somit kann die Feststellung von Übereinstimmungen zwischen Modellobjekten und Referenzmodellobjekten für mehrere Modellobjekte gleichzeitig erfolgen.
• Allgemein kann das Feststellen, ob das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht, unter Verwendung eines Mustererkennungsalgorithmus durchgeführt werden. Dieser kann deterministisch oder aber auch statistisch definiert sein. Ferner kann der Mustererkennungsalgorithmus unter Verwendung des maschinellen Lernens zum Beispiel auf der Basis von Trainingsdaten trainiert sein. In Betracht kommt zum Beispiel ein neuronales Netzwerk, welches die in Rede stehende Feststellung mit hoher Zuverlässigkeit treffen kann. Es ist möglich, ein oder mehrere Abstandsmetriken zwischen einem jeweiligen Referenzmodellobjekt und einem jeweiligen Modellobjekt zu berechnen. Beispielsweise können Differenzen bezüglich einzelner oder mehrerer Parameter der Modellobjekte bestimmt werden und für die Feststellung herangezogen werden. Diese Differenzen können dann jeweils mit Schwellenwerten verglichen und gemeinsam ausgewertet werden.
• Nach einer weiteren Ausführungsform umfasst das Betreiben des Fahrzeugs in dem Erkundungsbetriebsmodus ferner ein Zuordnen einer Referenzposition des Fahrzeugs zu dem wenigstens einen Referenzmodellobjekt. Die Referenzposition kann eine Fahrzeugposition sein. Die Fahrzeugposition kann derjenigen zum Zeitpunkt der Ermittlung der Messwerte entsprechen, auf denen das Referenzmodellobjekt beruht. Die Fahrzeugposition kann in Bezug auf ein vordefiniertes Koordinatensystem definiert sein, zum Beispiel als GPS und/oder IPS Koordinaten. Es versteht sich, dass die Fahrzeugposition, welche als Referenzposition dienen soll, von dem Fahrzeug selbst ermittelt werden kann. Mit anderen Worten kann vor dem Schritt des Zuordnens der Referenzposition ein Schritt des Ermittelns der Referenzposition vorgesehen sein.
• Im Hinblick auf die einem jeweiligen Referenzmodellobjekt zugeordnete Referenzposition kann das Betreiben des Fahrzeugs in dem Normalbetriebsmodus ferner folgende Schritte umfassen: Ermitteln einer Position des Fahrzeugs auf der Grundlage der dem wenigstens einen Referenzmodellobjekt zugordneten Referenzposition, wenn festgestellt wird, dass das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht; Steuern des Fahrzeugs in Abhängigkeit von der ermittelten Position. Diese ermittelte Position kann auch als aktuelle Position bezeichnet werden.
• Die vorstehend geschilderte Ausführungsform in Bezug auf das Zuordnen einer jeweiligen Referenzposition zu einem jeweiligen Referenzmodellobjekt kann auch für den Fall von Referenzmustern verwirklicht sein. Hierbei umfasst das Betreiben des Fahrzeugs in dem Erkundungsbetriebsmodus vorzugsweise ein Zuordnen einer Referenzposition des Fahrzeugs zu einem jeweiligen Referenzmuster. Ferner umfasst das Betreiben des Fahrzeugs in dem Normalbetriebsmodus vorzugsweise folgende Schritte: Ermitteln einer Position des Fahrzeugs auf der Grundlage einer einem betreffenden Referenzmuster zugordneten Referenzposition des Fahrzeugs, wenn festgestellt wird, dass das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt des betreffenden Referenzmusters entspricht; und Steuern des Fahrzeugs in Abhängigkeit von der ermittelten Position des Fahrzeugs. Der Vorteil dieser Ausführungsform besteht darin, dass die Anzahl insgesamt zu speichernder Referenzpositionen reduziert wird, da vorzugsweise für sämtliche Referenzmodellobjekte eines Referenzmusters lediglich eine einzige Referenzposition zu berücksichtigen ist. Die Referenzposition kann entsprechend zu dem Fall einer Zuordnung zu einem jeweiligen Referenzmodellobjekt ermittelt werden, sofern die Referenzposition nicht anderweitig zur Verfügung steht. Neben einer Definition als GPS und oder IPS Koordinaten kommt auch eine Definition relativ zu einem Ursprungspunkt in Betracht, wobei die Abweichung über das sogenannte dead-reckoning-Prinzip ermittelt werden kann. Es ist zu beachten, dass im Erkundungsbetriebsmodus durchaus aufwändige Positionsermittlungen durchgeführt werden können. Durch Verwendung von Referenzpositionen wird hierauf im Normalbetriebsmodus allerdings verzichtet. Die Positionsermittlung auf der Grundlage der Referenzpositionen ist deutlich effizienter.
• Vorzugsweise werden das wenigstens eine Modellobjekt, das wenigstens eine Referenzmodellobjekt und die dem wenigstens einen Referenzmodellobjekt zugeordnete Referenzposition gemeinsam ausgewertet, um die Position des Fahrzeugs zu ermitteln. Hierbei können zum Beispiel Abweichungen zwischen dem Modellobjekt und dem Referenzmodellobjekt herangezogen werden, um die Abweichung der aktuellen Position von der Referenzposition und hieraus die gewünschte aktuelle Position zu ermitteln. Mit anderen Worten kann aus den Abweichungen zwischen den Modellobjekten und den Referenzmodellobjekten auf die Abweichung zwischen der aktuellen Position und der Referenzposition geschlossen, um die aktuelle Position zu ermitteln.
• Im Allgemeinen kann der Erkundungsbetriebsmodus zu einem gewünschten Zeitpunkt aktiviert werden, zum Beispiel wenn eine unbekannte Betriebsumgebung in das Fahrzeug eingelernt werden soll. Es ist jedoch auch möglich, dass sich die Betriebsumgebung verändert und dementsprechend Diskrepanzen zwischen einer eingelernten Betriebsumgebung und der aktuellen Betriebsumgebung auftreten. Vor diesem Hintergrund kann das Fahrzeug dazu angepasst sein, den Erkundungsbetriebsmodus in vorbestimmten zeitlichen Abständen selbsttätig zu aktivieren, um eine Betriebsumgebung des Fahrzeugs zu erkunden und/oder zu verifizieren. Hierbei können Referenzmodellobjekte, welche im Zuge eines zu einem früheren Zeitpunkt aktivierten Erkundungsbetriebsmodus ermittelt worden sind, ergänzt und/oder aktualisiert werden.
• Wie bereits weiter oben angedeutet kann das Fahrzeug in Bezug auf die jeweiligen Referenzmodellobjekten zugeordneten Modellobjekten und „neuen“ Modellobjekte, welche keinem Referenzmodellobjekt zugeordnet sind, unterschiedlich gesteuert werden. Beispielsweise kann in Abhängigkeit von der Feststellung, dass das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt entspricht, das Fahrzeug in Abhängigkeit des wenigstens einen Modellobjekts unter Verwendung einer ersten Menge von Steuerungsregeln gesteuert werden. Wenn jedoch festgestellt wird, dass das wenigstens eine Modellobjekt dem wenigstens einen Referenzmodellobjekt nicht entspricht, wird das Fahrzeug vorzugsweise in Abhängigkeit des wenigstens einen Modellobjekts unter Verwendung einer zweiten Menge von Steuerungsregeln gesteuert. Die erste und zweite Menge von Steuerungsregeln können sich insbesondere darin unterscheiden, dass eine Steuerungsanweisung in Bezug auf ein jeweiliges Modellobjekt im Falle der zweiten Menge von Steuerungsregeln früher eingeleitet wird, als Falle der ersten Steuerungsregeln. Mit anderen Worten können die Steuerungsregeln der zweiten Menge im Vergleich zur ersten Menge konservativer bzw. restriktiver definiert sein. Hierbei kann das Wissen ausgenutzt werden, dass die Modellobjekte, die einem jeweiligen Referenzmodellobjekt entsprechen, ortsfeste Objekte repräsentieren und insofern stationär sind. Es kann somit davon ausgegangen werden, dass sich die entsprechenden Modellobjekte nicht bewegen und der um die Modellobjekte zur Verfügung stehende Raum kann besser ausgenutzt werden. Hierzu abweichend ist bei neuen Modellobjekten, welche ein unbekanntes und somit unter Umständen auch bewegliches Objekt repräsentieren, in der Regel mehr Vorsicht geboten, sodass ein Ausweichmanöver vorsorglich früher eingeleitet wird.
• Nach einer weiteren Ausführungsform kann das zumindest eine Referenzmodellobjekt und/oder das zumindest eine Modellobjekt jeweils durch ein binäres Datenobjekt, insbesondere durch ein BLOB (binary large object) gebildet sein. Wie bereits weiter oben erläutert kann hierdurch eine Reduzierung der Datenmenge erreicht werden.
• Vorzugsweise ist der Sensor ein optischer Sensor, welcher wenigstens eine 3D-Kamera, bevorzugt eine TOF-(time of flight)-Kamera, mit einer Beleuchtungseinheit und einem Bildsensor aufweist. Die Messwerte können separat für einzelne Bildpunkte des Bildsensors ermittelt werden und Distanzwerte umfassen, die jeweils eine Distanz bzw. einen Abstand zwischen dem optischen Sensor (insbesondere dem Bildsensor) und einem Raumpunkt im Erfassungsbereich angeben. Vorzugsweise umfassen die Messwerte auch Intensitätswerte des Erfassungsbereichs, die ebenfalls unter Verwendung des optischen Sensors ermittelt werden.
• Das Verfahren kann nach einer weiteren Ausführungsform ferner folgende Schritte umfassen: Bestimmen von Objekterfassungsdaten umfassend zumindest Messwerte des Erfassungsbereichs, die ermittelt werden, wenn sich Objekte in dem Erfassungsbereich befinden und der Erfassungsbereich bevorzugt von einer von der Beleuchtungseinheit ausgesandten Strahlung beaufschlagt ist; Bestimmen von Referenzerfassungsdaten umfassend zumindest Messwerte des Erfassungsbereichs, die ermittelt werden, wenn sich kein Objekt in dem Erfassungsbereich befindet und/oder der Erfassungsbereich nicht von einer von der Beleuchtungseinheit ausgesandten Strahlung beaufschlagt ist; wobei das Ermitteln von Modellobjekten auf der Grundlage der Objekterfassungsdaten und der Referenzerfassungsdaten erfolgt.
• Ein Aspekt dieser Ausführungsform besteht darin, dass neben Objekterfassungsdaten, welche die Information über eventuell im Erfassungsbereich befindliche Objekte enthalten, Referenzerfassungsdaten herangezogen werden. Die Referenzerfassungsdaten können in vorbestimmten, z.B. regelmäßigen oder unregelmäßigen, zeitlichen Abständen ermittelt werden und dienen im Wesentlichen dazu, eine hohe Erfassungszuverlässigkeit zu gewährleisten. Daneben erlaubt der Einsatz von Referenzerfassungsdaten auch eine spezifischere und somit mitunter schnellere Auswertung der Objekterfassungsdaten.
• Bestimmte Messwerte der Referenzerfassungsdaten, insbesondere Referenzintensitätswerte werden vorzugsweise bei ausgeschalteter Beleuchtungseinheit ermittelt, d.h. diese Messwerte der Referenzerfassungsdaten repräsentieren eine „Hintergrundbeleuchtung“, die häufig variabel ist, z.B. bedingt durch unterschiedlich starkes Tageslicht. Ein variables Umgebungslicht wird somit durch die Referenzerfassungsdaten bzw. einem Teil hiervon quantifiziert und kann dementsprechend bei der Auswertung der Objekterfassungsdaten vorteilhaft berücksichtigt werden, z.B. indem Messwerte in Relation zueinander gesetzt werden, um eine Normalisierung bzw. Kompensation zumindest der interessierenden Messwerte zu erreichen.
• Hintergrund- bzw. Umgebungslicht kann bezüglich der Messwerte auch als (Hintergrund-) Rauschen aufgefasst werden, welches die Messwerte der Objekterfassungsdaten gegenüber einer definierten Beleuchtungs-Charakteristik der Beleuchtungseinheit mehr oder weniger verfälscht. Insofern können Messwerte zwischen den Objekterfassungsdaten und den Referenzerfassungsdaten im Sinne eines Signal-zu-Rausch-(SNR)-Verhältnisses zueinander in Beziehung gesetzt werden. Ein SNR-Verhältnis kann insbesondere für einzelne Messwerte bzw. Bildpunkte ermittelt und sodann in die Auswertung der Objekterfassungsdaten einfließen, um die mit der Erfindung verbundenen Vorteile zu mehren, insbesondere die Erfassungszuverlässigkeit zu steigern.
• Vorzugsweise umfassen die Messwerte, die durch den Bildsensor ermittelt werden, zumindest Distanz- und/oder Intensitätswerte des Erfassungsbereichs. Die Distanzwerte repräsentieren allgemein einen Abstand bzw. eine Distanz zwischen der 3D-Kamera und einem Ortspunkt im Erfassungsbereich. Dieser Abstand kann z.B. durch Messung der Laufzeit eines gepulsten Lichtstrahls (z.B. Laser) von der Beleuchtungseinheit hin zu dem Ortspunkt (Reflexionspunkt) und von dem Ortspunkt zu einem Bildpunkt (Pixel) des Bildsensors ermittelt werden. Zusätzlich oder alternativ kann die Phasenverschiebung eines Lichtstrahls gemessen werden, der diesen Weg nimmt, um hieraus einen Distanzwert zu berechnen. Es kann für jeden Bildpunkt des Bildsensors ein jeweiliger Distanzwert ermittelt werden, um ein ortsaufgelöstes Tiefenbild zu erhalten, welches auch als 3D-Bild oder „3D-Punktwolke“ bezeichnet werden kann.
• Ein jeweiliger Intensitätswert des Erfassungsbereichs repräsentiert allgemein einen Helligkeitswert, der ebenfalls einem jeweiligen Bildpunkt des Bildsensors zugeordnet und etwa durch eine jeweilige Photodiode erfasst wird. Entsprechend zu den Distanzwerten kann für jeden Bildpunkt ein Intensitätswert ermittelt werden, um ein ortsaufgelöstes Helligkeitsbild des Erfassungsbereichs zu erhalten, welches auch als Amplitudenbild bezeichnet werden kann.
• Im Allgemeinen sind die Distanz- und Intensitätswerte jeweils demselben Bildpunkt zugeordnet, durch den die jeweils betreffenden Distanz- und Intensitätswerte ermittelt werden. Distanz- und Intensitätswerte bilden somit einen bzw. mehrere Pixelwerte eines zugeordneten Pixels und repräsentieren einen jeweiligen Ortspunkt im Erfassungsbereich. Die Messwerte können auch als 3D-Punktwolke aufgefasst werden, weil durch die jeweiligen Distanzwerte nicht nur eine zweidimensionale sondern sogar eine dreidimensionale Verteilung von Punkten vorliegt.
• Die Messwerte der Objekterfassungsdaten können den im Normalbetriebsmodus ermittelten Messwerten entsprechen und Distanzwerte und Intensitätswerte des Erfassungsbereichs umfassen. Die Messwerte der Referenzerfassungsdaten können Referenzdistanzwerte und Referenzintensitätswerte des Erfassungsbereichs umfassen. Die Referenzdistanzwerte werden hierbei vorzugsweise durch Distanzwerte ermittelt, wenn sich zwar Referenzobjekte, aber keine Objekte in dem Erfassungsbereich befinden und sich das Fahrzeug in dem Erkundungsbetriebsmodus befindet. Die Referenzintensitätswerte werden vorzugsweise durch Intensitätswerte ermittelt, wenn der Erfassungsbereich nicht von einer von der Beleuchtungseinheit ausgesandten Strahlung beaufschlagt ist.
• Es können somit eine oder mehrere Referenzerfassungsbedingungen definiert werden. Eine Referenzerfassungsbedingung zur Ermittlung von Referenzdistanzwerten kann wie oben erwähnt z.B. dadurch definiert sein, dass sich abgesehen von Referenzobjekten keine Objekte in dem Erfassungsbereich befinden. Zur Erhöhung der Erfassungszuverlässigkeit können Referenzintensitätswerte in dem Erkundungsbetriebsmodus als auch in dem Normalbetriebsmodus ermittelt werden.
• Die Referenzintensitätswerte können zu einer ortsaufgelösten Karte zusammengefasst sein, welches zumindest das Hintergrundlicht repräsentiert, welches den Erfassungsbereich bei ausgeschalteter Beleuchtungseinheit beaufschlagt. Die Referenzintensitätswerte können dann auch als „Rauschkarte“ oder „Ambient-Bild“ bezeichnet werden. Darüber hinaus können die Referenzintensitätswerte auch im Sinne von herkömmlichen Grauwerten als ein Abbild des Erfassungsbereichs interpretiert werden.
• Die Referenzintensitätswerte werden vorzugsweise in regelmäßigen zeitlichen Abständen ermittelt, insbesondere kurz vor oder nach dem Bestimmen von Objekterfassungsdaten. Es können während des Bestimmens der Referenzerfassungsdaten (d.h. während einer Referenzerfassungsbedingung) auch Objekte in dem Erfassungsbereich vorhanden sein, z.B. wenn lediglich Referenzintensitätswerte bestimmt werden.
• Nach einer weiteren Ausführungsform werden für zumindest einige Bildpunkte des Bildsensors Relativintensitätswerte bestimmt, die jeweils für den betreffenden Bildpunkt ein Verhältnis zwischen einem Intensitätswert der Objekterfassungsdaten und einem Referenzintensitätswert der Referenzerfassungsdaten repräsentieren. Die Ermittlung des jeweiligen Modellobjekts kann dann vorteilhaft auf relative Objekterfassungsdaten gestützt werden, die auf der Grundlage zumindest einer vorbestimmten Relation von Messwerten zwischen den Objekterfassungsdaten und den Referenzerfassungsdaten und unter Heranziehung der Relativintensitätswerte bestimmt werden. Bei der vorbestimmten Relation kann es sich insbesondere um eine Differenz oder einen Quotienten handeln, sodass die relativen Objekterfassungsdaten eine Abweichung der Objekterfassungsdaten von den Referenzerfassungsdaten beschreiben. Durch Relativintensitätswerte wird eine SNR-Information und somit eine „Messgenauigkeit“ bei der Ermittlung der Modellobjekte berücksichtigt, um die Erfassungsgenauigkeit zu verbessern bzw. unabhängig von einer jeweiligen Umgebungslichtsituation auf einem im Wesentlichen konstanten Niveau zu halten.
• Allgemein ist es möglich, Differenzwerte zu bestimmen, die jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren, wobei die Ermittlung des jeweiligen Modellobjekts auf die Differenzwerte gestützt wird. Die Differenzwerte bilden vorzugsweise die Grundlage zur Bestimmung der relativen Objekterfassungsdaten. Die relativen Objekterfassungsdaten können auch unmittelbar durch die Differenzwerte gebildet sein. Hierbei kann es sich zunächst um Rohdifferenzwerte handeln, die zur Reduzierung von unerwünschten Einflüssen gefiltert werden, bevor die eventuell vorhandenen Modellobjekte ermittelt werden. Die Differenzwerte können insbesondere pro Bildpunkt bestimmt werden, z.B. für sämtliche Bildpunkte des Bildsensors. Auf diese Weise kann eine hochaufgelöste Darstellung des Erfassungsbereichs bereitgestellt werden.
• Die Differenzwerte können einem ersten Schwellenwertfilter und/oder einem Faltungsfilter unterzogen werden, um die nachfolgende Ermittlung von Modellobjekten im Sinne einer hohen Erfassungspräzision zu verbessern. Hierbei kann das erste Schwellenwertfilter dazu angepasst sein, die Differenzwerte zu binarisieren, d.h. ein jeweiliger Differenzwert wird in Abhängigkeit eines Schwellenwerts entweder auf den Wert Null oder Eins gesetzt. Auf diese Weise kann entschieden werden, ob ein jeweiliger Differenzwert überhaupt zur nachfolgenden Ermittlung von Modellobjekten herangezogen werden soll oder nicht. Eher kleinere Differenzwerte, die beispielsweise aus Messfehlern resultieren können, können durch Binarisierung effizient weggefiltert werden. Es ist jedoch auch möglich, die Differenzwerte durch mehrere Schwellenwertfilter zu verarbeiten, um feinere Kriterien anzulegen. Das Faltungsfilter ist bevorzugt als Glättungsfilter ausgebildet. Auf diese Weise können auch hochfrequente Anteile in den Differenzwerten, die ebenfalls durch unerwünschte Messungenauigkeiten hervorgerufen sein können, reduziert werden. Das Glättungsfilter kann durch einen gleitenden Mittelwert, d.h. durch ein gleitendes Mittelwertfilter realisiert werden.
• Nach einer weiteren Ausführungsform können Relativwerte auf der Grundlage einer vorbestimmten Relation zwischen Messwerten der Objekterfassungsdaten und Messwerten der Referenzerfassungsdaten bestimmt und auf die Differenzwerte angewendet werden, z.B. indem die Differenzwerte mit den Relativwerten gewichtet werden. Bestimmte Informationen, die in den Differenzwerten versteckt oder kodiert sind, werden durch die Relativwerte hervorgehoben. Die Relativwerte können z.B. Relativdistanzwerte umfassen, die jeweils ein Verhältnis zwischen einem Differenzwert und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren. Durch Gewichtung der Differenzwerte, bei denen es sich insbesondere um Rohdifferenzwerte handeln kann, mit Relativdistanzwerten können solche Differenzwerte, die stark von einem jeweils zugeordneten Referenzdistanzwert abweichen, in den relativen Objekterfassungsdaten betont, d.h. angehoben werden.
• Alternativ oder zusätzlich können die Relativwerte Relativintensitätswerte umfassen, die jeweils ein Verhältnis zwischen einem Intensitätswert der Objekterfassungsdaten und einem Referenzintensitätswert der Referenzerfassungsdaten repräsentieren. Durch eine Gewichtung der Differenzwerte mit den Relativintensitätswerten kann eine vorteilhafte Kontrasterhöhung herbeigeführt werden. Die gewichteten Differenzwerte können zudem allgemein so interpretiert werden, dass sie eine Relevanz der zugrundeliegenden Messwerte repräsentieren.
• Nach einer weiteren Ausführungsform können die Differenzwerte einem zweiten Schwellenwertfilter unterzogen werden. Dies kann sinnvoll sein, weil die vormals binären Differenzwerte durch die mögliche Glättung und Gewichtung mit Relativwerten wieder einen kontinuierlichen Wertebereich abdecken können, der für die Ermittlung der insbesondere binären Modellobjekte nicht immer besonders vorteilhaft ist. Zu diesem Zweck kann das zweite Schwellenwertfilter vorgesehen werden, welches unterschiedlich zu dem ersten Schwellenwertfilter ausgebildet sein kann. Das zweite Schwellenwertfilter kann auf wenigstens einem Schwellenwert basieren, der konstant oder abhängig von den Objekterfassungsdaten und/oder den Referenzerfassungsdaten und/oder einer Bildpunktposition ist. Mit anderen Worten kann der Schwellenwert vordefiniert oder dynamisch bestimmt werden. Im Hinblick auf eine möglichst schnelle, insbesondere echtzeitfähige Anwendung des Verfahrens ist ein konstanter Schwellenwert bevorzugt. Ferner ist das zweite Schwellenwertfilter vorzugsweise dazu angepasst, die Differenzwerte zu binarisieren.
• Die vorstehend genannten Verfahrensschritte bezüglich der Differenzwerte können in der vorstehend genannten Reihenfolge durchgeführt werden. Es sind jedoch auch abweichende Reihenfolgen möglich, wobei auch andere Kombinationen von Verfahrensschritten denkbar sind, die nicht sämtliche der vorstehend genannten Verfahrensschritte oder andere Verfahrensschritte umfassen.
• Wie bereits oben angedeutet, können die Differenzwerte jeweils für einen zugeordneten Bildpunkt des Bildsensors bestimmt werden, sodass stets von einem ortsaufgelösten Differenzbild bzw. einer Referenzkarte des Erfassungsbereichs ausgegangen werden kann.
• Nach einer weiteren Ausführungsform wird das jeweilige Modellobjekt auf der Grundlage der Differenzwerte ermittelt, wobei die Differenzwerte zu einer Karte (d.h. einem ortsaufgelösten Bild) zusammengefasst sind, die den Erfassungsbereich repräsentiert. Die Karte kann dann einer Clusteranalyse, bevorzugt einem Bildsegmentierungsverfahren unterzogen werden, um das jeweilige Modellobjekt zu ermitteln. Da der Ermittlung von Modellobjekten hierbei Differenzwerte zugrunde gelegt werden, die neben der zweidimensionalen Karte als dritte Dimension Distanzwerte repräsentieren, kann ein jeweiliges Modellobjekt allgemein dreidimensional definiert sein. Wie bereits weiter oben erwähnt kann ein Modellobjekt beispielsweise als Quader ausgebildet sein, wobei zusätzlich zu den klassischen Parametern eines Quaders weitere Parameter zur Definition des Modellobjekts verwendet werden können. Eine etwaige nachfolgende Auswertung mehrerer Modellobjekte kann unter Berücksichtigung zusätzlicher Parameter, welche zusätzlich zu einer geometrischen Definition eines Modellobjekts dienen, vereinfacht oder verbessert werden.
• Ein jeweiliger Differenzwert kann auf der Grundlage des zugehörigen Distanzwerts und vordefinierter Kameraparameter (z.B. Einstellwinkel der 3D-Kamera und Anbauhöhe) in einen Raumpunkt umgerechnet werden, der insbesondere die Position des Reflexionspunkts bei der Ermittlung des Distanzwerts angibt.
• Im Zuge der Ermittlung des jeweiligen Modellobjekts werden die zugrundeliegenden Differenzwerte vorzugsweise binär dahingehend ausgewertet, ob ein betreffender Differenzwert von einem Objekt verursacht worden ist, oder nicht. Sofern ein Differenzwert als von einem Objekt verursacht klassifiziert wird, wird dieser Differenzwert geometrisch regelmäßig innerhalb des Modellobjekts liegen und somit dem Modellobjekt zugeordnet. Das finale Modellobjekt wird dann einen Cluster von Differenzwerten beinhalten, die von dem Modellobjekt umgeben sind. Einzelne Differenzwerte können geometrisch gesehen aber auch außerhalb eines Modellobjekts liegen. Das Modellobjekt kann in tatsächliche Raumgrößen umgerechnet werden, sodass die Größenparameter des Modellobjekts zumindest annähernd mit den Größen des Objekts korrespondieren. Die dem Modellobjekt zugeordneten Differenzwerte können wie erwähnt in Raumpunkte umgerechnet werden, die zumindest überwiegend innerhalb des Modellobjekts liegen.
• Ein jeweiliges Modellobjekt kann zumindest durch einen der folgenden Parameter definiert sein:
• - Position eines einem maximalem Differenzwert zugeordneten Raumpunkts, wobei der maximale Differenzwert dem jeweiligen Modellobjekt zugeordnet ist und eine maximale Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentiert;
• - relative Anzahl von dem jeweiligen Modellobjekt zugeordneten Differenzwerten, die jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren und größer einem vorbestimmten Schwellenwert sind;
• - Position des jeweiligen Modellobjekts;
• - wenigstens einen Größenparameter des jeweiligen Modellobjekts;
• - minimaler Distanzwert der Bildpunkte, deren Differenzwerte dem jeweiligen Modellobjekt zugeordnet sind und/oder Position eines dem minimalen Distanzwert zugeordneten Raumpunkt, wobei die Differenzwerte jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren;
• - maximaler Distanzwert der Bildpunkte, deren Differenzwerte dem jeweiligen Modellobjekt zugeordnet sind und/oder Position eines dem maximalen Distanzwert zugeordneten Raumpunkts, wobei die Differenzwerte jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren.
• Es ist möglich, ein jeweiliges Modellobjekt durch sämtliche oder eine Kombination von einigen der oben genannten Parameter zu definieren. Ferner kann ein jeweiliges Modellobjekt durch lediglich einen der genannten Parameter definiert sein.
• Die Position eines einem maximalem Differenzwert zugeordneten Raumpunkts kann aufgrund der hohen Abweichung von den Referenzdaten als besonders relevant für die Objekterfassung angesehen werden. Die Position dieses Raumpunkts kann insofern auch als Schwerpunkt des betreffenden Modellobjekts interpretiert werden.
• Die relative Anzahl von Differenzwerten „innerhalb des jeweiligen Modellobjekts“, die einen Differenzwert größer einem vorbestimmten Schwellenwert aufweisen, kann auch Füllgrad des Modellobjekts bezeichnet werden.
• Die Position eines Raumpunkts kann bezüglich eines vorbestimmten Koordinatensystems definiert sein (z.B. ein kartesisches Koordinatensystem).
• Wie bereits oben erwähnt kann die Definition der Modellobjekte ebenso für die Referenzmodellobjekte verwirklicht sein.
• Die Feststellung, ob ein Modellobjekt einem Referenzmodellobjekt entspricht bzw. mit diesem übereinstimmt, kann unter Heranziehung der Parameter des Modellobjekts und des Referenzmodellobjekts getroffen werden. Vorzugsweise werden die Parameter jeweils miteinander verglichen, um die Feststellung zu treffen. Dies kann Bestandteil der Auswahlregel sein, wie weiter oben erläutert. Hierbei kann z.B. vorgesehen sein, dass vorbestimmte Parameter der zu vergleichenden Modellobjekte nur eine vordefinierte relative Abweichung zueinander aufweisen dürfen, um eine Entsprechung zwischen den Modellobjekten festzustellen. Andernfalls wird keine Entsprechung festgestellt. Die relative Abweichung kann somit als ein Toleranzband aufgefasst werden (z.B. plus/minus 10 Prozent Abweichung). Die Auswahlregel kann z.B. vorsehen, dass die Position eines einem maximalem Differenzwert zugeordneten Raumpunkts, der Füllgrad sowie der minimale Distanzwert zwischen dem zu vergleichenden Modellobjekt und Referenzmodellobjekt jeweils nur eine vordefinierte relative Abweichung aufweisen dürfen, um eine Entsprechung festzustellen.
• Nach einer Ausführungsform ist das Modellobjekt zumindest durch eine Position des Modellobjekts und/oder durch eine Minimaldistanz zwischen dem Modellobjekt und dem Sensor definiert. Ferner kann das Modellobjekt durch die Position und/oder den Wert eines Messwertes und/oder hiervon abgeleiteten Werts definiert sein, der für das Modellobjekt relativ zu den anderen Werten groß ist und z.B. ein Maximum bildet.
• Die Erfindung bezieht sich ferner auf einen optischen Sensor, der wenigstens eine 3D-Kamera, bevorzugt eine TOF-(time of flight)-Kamera, mit einer Beleuchtungseinheit, einem Bildsensor sowie einer Steuer- und Auswerteeinheit aufweist, wobei die Steuer- und Auswerteeinheit dazu angepasst ist, das Verfahren nach zumindest einer der vorstehend beschriebenen Ausführungsformen durchzuführen. Das Verfahren kann aus Zuverlässigkeits- und Effizienzgründen als one-pass-Algorithmus implementiert sein, insbesondere in einem field-programmable-gate array.
• Die Erfindung bezieht sich ferner auf ein autonomes Fahrzeug mit einem Sensor, welcher dazu ausgebildet ist, das Verfahren nach zumindest einem der vorstehend beschriebenen Ausführungsformen durchzuführen, wobei der Sensor bevorzugt gemäß dem vorstehend genannten optischen Sensor ausgebildet ist.
• Die Erfindung wird nachfolgend lediglich beispielhaft anhand der Zeichnungen erläutert, in denen:
• 1 schematisch ein autonomes Fahrzeug mit einem optischen Sensor zur Erfassung von Objekten zeigt;
• 2 perspektivisch ein weiteres autonomes Fahrzeug mit einem optischen Sensor zur Erfassung von Objekten zeigt;
• 3 ein Ablaufdiagramm zur Veranschaulichung eines Algorithmus zur Ermittlung von Modellobjekten zeigt;
• 4 eine schematische Visualisierung von Parametern eines Modellobjekts zeigt;
• 5 eine schematische Visualisierung eines „Füllgrad“-Parameters eines Modellobjekts zeigt, wobei 5a ein Modellobjekt mit einem hohen Füllgrad und 5b ein Modellobjekt mit einem geringen Füllgrad zeigt;
• 6 das Fahrzeug von 1 zeigt, welches in Abhängigkeit einer Bewegungsbahn eines Objekts gesteuert wird;
• 7 das Fahrzeug von 1 mit schematischen Modellobjekten und Referenzmodellobjekten zeigt;
• 8 das Fahrzeug von 7 zeigt, wobei sich das Fahrzeug in zwei unterschiedlichen Positionen befindet.
• In den Figuren sind ähnliche oder sich entsprechende Elemente mit denselben Bezugszeichen gekennzeichnet.
• 1 zeigt schematisch ein autonomes Fahrzeug 10, welches einen optischen Sensor 12, eine Antriebssteuerung 16 für das Fahrzeug 10 sowie eine Steuer- und Auswerteeinheit 14 aufweist, die mit dem optischen Sensor 12 und der Antriebssteuerung 16 verbunden ist. Der optische Sensor 12 umfasst eine TOF-(time-of-flight)-Kamera mit einem Bildsensor sowie einer Beleuchtungseinheit (nicht gezeigt). Der optische Sensor 12 ist dazu angepasst, Messwerte eines mittels einer gestrichelten Linie angedeuteten dreidimensionalen Erfassungsbereichs 18 zu ermitteln. Auf der Grundlage der ermittelten Messwerte werden dann unter Verwendung der Steuer- und Auswerteeinheit 14 Objekte 20, 20', 20" erfasst, die sich in dem Erfassungsbereich 18 befinden. Die in 1 schematisch angedeuteten Objekte 20, 20', 20" können grundsätzlich beliebig geformt und in dem Erfassungsbereich 18 angeordnet sein. Es ist auch möglich, dass sich noch weitere Objekte oder auch keine Objekte in dem Erfassungsbereich 18 befinden. Die Beleuchtungseinheit (nicht gezeigt) ist in den optischen Sensor 12 integriert und dient dazu, den Erfassungsbereich 18 zu beleuchten, um präzisere Messwerte zu erhalten. Insbesondere kann der Erfassungsbereich 18 beleuchtet werden, wenn sich die Objekte 20, 20', 20" in dem Erfassungsbereich 18 befinden und zu deren Erfassung Distanz- und Intensitätswerte ermittelt werden. Dies wird nachfolgend noch genauer erläutert.
• Im Folgenden wird zunächst eine beispielhafte Ermittlung von Modellobjekten beschrieben, welche der autonomen Steuerung des Fahrzeugs 10 zugrunde gelegt werden können. Eine Unterscheidung zwischen Referenzmodellobjekten, welche in einem Erkundungsbetrieb des Fahrzeugs 10 ermittelt werden, und Modellobjekten, welche in einem Normalbetrieb des Fahrzeugs 10 ermittelt werden, wird weiter unten anhand von 7 erläutert.
• In Anlehnung an das anhand von 1 erläuterte Erfassungsszenario ist in 2 eine Perspektivansicht auf ein autonomes Fahrzeug 10' gezeigt, welches entsprechend zu dem autonomen Fahrzeug 10 von 1 ausgebildet ist. Das autonome Fahrzeug 10' befindet sich auf einem kariert angedeuteten Boden 28. Der optische Sensor 12 des Fahrzeugs 10', der in 2 nicht gezeigt ist, liefert eine Vielzahl von Messwerten 22 (oder Messpunkten), die jeweils einen Punkt im Raum (Raumpunkt) repräsentieren und in 2 als 3D-Punktwolken angedeutet sind. Die Messwerte 22 umfassen Distanzwerte, die jeweils einen Abstand zwischen dem optischen Sensor 12 und einem (Reflexions-)punkt im Raum angeben. Die zweidimensionale Verteilung der Messwerte 22 in 2 ergibt sich aus einer zweidimensionalen Erstreckung des Bildsensors der in den optischen Sensor 12 integrierten TOF-Kamera, die vorzugsweise mit einer Optik ausgestattet ist (nicht gezeigt). Anstelle eines im Wesentlichen quadratischen Bildsensors sind aber auch andere Anordnungen von Photodioden denkbar, z.B. linear angeordnete Photodioden.
• Eine erste Gruppe von Messwerten 22' weist relativ kurze Distanzwerte auf, sodass sich die entsprechenden Punkte im Raum relativ nah vor dem Fahrzeug 10' befinden (2). Eine weitere Gruppe von Messwerten 22" besitzt relativ große Distanzwerte, sodass sich die entsprechenden Punkte im Raum vergleichsweise weit vor dem Fahrzeug 10' befinden (vgl. auch 2). Die Messwerte 22" sind auf einen vordefinierten Maximalwert beschränkt. Die zwischen den „nahen“ Messwerten 22' und den „fernen“ Messwerten 22" befindlichen Messwerte 22 sind durch zwei benachbart zueinander angeordneten menschliche Beine 24, 24' verursacht und bilden dementsprechend zwei Cluster von Messwerten 22. Die Beine 24, 24' sind in 2 nur durch die verursachten Messwerte 22 angedeutet. Im Zuge einer nachfolgend noch genauer erläuterten Auswertung der Messwerte 22 wird für jedes Cluster bzw. jedes Bein 24, 24' ein Modellobjekt 26, 26' ermittelt, welches ein jeweils zugrunde liegendes Objekt, im vorliegenden Fall also ein jeweiliges Bein 24, 24' repräsentiert. Auf diese Weise werden Objekte erfasst.
• Ein Verfahren zur Erfassung von Objekten wird nachfolgend anhand von 3 erläutert. Das Verfahren beginnt bei der Bezugsziffer 30. Im Entscheidungspunkt 32 wird überprüft, ob Referenzdistanzwerte vorliegen oder nicht. Sofern Referenzdistanzwerte nicht vorliegen, werden diese in Schritt 34 ermittelt. Die Referenzdistanzwerte werden vorzugsweise unter einer Referenzerfassungsbedingung ermittelt, wobei sichergestellt wird, dass sich keine dynamischen sondern lediglich ortsfeste Objekte in dem Erfassungsbereich 18 befinden und dieser während der Erfassung der Referenzdistanzwerte durch die Beleuchtungseinheit beleuchtet wird. Darüber hinaus ist der Erkundungsbetriebsmodus an dem Fahrzeug 10 aktiviert. Sofern im Entscheidungspunkt 32 festgestellt wird, dass die Referenzdistanzwerte bereits vorliegen, wird direkt mit Schritt 36 fortgefahren. In Schritt 36 werden allgemein Objekterfassungsdaten sowie weitere Referenzerfassungsdaten (zusätzlich zu den Referenzdistanzwerten) bestimmt, wobei an dem Fahrzeug 10 der Normalbetriebsmodus aktiviert ist. Insbesondere werden in Schritt 36 Distanzwerte, Intensitätswerte sowie Referenzintensitätswerte des Erfassungsbereichs 18 ermittelt. In Schritt 38 werden sodann Differenzwerte bestimmt, die jeweils für einen Bildpunkt eine Differenz zwischen einem Distanzwert und einem Referenzdistanzwert repräsentieren und dementsprechend auch als Differenzdistanzwerte bezeichnet werden können. In Schritt 40 werden die Differenzwerte einem ersten Schwellenwertfilter und einem Glättungsfilter unterzogen, um eine nachfolgende Auswertung der Differenzwerte zu erleichtern.
• Das erste Schwellenwertfilter ist vorzugsweise dazu ausgelegt, die Differenzwerte zu binarisieren. Auf der Grundlage der Differenzwerte werden Relativdistanzwerte (Schritt 42) sowie Relativintensitätswerte (Schritt 44) bestimmt. Anstelle der durch Schritt 40 gefilterten Differenzwerte können auch die ungefilterten Differenzwerte verwendet werden. Die Relativdistanzwerte können als Relativdifferenzdistanzwerte ermittelt werden, indem jeweils ein Quotient zwischen den Differenzwerten und den Referenzdistanzwerten berechnet wird. Die Relativintensitätswerte werden vorzugsweise jeweils durch einen Quotienten zwischen den Intensitätswerten und den Referenzintensitätswerten gebildet. Die Relativintensitätswerte repräsentieren ein Signal-zu-Rausch Verhältnis des optischen Sensors 12.
• In Schritt 46 werden die ungefilterten Differenzwerte mit den Relativdistanzwerten aus Schritt 42 gewichtet, insbesondere multipliziert. In Schritt 48 werden die Differenzwerte zusätzlich mit den Relativintensitätswerten gewichtet, insbesondere multipliziert. Sodann werden die Differenzwerte durch ein zweites Schwellenwertfilter in Schritt 50 binarisiert. Auf der Grundlage der erhaltenen Differenzwerte werden sodann Modellobjekte in Schritt 52 ermittelt, insbesondere unter Verwendung eines Segmentierungsverfahrens auf der Grundlage der Differenzwerte. Hierbei können auch weitere Daten herangezogen werden, insbesondere unverarbeitete Rohmesswerte des optischen Sensor 12 sowie Einstellungsparameter der TOF-Kamera. Beispielhaft sind in 2 die Modellobjekte 26, 26' gezeigt, die im Wesentlichen quaderförmig sind.
• In 4 ist ein weiteres Modellobjekt 26 gezeigt, welches ebenfalls quaderförmig ausgebildet ist. Sämtliche Differenzwerte, die einem jeweiligen Modellobjekt 26 zugeordnet werden, repräsentieren Punkte, die sich im Wesentlichen innerhalb des Modellobjekts 26 befinden. Das Modellobjekt 26 kann insofern als eine modellierte „Hülle“ des zugrundeliegenden Objekts interpretiert werden. Das Modellobjekt 26 kann allgemein durch mehrere geometrische Parameter definiert werden und hierdurch geometrisch standardisiert sein. Insbesondere kann das Modellobjekt 26 durch eine Höhe 54, eine Tiefe 56 und eine Breite 58 definiert sein. Da die Messwerte 22 in Bezug auf den optischen Sensor 12 ermittelt werden, kann als Bezug für das Modellobjekt 26 ein Punkt 60 angegeben werden, der die Position des optischen Sensors 12 als Ursprung eines Koordinatensystems (z.B. 0, 0, 0) angibt. Innerhalb des Modellobjekts 26 wird ein Punkt 62 identifiziert, der einen Messwert mit einer minimalen Distanz zum Punkt 60 aufweist. Die entsprechende Distanz ist durch einen Abstandsvektor 64 angedeutet. Die Position des Punkts 62 kann als weiterer Parameter des Modellobjekts 26 herangezogen werden. Darüber hinaus kann die Position eines Punktes 66 als Parameter für das Modellobjekt 26 herangezogen werden. Der dem Punkt 66 zugrunde liegende Messwert ist vorzugsweise durch einen maximalen Differenzwert gekennzeichnet und stellt insofern einen Messwert dar, der zur Charakterisierung des durch das Modellobjekt 26 zu erfassenden Objekts 24 eine besondere Relevanz besitzt. Im Hinblick auf die Steuerung des autonomen Fahrzeugs 10, 10' können potentielle Kollisionen mit einem Objekt besonders gut verhindert werden, wenn die Position des Punkts 66 als Parameter für das Modellobjekt 26 verwendet wird.
• Als weiterer Parameter für das Modellobjekt 26 kann ein Füllgrad definiert werden, dessen Bedeutung in 5 veranschaulicht ist. Der Füllgrad ist durch die relative Anzahl von Punkten innerhalb des jeweiligen Modellobjekts 26 definiert, die jeweils einen Differenzwert zwischen einem Distanzwert und einem Referenzdistanzwert aufweisen, welcher jeweils größer als ein vorbestimmter Schwellenwert ist. Mit anderen Worten gibt der Füllgrad an, wieviele Messpunkte innerhalb eines Modellobjekts 26 tatsächlich „auf/in dem Objekt liegen“, welches durch das Modellobjekt 26 repräsentiert wird. Je höher der Füllgrad, desto eher kann davon ausgegangen werden, dass die Umrisse des Modellobjekts 26 eine tatsächliche Grö-ße oder Form des zu erfassenden Objekts beschreiben. In 5a ist ein Modellobjekt 26 mit einer hohen relativen Zahl von Punkten 68 gezeigt, die höher als der vorbestimmte Schwellenwert (z.B. Null) sind und dementsprechend zu einem hohen Füllgrad führen. Diese Punkte 68 sind in 5a durch eine schraffierte Fläche angedeutet. Im Gegensatz hierzu besitzt das in 5b gezeigte Modellobjekt 26 eine geringe Zahl von solchen Punkten 68, die entlang einer Linie angeordnet sind. Das Modellobjekt 26 beschreibt die Form des Objekts, welches die Punkte 68 „verursacht“ hat, somit vergleichsweise rudimentär. Die Berücksichtigung des Füllgrads zur Definition der Modellobjekte 26 führt zu einer zuverlässigeren Steuerung von autonomen Fahrzeugen 10, 10', die in Abhängigkeit solcher Modellobjekte 26 gesteuert werden.
• Es versteht sich, dass noch weitere oder andere Parameter zur Definition der Modellobjekte 26 verwendet werden können. Die Modellobjekte 26 führen zu einer signifikanten Datenreduktion gegenüber den zugrundeliegenden Messwerten. Gleichzeitig wird durch ein jeweiliges Modellobjekt 26 ein geometrisch eindeutiger Korridor definiert, aus dem klar hervorgeht, ab wann eine potentielle Kollision mit hoher Wahrscheinlichkeit zu erwarten wäre. Komplexe Objektformen werden somit im Sinne einer zuverlässigen Vermeidung von Objektkollisionen großzügig abstrahiert bzw. modelliert. Als besonders vorteilhaft hat sich erwiesen, wenn durch die beschriebene Parametrierung der Modellobjekte 26 im Wesentlichen quaderförmige Modellobjekte vorgesehen werden.
• In 6 ist nochmal das Szenario von 1 gezeigt, wobei sich im Erfassungsbereich 18 abweichend zu 1 lediglich ein einzelnes Objekt 20 befindet, welches sich entlang einer Bewegungsbahn 70 bewegt. Das Objekt 20 ist in 6 zweimal gezeigt, um die Position des Objekts 20 zu zwei verschiedenen Zeitpunkten anzugeben. Für jeden dieser beispielhaften Zeitpunkte wird ein jeweiliges in 6 nicht explizit dargestelltes Modellobjekt 26 ermittelt, welches das Objekt 20 repräsentiert. Zusätzlich wird ein jeweiliger Bewegungsvektor 72, 72' geschätzt, welcher die temporäre Bewegung des Objekts 20 repräsentiert und vorzugsweise für einen jeweiligen Bezugspunkt 74, 74' definiert ist. Ein jeweiliger Bewegungsvektor 72, 72' kann hierbei auf der Grundlage einer Folge, d.h. einer zeitlichen Abfolge von Modellobjekten 26 geschätzt werden. Die Bewegungsvektoren 72, 72' bilden eine Folge von Bewegungsvektoren auf deren Grundlage die Bewegungsbahn 70 geschätzt werden kann. Die Bewegungsbahn 70 kann extrapolierte oder interpolierte Abschnitte umfassen, sodass die Bewegungsbahn 70 nicht auf diskrete Messzeitpunkte beschränkt ist.
• Zur Schätzung eines jeweiligen Bewegungsvektors 72, 72' bzw. einer jeweiligen Bewegungsbahn 70 wird für jedes Objekt 20 ein Kalman-Filter instanziiert.
• Insbesondere kann mittels des Kalman-Filters ein zukünftiger Bewegungsabschnitt des Objekts 20 ermittelt werden, sodass das Fahrzeug 10 vorausschauend eine Kurs- oder Geschwindigkeitsänderung einleiten kann, um eine Kollision mit dem Objekt 20 zu vermeiden.
• Alternativ wird das Fahrzeug 10 in Abhängigkeit von der Bewegungsbahn 70 angesteuert, um das Objekt 20 automatisch von dem Fahrzeug 10 verfolgen zu lassen.
• Im Folgenden wird anhand von 7 erläutert, wie Referenzmodellobjekte bei der Steuerung des Fahrzeugs 10 berücksichtigt werden können. Das in 7 gezeigte Szenario entspricht im Wesentlichen dem Szenario von 1, wobei abweichend in dem Erfassungsbereich 18 Modellobjekte 76, 76' und 76" sowie Referenzmodellobjekte 78 und 78' angeordnet sind. Die Modellobjekte 76, 76' und 76" repräsentieren jeweils ein nicht gezeigtes Objekt in dem Erfassungsbereich 18 und wurden im Rahmen eines Normalbetriebsmodus des Fahrzeugs 10 ermittelt. Die Referenzmodellobjekte 78 und 78' repräsentieren jeweils ein nicht gezeigtes Referenzobjekt in dem Erfassungsbereich 18 und wurden im Rahmen eines Erkundungsbetriebsmodus des Fahrzeugs 10 ermittelt. Die nicht gezeigten Referenzobjekte repräsentieren ortsfeste Objekte in dem Erfassungsbereich 18.
• Wie bereits anhand der Überschneidung der Referenzmodellobjekte 78, 78' mit den Modellobjekten 76, 76" und der ähnlichen Form erkennbar ist, repräsentieren die Referenzmodellobjekte 78, 78' und die Modellobjekte 76, 76" jeweils dasselbe Objekt. Mit anderen Worten ist das jeweilige Objekt, welches durch ein jeweiliges Modellobjekt 76, 76" repräsentiert wird, gleichzeitig ein jeweiliges Referenzobjekt, welches durch die jeweiligen Referenzmodellobjekte 78, 78' repräsentiert wird. Im Gegensatz hierzu steht das Modellobjekt 76', welches lediglich in dem Normalbetriebsmodus ermittelt worden ist und für welches kein korrespondierendes Referenzmodellobjekt vorhanden ist.
• Die Referenzmodellobjekte 78, 78' sowie die Modellobjekte 76, 76' und 76" werden genauso wie anhand von 2 bis 5 beschrieben ermittelt.
• Die Referenzmodellobjekte 78, 78' bilden zusammen ein Referenzmuster, dem eine Referenzposition zugeordnet ist. Diese Referenzposition entspricht der Position des Fahrzeugs 10 zum Zeitpunkt der Ermittlung der Messwerte, auf denen die Referenzmodellobjekte 78, 78' beruhen. Diese Position ist in 8 durch die Position des Fahrzeugs 10" angedeutet, wobei die Strichlinien bedeuten, dass sich das Fahrzeug 10 zu einem früheren Zeitpunkt in dieser Position befunden hat.
• Im Normalbetriebsmodus werden die Modellobjekte 76, 76', 76" mit den Referenzmodellobjekten eines jeweiligen Referenzmusters verglichen, wobei eine Betriebsumgebung des Fahrzeugs 10 (nicht gezeigt) durch mehrere Referenzmuster repräsentiert wird. Der Boden 28 aus 2 kann z.B. eine Betriebsumgebung für das Fahrzeug 10 bilden.
• Im Zuge des Vergleichs von Modellobjekten 76, 76', 76" mit Referenzmodellobjekten verschiedener Referenzmuster wird festgestellt, dass die Referenzmodellobjekte 78, 78' (7) den Modellobjekten 76, 76" entsprechen. In Abhängigkeit von dieser Feststellung werden die Modellobjekte 76, 76', 76", die Referenzmodellobjekte 78, 78 sowie die Referenzposition gemeinsam ausgewertet, um die aktuelle Position des Fahrzeugs 10 durch das Fahrzeug 10 selbst zu bestimmten. Die aktuelle Position, welche durch die Position des Fahrzeugs 10 in 8 angedeutet ist und in welcher die Messwerte für die Modellobjekte 76, 76', 76" ermittelt worden sind, wird dann zur Steuerung des Fahrzeugs 10 herangezogen. Zusätzlich wird die Steuerung des Fahrzeugs 10 vorzugsweise dergestalt angepasst, dass das Fahrzeug 10 dem „unbekannten“ und möglicherweise bewegten Modellobjekt 76' stärker ausweicht, als den festen Modellobjekten 76, 76". Die Berücksichtigung der Referenzmodellobjekte 78, 78' wird somit für eine Selbstreferenzierung des Fahrzeugs 10 herangezogen, indem sich das Fahrzeug 10' anhand der Referenzmodellobjekte 78, 78' und der aktuellen Modellobjekte 76, 76', 76" selbst orientiert. Mit anderen Worten erkennt das Fahrzeug 10 einen Ausschnitt der Betriebsumgebung wieder und verwendet diese Information zur verbesserten Steuerung des Fahrzeugs 10. Aufgrund der wiedererkannten Referenzmodellobjekte 78, 78" kann zudem vorgesehen sein, dass für die entsprechenden Modellobjekte 76, 76" jeweils kein Bewegungsvektor und auch keine Bewegungsbahn geschätzt wird. Die anhand von 6 erläuterte Schätzung eines Bewegungsvektors und/oder einer Bewegungsbahn kann somit auf solche Modellobjekte beschränkt werden, denen aufgrund einer fehlenden Entsprechung mit einem Referenzmodellobjekt eine potentielle Bewegung unterstellt werden kann. Dies trifft in 7 und 8 auf das Modellobjekt 76' zu. Ein für dieses Modellobjekt 76' geschätzter Bewegungsvektor und/oder eine für dieses Modellobjekt 76' geschätzte Bewegungsbahn kann der Steuerung bzw. Navigation des Fahrzeugs 10 in dem Normalbetriebsmodus zugrundegelegt werden.
• Bezugszeichenliste

10, 10', 10"

autonomes Fahrzeug

12

optischer Sensor

14

Steuer- und Auswerteeinheit

16

Antriebssteuerung

18

Erfassungsbereich

20, 20', 20"

Objekt

22, 22', 22"

Messwerte

24, 24'

Bein

26, 26'

Modellobjekt

28

Boden

30

Beginn des Verfahrens

32

Entscheidungspunkt

34

Ermittlung von Referenzdistanzwerten

36

Ermittlung von Objekt- und Referenzerfassungsdaten

38

Bestimmung von Differenzwerten

40

Filterung von Differenzwerten

42

Bestimmung von Relativdifferenzwerten

44

Bestimmung von Relativintensitätswerten

46

Gewichtung mit Relativdifferenzwerten

48

Gewichtung mit Relativintensitätswerten

50

Filterung von gewichteten Differenzwerten

52

Ermittlung von Modellobjekten

54

Höhe

56

Tiefe

58

Breite

60

Position der 3D-Kamera

62

Position eines Punkts mit minimaler Distanz zur Position der 3D-Kamera

64

Abstandsvektor

66

Position eines Punkts innerhalb des Modellobjekts mit einem maximalen Differenzwert

68

Punkte innerhalb des Modellobjekts mit Differenzwerten oberhalb eines Schwellenwerts

70

Bewegungsbahn

72, 72'

Bewegungsvektor

74, 74'

Bezugspunkt für einen Bewegungsvektor

76, 76', 76"

Modellobjekt

78, 78'

Referenzmodellobjekt

Claims (23)

1. Verfahren zur Steuerung eines autonomen Fahrzeugs (10, 10') mit einem Sensor, wobei der Sensor dazu angepasst ist, Messwerte (22, 22', 22") eines Erfassungsbereichs (18) des Sensors zu ermitteln, um Objekte (20, 20', 20") in dem Erfassungsbereich (18) zu erfassen, wobei das Verfahren zumindest folgende Schritte aufweist: - Betreiben des Fahrzeugs (10, 10') in einem Erkundungsbetriebsmodus, umfassend: Ermitteln von Messwerten (22, 22', 22") des Erfassungsbereichs (18); Ermitteln von wenigstens einem Referenzmodellobjekt (78, 78') auf der Grundlage der Messwerte (22, 22', 22"), wobei das wenigstens eine Referenzmodellobjekt (78, 78') ein Referenzobjekt in dem Erfassungsbereich (18) repräsentiert und geometrisch standardisiert ist; - Betreiben des Fahrzeugs (10, 10') in einem Normalbetriebsmodus, umfassend: Ermitteln von Messwerten (22, 22', 22") des Erfassungsbereichs (18); Ermitteln von wenigstens einem Modellobjekt (76, 76', 76") auf der Grundlage der Messwerte (22, 22', 22"), wobei das wenigstens eine Modellobjekt (76, 76', 76") ein Objekt in dem Erfassungsbereich (18) repräsentiert und geometrisch standardisiert ist; - Feststellen, ob das wenigstens eine Modellobjekt (76, 76', 76") dem wenigstens einen Referenzmodellobjekt (78, 78') entspricht; und - Ermitteln der Position des Fahrzeugs (10, 10') und/oder Steuern des Fahrzeugs in Abhängigkeit von der Feststellung, ob das wenigstens eine Modellobjekt (76, 76', 76") dem wenigstens einen Referenzmodellobjekt (78, 78') entspricht.
2. Verfahren nach Anspruch 1, wobei das wenigstens eine Referenzmodellobjekt (78, 78') ein ortsfestes Objekt in einer Betriebsumgebung des Fahrzeugs (10, 10') repräsentiert.
3. Verfahren nach Anspruch 1 oder 2, wobei das Betreiben des Fahrzeugs (10, 10') in dem Erkundungsbetriebsmodus ferner umfasst: - Ermitteln von Kandidaten-Modellobjekten auf der Grundlage der Messwerte (22, 22', 22"), wobei die Kandidaten-Modellobjekte jeweils ein Objekt in dem Erfassungsbereich (18) repräsentieren und geometrisch standardisiert sind, - Auswählen des wenigstens einen Referenzmodellobjekts (78, 78') aus den Kandidaten-Modellobjekten unter Verwendung einer Auswahlregel.
4. Verfahren nach Anspruch 3, wobei die Auswahlregel dazu angepasst ist, Kandidaten-Modellobjekte zu identifizieren, welche jeweils ein ortsfestes Objekt in einer Betriebsumgebung des Fahrzeugs (10, 10') repräsentieren, wobei die Auswahlregel insbesondere dazu angepasst ist, Kandidaten-Modellobjekte zu identifizieren, welche jeweils eine vorbestimmte Mindestgröße und/oder eine vorbestimmte Form aufweisen.
5. Verfahren nach Anspruch 3 oder 4, wobei die Auswahlregel ferner dazu angepasst ist, mehrere Kandidaten-Modellobjekte, die jeweils auf zu unterschiedlichen Zeitpunkten ermittelten Messwerten (22, 22', 22") beruhen, gemeinsam auszuwerten, um die Kandidatenmodell-Objekte, welche jeweils ein ortsfestes Objekt in der Betriebsumgebung des Fahrzeugs (10, 10') repräsentieren, zu identifizieren.
6. Verfahren nach einem der Ansprüche 3 bis 5, wobei die Kandidaten-Modellobjekte und die Modellobjekte (76, 76', 76") jeweils auf dieselbe Weise ermittelt werden.
7. Verfahren nach zumindest einem der vorhergehenden Ansprüche, wobei das Betreiben des Fahrzeugs (10, 10') in dem Erkundungsbetriebsmodus ferner umfasst: - Zusammenfassen von ein oder mehreren Referenzmodellobjekten (78, 78') zu einem jeweiligen Referenzmuster des Erfassungsbereichs (18), wobei die zu einem jeweiligen Referenzmuster zusammengefassten Referenzmodellobjekte (78, 78') jeweils auf zu einem gemeinsamen Zeitpunkt ermittelten Messwerten (22, 22', 22") beruhen, - Abspeichern des jeweiligen Referenzmusters in einem Speicher; wobei das Betreiben des Fahrzeugs (10, 10') in dem Normalbetriebsmodus ferner umfasst: - Auslesen wenigstens eines Referenzmusters aus dem Speicher, wobei das Feststellen, ob das wenigstens eine Modellobjekt (76, 76', 76") dem wenigstens einen Referenzmodellobjekt (78, 78') entspricht, unter Berücksichtigung zumindest einiger, bevorzugt sämtlicher, Referenzmodellobjekte (78, 78') des wenigstens einen Referenzmusters erfolgt.
8. Verfahren nach zumindest einem der vorhergehenden Ansprüche, wobei das Feststellen, ob das wenigstens eine Modellobjekt (76, 76', 76") dem wenigstens einen Referenzmodellobjekt (78, 78') entspricht, unter Verwendung eines Mustererkennungsalgorithmus durchgeführt wird.
9. Verfahren nach zumindest einem der vorhergehenden Ansprüche, wobei das Betreiben des Fahrzeugs (10, 10') in dem Erkundungsbetriebsmodus ferner umfasst: - Zuordnen einer Referenzposition des Fahrzeugs (10, 10') zu dem wenigstens einen Referenzmodellobjekt; wobei das Betreiben des Fahrzeugs (10, 10') in dem Normalbetriebsmodus ferner umfasst: - Ermitteln einer Position des Fahrzeugs (10, 10') auf der Grundlage der dem wenigstens einen Referenzmodellobjekt (78, 78') zugordneten Referenzposition, wenn festgestellt wird, dass das wenigstens eine Modellobjekt (76, 76', 76") dem wenigstens einen Referenzmodellobjekt (78, 78') entspricht; - Steuern des Fahrzeugs (10, 10') in Abhängigkeit von der ermittelten Position.
10. Verfahren nach Anspruch 9, wobei das wenigstens eine Modellobjekt (76, 76', 76"), das wenigstens eine Referenzmodellobjekt (78, 78') und die dem wenigstens einen Referenzmodellobjekt (78, 78') zugeordnete Referenzposition gemeinsam ausgewertet werden, um die Position des Fahrzeugs (10, 10') zu ermitteln.
11. Verfahren nach zumindest einem der vorhergehenden Ansprüche, wobei das Fahrzeug (10, 10') dazu angepasst ist, den Erkundungsbetriebsmodus in vorbestimmten zeitlichen Abständen selbsttätig zu aktivieren, um eine Betriebsumgebung des Fahrzeugs (10, 10') zu erkunden und/oder zu verifizieren, wobei Referenzmodellobjekte (78, 78'), welche im Zuge eines zu einem früheren Zeitpunkt aktivierten Erkundungsbetriebsmodus ermittelt worden sind, ergänzt und/oder aktualisiert werden.
12. Verfahren nach zumindest einem der vorhergehenden Ansprüche, wobei, wenn festgestellt wird, dass das wenigstens eine Modellobjekt (76, 76', 76") dem wenigstens einen Referenzmodellobjekt (78, 78') entspricht, das Fahrzeug (10, 10') in Abhängigkeit des wenigstens einen Modellobjekts (76, 76', 76") unter Verwendung einer ersten Menge von Steuerungsregeln gesteuert wird, wobei, wenn festgestellt wird, dass das wenigstens eine Modellobjekt (76, 76', 76") dem wenigstens einen Referenzmodellobjekt (78, 78') nicht entspricht, das Fahrzeug (10, 10') in Abhängigkeit des wenigstens einen Modellobjekts (76, 76', 76") unter Verwendung einer zweiten Menge von Steuerungsregeln gesteuert wird.
13. Verfahren nach zumindest einem der vorhergehenden Ansprüche, wobei das zumindest eine Referenzmodellobjekt (78, 78') und/oder das zumindest eine Modellobjekt (76, 76', 76") jeweils durch ein binäres Datenobjekt, insbesondere durch ein BLOB (binary large object) gebildet sind.
14. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei der Sensor ein optischer Sensor (12) ist, welcher wenigstens eine 3D-Kamera, bevorzugt eine TOF-(time of flight)-Kamera, mit einer Beleuchtungseinheit und einem Bildsensor aufweist, wobei die Messwerte (22, 22', 22") separat für einzelne Bildpunkte des Bildsensors ermittelt werden und zusätzlich zu Distanzwerten bevorzugt Intensitätswerte des Erfassungsbereichs (18) umfassen, die unter Verwendung des optischen Sensors (12) ermittelt werden.
15. Verfahren nach Anspruch 14, ferner umfassend: - Bestimmen von Objekterfassungsdaten umfassend zumindest Messwerte (22, 22', 22") des Erfassungsbereichs (18), die ermittelt werden, wenn sich Objekte (20, 20', 20", 24, 24') in dem Erfassungsbereich (18) befinden und der Erfassungsbereich (18) bevorzugt von einer von der Beleuchtungseinheit ausgesandten Strahlung beaufschlagt ist; - Bestimmen von Referenzerfassungsdaten umfassend zumindest Messwerte (22, 22', 22") des Erfassungsbereichs (18), die ermittelt werden, wenn sich kein Objekt (20, 20', 20", 24, 24') in dem Erfassungsbereich (18) befindet und/oder der Erfassungsbereich (18) nicht von einer von der Beleuchtungseinheit ausgesandten Strahlung beaufschlagt ist; wobei das Ermitteln von Modellobjekten (26, 26') auf der Grundlage der Objekterfassungsdaten und der Referenzerfassungsdaten erfolgt.
16. Verfahren nach Anspruch 15, wobei die Messwerte (22) der Objekterfassungsdaten den im Normalbetriebsmodus ermittelten Messwerten entsprechen und Distanzwerte und Intensitätswerte des Erfassungsbereichs (18) umfassen und wobei die Messwerte (22) der Referenzerfassungsdaten Referenzdistanzwerte und Referenzintensitätswerte des Erfassungsbereichs (18) umfassen, wobei die Referenzdistanzwerte durch Distanzwerte ermittelt werden, wenn sich Referenzobjekte (78, 78') in dem Erfassungsbereich (18) befinden und sich das Fahrzeug (10, 10') in dem Erkundungsbetriebsmodus befindet, wobei die Referenzintensitätswerte durch Intensitätswerte ermittelt werden, wenn der Erfassungsbereich (18) nicht von einer von der Beleuchtungseinheit ausgesandten Strahlung beaufschlagt ist.
17. Verfahren nach Anspruch 16, wobei für zumindest einige Bildpunkte des Bildsensors Relativintensitätswerte bestimmt werden (36), die jeweils für den betreffenden Bildpunkt ein Verhältnis zwischen einem Intensitätswert der Objekterfassungsdaten und einem Referenzintensitätswert der Referenzerfassungsdaten repräsentieren, wobei die Ermittlung des jeweiligen Modellobjekts (26, 26') auf relative Objekterfassungsdaten gestützt wird, die auf der Grundlage zumindest einer vorbestimmten Relation von Messwerten (22) zwischen den Objekterfassungsdaten und den Referenzerfassungsdaten und unter Heranziehung der Relativintensitätswerte bestimmt werden.
18. Verfahren nach Anspruch 16 oder 17, wobei Differenzwerte bestimmt werden (38), die jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren, und wobei die Ermittlung des jeweiligen Modellobjekts (26, 26') auf die Differenzwerte gestützt wird.
19. Verfahren nach Anspruch 18, wobei Relativwerte auf der Grundlage einer vorbestimmten Relation zwischen Messwerten der Objekterfassungsdaten und Messwerten der Referenzerfassungsdaten bestimmt werden (42, 44), wobei die Differenzwerte mit den Relativwerten gewichtet werden (46, 48).
20. Verfahren nach zumindest Anspruch 18 oder 19, wobei das jeweilige Modellobjekt (26, 26') auf der Grundlage der Differenzwerte ermittelt wird (52), wobei die Differenzwerte zu einer Karte zusammengefasst sind, die den Erfassungsbereich (18) repräsentiert, wobei die Karte einer Clusteranalyse, bevorzugt einem Bildsegmentierungsverfahren unterzogen wird, um das jeweilige Modellobjekt (26, 26') zu ermitteln, und wobei das jeweilige Modellobjekt (26, 26') bevorzugt dreidimensional ausgebildet ist.
21. Verfahren nach zumindest einem der Ansprüche 15 bis 20, wobei das jeweilige Modellobjekt (26, 26') zumindest durch einen der folgenden Parameter definiert ist: - Position eines einem maximalem Differenzwert zugeordneten Raumpunkts, wobei der maximale Differenzwert dem jeweiligen Modellobjekt (26, 26') zugeordnet ist und eine maximale Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentiert; - relative Anzahl von dem jeweiligen Modellobjekt (26, 26') zugeordneten Differenzwerten, die jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren und größer einem vorbestimmten Schwellenwert sind, - Position des jeweiligen Modellobjekts (26, 26'); - wenigstens einen Größenparameter (54, 56, 58) des jeweiligen Modellobjekts (26, 26'); - minimaler Distanzwert der Bildpunkte, deren Differenzwerte dem jeweiligen Modellobjekt (26, 26') zugeordnet sind und/oder Position eines dem minimalen Distanzwert zugeordneten Raumpunkts (62), wobei die Differenzwerte jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren; - maximaler Distanzwert der Bildpunkte, deren Differenzwerte dem jeweiligen Modellobjekt (26, 26') zugeordnet sind und/oder Position eines dem maximalen Distanzwert zugeordneten Raumpunkts, wobei die Differenzwerte jeweils eine Differenz zwischen einem Distanzwert der Objekterfassungsdaten und einem Referenzdistanzwert der Referenzerfassungsdaten repräsentieren.
22. Optischer Sensor (12), der wenigstens eine 3D-Kamera, bevorzugt eine TOF-(time of flight)-Kamera, mit einer Beleuchtungseinheit, einem Bildsensor sowie einer Steuer- und Auswerteeinheit (14) aufweist, wobei die Steuer- und Auswerteeinheit (14) dazu angepasst ist, das Verfahren nach zumindest einem der vorstehenden Ansprüche durchzuführen, wobei das Verfahren bevorzugt als one-pass-Algorithmus implementiert ist, insbesondere in einem field-programmable-gate array.
23. Autonomes Fahrzeug (10, 10') mit einem Sensor, welcher dazu ausgebildet ist, das Verfahren nach zumindest einem der Ansprüche 1 bis 21 durchzuführen, wobei der Sensor bevorzugt als optischer Sensor (12) nach Anspruch 22 ausgebildet ist.

Images