DE102023108151A1

DE102023108151A1 - Verfahren zum Betreiben eines Stereokamerasystems für ein Nutzfahrzeug

Info

Publication number: DE102023108151A1
Application number: DE102023108151.9A
Authority: DE
Inventors: Fridtjof Stein
Original assignee: Daimler Truck AG
Current assignee: Daimler Truck Holding AG
Priority date: 2023-03-30
Filing date: 2023-03-30
Publication date: 2023-06-15

Abstract

Die Erfindung betrifft Verfahren zum Betreiben eines Stereokamerasystems (12) für ein Nutzfahrzeug (10), bei welchem mittels zwei als Rolling-Shutter-Kamera (14) ausgebildeten und voneinander beabstandeten optischen Erfassungseinrichtungen (16, 18) eine Umgebung (22) des Nutzfahrzeugs (10) erfasst wird und die optischen Erfassungseinrichtungen (16, 18) jeweils wenigstens ein Sensorelement (28, 30) mit einer Mehrzahl an Bildpunkten (32, 34) aufweisen, welche zum Erfassen der Umgebung (22) ab einem jeweiligen Startzeitpunkt linienweise belichtet werden, wobei zum Kalibrieren des Stereokamerasystems (12) mittels einer elektronischen Recheneinrichtung (44) in Abhängigkeit von wenigstens einem mittels den optischen Erfassungseinrichtungen (16, 18) erfassten Referenzobjekt (46) wenigstens ein Korrekturwert ermittelt wird, in Abhängigkeit von welchem die Startzeitpunkte zueinander zeitversetzt vorgegeben werden, wodurch die Bildpunkte (32) der ersten optischen Erfassungseinrichtung (16) bezogen auf die Bildpunkte (34) der zweiten optischen Erfassungseinrichtung (18) linienweise zeitversetzt belichtet werden.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Stereokamerasystems für ein Nutzfahrzeug gemäß dem Patentanspruch 1.
Die DE 10 2010 062 496 B4 offenbart ein Verfahren zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-SensorSystems, wobei jeder der Sensoren ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des Sensors zu erfassen.
Zudem ist aus der US 2020 / 0 366 883 A1 eine Stereokameraeinrichtung als bekannt zu entnehmen.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Betreiben eines Stereokamerasystems für ein Nutzfahrzeug zu schaffen, sodass eine Umgebung des Nutzfahrzeugs mittels des Stereokamerasystems besonders präzise erfasst werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Betreiben eines Stereokamerasystems für ein Nutzfahrzeug mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausführungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den übrigen Ansprüchen angegeben.
Die Erfindung betrifft ein Verfahren zum Betreiben eines Stereokamerasystems für ein Nutzfahrzeug. Das Nutzfahrzeug ist beispielsweise als Lastkraftwagen (Lkw) oder als Bus, insbesondere als Personenbus beziehungsweise Omnibus ausgebildet. Beispielsweise ist das Nutzfahrzeug eine Zugmaschine, insbesondere eine Lkw-Zugmaschine. Alternativ oder zusätzlich ist es ebenso denkbar, das Verfahren zum Betreiben eines Stereokamerasystems für einen Personenkraftwagen zu verwenden.
Vorzugsweise weist das Nutzfahrzeug, insbesondere in seinem vollständig hergestellten Zustand, das Stereokamerasystem auf.
Bei dem Verfahren wird mittels wenigstens zwei als Rolling-Shutter-Kamera ausgebildeten und voneinander beabstandeten optischen Erfassungseinrichtungen eine Umgebung des Nutzfahrzeugs erfasst. In anderen Worten ist das Stereokamerasystem als Rolling-Shutter-System ausgebildet, welches zwei, insbesondere als jeweilige Stereokamera ausgebildete, Kameras zum Erfassen der Umgebung aufweist. Die optischen Erfassungseinrichtungen sind beispielsweise in Fahrzeuglängsrichtung und/oder in Fahrzeugquerrichtung und/oder in Fahrzeug-Nutzfahrzeugs voneinander beabstandet. Darunter, dass mittels der jeweiligen optischen Erfassungseinrichtung die Umgebung des Nutzfahrzeugs erfasst wird, kann insbesondere verstanden werden, dass mittels der optischen Erfassungseinrichtung wenigstens eine Information, insbesondere Bildinformation, der Umgebung beziehungsweise aus der Umgebung des Nutzfahrzeugs erfasst wird.
Dadurch, dass die jeweilige optische Erfassungseinrichtung als jeweilige Rolling-Shutter-Kamera ausgebildet ist, ist die jeweilige optische Erfassungseinrichtung insbesondere nicht als jeweilige Global-Shutter-Kamera ausgebildet.
Die optischen Erfassungseinrichtungen weisen jeweils wenigstens ein, insbesondere optisches, jeweiliges Sensorelement mit einer Mehrzahl an Bildpunkten auf. Dies bedeutet, dass eine erste der optischen Erfassungseinrichtungen ein erstes, insbesondere optisches, Sensorelement aufweist, welches eine Mehrzahl an Bildpunkten aufweist, und dass eine zweite der optischen Erfassungseinrichtungen ein zweites, insbesondere optisches, Sensorelement aufweist, welches eine Mehrzahl an Bildpunkten aufweist. Das jeweilige Sensorelement ist somit zur Bilderfassung vorgesehen beziehungsweise ausgebildet.
Unter dem jeweiligen Sensorelement kann insbesondere ein jeweiliger Bildsensor verstanden werden. Unter dem jeweiligen Bildpunkt kann insbesondere ein zur Erfassung oder Darstellung eines Farbwerts nötiges beziehungsweise ausgebildetes jeweiliges Flächenelement des jeweiligen Sensorelements verstanden werden.
Die Bildpunkte des jeweiligen Sensorelements werden zum Erfassen der Umgebung ab einem jeweiligen Startzeitpunkt linienweise, insbesondere nach einer vorgegebenen Belichtungsreihenfolge, nacheinander belichtet. Dies bedeutet, dass ab dem jeweiligen Startzeitpunkt des jeweiligen Sensorelements die Bildpunkte des jeweiligen Sensorelements linienweise, insbesondere unter Berücksichtigung der vorgegebenen Belichtungsreihenfolge, belichtet werden, um die Umgebung zu erfassen. In anderen Worten werden zum Erfassen der Umgebung ab beziehungsweise zu einem ersten Startzeitpunkt des ersten Sensorelements beziehungsweise der ersten optischen Erfassungseinrichtung die Bildpunkte des ersten Sensorelements linienweise belichtet, und zum Erfassen der Umgebung, insbesondere mittels der zweiten optischen Erfassungseinrichtung, werden ab beziehungsweise zu einem Startzeitpunkt des zweiten Sensorelements beziehungsweise der zweiten optischen Erfassungseinrichtung die Bildpunkte des zweiten Sensorelements linienweise belichtet. Wieder in anderen Worten wird bei der jeweiligen optischen Erfassungseinrichtung, insbesondere bezogen auf die jeweiligen Bildpunkte eine linienweise jeweilige Rolling-Shutter-Abtastverzögerung verwendet, um die Umgebung zu erfassen.
Somit ist das jeweilige Sensorelement beispielsweise dazu ausgebildet, die Umgebung abschnittsweise beziehungsweise linienweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des jeweiligen Sensorelements zu erfassen.
Vorzugsweise sind die optischen Erfassungseinrichtungen, insbesondere die Sensorelemente, separat voneinander ausgebildet. Vorzugsweise sind die optischen Erfassungseinrichtungen, insbesondere jeweilige Kameraköpfe der optischen Erfassungseinrichtungen, nicht steif beziehungsweise rigide miteinander verbunden.
Um die Umgebung des Nutzfahrzeugs mittels des Stereokamerasystems besonders präzise erfassen zu können, ist es vorgesehen, dass zum Kalibrieren des Stereokamerasystems, insbesondere der optischen Erfassungseinrichtungen, mittels wenigstens einer elektronischen Recheneinrichtung in Abhängigkeit von wenigstens einem mittels der optischen Erfassungseinrichtungen erfassten Referenzobjekt wenigstens ein Korrekturwert ermittelt, insbesondere berechnet, wird. Dies bedeutet, dass mittels der elektronischen Recheneinrichtung in Abhängigkeit von dem wenigstens einen mittels der optischen Erfassungseinrichtungen erfassten Referenzobjekt der wenigstens eine Korrekturwert ermittelt wird, um das Stereokamerasystem, insbesondere die optischen Erfassungseinrichtungen, zu kalibrieren. In anderen Worten wird mittels der optischen Erfassungseinrichtungen wenigstens eine das Referenzobjekt charakterisierende Information, insbesondere Bildinformation, als Eingangsgröße erfasst und mittels der elektronischen Recheneinrichtung wird mittels der Eingangsgröße beziehungsweise in Abhängigkeit von der Eingangsgröße der Korrekturwert als Ausgangsgröße ermittelt, insbesondere berechnet. Somit kann unter dem Verfahren insbesondere ein Verfahren zum Kalibrieren des Stereokamerasystems beziehungsweise ein Verfahren zum Kalibrieren mehrerer Kameras, insbesondere eines Fahrzeugs, verstanden werden. Vorzugsweise befindet sich das Referenzobjekt, insbesondere während des Erfassens von den optischen Erfassungseinrichtungen, in der Umgebung des Nutzfahrzeugs.
Um die Umgebung mittels des Stereokamerasystems besonders präzise erfassen zu können, werden in Abhängigkeit von dem ermittelten Korrekturwert die Startzeitpunkte, insbesondere der erste und der zweite Startzeitpunkt, zueinander zeitversetzt vorgegeben, insbesondere bestimmt beziehungsweise festgesetzt, wodurch die Bildpunkte der ersten optischen Erfassungseinrichtung, insbesondere des ersten Sensorelements, bezogen auf die Bildpunkte der zweiten optischen Erfassungseinrichtung, insbesondere des zweiten Sensorelements, linienweise zeitversetzt belichtet werden. In anderen Worten werden die optischen Erfassungseinrichtungen, insbesondere die Sensorelemente, in Abhängigkeit von dem ermittelten Korrekturwert, insbesondere der elektronischen Recheneinrichtung, insbesondere zeilenwese, zeitversetzt getriggert beziehungsweise angesteuert. Darunter kann insbesondere Folgendes verstanden werden:

Die jeweiligen Bildpunkte der jeweiligen optischen Erfassungseinrichtung, insbesondere des jeweiligen optischen Sensorelements, sind jeweils in mehreren jeweiligen Linien angeordnet, welche insbesondere als Reihen bezeichnet werden können. Insbesondere werden bei dem jeweiligen linienweise Belichten der jeweiligen Bildpunkte der jeweiligen optischen Erfassungseinrichtung die jeweiligen Linien beziehungsweise Reihen jeweils nacheinander belichtet. Insbesondere werden bei der jeweiligen Belichtungsreihenfolge die jeweiligen Linien beziehungsweise Reihen nacheinander belichtet. Dies bedeutet, dass beispielsweise zu dem ersten Startzeitpunkt eine erste der Linien des ersten Sensorelements belichtet wird, anschließend eine zweite der Linien des ersten Sensorelements belichtet wird, anschließend eine dritte der Linien des ersten Sensorelements belichtet wird und so weiter. Beispielsweise wird zu dem zweiten Startzeitpunkt des zweiten Sensorelements eine erste der Linien des zweiten Sensorelements belichtet. Anschließend wird eine zweite der Linien des Sensorelements belichtet und anschließend wird eine dritte der Linien des zweiten Sensorelements belichtet und so weiter. Dadurch, dass die Startzeitpunkte zueinander zeitversetzt vorgegeben werden beziehungsweise dass die Bildpunkte der ersten optischen Erfassungseinrichtung bezogen auf die Bildpunkte der zweiten optischen Erfassungseinrichtung linienweise zeitversetzt belichtet werden, werden beispielsweise, insbesondere zu dem zweiten Startzeitpunkt, die in der ersten Linie angeordneten Bildpunkte, das heißt die erste Linie, belichtet, während das Belichten der in der ersten Linie des ersten Sensorelements angeordneten Bildpunkte unterbleibt. Beispielsweise werden die in der ersten Linie des ersten Sensorelements angeordneten Bildpunkte, insbesondere zu dem ersten Startzeitpunkt, erst dann belichtet, wenn die in der zweiten oder der dritten Linie angeordneten Bildpunkte des zweiten Sensorelements belichtet werden. Insbesondere repräsentiert der Korrekturwert einen Zeilenversatz, insbesondere der Belichtungsreihenfolge, zwischen den jeweiligen Linien beziehungsweise zwischen dem linienweisen Zeilenversatz belichten.

Beispielweise schließ sich die jeweilige zweite Linie, beispielweise in Fahrzeughochrichtung oder in Fahrzeugquerrichtung, insbesondere direkt, an die jeweilige erste Linie an. Beispielweise schließ sich die jeweilige dritte Linie, beispielweise in Fahrzeughochrichtung oder in Fahrzeugquerrichtung, insbesondere direkt, an die jeweilige zweite Linie an. Insbesondere ist die jeweilige zweite Linie zwischen der jeweiligen ersten und der jeweiligen dritten Linie angeordnet.
Somit wird als der Korrekturwert beispielsweise eine Information über einen Zeilenversatz zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensorelements ermittelt, insbesondere berechnet. Beispielsweise wird in Abhängigkeit des Zeilenversatzes ein zeitlicher Versatz ermittelt, insbesondere berechnet. Insbesondere weisen die Positionen der zwei Sensorabschnitte, insbesondere jeweils, korrespondierende Bildinformationen auf.
Beispielsweise beginnt zu dem ersten Startzeitpunkt das Erfassen der Umgebung durch einen an einer ersten Position des ersten Sensorelements angeordneten Sensorabschnitt. Beispielsweise beginnt zu dem zweiten Startzeitpunkt das Erfassen der Umgebung des zweiten Sensorelements durch einen an der ersten Position des zweiten Sensorelements angeordneten Sensorabschnitt. Insbesondere sind die Startzeitpunkte zeitversetzt zueinander.
Der Erfindung liegen insbesondere die folgenden Erkenntnisse und Überlegungen zugrunde: Insbesondere auf Autobahnen werde in Zukunft beispielsweise automatisch beziehungsweise autonom fahrende Nutzfahrzeuge, insbesondere Lkws, unterwegs sein. Dabei ist es denkbar, dass diese sich anhand von Sensoren, beispielsweise Lidar, Kamera und/oder Radar und insbesondere anhand von Kartendaten, in einer vorhandenen Infrastruktur lokalisieren und beispielsweise ihr Fahrverhalten auf andere durch die Sensoren vermessenen beziehungsweise erfassten Verkehrsteilnehmer abstimmen. Ein solcher Sensor, welcher insbesondere als Sensorik bezeichnet werden kann, hat Vermessenscharakteristiken, welche durch Sensortyp, Bauform und physikalische Randbedingungen bestimmt werden können. Typischerweise ist die eingebaute Sensorik ein Kompromiss aus verschiedenen Aufgaben. Beispielsweise vermisst der Lidar im verkehrsrelevanten Bereich vor dem Fahrzeug dreidimensional. Beispielsweise kann, insbesondere gleichzeitig, mittels Daten einer Kamera auch eine Semantik der, insbesondere mittels des Lidars erfassten, Umgebung beziehungsweise Szenarie bestimmt werden. Alternativ oder zusätzlich können Verkehrszeichen und/oder Ampeln erkannt werden. Hieraus abgeleitete Anforderungen können Sensorparameter, wie beispielsweise Basisbreite, insbesondere bei einer Stereokamera, und/oder Brennweite und/oder Öffnungswinkel und/oder Pixeldichte und/oder Sensortyp, beispielsweise Farbe oder Monochrom, bestimmen.
Mittels Stereokameras können Entfernungen von Raumpunkten der Triangulation abgeleitet beziehungsweise gemessen werden. Aus zwei unterschiedlichen, insbesondere mittels der Stereokameras erfassten, Sichten können sozusagen aus insbesondere als Disparitäten bezeichneten Unterschieden 3D-Koordinaten hergeleitet werden. Wenn sich eine solche Stereokamera in einem dynamischen Umfeld befindet, dann können die Stereokameras zeitlich, insbesondere genau, zu synchronisieren sein. Wenn die optischen Erfassungseinrichtungen beziehungsweise die Kameras, insbesondere die Kameraköpfe, rigide miteinander verbunden sind, dann können die Kameras, beispielsweise vom Hersteller, derart ausgerichtet werden, dass optische Achsen der Kameras parallel zueinander sind. Etwaige kleine Abweichungen können per Kalibration angepasst werden. Insbesondere dann, wenn die optischen Erfassungseinrichtungen, insbesondere die Kameraköpfe, besonders weit auseinanderliegen und/oder nicht rigide miteinander verbunden sind, können die optischen Achsen beispielsweise nicht parallel sein, insbesondere während einer Fahrt des Nutzfahrzeugs. Wenn jetzt beide optischen Erfassungseinrichtungen gleichzeitig synchronisiert mit dem Erfassen der Umgebung starten, das heißt, wenn die Bildpunkte der optischen Erfassungseinrichtungen nicht linienweise belichtet werden, dann kann es infolge von Einbautoleranzen, beispielsweise unterschiedlichen Einbau-Nickwinkeln der optischen Erfassungseinrichtungen und/oder infolge von Schwingungen während einer Fahrt des Nutzfahrzeugs, zu einem nicht synchronen Belichten der Raumpunkte kommen. Dadurch kann eine Messwertverschlechterung auftreten. In anderen Worten kann es aufgrund von Installationstoleranzen und/oder Schwingungen vorkommen, dass bei zwei optischen Erfassungseinrichtungen, insbesondere mit besonders großer Grundlinie, beispielsweise dann, wenn die optischen Erfassungseinrichtungen nicht starr miteinander verbunden sind, dass die optischen Achsen der optischen Erfassungseinrichtungen nicht parallel, beispielsweise vertikal oder horizontal, ausgerichtet sind. Insbesondere kann ein interner Neigungswinkel der Stereokamera nicht vernachlässigbar groß sein.
Demgegenüber kann bei dem erfindungsgemäßen Verfahren durch das Ermitteln des Korrekturwerts beziehungsweise durch das Vorgeben der zueinander zeitversetzten Startpunkte ein verzögertes Triggern beziehungsweise Ansteuern des Rolling-Shutter ermöglicht werden, um die Messqualität, insbesondere in besonders dynamischem Umfeld, besonders verbessern zu können. Dadurch kann insbesondere bei fehlender rigider Verbindung zwischen den optischen Erfassungseinrichtungen und/oder bei entsprechenden Einbautoleranzen Messfehler besonders sicher kompensiert werden. Dadurch kann die Umgebung mittels des Stereokamerasystems besonders präzise erfasst werden. Dadurch können beispielsweise Entfernungen von mittels der Stereokamerasystems erfassten Objekten besonders präzise ermittelt, insbesondere berechnet, werden. Dadurch kann eine Sicherheit des Nutzfahrzeugs besonders erhöht werden. Insgesamt ist erkennbar, dass mittels des erfindungsgemäßen Verfahrens ein Verfahren zum Betreiben eines, insbesondere entkoppeltes Stereokameras aufweisenden, Stereokamerasystems, insbesondere für Truckanwendungen, breitgestellt werden kann, um eine Messgenauigkeit des Stereokamerasystems besonders zu verbessern. Insbesondere weist das Stereokamerasystem eine besonders große Basisbreite auf.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung(en). Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Dabei zeigen:

1 eine schematische Perspektivansicht eines Nutzfahrzeugs, welches ein Stereokamerasystem aufweist, welches mittels eines erfindungsgemäßen Verfahrens betreibbar ist; und
2 eine schematische Darstellung zum Veranschaulichen eines idealen Erfassens einer Umgebung mittels eines Stereokamerasystems; und
3 eine schematische Darstellung zum Veranschaulichen eines unpräzisen Erfassens einer Umgebung mittels eines Stereokamerasystems; und
4 eine schematische Darstellung zum Veranschaulichen eines Zeilenversatzes eines Stereokamerasystems; und
5 eine schematische Darstellung zum Veranschaulichen eines Kalibrierens eines Stereokamerasystems mittels eines erfindungsgemäßen Verfahrens; und
6 eine schematische Darstellung zum Veranschaulichen eines Erfassens eines Referenzobjekts.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
1 zeigt in einer schematischen Perspektivansicht ein Nutzfahrzeug 10, welches in dem Ausführungsbeispiel als Zugmaschine, insbesondere als Sattelzugmaschine, ausgebildet ist. Das Nutzfahrzeug 10 weist wenigstens ein Stereokamerasystem 12 auf, welches wenigstens zwei als, insbesondere jeweilige, Rolling-Shutter-Kamera 14 ausgebildete und voneinander beabstandete optische Erfassungseinrichtungen 16, 18 aufweist.
In dem Ausführungsbeispiel sind die optischen Erfassungseinrichtungen 16, 18 in Fahrzeugquerrichtung des Nutzfahrzeugs 10 voneinander beabstandet. Alternativ ist es ebenso möglich, dass die optischen Erfassungseinrichtungen 16, 18 in Fahrzeuglängsrichtung oder in Fahrzeughochrichtung des Nutzfahrzeugs 10 voneinander beabstandet sind. Ein Abstand 20 zwischen den optischen Erfassungseinrichtungen 16, 18 kann insbesondere als Basisbreite oder als Baseline bezeichnet werden.
Das Stereokamerasystem 12 ist mittels eines Verfahrens betreibbar. Bei dem Verfahren wird mittels der optischen Erfassungseinrichtungen 16, 18 eine Umgebung 22 des Nutzfahrzeugs 10 erfasst. Das Erfassen der Umgebung 22 mittels der optischen Erfassungseinrichtung 16, 18 ist in 2 in einer schematischen Darstellung veranschaulicht. Dabei zeigt 2 eine Zusammenschau der Umgebung 22, eines mittels der ersten optischen Erfassungseinrichtung 16 erfassten ersten Bilds 24 der Umgebung 22 und eines mittels der zweiten optischen Erfassungseinrichtung 18 erfassten zweiten Bilds 26 der Umgebung 22.
In dem in 1 gezeigten Ausführungsbeispiel ist eine erste der optischen Erfassungseinrichtung 16 in Fahrzeugquerrichtung des Nutzfahrzeugs 10 auf einer linken Seite des Nutzfahrzeugs 10 angeordnet und die zweite der optischen Erfassungseinrichtung 18 ist in Fahrzeugquerrichtung des Nutzfahrzeugs 10 auf einer rechten Seite des Nutzfahrzeugs 10 angeordnet. In dem in 1 gezeigten Ausführungsbeispiel sind die optischen Erfassungseinrichtungen 16, 18 in Fahrzeuglängsrichtung des Nutzfahrzeugs 10 nach vorne, das heißt nach vorne schauend, ausgerichtet. Alternativ ist es ebenso möglich, dass die optischen Erfassungseinrichtungen 16, 18 in Fahrzeuglängsrichtung des Nutzfahrzeugs 10 nach hinten, das heißt nach hinten schauend, ausgerichtet sind.
Unter dem jeweiligen Bild 24, 26 kann insbesondere ein jeweiliges Kamerabild verstanden werden. Die Umgebung 22 kann insbesondere als Szene bezeichnet werden. In der in 2 gezeigten schematischen Darstellungen sind die Bilder 24, 26 identisch. Somit sind in 2 die insbesondere als Stereokameras bezeichneten optischen Erfassungseinrichtungen 16, 18 beispielsweise besonders gut ausgerichtet, das heißt eine Einbautoleranz ist besonders gering, und/oder sind Schwingungen der optischen Erfassungseinrichtung 16, 18 während einer Fahrt des Nutzfahrzeugs besonders gering. Somit ist in 2 insbesondere in ideales Erfassen der Umgebung 22 mittels der optischen Erfassungseinrichtungen 16, 18 veranschaulicht.
3 zeigt in einer schematischen Darstellung eine Zusammenschau der Umgebung 22 und der Bilder 24, 26, wobei in 3 die Bilder 24, 26 nicht identisch, sondern unterschiedlich sind, das heißt mittels den optischen Erfassungseinrichtungen 16, 18 unterschiedlich erfasst werden. Dies bedeutet, dass die Umgebung 22 mittels den optischen Erfassungseinrichtungen 16, 18 in 3 unterschiedlich erfasst wird. Dies resultiert in dem in 3 gezeigten Beispiel daraus, dass die zweite optische Erfassungseinrichtung 18, beispielsweise infolge von Einbautoleranzen, einen anderen Installations-Nickwinkel aufweist als die erste optische Erfassungseinrichtung 16. Solche Einbautoleranzen können sich beispielsweise bei einer Installation der jeweiligen optischen Erfassungseinrichtung 16, 18 auf beziehungsweise an einem Dach des Nutzfahrzeugs 10 ergeben. In 3 ist zu erkennen, dass die zweite optische Erfassungseinrichtung 18 sozusagen etwas mehr „nach oben schaut“ als die erste optische Erfassungseinrichtung 16. Somit ist in 3 insbesondere ein fehlerhaftes beziehungsweise unpräzises Erfassen der Umgebung 22 mittels der optischen Erfassungseinrichtung 16, 18 veranschaulicht.
In 4 ist in einer schematischen Darstellung das Erfassen der Umgebung mittels der optischen Erfassungseinrichtungen 16, 18 mittels Rolling-Shutter-Abtastung veranschaulicht. Dabei ist in 4 das mittels der ersten optischen Erfassungseinrichtung 16 erfasste erste Bild 24 und das mittels der zweiten optischen Erfassungseinrichtung 18 erfasste zweite Bild 26 gezeigt. Die optischen Erfassungseinrichtungen 16, 18 weisen jeweils wenigstens ein, insbesondere optisches, Sensorelement 28, 30 mit einer Mehrzahl an Bildpunkten 32, 34 auf. Dies bedeutet, dass die erste optische Erfassungseinrichtung 16 wenigstens ein erstes Sensorelement 28 mit einer Mehrzahl an Bildpunkten 32 aufweist und dass die zweite optische Erfassungseinrichtung 18 wenigstens ein zweites Sensorelement 30 mit einer Mehrzahl an Bildpunkten 34 aufweist.
Zum Erfassen der Umgebung werden die Bildpunkte 32, 34 des jeweiligen Sensorelements 28, 30, insbesondere in einem Normalbetriebsmodus des Stereokamerasystems 12, ab beziehungsweise zu einem jeweiligen Startzeitpunkt des jeweiligen Sensorelements 28, 30 linienweise belichtet. Somit sind die Bildpunkte 32, 34 der jeweiligen optischen Erfassungseinrichtung 16, 18 beziehungsweise des jeweiligen Sensorelements 28, 30 in mehreren jeweiligen Linien 36a bis 36f, 38a bis 38h angeordnet. Dies bedeutet, dass die Bildpunkte 32 des ersten Sensorelements 28 beispielsweise in den Linien 36a bis 36f angeordnet sind und dass die Bildpunkte 34 des zweiten Sensorelements 30 beispielsweise in den Linien 38a bis 38h angeordnet sind. Bei dem jeweiligen linienweisen Belichten der Bildpunkte 32, 34 der jeweiligen optischen Erfassungseinrichtung 16, 18 beziehungsweise des jeweiligen Sensorelements 28, 30 werden die jeweiligen Linien 36a bis 36f, 38a bis 38h jeweils nacheinander belichtet. Dies bedeutet, dass bei dem jeweiligen linienweisen Belichten der Bildpunkte 32 des ersten Sensorelements 30 die Linien 36a bis 36f nacheinander belichtet werden und dass bei dem linienweisen Belichten der Bildpunkte 34 des zweiten Sensorelements 30 die Linien 38a bis 38h nacheinander belichtet werden. In dem Ausführungsbeispiel sind die jeweiligen Linien 36a bis 36f, 38a bis 38h, beispielsweise, insbesondere horizontale, Reihen, welche sich insbesondere in horizontaler Richtung beziehungsweise in Fahrzeugquerrichtung des Nutzfahrzeugs 10 erstrecken.
Unter dem Belichten der jeweiligen Linien 36a bis 36f, 38a bis 38h beziehungsweise jeweiligen Bildpunkte 32, 34 kann insbesondere ein Zeilenscan 40 verstanden werden, welcher insbesondere als Zeilenscan des Rolling-Shutters bezeichnet werden kann. Dies ist in 4 veranschaulicht. Das Belichten der jeweiligen Linie 36a bis 36f, 38a bis 38h dauert beispielsweise eine Referenzzeitspanne Δt. In anderen Worten braucht ein einzelner Zeilenscan die Referenzzeitspanne Δt. In dem Ausführungsbeispiel fängt der Zeilenscan 40 beziehungsweise das Belichten jeweils oben links in dem jeweiligen Bild 24, 26 an.
In dem in 4 gezeigten Beispiel ist ein Horizont 42 in der Umgebung 22 ein mittels der Erfassungseinrichtungen 16, 18 in der Umgebung 22 zu erfassendes Objekt. Der Horizont 42 dient somit in dem Beispiel als mittels der optischen Erfassungseinrichtungen 16, 18 als besonderes Merkmal in der Umgebung 22. Insbesondere sind in 4 die Startzeitpunkte identisch. In dem ersten Bild 24 ist eine erste Zeitspanne t₁ zum Erfassen beziehungsweise Belichten des Horizonts 42 ein Produkt aus der Referenzzeitspanne Δt und einer ersten Linienanzahl n: $t_{1} = Δ t \cdot n$
Eine zweite Zeitspanne t₂ zum Erfassen beziehungsweise Belichten des Horizonts 42 in dem zweiten Bild 26 ist ein Produkt aus der Referenzzeitspanne Δt und einer Summe aus der ersten Zeilenanzahl n und einer zweiten Zeilenanzahl m: $t_{2} = Δ t \cdot (n + m)$
Somit wird in dem zweiten Bild 26 der Horizont 42, und insbesondere jeder der Bildpunkte 34 unterhalb des Horizonts 42, immer um Δt · m später erreicht. Dies kann, insbesondere bei entsprechender Fahrzeugdynamik und/oder bei selbstbewegenden Objekten, zu besonders großen Messfehlern führen.
Um das Erfassen der Umgebung 22 mittels des Stereokamerasystems 12 besonders verbessern zu können und insbesondere die Messfehler besonders gering halten zu können, ist es vorgesehen, dass insbesondere in einem Kalibrierungsbetriebsmodus zum Kalibrieren des Stereokamerasystems 12 mittels einer elektronischen Recheneinrichtung 44 des Stereokamerasystems 12 in Abhängigkeit von wenigstens einem mittels den optischen Erfassungseinrichtungen 16, 18 erfassten, und insbesondere in der Umgebung 22 befindendem, Referenzobjekt 46 wenigstens ein Korrekturwert ermittelt, insbesondere berechnet, wird. Der Kalibrierungsbetriebsmodus ist vorzugsweise ein von dem Normalbetriebsmodus unterschiedlicher Betriebsmodus des Stereokamerasystems 12. In Abhängigkeit von dem ermittelten Korrekturwert werden die Startzeitpunkte zueinander zeitversetzt vorgegeben, das heißt die optischen Erfassungseinrichtungen 16, 18, insbesondere die Sensorelemente 28, 30, werden, insbesondere in dem Normalbetriebsmodus, zeitversetzt getriggert. Dadurch werden die Bildpunkte 32 der ersten optischen Erfassungseinrichtung 16 beziehungsweise des ersten Sensorelements 28 bezogen auf die Bildpunkte 34 der zweiten optischen Erfassungseinrichtung 18 beziehungsweise des zweiten Sensorelements 30 linienweise zeitversetzt belichtet. Dies ist in 5 in einer schematischen Darstellung veranschaulicht. Dabei sind in 5 die Bilder 24, 26 gezeigt. Somit wird in dem Normalbetriebsmodus insbesondere ein verzögerter Starttrigger verwendet, welcher von dem ermittelten Korrekturwert abhängt. In dem in 5 gezeigten Ausführungsbeispiel ist der erste Startzeitpunkt größer als der zweite Startzeitpunkt. Dies bedeutet, dass der erste Startzeitpunkt beziehungsweise das Belichten der Bildpunkte 32 des ersten Bilds 24 beziehungsweise des ersten Sensorelements 28, insbesondere gezielt, verzögert wird. Das Verzögern des Starttriggers ist in 4 mittels eines Pfeils 48 veranschaulicht. Durch die Starttriggerverzögerung kann beispielsweise eine Kompensation von Messfehlern aufgrund von Einbautoleranzen, insbesondere eine Nickwinkelkompensation, der jeweiligen optischen Erfassungseinrichtung 16, 18 durchgeführt werden. Insbesondere können somit Einbautoleranzen beziehungsweise implizite Messfehler durch Rolling-Shutter-Abtastverzögerung kompensiert werden.
Vorzugsweise ist es vorgesehen, dass das Referenzobjekt 46 erfasst wird, während das Nutzfahrzeug 10 stillsteht. In anderen Worten steht das Nutzfahrzeug 10 still, während sich das Stereokamerasystem 12 in dem Kalibrierungsbetriebsmodus befindet. Dadurch kann das Stereokamerasystem 12 vor einer Fahrt des Nutzfahrzeugs 10, insbesondere besonders sicher beziehungsweise besonders zuverlässig, kalibriert werden. Dadurch kann bei Fahrtbeginn des Nutzfahrzeugs 10 das Erfassen der Umgebung 22 besonders präzise ermöglicht werden. Ferner kann das Kalibrieren besonders aufwandsarm ermöglicht werden, insbesondere durch ein speziell hierfür vorgesehenes Referenzobjekt 46.
Insbesondere werden in dem Kalibrierungsbetriebsmodus die Bildpunkte 32 der ersten optischen Erfassungseinrichtung 16 bezogen auf die Bildpunkte 34 der zweiten optischen Erfassungseinrichtung 18 jeweils linienweise zeitgleich, das heißt nicht linienweise zeitversetzt, belichtet.
Vorzugsweise ist es vorgesehen, dass, insbesondere in dem Kalibrierungsbetriebsmodus, beim Erfassen des Referenzobjekts 46 jeweils wenigstens ein jeweiliger der Bildpunkte 32, 34 der jeweiligen optischen Erfassungseinrichtung 16, 18, insbesondere mittels der elektronischen Recheneinrichtung 44, dem erfassten Referenzobjekt 46 zugeordnet wird. In anderen Worten wird wenigstens ein jeweiliger der Bildpunkte 32, 34 des jeweiligen Sensorelements 28, 30 ermittelt, wobei dieser jeweilige Bildpunkt 32, 34 das Referenzobjekt 46 charakterisiert.
Beispielsweise ist es vorgesehen, dass mittels der elektronischen Recheneinrichtung 44 jeweils ermittelt wird, in welcher jeweiligen der jeweiligen Linien 36a bis 36f, 38a bis 38h der jeweilige zugeordnete Bildpunkt 32, 34 angeordnet ist. Dies ist in 6 in einer schematischen Darstellung für die beiden Bilder 24, 26 veranschaulicht. Es wird somit beispielsweise eine erste Nummerierungszahl r₁ ermittelt, welche eine Nummerierung derjenigen der Linien 36a bis 36f ist, in welcher sich das Referenzobjekt 46 befindet. Dies bedeutet, dass diejenige Nummerierung der Linien 36a bis 36f ermittelt wird, in welcher der jeweilige Bildpunkt 32 angeordnet ist, welchem das Referenzobjekt 46 zugeordnet ist. Beispielsweise wird eine zweite Nummerierungszahl r₂ ermittelt, welche eine Nummerierung derjenigen der Linien 38a bis 38h entspricht, in welcher das Referenzobjekt 46 angeordnet ist. Dies bedeutet, dass die Nummerierung derjenigen Linie 38a bis 38h ermittelt wird, in welcher derjenige der Bildpunkte 34 angeordnet ist, welchem das Referenzobjekt 46 zugeordnet ist.
Die zweite Zeilenzahl m kann aus einer geometrischen Funktion f in Abhängigkeit von den Nummerierungszahlen r₁, r₂ und einem Abstand x berechnet werden. Der Abstand x ist ein Abstand zwischen dem Referenzobjekt 46 und den optischen Erfassungseinrichtungen 16, 18. $m = ƒ (r_{1}, r_{2}, x)$
Insbesondere kann die zweite Zeilenanzahl m einem internen Stereo-Nickwinkel, insbesondere ausgedrückt in Sensor-Zeilen anstatt in Grad, entsprechen. Entsprechend kann im Stillstand des Nutzfahrzeugs 10, das heißt vor Fahrtbeginn des Nutzfahrzeugs 10, m beziehungsweise der interne Stereo-Nickwinkel für das, insbesondere bekannte, Referenzobjekt 46, insbesondere in der bekannten Entfernung x, mittels der geometrischen Funktion f bestimmt werden. Das Referenzobjekt 46 kann insbesondere als Target bezeichnet werden.
Beispielsweise wird mittels der elektronischen Rechenrichtung 44 in Abhängigkeit von den ermittelten jeweiligen Linien 36a bis 36f, 38a bis 38h, in welchen der jeweilige Bildpunkt 32, 34 angeordnet ist, welchem das Referenzobjekt 46 zugeordnet ist, und der, insbesondere vorgegebenen und/oder ermittelten, Referenzzeitspanne Δt der Korrekturwert ermittelt, insbesondere berechnet, wird. Dadurch kann der Korrekturwert besonders zuverlässig und/oder besonders aufwandsarm ermittelt werden. Beispielsweise wird der Korrekturwert in Abhängigkeit von dem ermittelten zweiten Zeilenwert m und der Referenzzeitspanne Δt ermittelt, insbesondere berechnet. Insbesondere wird der Korrekturwert aus einem Produkt aus dem zweiten Zeilenwert m und der Referenzwert von Δt ermittelt, insbesondere berechnet. Beispielsweise wird, insbesondere zunächst, in einem ersten Schritt der zweite Zeilenwert m bestimmt und anschließend wird, insbesondere in einem zweiten Schritt, das Produkt aus der Referenzzeitspanne Δt und dem zweiten Zeilenwert m ermittelt. Dies bedeutet, dass eine der optischen Erfassungseinrichtungen 16, 18, beispielsweise die erste optische Erfassungseinrichtung 16, um Δt · m verzögert beziehungsweise zeitversetzt getriggert wird.
In weiterer Ausgestaltung ist es vorgesehen, dass, insbesondere in dem Normalbetriebsmodus, der Korrekturwert während der Fahrt des Nutzfahrzeugs 10 mittels der elektronischen Recheneinrichtung 44 in Abhängigkeit von wenigstens einer mittels einer separat von den optischen Erfassungseinrichtungen 16, 18, insbesondere separat von dem Stereokamerasystem 12, ausgebildeten Sensoreinrichtung erfassten Größe und/oder in Abhängigkeit von wenigstens einer mittels der optischen Erfassungseinrichtung 16, 18 erfassten Bildinformation, insbesondere gezielt, angepasst wird. Die Bildinformation ist beispielsweise ein Objekt, insbesondere der Horizont 42. Dadurch kann eine dynamische Nachbesserung des Korrekturwerts, insbesondere des zweiten Zeilenwerts m, während der Fahrt des Nutzfahrzeugs 10 ermöglicht werden. Dadurch kann die Umgebung 22 besonders präzise erfasst werden. Insbesondere können dabei Schwingungen des Nutzfahrzeugs 10 beziehungsweise der optischen Erfassungseinrichtungen 16, 18 berücksichtigt beziehungsweise kompensiert werden. Das dynamische Nachbessern ist beispielsweise dann besonders sinnvoll, wenn der Horizont 42 besonders sicher angemessen werden kann.
Insbesondere dann, wenn der Abstand x besonders groß ist, das heißt, wenn der Abstand x mathematisch ausgedrückt gegen unendlich geht, dann gilt beispielsweise, insbesondere näherungsweise: $m = r_{1} - r_{2}$
Die geometrische Funktion f kann beispielsweise besonders einfach beziehungsweise aufwandsarm über eine insbesondere als Kamerageometrie bezeichnete Geometrie der jeweiligen optischen Erfassungseinrichtung 16, 18 berechnet werden. Beispielweise wird die zweite Zeilenanzahl m mit Hilfe des Referenzobjekts 46 ermittelt während das Nutzfahrzeug 10 stillsteht, das heißt insbesondere vor Fahrtantritt des Nutzfahrzeugs 10.
Insgesamt ist erkennbar, dass mittels des Verfahrens Messfehler, welche beispielsweise durch Einbautoleranzen und/oder eine fehlende rigide Verbindung der optischen Erfassungseinrichtungen 16, 18 verursacht werden können, bei einem Rolling-Shutter-Stereokamerasystem besonders vorteilhaft kompensiert werden können. Dadurch kann die Umgebung 22 besonders präzise erfasst werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102010062496 B4 [0002]
US 20200366883 A1 [0003]

Claims

Verfahren zum Betreiben eines Stereokamerasystems (12) für ein Nutzfahrzeug (10), bei welchem mittels zwei als Rolling-Shutter-Kamera (14) ausgebildeten und voneinander beabstandeten optischen Erfassungseinrichtungen (16, 18) eine Umgebung (22) des Nutzfahrzeugs (10) erfasst wird und die optischen Erfassungseinrichtungen (16, 18) jeweils wenigstens ein Sensorelement (28, 30) mit einer Mehrzahl an Bildpunkten (32, 34) aufweisen, welche zum Erfassen der Umgebung (22) ab einem jeweiligen Startzeitpunkt linienweise belichtet werden, wobei zum Kalibrieren des Stereokamerasystems (12) mittels einer elektronischen Recheneinrichtung (44) in Abhängigkeit von wenigstens einem mittels der optischen Erfassungseinrichtungen (16, 18) erfassten Referenzobjekt (46) wenigstens ein Korrekturwert ermittelt wird, in Abhängigkeit von welchem die Startzeitpunkte zueinander zeitversetzt vorgegeben werden, wodurch die Bildpunkte (32) der ersten optischen Erfassungseinrichtung (16) bezogen auf die Bildpunkte (34) der zweiten optischen Erfassungseinrichtung (18) linienweise zeitversetzt belichtet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Referenzobjekt (46) erfasst wird, während das Nutzfahrzeug (10) stillsteht.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bildpunkte (32, 34) der jeweiligen optischen Erfassungseinrichtung (16, 18) in mehreren jeweiligen Linien (36a bis 36f, 38a bis 38h) angeordnet sind und bei dem jeweiligen linienweisen Belichten der Bildpunkte (32, 34) der jeweiligen optischen Erfassungseinrichtung (16, 18) die jeweiligen Linien (36a bis 36f, 38a bis 38h) jeweils nacheinander belichtet werden, wobei beim Erfassen des Referenzobjekts (46) jeweils wenigstens ein jeweiliger der Bildpunkte (32, 34) der jeweiligen optischen Erfassungseinrichtung (16, 18) dem erfassten Referenzobjekt (46) zugeordnet wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass mittels der elektronischen Recheneinrichtung (44) jeweils ermittelt wird, in welcher jeweiligen der jeweiligen Linien (36a bis 36f, 38a bis 38h) der jeweilige zugeordnete Bildpunkt (32, 34) angeordnet ist, und mittels der elektronischen Recheneinrichtung (44) in Abhängigkeit von den ermittelten Linien (36a bis 36f, 38a bis 38h) und einer Referenzzeitspanne (Δt) der Korrekturwert ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Korrekturwert während einer Fahrt des Nutzfahrzeugs (10) mittels der elektronischen Recheneinrichtung (44) in Abhängigkeit von wenigstens einer mittels einer separat von den optischen Erfassungseinrichtungen (16, 18) ausgebildeten Sensoreinrichtung erfassten Größe und/oder in Abhängigkeit von wenigstens einer mittels den optischen Erfassungseinrichtungen (16, 18) erfassten Bildinformation angepasst wird.