-
Technisches Gebiet
-
Die Erfindung bezieht sich auf ein Verfahren zum Online-Kalibrieren eines Umfelderfassungssystems eines landwirtschaftlichen Nutzfahrzeugs. Die Erfindung bezieht sich zudem auf eine Kalibriereinrichtung zum Durchführen eines derartigen Verfahrens und auf ein landwirtschaftliches Nutzfahrzeug mit einer solchen Kalibriereinrichtung.
-
Stand der Technik
-
Es ist bekannt, auf einem landwirtschaftlichen Nutzfahrzeug Sensoren vorzusehen, um eine Umgebung des landwirtschaftlichen Nutzfahrzeugs zu erfassen. Die Sensoren können an unterschiedlichen Positionen auf dem landwirtschaftlichen Nutzfahrzeug vorgesehen sein und unterschiedliche Ausrichtungen aufweisen.
-
In der
DE 10 2015 119 078 A1 ist ein Steuersystem für eine landwirtschaftliche Maschine beschrieben, welches eine Kalibrierung von Sensoren vorsieht. Bei der Sensorkalibrierung werden sensorspezifische Korrekturwerte berechnet, welche dann im Betrieb der landwirtschaftlichen Maschine berücksichtigt werden.
-
Die
US 2019/0049566 A1 beschreibt eine Fahrzeugsensorkalibrierung. Die
DE 10 2014 226 020 A1 beschreibt ein Verfahren zur Kalibrierung von mindestens einer mobilen Sensoreinrichtung. Das
US 6,336,051 B1 beschreibt eine landwirtschaftliche Erntemaschine mit einer Robotersteuerung. Die
DE 10 2015 206 605 A1 beschreibt eine Kalibrierung von Umfeldsensoren mit Hilfe hochgenauer Karten.
-
Darstellung der Erfindung
-
Die Erfindung betrifft in einem Aspekt ein Verfahren zum Online-Kalibrieren eines Umfelderfassungssystems eines landwirtschaftlichen Nutzfahrzeugs. Mit dem Verfahren kann ein Sensor des Umfelderfassungssystems online kalibriert werden.
-
Das Umfelderfassungssystem kann auf dem landwirtschaftlichen Nutzfahrzeug angeordnet sein. Das Umfelderfassungssystem kann bildgebende und/oder distanzmessende Sensorik aufweisen. Mit der bildgebenden Sensorik können Bilder eines aktuellen Umfelds des landwirtschaftlichen Nutzfahrzeugs erfasst werden. Mit der distanzmessenden Sensorik können Punktwolken bezogen auf sich aktuell im Umfeld des landwirtschaftlichen Nutzfahrzeugs aufhaltende Objekte erzeugt werden.
-
Das Umfelderfassungssystem kann mindestens zwei Sensoren aufweisen. Die mindestens zwei Sensoren können mindestens zwei von mindestens einer Kamera, mindestens einem Laserscanner, mindestens einem Radargerät und mindestens einem Ultraschallsensor in beliebiger Kombination aufweisen. Die mindestens zwei Sensoren können mit verschiedenen Ausrichtungen auf dem landwirtschaftlichen Nutzfahrzeug angeordnet sein. Alternativ oder zusätzlich können die mindestens zwei Sensoren verschiedene oder verschieden angeordnete Erfassungsbereiche aufweisen. Alternativ oder zusätzlich können die mindestens zwei Sensoren an verschiedenen Positionen auf dem landwirtschaftlichen Nutzfahrzeug angeordnet sein. Eine relative Lage der zwei Sensoren zueinander kann sich während einem Betrieb des landwirtschaftlichen Nutzfahrzeugs ändern. Auch eine absolute Lage der zwei Sensoren kann sich während dem Betrieb des landwirtschaftlichen Nutzfahrzeugs ändern.
-
Das Online-Kalibrieren des Umfelderfassungssystems kann ein Online-Bestimmen von Kalibrierparametern des Umfelderfassungssystems aufweisen. Das Online-Kalibrieren kann als ein extrinsisches Kalibrieren des Umfelderfassungssystems durchgeführt werden. Das Online-Kalibrieren kann ein dynamisches Kalibrieren des Umfelderfassungssystems aufweisen. Mit anderen Worten können extrinsische Kalibrierparameter des Umfelderfassungssystems festgelegt werden. Dabei kann eine relative Lage beziehungsweise eine extrinsische Lage von mindestens zwei Sensoren des Umfelderfassungssystems zueinander bestimmt werden. Zusätzlich kann auch eine absolute Lage von den mindestens zwei Sensoren des Umfelderfassungssystems bestimmt werden. Intrinsische Kalibrierparameter können dagegen vorbestimmt sein.
-
Das landwirtschaftliche Nutzfahrzeug kann ein Fahrzeug sein, welches zum Bewirtschaften einer landwirtschaftlichen Nutzfläche ausgebildet ist. Bei dem landwirtschaftlichen Nutzfahrzeug kann es sich beispielsweise um einen Traktor oder um einen landwirtschaftlichen Sprayer handeln. Das landwirtschaftliche Nutzfahrzeug kann ferner als ein autonomes Fahrzeug beziehungsweise als ein autonom betreibbares Fahrzeug ausgebildet sein. Das Verfahren kann daher auch zum automatisierten Online-Kalibrieren eines Umfelderfassungssystems eines automatisiert betreibbaren landwirtschaftlichen Nutzfahrzeugs durchgeführt werden.
-
Die Schritte des Verfahrens werden in einem Betrieb des landwirtschaftlichen Nutzfahrzeugs durchgeführt. Die Schritte des Verfahrens können so in einem Fahrbetrieb oder in einem Arbeitsbetrieb durchgeführt werden. Mit anderen Worten können Schritte des Verfahrens während einer Fahrt des landwirtschaftlichen Nutzfahrzeugs durchgeführt werden. Das Verfahren kann durchgeführt werden, wenn sich das landwirtschaftliche Nutzfahrzeug auf einer landwirtschaftlichen Nutzfläche in einem Arbeitseinsatz befindet. Das landwirtschaftliche Nutzfahrzeug kann zum Durchführen zumindest eines der Schritte angehalten werden. Alternativ oder zusätzlich kann sich das landwirtschaftliche Nutzfahrzeug während zumindest eines Schrittes der durchzuführenden Schritte bewegen.
-
In einem initialen Schritt kann das landwirtschaftliche Nutzfahrzeug in Betrieb genommen werden. Das Verfahren kann dann nach einer Inbetriebnahme des landwirtschaftlichen Nutzfahrzeugs ausgeführt werden. Nachdem das Fahrzeug und dessen Umfelderfassungssystem in Betrieb genommen sind, können die weiteren Schritte ausgeführt werden.
-
Ein erster im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführender Schritt weist ein Erfassen des aktuellen Umfelds des landwirtschaftlichen Nutzfahrzeugs mit dem Umfelderfassungssystem auf.
-
Das aktuelle Umfeld des landwirtschaftlichen Nutzfahrzeugs kann zumindest einen Bereich einer aktuellen Umgebung einer landwirtschaftlichen Nutzfläche aufweisen. Das aktuelle Umfeld beziehungsweise die aktuelle Umgebung kann Objekte aufweisen, welche mit dem Umfelderfassungssystem erfasst werden können. Bei den Objekten kann es sich um natürliche oder künstliche Objekte handeln. Objekte, welche natürliche Objekte sein können, können Bodenbereiche oder Vegetationsbereiche der landwirtschaftlichen Nutzfläche sein. Objekte, welche künstliche Objekte sein können, können Bauwerke auf der landwirtschaftlichen Nutzfläche sein. So können beispielsweise Bearbeitungskanten oder Schnittkanten auf einem Feld und/oder Bauwerke mit dem Umfelderfassungssystem erfasst werden. Der Schritt des Erfassens kann ein Erfassen von linienartigen Objekten in dem aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs mit dem Umfelderfassungssystem aufweisen. Ein linienartiges Objekt kann beispielsweise eine Spur oder eine Kante sein.
-
Ein weiterer im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführender Schritt weist ein Bestimmen von aktuellen extrinsischen Kalibrierparametern basierend auf dem erfassten aktuellen Umfeld für eine Online-Kalibrierung des Umfelderfassungssystems auf.
-
Die aktuellen extrinsischen Kalibrierparameter können sich auf eine aktuelle relative Lage von mindestens zwei Sensoren des Umfelderfassungssystems beziehen. Zusätzlich können sich die aktuellen extrinsischen Kalibrierparameter auf eine absolute Lage von mindestens einem der Sensoren des Umfelderfassungssystems beziehen. Die aktuellen extrinsischen Kalibrierparameter können relative Kalibrierparameter und/oder äußere Kalibrierparameter aufweisen.
-
Die aktuellen extrinsischen Kalibrierparameter können sich im Betrieb des landwirtschaftlichen Nutzfahrzeugs ändern. Mit anderen Worten wird eine Änderung von inkonstanten extrinsischen Kalibrierparametern im Betrieb des landwirtschaftlichen Nutzfahrzeugs im Schritt des Bestimmens bestimmt und bei einer Online-Kalibrierung berücksichtigt. Der Schritt des Bestimmens kann basierend auf erfassten Objekten im aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs durchgeführt werden.
-
Die im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritte können kontinuierlich durchgeführt werden. Das Online-Kalibrieren kann somit als ein kontinuierliches Kalibrieren beziehungsweise konstantes Kalibrieren des Umfelderfassungssystems während eines Betreibens des landwirtschaftlichen Nutzfahrzeugs auf einer landwirtschaftlichen Nutzfläche durchgeführt werden. Im Gegensatz zu einer Offline-Kalibrierung vor dem Betrieb des landwirtschaftlichen Nutzfahrzeugs können somit sich ändernde Betriebseinflüsse im Betrieb des landwirtschaftlichen Nutzfahrzeugs auf das Umfelderfassungssystem bei dessen Kalibrierung berücksichtigt werden.
-
Somit können sich im Betrieb des landwirtschaftlichen Nutzfahrzeugs variable relative Lagen von mindestens zwei Sensoren des Umfelderfassungssystems berücksichtigt werden. Zusätzlich kann auch eine sich im Betrieb des landwirtschaftlichen Nutzfahrzeugs variable absolute Lage von mindestens einem Sensor des Umfelderfassungssystems berücksichtigt werden. Das Verfahren kann somit eine robuste Online-Kalibrierung ausführen.
-
Eine sich ändernde relative Lage von mindestens zwei Sensoren des Umfelderfassungssystems kann einen sich ändernden Abstand zwischen den mindestens zwei Sensoren und/oder eine sich ändernde relative Ausrichtung beziehungsweise Orientierung der beiden Sensoren zueinander aufweisen. Eine sich ändernde absolute Lage von mindestens einem Sensor des Umfelderfassungssystems kann eine sich ändernde absolute Orientierung des mindestens einen Sensors aufweisen. Die absolute Orientierung kann eine Orientierung des mindestens einen Sensors zu einer vertikalen oder horizontalen Raumrichtung sein. Mit anderen Worten können sich ändernde Posen von mindestens zwei Umfelderfassungssensoren berücksichtigt werden.
-
Das landwirtschaftliche Nutzfahrzeug kann ein landwirtschaftliches Gerät aufweisen. Das Umfelderfassungssystem kann auf dem landwirtschaftlichen Nutzfahrzeug und/oder auf einem an dem landwirtschaftlichen Nutzfahrzeug angeordneten landwirtschaftlichen Gerät angeordnet sein. Sensoren des Umfelderfassungssystems können entsprechend auf dem landwirtschaftlichen Nutzfahrzeug und/oder auf dem landwirtschaftlichen Gerät angeordnet sein.
-
Mit dem Verfahren ist es daher in vorteilhafter Weise möglich, im Betrieb des landwirtschaftlichen Nutzfahrzeugs auf diesem auftretende und sich ändernde Belastungen, welche zu einer sich ändernden relativen Lage und/oder absoluten Lage von Sensoren des Umfelderfassungssystems führen können, zu berücksichtigen. Bei den Belastungen kann es sich beispielsweise um Gewichtsbelastungen, Zugbelastungen und/oder Druckbelastungen handeln. Diese Belastungen können zu der sich ändernden relativen Lage der Sensoren führen. Handelt es sich bei dem landwirtschaftlichen Nutzfahrzeug um einen Sprayer, kann eine abnehmende Wassermenge in einem Tank des Sprayers zu sich ändernden Belastungen während eines Betriebs des Sprayers auf diesem führen. Diese sich ändernden Belastungen können zu der sich ändernden relativen Lage und/oder absoluten Lage der Sensoren des Umfelderfassungssystems führen. Auch ein Wasserausstoß durch Düsen des Sprayers nach Inbetriebnahme desselben kann die beschriebenen Folgen haben.
-
Mit dem Verfahren ist es ferner in vorteilhafter Weise möglich, im Betrieb des landwirtschaftlichen Nutzfahrzeugs auf diesem auftretende Erschütterungen oder Temperaturschwankungen, welche auch zu einer sich ändernden relativen Lage und/oder absoluten Lage von Sensoren des Umfelderfassungssystems führen können, zu berücksichtigen.
-
Ferner können mindestens zwei Sensoren des Umfelderfassungssystems auf Bauteilen des landwirtschaftlichen Nutzfahrzeugs und/oder des landwirtschaftlichen Geräts angeordnet sein. Die Bauteile können im Betrieb des landwirtschaftlichen Nutzfahrzeugs zueinander bewegt werden, wodurch sich die relative Lage der Sensoren verändern kann. Beispielsweise können einzelne Bauteile, ein Fahrwerk und/oder ein Fahrzeugchassis höhenverstellbar sein, wodurch sich ein relativer Abstand der Sensoren des Umfelderfassungssystems zu einem Referenzpunkt oder einer Referenzgerade auf dem landwirtschaftlichen Nutzfahrzeug oder auf der landwirtschaftlichen Nutzfläche ändern kann. Die Referenzgerade kann durch eine Radachse, beispielsweise durch eine Hinterradachse, des landwirtschaftlichen Nutzfahrzeugs definiert sein. In einem weiteren Schritt des Verfahrens können derartige Abstände basierend auf dem erfassten Umfeld des Umfelderfassungssystems bestimmt werden.
-
Der Schritt des Erfassens weist ein Erfassen von geometrischen Merkmalen in dem aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs auf. Die Objekte im Umfeld des landwirtschaftlichen Nutzfahrzeugs können die geometrischen Merkmale aufweisen. Bei den geometrischen Merkmalen kann es sich um Vektoren und/oder Geraden von Objekten im aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs handeln. Beispielsweise kann ein Normalenvektor einer Fläche eines Objekts, eine Begrenzungsgerade zwischen zwei Objekten oder eine Symmetriegerade eines Objekts erfasst werden. Der Normalenvektor kann aus einer Punktwolke beziehungsweise aus mehreren auf einer Fläche eines Objekts gemessenen Punkten abgeleitet werden. Eine Symmetriegerade kann beispielsweise aus einem erfassten zylindrischen Objekt abgeleitet werden. Alternativ oder zusätzlich können die geometrischen Merkmale Punkte aufweisen. So kann beispielsweise aus einem erfassten kugelförmigen Objekt dessen Mittelpunkt abgeleitet werden.
-
Durch ein Erfassen von geometrischen Merkmalen beziehungsweise Parametern von Objekten im aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs kann das aktuelle Umfeld zuverlässiger und genauer erfasst werden. Werden die geometrischen Merkmale von mindestens zwei Sensoren des Umfelderfassungssystems erfasst, kann aus diesen deren relative Lage und somit deren aktuelle extrinsische Kalibrierparameter bestimmt werden. Hierfür können Methoden aus der Computer Vision, beispielsweise aus der perspektivischen Projektion, angewandt werden.
-
Der Schritt des Bestimmens von aktuellen extrinsischen Kalibrierparametern wird basierend auf den erfassten geometrischen Merkmalen durchgeführt. Die aktuellen extrinsischen Kalibrierparameter können somit aus redundant erfassten Objekten, das heißt mit mindestens zwei Sensoren des Umfelderfassungssystems erfassten Objekte, bestimmt werden.
-
Das Verfahren weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Extrahieren von Linienmerkmalen aus dem erfassten aktuellen Umfeld auf. Die Linienmerkmale können Vektoren und/oder Geraden von Objekten im aktuellen Umfeld aufweisen. Die Linienmerkmale können geometrische Parameter gerader Linien aufweisen. Die Linienmerkmale können auch geometrische Parameter gekrümmter Linien, beispielsweise von Kreisbögen und/oder Splines aufweisen. Der Schritt des Extrahierens kann ein Extrahieren von Linien in einem Bild des aktuellen Umfelds oder in einer Punktwolke des aktuellen Umfelds aufweisen. Linien können mit Methoden der Ausgleichungsrechnung bestimmt werden. Parameter von einer Linie können so Parameter einer mathematisch überbestimmt geschätzten Linie sein.
-
Der Schritt des Bestimmens wird basierend auf den extrahierten Linienmerkmalen durchgeführt. Aus den Messdaten von mindestens zwei Sensoren des Umfelderfassungssystems extrahierte Linien können überlagert werden, um die relative Lage der mindestens zwei Sensoren zueinander abzuleiten. Mit anderen Worten kann so die relative Lage von Sensorkoordinatensystemen der mindestens zwei Sensoren zueinander bestimmt werden. Die aktuellen extrinsischen Kalibrierparameter können daher aktuellen Transformationsparametern zwischen Sensorkoordinatensystemen des Umfelderfassungssystems entsprechen.
-
Ein Vorteil des Verfahrens kann somit darin bestehen, dass aktuelle extrinsische Kalibrierparameter beziehungsweise aktuelle Transformationsparameter objektbasiert, das heißt lediglich basierend auf Objekten im Umfeld des landwirtschaftlichen Nutzfahrzeugs bestimmt werden können. Hierfür kann es nicht erforderlich sein, Messtargets oder Passpunkte im Umfeld des landwirtschaftlichen Nutzfahrzeugs anzubringen und durch das Umfelderfassungssystem gezielt zu erfassen. Mit anderen Worten kann so das Umfelderfassungssystem mit dem Verfahren bereits basierend auf den im Umfeld des landwirtschaftlichen Nutzfahrzeugs ohnehin vorhandenen Objekten durchgeführt werden.
-
Das Verfahren weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Festlegen einer zukünftigen Trajektorie des landwirtschaftlichen Nutzfahrzeugs auf. Die zukünftige Trajektorie kann eine von dem landwirtschaftlichen Nutzfahrzeug in Zukunft abzufahrende Route sein. Die zukünftige Trajektorie kann vorgegeben oder aus dem aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs abgeleitet werden. Die zukünftige Trajektorie kann ferner basierend auf einem Lokalisieren beziehungsweise Positionieren des landwirtschaftlichen Nutzfahrzeugs festgelegt werden. Basierend auf einer aktuellen Position des landwirtschaftlichen Nutzfahrzeugs kann die Route vorausberechnet werden. Das Festlegen kann somit das Planen einer zukünftigen Route aufweisen. Die festgelegte zukünftige Trajektorie kann ferner basierend auf Karteninformationen zum Umfeld des landwirtschaftlichen Nutzfahrzeugs festgelegt werden. Die zukünftige Trajektorie kann von einem Fahrer des landwirtschaftlichen Nutzfahrzeugs gewählt oder von einem Assistenzsystem des landwirtschaftlichen Nutzfahrzeugs vorgegeben werden.
-
Das Verfahren weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Bestimmen einer Krümmung der festgelegten zukünftigen Trajektorie auf. Das Bestimmen der Krümmung kann ein Bestimmen von einem zukünftigen Kurvenradius aufweisen. Alternativ oder zusätzlich kann das Bestimmen der Krümmung ein Ableiten der Krümmung aus einer Lenkwinkelvorgabe aufweisen.
-
Ferner wird der Schritt des Bestimmens von aktuellen extrinsischen Kalibrierparametern in Abhängigkeit der bestimmten Krümmung durchgeführt. Das Online-Kalibrieren des Umfelderfassungssystems kann somit in Abhängigkeit der Krümmung einer zukünftigen Trajektorie des landwirtschaftlichen Nutzfahrzeugs durchgeführt werden. Auch Einflüsse einer Kurvenfahrt auf die relative Lage von Sensoren des Umfelderfassungssystems können so berücksichtigt werden.
-
Eine weitere Ausführungsform des Verfahrens weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Prüfen auf, ob die bestimmte Krümmung der zukünftigen Trajektorie kleiner als ein vordefinierter Krümmungsgrenzwert ist, auf. Gemäß dieser Ausführungsform kann der Schritt des Bestimmens von aktuellen extrinsischen Kalibrierparametern durchgeführt werden, wenn die bestimmte Krümmung kleiner als der vordefinierte Krümmungsgrenzwert ist. Somit kann in vorteilhafter Weise geprüft werden, ob die zukünftige Route des landwirtschaftlichen Nutzfahrzeugs für das Online-Kalibrieren des Umfelderfassungssystems geeignet ist.
-
Ist die Krümmung der zukünftigen Trajektorie kleiner als der vordefinierte Krümmungsgrenzwert beziehungsweise weist diese einen größeren Kurvenradius als ein vordefinierter Kurvenradius auf, kann die zukünftige Trajektorie für das Online-Kalibrieren geeignet sein. Ist die Krümmung der zukünftigen Trajektorie dagegen größer als der vordefinierte Krümmungsgrenzwert beziehungsweise weist diese einen kleineren Kurvenradius als ein vordefinierter Kurvenradius auf, kann die zukünftige Trajektorie für das Online-Kalibrieren nicht geeignet sein.
-
Das Online-Kalibrieren kann somit dann durchgeführt werden, wenn die Krümmung der zukünftigen Trajektorie kleiner als der vordefinierte Krümmungsgrenzwert ist. Dagegen kann das Online-Kalibrieren dann nicht durchgeführt werden, wenn die Krümmung der zukünftigen Trajektorie größer als der vordefinierte Krümmungsgrenzwert ist. Erfassbare geometrische Merkmale und extrahierbare Linienmerkmale können ferner mit der Krümmung der zukünftigen Trajektorie korreliert sein beziehungsweise sich bedingen. So können beispielsweise gerade Fahrspuren beziehungsweise Fahrgassen oder Bearbeitungsgrenzen wie Schnittkanten in Fahrrichtung vor dem landwirtschaftlichen Nutzfahrzeug mit einer höheren Wahrscheinlichkeit vorhanden sein, wenn die zukünftige Trajektorie einen geradlinigen Trajektorienabschnitt aufweist.
-
Eine weitere Ausführungsform des Verfahrens weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Bestimmen eines Qualitätsparameters der extrahierten Linienmerkmale auf. Der Qualitätsparameter kann eine Zuverlässigkeit, eine Genauigkeit und/ oder eine Vollständigkeit einer Erfassung eines geometrischen Merkmals und/oder eines extrahierten Linienmerkmals beschreiben. So kann der Qualitätsparameter beispielsweise ein Maß für eine Streuung von Messpunkten entlang einer extrahierten Linie aufweisen. Ferner kann der Qualitätsparameter ein Maß dafür angeben, welche Länge eine extrahierte Linie hat und/oder ob die extrahierte Linie Unterbrechungen aufweist, in welchen keine Messpunkte vorgelegen haben. Der Qualitätsparameter der extrahierten Linienmerkmale kann aus einem Berechnen der Linienmerkmale abgeleitet werden oder direkt erfasst werden. Der Qualitätsparameter kann sich dabei auf eine gerade Linie oder auf eine gekrümmte Linie beziehen. Beispielsweise kann der Qualitätsparameter auch die Zuverlässigkeit oder Genauigkeit eines Parameters für ein Polynom beschreiben, welches als Linie extrahiert werden kann.
-
Gemäß der vorhergehenden Ausführungsform kann im Betrieb des landwirtschaftlichen Nutzfahrzeugs als weiterer Schritt ein Prüfen, ob der bestimmte Qualitätsparameter größer als ein vordefinierter Qualitätsgrenzwert ist, durchgeführt werden. Gemäß der vorhergehenden Ausführungsform kann der Schritt des Bestimmens von aktuellen extrinsischen Kalibrierparametern durchgeführt werden, wenn der bestimmte QualitätsParameter größer als der vordefinierte Qualitätsgrenzwert ist. Mit anderen Worten kann ein extrahiertes Linienmerkmal für ein Bestimmen von aktuellen extrinsischen Kalibrierparametern verwendet werden, wenn es mit ausreichender geometrischer beziehungsweise stochastischer Zuverlässigkeit bestimmt werden konnte. Somit kann eine Genauigkeit der bestimmten aktuellen extrinsischen Kalibrierparameter und somit auch eine Genauigkeit der Online-Kalibrierung vergrößert werden.
-
Nach einer weiteren Ausführungsform des Verfahrens weist das landwirtschaftliche Nutzfahrzeug ein landwirtschaftliches Gerät auf. Das landwirtschaftliche Gerät kann im Betrieb des landwirtschaftlichen Nutzfahrzeugs von diesem bewegt werden, beispielsweise gezogen werden. Das landwirtschaftliche Gerät kann auch als ein Anbauteil auf dem landwirtschaftlichen Nutzfahrzeug vorgesehen sein. Das landwirtschaftliche Gerät kann relativ zum landwirtschaftlichen Nutzfahrzeug im Betrieb desselben bewegt werden. Dadurch kann sich die relative Lage des landwirtschaftlichen Geräts zum landwirtschaftlichen Nutzfahrzeug verändern.
-
Gemäß der vorhergehenden Ausführungsform kann das Umfelderfassungssystem mindestens einen Sensor aufweisen, welcher an dem landwirtschaftlichen Gerät angeordnet ist. Bewegt sich das landwirtschaftliche Gerät relativ zum Nutzfahrzeug oder umgekehrt, können so aktuelle extrinsische Kalibrierparameter unter Berücksichtigung einer derartigen Lageänderung bestimmt werden. Befindet sich ein weiterer Sensor des Umfelderfassungssystems auf dem landwirtschaftlichen Nutzfahrzeug, kann so eine relative Lageänderung zwischen diesen beiden Sensoren mittels einer Rekalibrierung berücksichtigt werden.
-
Nach einer weiteren Ausführungsform kann das Umfelderfassungssystem mindestens zwei Sensoren aufweisen, welche an dem landwirtschaftlichen Gerät angeordnet sind. Die mindestens zwei Sensoren können an verschiedenen Bauteilen des landwirtschaftlichen Geräts angeordnet sein, welche relativ zueinander bewegt werden können. Bewegen sich die Bauteile relativ zueinander, können so aktuelle extrinsische Kalibrierparameter unter Berücksichtigung einer derartigen Lageänderung bestimmt werden.
-
Nach einer weiteren Ausführungsform des Verfahrens werden die im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritte während einer automatisierten Fahrt des landwirtschaftlichen Nutzfahrzeugs durchgeführt. Bei der automatisierten Fahrt des landwirtschaftlichen Nutzfahrzeugs kann es sich um eine ferngesteuerte Fahrt des landwirtschaftlichen Nutzfahrzeugs handeln. Das Verfahren kann somit auch zum ferngesteuerten Online-Kalibrieren eines Umfelderfassungssystems des landwirtschaftlichen Nutzfahrzeugs durchgeführt werden. Der Betrieb eines landwirtschaftlichen Nutzfahrzeugs in einem sogenannten „Precision Farming“ kann somit in einem höher Autonomielevel durchgeführt werden. Ein Kalibrieren des landwirtschaftlichen Nutzfahrzeugs kann auch in vorteilhafter Weise „on the fly“ mit dem Verfahren auf dem landwirtschaftlichen Nutzfahrzeug durchgeführt werden. Das Online-Kalibrieren kann somit ohne einen Benutzereingriff vor Ort auf einer landwirtschaftlichen Nutzfläche ausgeführt werden.
-
Offenbart ist in einem weiteren Aspekt eine Kalibriereinrichtung. Die Kalibriereinrichtung ist eingerichtet, die Schritte des Verfahrens nach dem vorhergehenden Aspekt durchzuführen. Die Kalibriereinrichtung kann auf einem landwirtschaftlichen Nutzfahrzeug angeordnet sein.
-
Die Kalibriereinrichtung kann Schnittstellen zum Einlesen von Erfassungsdaten eines aktuellen Umfelds des landwirtschaftlichen Nutzfahrzeugs aufweisen. Die Kalibriereinrichtung kann mindestens zwei Sensoren zum Erzeugen derartiger Erfassungsdaten aufweisen. Die Kalibriereinrichtung kann beispielsweise mindestens zwei Kameras, mindestens zwei Laserscanner, mindestens zwei Radargeräte und/oder mindestens zwei Ultraschallsensoren aufweisen. Die Kalibriereinrichtung kann ferner mindestens zwei verschiedene Sensoren aufweisen, beispielsweise eine Kamera und einen Laserscanner. Die Kalibriereinrichtung kann zudem eine Bestimmungseinheit zum Bestimmen aktueller extrinsischer Kalibrierparameter basierend auf den eingelesenen beziehungsweise erfassten Erfassungsdaten aufweisen.
-
Die Kalibriereinrichtung kann auch eine Lokalisierungskomponente zum Lokalisieren des landwirtschaftlichen Nutzfahrzeugs aufweisen. Zudem kann die Kalibriereinrichtung eine Routenplanungskomponente zum Planen einer zukünftig abzufahren Route basierend auf der Lokalisierung aufweisen.
-
Die Erfindung betrifft in einem weiteren Aspekt ein landwirtschaftliches Nutzfahrzeug mit einer Kalibriereinrichtung nach dem vorhergehenden Aspekt.
-
Figurenliste
-
- 1 zeigt ein landwirtschaftliches Nutzfahrzeug mit einer Kalibriereinrichtung nach einer jeweiligen Ausführungsform.
- 2 zeigt ein Ablaufdiagramm mit Verfahrensschritten zum Durchführen eines Verfahrens zum Online-Kalibrieren eines Umfelderfassungssystems des landwirtschaftlichen Nutzfahrzeugs gemäß einer Ausführungsform des Verfahrens.
- 3 zeigt das landwirtschaftliche Nutzfahrzeug auf einer landwirtschaftlichen Nutzfläche nach einer Inbetriebnahme zur Erläuterung des Verfahrens.
- 4 zeigt das landwirtschaftliche Nutzfahrzeug nach einem Bearbeiten eines Bereichs der landwirtschaftlichen Nutzfläche zur weiteren Erläuterung des Verfahrens.
- 5 zeigt das landwirtschaftliche Nutzfahrzeug nach einem Wendemanöver vor einem weiteren Bearbeiten eines weiteren Bereichs der landwirtschaftlichen Nutzfläche zur weiteren Erläuterung des Verfahrens.
-
Detaillierte Beschreibung von Ausführungsformen
-
1 zeigt ein landwirtschaftliches Nutzfahrzeug 10 mit einem an ihm angeordneten landwirtschaftlichen Gerät 11. Das landwirtschaftliche Gerät 11 ist in dieser Ausführungsform an einem Heckbereich des landwirtschaftlichen Nutzfahrzeugs 10 angehängt.
-
An einem Frontbereich des landwirtschaftlichen Nutzfahrzeugs 10 sind zwei Umfelderfassungssensoren 13 angeordnet. Die Umfelderfassungssensoren 13 bilden das Umfelderfassungssystem 12 des landwirtschaftlichen Nutzfahrzeugs 10. Die beiden Umfelderfassungssensoren 13 weisen einen jeweiligen Erfassungsbereich 21 auf, welche in dieser Ausführungsform in Fahrtrichtung des landwirtschaftlichen Nutzfahrzeugs 10 ausgerichtet sind. Die Erfassungsbereiche 21 erfassen einen Teilbereich eines Umfelds 20 um das landwirtschaftliche Nutzfahrzeug 10. Die Erfassungsbereiche 21 überlappen sich teilweise. Alternative oder zusätzlich zu der in 1 gezeigten Ausführungsform sind die Umfelderfassungssensoren 13 zumindest teilweise an dem landwirtschaftlichen Gerät 11 anordbar. In einer weiteren in 1 nicht gezeigten Ausführungsform ist jeweils ein Umfelderfassungssensor 13 an dem landwirtschaftlichen Nutzfahrzeug 10 und an dem landwirtschaftlichen Gerät 11 angeordnet.
-
Auf dem landwirtschaftlichen Nutzfahrzeug 10 ist zudem eine Positionierungseinrichtung 16 und eine Kalibriereinrichtung 14 angeordnet, welche miteinander verbunden sind. Die Positionierungseinrichtung 16 ist eingerichtet, eine aktuelle Position des landwirtschaftlichen Nutzfahrzeugs 10 zu bestimmen. Die Kalibriereinrichtung 14 ist auch mit den beiden Umfelderfassungssensoren 13 des Umfelderfassungssystem 12 verbunden, um deren Erfassungsdaten auszulesen und basierend darauf extrinsische Kalibrierparameter der Umfelderfassungssensoren 13 des Umfelderfassungssystems 12 zu bestimmen.
-
2 zeigt Verfahrensschritte zum Durchführen eines Verfahrens zum Online-Kalibrieren des Umfelderfassungssystems 12 des in 1 gezeigten landwirtschaftlichen Nutzfahrzeugs 10. Das Verfahren wird während einem Betrieb des landwirtschaftlichen Nutzfahrzeugs 10 durchgeführt.
-
In einem initialen Verfahrensschritt S0 erfolgt eine Inbetriebnahme des landwirtschaftlichen Nutzfahrzeugs 10. Bei der Inbetriebnahme wird mindestens eine Maschine (in den Figuren nicht gezeigt) des landwirtschaftlichen Nutzfahrzeugs 10 gestartet.
-
In einem ersten Verfahrensschritt S1 erfolgt eine Lokalisierung des landwirtschaftlichen Nutzfahrzeugs 10 in seinem Umfeld 20. In diesem Lokalisierungsschritt wird eine aktuelle Position des landwirtschaftlichen Nutzfahrzeugs 10 bestimmt.
-
Basierend auf der im ersten Verfahrensschritt S1 bestimmten Position des landwirtschaftlichen Nutzfahrzeugs 10 wird eine zukünftige Trajektorie des landwirtschaftlichen Nutzfahrzeugs 10 in einem zweiten Verfahrensschritt S2 festgelegt. Die zukünftige Trajektorie wird festgelegt, um eine landwirtschaftliche Nutzfläche mit dem landwirtschaftlichen Nutzfahrzeug 10 zu bearbeiten.
-
In einem darauffolgenden, ersten Prüfschritt P1 wird geprüft, ob die im zweiten Verfahrensschritt S2 festgelegte, zukünftige Trajektorie geeignet ist, eine Online-Kalibrierung des Umfelderfassungssystems 12 durchzuführen. In einem Entscheidungskriterium des ersten Prüfschritts P1 wird eine Krümmung der festgelegten, zukünftigen Trajektorie betrachtet. Ist diese Krümmung kleiner als ein vorbestimmter Krümmungsgrenzwert, wird ein weiterer nachfolgender dritter Verfahrensschritt S3 durchgeführt. Ist die Krümmung der zukünftigen Trajektorie größer als der vorbestimmte Krümmungsgrenzwert, wird der vorhergehende zweite Verfahrensschritt S2 der Trajektorienfestlegung zu einem späteren Zeitpunkt erneut durchgeführt. Zu diesem späteren Zeitpunkt hat sich das landwirtschaftliche Nutzfahrzeug 10 entlang der zukünftigen Trajektorie weiterbewegt. Der zweite Verfahrensschritt S2 und der erste Prüfschritt P1 werden solange wiederholt durchgeführt, bis das Entscheidungskriterium des ersten Prüfschritts P1 erfüllt ist.
-
Bei erfülltem Entscheidungskriterium des ersten Prüfschritts P1 wird der dritte Verfahrensschritt S3 durchgeführt. In diesem dritten Verfahrensschritt S3 erfolgt eine Umfelderfassung des Umfelds 20 mit der auf dem landwirtschaftlichen Nutzfahrzeug 10 angeordneten Umfelderfassungssystem 12 beziehungsweise mit den Umfelderfassungssensoren 13. Mit dem Umfelderfassungssystem 12 werden in diesem Schritt geometrische Merkmale im Umfeld 20 des landwirtschaftlichen Nutzfahrzeugs 10 erfasst.
-
In einem zweiten Prüfschritt P2 erfolgt eine Qualitätsprüfung der im vorhergehenden dritten Verfahrensschritt S3 erfassten Linien. Als Entscheidungskriterium dieses zweiten Prüfschritts P2 wird ein Zuverlässigkeitswert eines die Linien definierenden geometrischen Parameters verwendet. Ist dieser Zuverlässigkeitswert oberhalb eines vordefinierten Zuverlässigkeitsgrenzwerts, wird das Verfahren mit dem weiteren vierten Verfahrensschritt S4 weiter ausgeführt. Befindet sich der Zuverlässigkeitswert unterhalb des vordefinierten Zuverlässigkeitsgrenzwerts wird der vorhergehende dritte Verfahrensschritt S3 erneut durchgeführt. Der zweite Prüfschritt P2 und der dritte Verfahrensschritt S3 werden solange wiederholt durchgeführt bis das Entscheidungskriterium des zweiten Prüfschritts P2 erfüllt ist.
-
In einem vierten Verfahrensschritt S4 erfolgt eine Kalibrierparameterbestimmung. In diesem Schritt werden aktuelle extrinsische Kalibrierparameter der Umfelderfassungssensoren 13 des Umfelderfassungssystems 12 basierend auf den im dritten Verfahrensschritt S3 erfassten geometrischen Merkmalen bestimmt. Basierend auf den in diesem vierten Verfahrensschritt S4 bestimmten extrinsischen Kalibrierparametern erfolgt in einem weiteren fünften Verfahrensschritt S5 eine Online-Kalibrierung der Umfelderfassungssensoren 13 des Umfelderfassungssystems 12.
-
In 3 ist das landwirtschaftliche Nutzfahrzeug 10 mit dem landwirtschaftlichen Gerät 11 auf einer unbearbeiteten landwirtschaftlichen Nutzfläche 28 gezeigt. Das Umfeld 20 des landwirtschaftlichen Nutzfahrzeugs 10 weist die unbearbeitete landwirtschaftliche Nutzfläche 28 zumindest teilweise auf. In Fahrtrichtung vor dem landwirtschaftlichen Nutzfahrzeug 10 sind geometrische Merkmale 22 auf der landwirtschaftlichen Nutzfläche 28 ausgebildet. Die auf der unbearbeiteten landwirtschaftlichen Nutzfläche 28 ausgebildeten geometrischen Merkmale 22 weisen zwei Fahrspuren 24 auf.
-
Die Fahrspuren 24 werden von dem in den 3 bis 5 nicht gezeigten Umfelderfassungssystem 12 in dem dritten Verfahrensschritt S3 erfasst. Eine zukünftige Trajektorie 30, welche im zweiten Verfahrensschritt S2 festgelegt worden ist, ist als eine gerade Trajektorie 32 ausgebildet. Die Fahrspuren 24 werden zum Bestimmen der aktuellen extrinsischen Kalibrierparameter der Umfelderfassungssensoren 13 des Umfelderfassungssystems 12 im vierten Verfahrensschritt S4 verwendet, da es sich bei der zukünftigen Trajektorie 30 um eine gerade Trajektorie 32 handelt.
-
In 4 ist das landwirtschaftliche Nutzfahrzeug 10 mit seinem landwirtschaftlichen Gerät 11 zu einem späteren Zeitpunkt beim Bearbeiten der landwirtschaftlichen Nutzfläche 28 gezeigt. In Fahrtrichtung hinter dem landwirtschaftlichen Nutzfahrzeug 10 befindet sich nun eine bearbeitete landwirtschaftliche Nutzfläche 28'. Da sich das Fahrzeug am Rand der landwirtschaftlichen Nutzfläche 28 befindet, muss es nun nach einem Befahren der bereit abgefahrenen Trajektorie 30' ein Wendemanöver durchführen. Die hierfür abzufahrende zukünftige Trajektorie 30 ist nun eine gekrümmte Trajektorie 34. Weitere Fahrspuren 24 werden jetzt nicht zum Bestimmen der aktuellen extrinsischen Kalibrierparameter der Umfelderfassungssensoren 13 des Umfelderfassungssystems 12 im vierten Verfahrensschritt S4 verwendet, da es sich bei der zukünftigen Trajektorie 30 um eine gekrümmte Trajektorie 34 handelt.
-
In 5 ist das landwirtschaftliche Nutzfahrzeug 10 mit seinem landwirtschaftlichen Gerät 11 nach Befahren der in 4 gezeigten gekrümmten Trajektorie 34 als abgefahrene Trajektorie 30' gezeigt. In Fahrtrichtung vor dem landwirtschaftlichen Nutzfahrzeug 10 befinden sich nun neben den weiteren Fahrspuren 24 auch eine Arbeitsgrenze 26 zwischen der zuvor bearbeiteten landwirtschaftlichen Nutzfläche 28' und der weiterhin unbearbeiteten landwirtschaftlichen Nutzfläche 28. Analog zu dem zu 3 Beschriebenen erfasst das landwirtschaftliche Nutzfahrzeug 10 neben den Fahrspuren 24 nun auch die Arbeitsgrenze 26 mit seinem Umfelderfassungssystem 12. Aus den erfassten Fahrspuren 24 und der erfassten Arbeitsgrenze 26 werden weitere Linienmerkmale abgeleitet, welche nun zum Bestimmten von aktuellen extrinsischen Kalibrierparametern verwendet werden.
-
Bezugszeichenliste
-
- 10
- landwirtschaftliches Nutzfahrzeug
- 11
- landwirtschaftliches Gerät
- 12
- Umfelderfassungssystem
- 13
- Umfelderfassungssensor
- 14
- Kalibriereinrichtung
- 16
- Positionierungseinrichtung
- 20
- Umfeld
- 21
- Erfassungsbereich
- 22
- geometrische Merkmale
- 24
- Fahrspur
- 26
- Arbeitsgrenze
- 28
- landwirtschaftliche Nutzfläche
- 28'
- bearbeitete landwirtschaftliche Nutzfläche
- 30
- zukünftige Trajektorie
- 30'
- abgefahrene Trajektorie
- 32
- gerade Trajektorie
- 34
- gekrümmte Trajektorie
- P1
- Krümmungsprüfung
- P2
- Qualitätsprüfung
- S0
- Inbetriebnahme
- S1
- Lokalisierung
- S2
- Trajektorienfestlegung
- S3
- Umfelderfassung
- S4
- Kalibrierparameterbestimmung
- S5
- Online-Kalibrierung
