DE102019209383A1 - System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und Landmaschine umfassend ein derartiges System - Google Patents

System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und Landmaschine umfassend ein derartiges System Download PDF

Info

Publication number
DE102019209383A1
DE102019209383A1 DE102019209383.3A DE102019209383A DE102019209383A1 DE 102019209383 A1 DE102019209383 A1 DE 102019209383A1 DE 102019209383 A DE102019209383 A DE 102019209383A DE 102019209383 A1 DE102019209383 A1 DE 102019209383A1
Authority
DE
Germany
Prior art keywords
agricultural machine
neural network
artificial neural
sensor set
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019209383.3A
Other languages
English (en)
Inventor
Alexander Stohr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019209383.3A priority Critical patent/DE102019209383A1/de
Publication of DE102019209383A1 publication Critical patent/DE102019209383A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Abstract

System (10) zur Erkennung von verdeckten Objekten (1) mit multispektraler Sensorik im Landwirtschaftsbereich, umfassend ein multispektrales Sensor-Set (11) anordenbar an einer Landmaschine (2), eine Recheneinheit (12), die über erste Schnittstellen mit dem Sensor-Set (11) Signal übertragend verbunden ist, wobei die Recheneinheit (12) ausgeführt ist, Signale einzelner Sensoren (11a, 11b, 11c, 11d, 11e, 11f) des Sensor-Sets (11) zu fusionieren, ein künstliches neuronales Netzwerk (13) auszuführen, das künstliche neuronale Netzwerk (13) mit diesen Fusionsdaten zu speisen, wobei das künstliche neuronale Netzwerk (13) trainiert ist, in Abhängigkeit der Fusionsdaten die Objekte (1) zu klassifizieren und/oder lokalisieren und eine Szene zu verstehen und in Abhängigkeit dieser Klassifikation und/oder Lokalisierung und des Szenenverständnisses für den Fall, dass Hindernisse im Weg der Landmaschine (2) wahrgenommen wurden, ein Steuerungssignal für die Landmaschine (2) zu erzeugen, um den Hindernissen auszuweichen, und zweite Schnittstellen zu einer Steuerungsvorrichtung der Landmaschine (1) zur Übertragung der Steuerungssignale.

Description

  • Die Erfindung bezieht sich auf ein System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und auf eine Landmaschine umfassend ein derartiges System.
  • Die DE 10 2017 119 538 A1 offenbart ein maschinelles Lernmodul, das eine Wahrscheinlichkeitsverteilung aus Trainingsdaten erzeugt, die markierte Modellierungsdaten, die mit Reflexionsdaten korreliert sind, umfassen.
  • Bekannt sind auch
    • • Night-Vision für Straßen-Systeme und im militärischen Sektor (zur Aufklärung; Vermeidung von Mienen und sonstigen Sperrvorrichtungen), aber auch im stationären Objektschutz (Anschleichen von Eindringlingen durch Gelände das Deckung bietet, etwa durch hohes Gras oder Gebüsch),
    • • Kombinationen aus TOF-Sensoren, die zusätzliche Kamera-Pixel haben, etwa zur verbesserten Sicherheit auf normalen Straßen (=> bessere Objekt-Verifikation),
    • • Landmaschinen mit Auslegern für die Spritzmittelverteilung von oben auf Pflanzen und Erdboden, die mit Hilfe von Sensoren Objekte sehen, die in ihrem Weg bzw. Schwenkbereich oberhalb des Acker-Bewuchses zu sehen sind.
  • Im automatischen Fahren auf öffentlichen Straßen finden sich Beispiele für neuronale Netze, die bis hin zum „Markieren“ ganze Bilder in Echtzeit (z.B. 20-100 ms) nach Objekttypen realisiert wurden und so ein umfassendes Szenen-Verständnis abgeleitet werden konnte im Sinne von Zonen gleichen Typs (Fußgänger, Fahrbahn, PKW, LKW, Ampel, Verkehrsschild, Pfosten, Säule, Baum, Haus, usw.).
  • Problematisch im Landwirtschaftsbereich ist, dass mehr oder minder unbekanntes Terrain mit häufig starkem Bewuchs (und durchaus häufiger starker StaubEntwicklung) am Tag wie auch in der Nacht befahren wird. Insbesondere bei Erntevorgängen kann es vor kommen, dass sich Tiere (z.B. Rehe; Tierschutzgesetz!), Menschen (etwa Nächtigen mit/ohne Schlafsack; entsprechende Gesetze!) oder auch Gegenstände (größere Steine, Müll, abgestellte Fahrzeuge/Anhänger, Bäume oder Baumstumpfe, sonstiges) hinter den oft sehr blickdichten Pflanzen (z.B. Weizen/Roggen, Mais, usw.) verbergen. Dies bedeutet eine Gefahr für die Maschine und den Vorgang (Beschädigung, Störung der Arbeit, Verunreinigung des Ernteguts, usw.), aber auch für das verborgene Objekt bzw. Lebewesen, so weit von schützenswerter Bedeutung. Problematisch ist auch das Befahren von unbekanntem Gelände, etwa bei Such-Aktionen für Vermisste, oder einfach nur der Wille oder die Notwendigkeit eine Region „off Road“ zu durchqueren.
  • Eine Aufgabe der vorliegenden Erfindung war es, die Erkennung von Objekten im Landwirtschaftsbereich in den oben genannten Situationen zu verbessern. Das erfindungsgemäße System löst diese Aufgabe mittels multi-spektraler Sensorik und einem trainierten künstlichen neuronalen Netzwerk. Die Zentralfunktion, die durch die Erfindung bereitgestellt wird, ist das quasi durch die Bepflanzung besser/hochwertiger/sicherer Hindurchsehen durch die erfindungsgemäße Kombination des künstlichen neuronalen Netzwerks und der spektralen Vielfalt der Sensoren. Die besondere Leistung ist die Kombination der Sensorik mit einem neuronalen Netz beheimatet, durch die eine Erkennungsrate bereitgestellt wird, die deutlich über das normale menschliche Sehen unter den jeweiligen Bedingungen im Landwirtschaftsbereich hinaus geht. Damit wird die Sicherheit beim Betrieb einer Landmaschine deutlich erhöht.
  • Gemäß einem Aspekt stellt die Erfindung ein System bereit, das der Erkennung von verdeckten Objekten mit multispektraler Sensorik im Landwirtschaftsbereich dient. Das System umfasst ein multispektrales Sensor-Set anordenbar an einer Landmaschine. Ferner umfasst das System eine Recheneinheit, die über erste Schnittstellen mit dem Sensor-Set Signal übertragend verbunden ist. Die Recheneinheit ist ausgeführt, Signale einzelner Sensoren des Sensor-Sets zu fusionieren, ein künstliches neuronales Netzwerk auszuführen und das künstliche neuronale Netzwerk mit diesen Fusionsdaten zu speisen. Das künstliche neuronale Netzwerk ist trainiert, in Abhängigkeit der Fusionsdaten die Objekte zu klassifizieren und/oder lokalisieren und eine Szene zu verstehen und in Abhängigkeit dieser Klassifikation und/oder Lokalisierung und des Szenenverständnisses für den Fall, dass Hindernisse im Weg der Landmaschine wahrgenommen wurden, ein Steuerungssignal für die Landmaschine zu erzeugen, um den Hindernissen auszuweichen. Das System umfasst außerdem zweite Schnittstellen zu einer Steuerungsvorrichtung der Landmaschine zur Übertragung der Steuerungssignale.
  • Gemäß einem weiteren Aspekt stellt die Erfindung eine Landmaschine bereit umfassend das erfindungsgemäße System.
  • Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, der Zeichnung und der Beschreibung bevorzugter Ausführungsbeispiele.
  • Multispektrale Sensorik ist eine Sensorik, beispielsweise eine Kombination mehrerer einzelner Sensoren, die eine große spektrale Bandbreite erfasst, beispielsweise Wellenlängen-/Frequenzen aus dem Radarbereich, dem optischen Bereich, dem nahen und/oder fernen Infrarot (IR-)- Bereich und/oder dem akustischen Bereich.
  • Landmaschinen sind Maschinen, die im Landwirtschaftsbereich eingesetzt werden. Beispiele sind Abschiebewagen, Dreschmaschinen, Pflüge, Düngerstreuer, Kalkstreuer, Frontlader, Hecklader, Gurkenflieger, Hackmaschinen, Pistenraupen und Traktoren.
  • Die Recheneinheit umfasst Prozessoren (zum Beispiel CPUs, GPUs), Logikbausteine (zum Beispiel ICs, ASICs, FPGAs),Speichermodule (RAM, DRAM, SDRAM, SRAM) und Hardwarebeschleuniger für künstliche Intelligenz (zum Beispiel Tensor Processing Units für Matrizen-und/oder Tensormultiplikationen).
  • Das künstliche neuronale Netzwerk umfasst beispielsweise vollständig verbundene Schichten, konvolutionale Schichten und/oder rekurrente Schichten. Das künstliche neuronale Netzwerk wurde beispielsweise in forward/backward pass trainiert mit annotierten Eingangssignalen, beispielsweise mit entsprechend aufbereiteten Metadateien. Beispielsweise wurde das künstliche neuronale Netzwerk trainiert, in Abhängigkeit von Einzelaufnahmen (single shots) Merkmale zu generieren, aus mehreren Einzelaufnahmen die Merkmale zu fusionieren und zu zeitlich zu verfolgen (tracking) und daraus ein Szenenverständnis aufzubauen.
  • Die Steuerungsvorrichtung umfasst Elemente für Längs- und/oder Quersteuerung der Landmaschine. Nach einem Aspekt der Erfindung umfasst die Steuerungsvorrichtung eine AD-ECU, das ist ein elektronisches Steuergerät für autonome Fahrfunktionen, und entsprechende Aktuatoren für Längs- und Quersteuerung zum autonomen, das heißt fahrerlosen, Betrieb der Landmaschine. Das Steuerungssignal umfasst entsprechende Leistungs- und/oder Logikpegel, um beispielsweise die Landmaschine in der Arbeit anzuhalten, umzulenken oder ähnlich zu beeinflussen.
  • Nach einem Aspekt der Erfindung ist das künstliche neuronale Netzwerk trainiert, Lebewesen, Begrenzungszäune, Drahtgeflechte, Steine, Müll, abgestellte Fahrzeuge und/oder Anhänger, Bäume, Baumstümpfe und/oder blickdichte Pflanzen zu klassifizieren und/oder lokalisieren. Blickdichte Pflanzen sind beispielsweise Weizen, Roggen und Mais. Damit ist das künstliche neuronale Netzwerk für den Einsatz im Landwirtschaftsbereich optimiert.
  • Die Sensorik ermöglicht durch die neuronale Struktur der Recheneinheit, unkritischen Bewuchs selbst typisch zu erkennen und zu ignorieren und eine bessere Identifikation von nicht-typischen Objekten jeglicher anderer Art, insbesondere von gefährlichen Objekten. Dies wird vor allem durch die multispektralen erfassten Rohdaten gewährleistet.
  • Nach einem weiteren Aspekt der Erfindung ist das künstliche neuronale Netzwerk trainiert, Menschen, Schlafsäcke und/oder Tiere zu erkennen. Damit werden vorteilhafterweise auch in Feldern nächtigende Personen mit oder ohne Schlafsack wahrgenommen. Beispielsweise werden am Boden kauernde Rehe und/oder Rehkitze wahrgenommen.
  • Nach einem weiteren Aspekt der Erfindung umfasst das Sensor-Set eine Kombination von optischen, akustischen und/oder Radar-Sensoren. Damit wird eine große spektrale Bandbreite wahrgenommen. Ein Blick weit voraus (über die ersten 2-3 Reihen bzw. 2-3m des Ernteguts, und bis tief hinunter auf den Erdboden (in dem die Wurzeln stecken), ist damit möglich.
  • Nach einem Aspekt der Erfindung ist das Sensor-Set konzipiert, über einen Bremsweg der Landmaschine hinaus zu blicken. Damit kann die Landmaschine angehalten werden, bevor auch nur das erste Anbauteil in Kontakt mit den Ausläufern des detektieren Objekts/Lebewesens kommt.
  • Die einzelnen Sensoren sind ausgeführt, an einem Punkt oder über mehrere Punkte an der Landmaschine verteilt angeordnet zu werden. Beispielswiese umfassen die Sensoren entsprechende Haltevorrichtungen.
  • Nach einem weiteren Aspekt der Erfindung umfasst das Sensor-Set eine Kombination von Lidar-, Lichtlaufzeit-, Surround-Kamera-, Tageslicht-Kamera-, IR-Kamera-, Akustik- und/oder Radar-Sensoren. Mittels Lichtlaufzeit (TOF)-Sensoren werden Tiefeninformationen erhalten. Mittels IR-Kamera-Sensoren werden Objekte erkannt, die sich je nach Tageszeit/Nachtzeit durch ihre Wärmesignatur von der Umgebung hervorheben.
  • Nach einem weiteren Aspekt der Erfindung wird die Erkennungs-Performance des künstlichen neuronalen Netzwerks durch mittels den Sensoren detektierte Tageszeit die aktuelle Ausleuchtung der Szene angepasst, beispielsweise mittels einer aktiven Beleuchtung einer Lichtlaufzeit-Kamera.
  • Nach einem weiteren Aspekt der Erfindung ist die Recheneinheit ausgeführt, die Signale der einzelnen Sensoren in ein 2D oder 3D Weltsystem zu überführen. Damit werden physikalische Abstandsbeziehungen der Objekte erhalten.
  • Die Landmaschine ist nach einem Aspekt der Erfindung automatisiert betreibbar. Beispielsweise ist die Landmaschine ein selbstfahrender Ernteroboter.
  • 1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Systems 10. Das System 10 ist verteilt an einer Landmaschine 2 angeordnet. Die Landmaschine ist beispielsweise ein Traktor. In einem Erntefeld ist ein Objekt 1, beispielsweise ein Rehkitz, verdeckt hinter einer Maispflanze in der zweiten Reihe des Maisfeldes angeordnet.
  • Das System 10 umfasst ein Sensor-Set 11. Das Sensor-Set umfasst beispielsweise in Fahrtrichtung gerichtet einen Lidar-Sensor 11a, einen Lichtlaufzeit-Sensor 11b, einen Surround-Kamera-Sensor 11c und einen Radar-Sensor 11f. Ferner umfasst das System 10 einen Akustiksensor 111e, um auch Geräusche des Objekts 1 wahrzunehmen. Außerdem umfasst das System 10 einen IR-Kamera-Sensor 11d, um Wärmestrahlung des Objekts 1 wahrzunehmen.
  • Signale oder Daten des Sensor-Sets 11 werden einer Recheneinheit 12 des Systems 12 übertragen. Die Recheneinheit 12 fusioniert diese Signale/Daten und speist damit ein trainiertes künstliches neuronales Netzwerk 13, das auf der Recheneinheit 12 prozessiert wird. Erfindungsgemäß wird damit das Objekt trotz Verdeckung wahrgenommen.
  • Bezugszeichenliste
    • 1
    Objekt
    2
    Landmaschine
    10
    System
    11
    Sensor-Set
    11a
    Lidar-Sensor
    11b
    Lichtlaufzeit-Sensor
    11c
    Surround-Kamera-Sensor
    11d
    IR-Kamera-Sensor
    11e
    Akustik-Sensor
    11f
    Radarsensor
    12
    Recheneinheit
    13
    künstliches neuronales Netzwerk
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102017119538 A1 [0002]

Claims (8)

  1. System (10) zur Erkennung von verdeckten Objekten (1) mit multispektraler Sensorik im Landwirtschaftsbereich, umfassend • ein multispektrales Sensor-Set (11) anordenbar an einer Landmaschine (2), • eine Recheneinheit (12), die über erste Schnittstellen mit dem Sensor-Set (11) Signal übertragend verbunden ist, wobei die Recheneinheit (12) ausgeführt ist, o Signale einzelner Sensoren (11a, 11b, 11c, 11d, 11e, 11f) des Sensor-Sets (11) zu fusionieren, o ein künstliches neuronales Netzwerk (13) auszuführen, o das künstliche neuronale Netzwerk (13) mit diesen Fusionsdaten zu speisen, o wobei das künstliche neuronale Netzwerk (13) trainiert ist, in Abhängigkeit der Fusionsdaten die Objekte (1) zu klassifizieren und/oder lokalisieren und eine Szene zu verstehen und in Abhängigkeit dieser Klassifikation und/oder Lokalisierung und des Szenenverständnisses für den Fall, dass Hindernisse im Weg der Landmaschine (2) wahrgenommen wurden, ein Steuerungssignal für die Landmaschine (2) zu erzeugen, um den Hindernissen auszuweichen, und • zweite Schnittstellen zu einer Steuerungsvorrichtung der Landmaschine (1) zur Übertragung der Steuerungssignale.
  2. System (10) nach Anspruch 1, wobei das künstliche neuronale Netzwerk (13) trainiert ist, Lebewesen, Begrenzungszäune, Drahtgeflechte, Steine, Müll, abgestellte Fahrzeuge und/oder Anhänger, Bäume, Baumstümpfe und/oder blickdichte Pflanzen zu klassifizieren und/oder lokalisieren.
  3. System (10) nach Anspruch 1 oder 2, wobei das künstliche neuronale Netzwerk (13) trainiert ist, Menschen, Schlafsäcke und/oder Tiere zu erkennen.
  4. System (10) nach einem der vorangehenden Ansprüche, wobei das Sensor-Set (11) eine Kombination von optischen, akustischen und/oder Radar-Sensoren umfasst.
  5. System (10) nach einem der vorangehenden Ansprüche, wobei das Sensor-Set (11) eine Kombination von Lidar (11a)-, Lichtlaufzeit (11b)-, Surround-Kamera (11c)-, Tageslicht-Kamera-, IR-Kamera (11d)-, Akustik (11e)- und/oder Radar (11f)-Sensoren umfasst.
  6. System (10) nach einem der vorangehenden Ansprüche, wobei die Recheneinheit (12) ausgeführt ist, die Signale der einzelnen Sensoren in ein 2D oder 3D Weltsystem zu überführen.
  7. Landmaschine (2) umfassend ein System (10) nach einem der Ansprüche 1 bis 6.
  8. Landmaschine (2) nach Anspruch 7 automatisiert betreibbar.
DE102019209383.3A 2019-06-27 2019-06-27 System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und Landmaschine umfassend ein derartiges System Withdrawn DE102019209383A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019209383.3A DE102019209383A1 (de) 2019-06-27 2019-06-27 System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und Landmaschine umfassend ein derartiges System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019209383.3A DE102019209383A1 (de) 2019-06-27 2019-06-27 System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und Landmaschine umfassend ein derartiges System

Publications (1)

Publication Number Publication Date
DE102019209383A1 true DE102019209383A1 (de) 2020-12-31

Family

ID=73747818

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019209383.3A Withdrawn DE102019209383A1 (de) 2019-06-27 2019-06-27 System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und Landmaschine umfassend ein derartiges System

Country Status (1)

Country Link
DE (1) DE102019209383A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10016688A1 (de) * 2000-04-04 2001-10-18 Deutsch Zentr Luft & Raumfahrt Verfahren zur Detektion von Tieren und/oder Gelegen von Bodenbrütern in deren natürlichem Lebensraum sowie Einrichtungen zur Durchführung des Verfahrens
DE10351861A1 (de) * 2003-11-06 2005-06-09 Deere & Company, Moline Verfahren und Lenksystem zum selbsttätigen Lenken einer landwirtschaftlichen Maschine
DE102017119538A1 (de) * 2016-08-26 2018-03-01 Ford Global Technologies, Llc Physikalische Modellierung für Radar- und Ultraschallsensoren
DE102018127361A1 (de) * 2017-11-08 2019-05-09 GM Global Technology Operations LLC Systeme und verfahren für autonome kraftfahrzeuge mit verhaltenssteuerung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10016688A1 (de) * 2000-04-04 2001-10-18 Deutsch Zentr Luft & Raumfahrt Verfahren zur Detektion von Tieren und/oder Gelegen von Bodenbrütern in deren natürlichem Lebensraum sowie Einrichtungen zur Durchführung des Verfahrens
DE10351861A1 (de) * 2003-11-06 2005-06-09 Deere & Company, Moline Verfahren und Lenksystem zum selbsttätigen Lenken einer landwirtschaftlichen Maschine
DE102017119538A1 (de) * 2016-08-26 2018-03-01 Ford Global Technologies, Llc Physikalische Modellierung für Radar- und Ultraschallsensoren
DE102018127361A1 (de) * 2017-11-08 2019-05-09 GM Global Technology Operations LLC Systeme und verfahren für autonome kraftfahrzeuge mit verhaltenssteuerung

Similar Documents

Publication Publication Date Title
EP3718387B1 (de) Landwirtschaftliche arbeitsmaschine
Ahirwar et al. Application of drone in agriculture
US10721859B2 (en) Monitoring and control implement for crop improvement
DE102017222403A1 (de) Verfahren und Vorrichtung zur Kartierung eventuell in einem Feld vorhandener Fremdkörper
DE102014201203A1 (de) Landwirtschaftliches Arbeitsfahrzeug mit einem Fluggerät und zugehöriger Stromversorgung
DE102017113245A1 (de) Verfahren und Vorrichtung zum Erkennen von Tieren in der Fahrgasse einer landwirtschaftlichen Feldbearbeitungsmaschine
EP0732046B1 (de) Ortungsvorrichtung
DE102015116574A1 (de) Selbstfahrende landwirtschaftliche Arbeitsmaschine
BE1024929B1 (nl) Verbeteringen in of met betrekking tot voertuig/aanhangwagen-combinaties
Kim et al. An intelligent spraying system with deep learning-based semantic segmentation of fruit trees in orchards
DE102009028990A1 (de) Verfahren und System für die Umfelderfassung
DE102020102624A1 (de) Fortschrittliche vermeidung von kollisionen mit wildtieren für fahrzeuge
FR3001101A1 (fr) Dispositif agricole automatise autonome
DE102019203247A1 (de) Vision-basiertes Lenkungsassistenzsystem für Landfahrzeuge
DE102019122755A1 (de) Sicherheitssystem und Verfahren zum Betreiben einer mobilen landwirtschaftlichen Arbeitsmaschine
DE10244822A1 (de) Überwachungseinrichtung für eine Maschine
CH701643B1 (de) Verfahren zur Erkennung und Sicherung von Tieren einschliesslich Brutgelegen in landwirtschaftlich genutzten Feldern und Wiesen sowie Vorrichtung zur Durchführung des Verfahrens.
DE102019209383A1 (de) System zur Erkennung von verdeckten Objekten mit multi-spektraler Sensorik im Landwirtschaftsbereich und Landmaschine umfassend ein derartiges System
DE102020215874A1 (de) Verfahren zum Ausbringen eines Spritzmittels auf eine landwirtschaftliche Fläche
Rehna et al. Impact of autonomous drone pollination in date palms
DE102022101904A1 (de) Verfahren zur Unterstützung einer Klassifikation von Umfelddaten einer landwirtschaftlichen Arbeitsmaschine
DE102020215876A1 (de) Verfahren zum Klassifizieren von Pflanzen für landwirtschaftliche Zwecke
EP1769671A1 (de) Landwirtschaftliche Arbeitseinheit mit einer Arbeitsmaschine und einer Positionsbestimmungseinheit
RU2810221C2 (ru) Автономный трактор и способ культивации сельскохозяйственных угодий с помощью такого трактора
DE102017202537A1 (de) Verfahren zum Schutz einer Einrichtung für ein autonomes Fahrzeug bei einer Kollision des Fahrzeugs mit einem Unfallobjekt

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee