DE102011078290A1

DE102011078290A1 - Method for classifying surrounding region of vehicle e.g. agricultural tractor, involves comparing detected pattern on recorded image of the surrounding area with patterns stored in database

Info

Publication number: DE102011078290A1
Application number: DE102011078290A
Authority: DE
Inventors: Michael Dorna; Peter Biber; Ulrich Weiss
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-06-29
Filing date: 2011-06-29
Publication date: 2013-01-03

Abstract

The method involves receiving an image of the surrounding area (UB) of a vehicle (10) on agricultural field (LF) by an imaging sensor unit (23). A pattern on the recorded image of the surrounding area is detected. The surrounding area of vehicle is classified by comparing detected pattern with patterns stored in a database (D1). An independent claim is included for apparatus for classifying surrounding region of vehicle.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges.The invention relates to a method and a device for classifying a surrounding area of a vehicle.

Stand der TechnikState of the art

Ein landwirtschaftliches Nutzfahrzeug mit einem in seiner Lage und/oder Ausrichtung gegenüber dem landwirtschaftlichen Nutzfahrzeug verstellbar angeordneten Bearbeitungsgerät ist in der Druckschrift DE 297 24 884 U1 beschrieben. Das dort beschriebene landwirtschaftliche Nutzfahrzeug weist mindestens ein gegenüber dem landwirtschaftlichen Nutzfahrzeug in seiner Lage und Ausrichtung verstellbares landwirtschaftliches Bearbeitungsgerät auf und ist mit einer GPS-Satellitennavigationssystem-Empfangseinheit ausgerüstet.An agricultural utility vehicle with an adjustable in its position and / or orientation relative to the agricultural vehicle arranged processing device is in the document DE 297 24 884 U1 described. The agricultural utility vehicle described therein has at least one agricultural processing device that can be adjusted relative to the agricultural utility vehicle in its position and orientation and is equipped with a GPS satellite navigation system receiving unit.

Aus der DE 44 31 824 C1 ist ein Verfahren bekannt, bei welchem Ortskoordinaten mithilfe eines Satellitennavigationssystems bestimmt werden. Bei dem dort beschriebenen Verfahren werden Betriebsdaten eines Mähdreschers mit den jeweiligen Ortskoordinaten des Mähdreschers verknüpft und daraus Soll- oder Grenzbetriebsdaten für eine Bearbeitung eines Feldes vorgegeben, wobei laufend die absoluten und/oder relativen Ortskoordinaten des Mähdreschers erfasst werden und die erfassten Daten dem Mähdrescher zugeordnet werden und ferner die jeweiligen flächenspezifischen Ertragsmessdaten des Feldes erfasst und berechnet werden, insbesondere als ein Ertragsdatenkataster, welcher ortsaufgelöst den vom Mährdrescher geernteten Ertrag des Feldes darstellt und zur weiteren Verwendung als historisches Ertragsdatenkataster in dem Mähdrescher gespeichert werden.From the DE 44 31 824 C1 For example, a method is known in which location coordinates are determined by means of a satellite navigation system. In the method described there, operating data of a combine harvester are combined with the respective local coordinates of the combine harvester and set therefrom setpoint or limit operating data for processing a field, wherein the absolute and / or relative location coordinates of the combine are continuously recorded and the acquired data are assigned to the combine harvester and further the respective area specific yield measurement data of the field is collected and calculated, in particular as a yield data cadast, which is spatially resolved representing the harvest of the field harvested by the harvester and stored in the combine for further use as a historical yield data cadastre.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung schafft ein Verfahren zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges mit den Merkmalen des Patentanspruchs 11. The invention provides a method for classifying a surrounding area of a vehicle with the features of patent claim 1 and an apparatus for classifying a surrounding area of a vehicle with the features of patent claim 11.

Die vorliegende Erfindung basiert auf der Erkenntnis, dass eine Klassifizierung einer Umgebung eines Fahrzeuges mittels einer Musterdatenbank durch einen Vergleich mit Mustern erfolgen kann, die aus gemessenen Daten von umgebungserfassenden bildgebenden Sensoren abgeleitet werden. The present invention is based on the recognition that classification of an environment of a vehicle by means of a pattern database can be made by comparison with patterns derived from measured data from environmental sensing imaging sensors.

Vorteile der ErfindungAdvantages of the invention

Das erfindungsgemäße Verfahren ermöglicht gleichzeitig eine Selbstlokalisierung des Fahrzeuges und eine Umgebungsidentifikation des Fahrzeuges. Dies ermöglicht die Navigation auf im Voraus unbekanntem Terrain. Das Verfahren dient auch als Fehlererkennungsmechanismus bei der Navigation und trägt damit zu einer größeren Sicherheit des Fahrzeuges bei. The method according to the invention simultaneously enables a self-localization of the vehicle and an environmental identification of the vehicle. This allows navigation on previously unknown terrain. The method also serves as a fault detection mechanism during navigation and thus contributes to greater safety of the vehicle.

Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnungen.Advantageous embodiments and further developments will become apparent from the dependent claims and from the description with reference to the figures of the drawings.

Gemäß einer vorteilhaften Weiterbildung des Verfahrens erfolgt durch das Klassifizieren des Umgebungsbereiches ein Identifizieren des Umgebungsbereichs des Fahrzeuges hinsichtlich unterschiedlicher Umgebungsklassen, wobei die in der Musterdatenbank abgespeicherten Muster die unterschiedlichen Umgebungsklassen beschreiben. Ein Vorteil, der sich durch das Identifizieren des Umgebungsbereichs ergibt, ist, dass das Fahrzeug bestimmte Aktionen in Abhängigkeit des identifizierten Umgebungsbereichs vornehmen kann.According to an advantageous development of the method, by classifying the surrounding area, an identification of the surrounding area of the vehicle with regard to different environmental classes takes place, wherein the patterns stored in the pattern database describe the different environmental classes. An advantage that results from identifying the environment area is that the vehicle can make certain actions depending on the identified environmental area.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens erfolgt durch das Klassifizieren des Umgebungsbereiches ein Ermitteln einer relativen Position des Fahrzeuges auf einem landwirtschaftlich genutzten Feld, wobei die in der Musterdatenbank abgespeicherten Muster mögliche relative Positionen des Fahrzeugs beschreiben. Dies ermöglicht eine vorteilhafte einfache Methode zur relativen Positionsbestimmung des Fahrzeuges im Ernteeinsatz bei nur geringer Störanfälligkeit.According to a further advantageous development of the method, by classifying the surrounding area, a determination is made of a relative position of the vehicle in an agriculturally used field, wherein the patterns stored in the pattern database describe possible relative positions of the vehicle. This allows an advantageous simple method for determining the relative position of the vehicle in harvesting with only low susceptibility.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens wird die relative Position des Fahrzeuges als eine Position auf einem Vorgewände, auf einem Reihenende oder auf einer Mitte des landwirtschaftlich genutzten Feldes ermittelt.According to a further advantageous embodiment of the method, the relative position of the vehicle is determined as a position on a Vorgewände, on a row end or on a center of the agricultural field.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens erfolgt das Vergleichen des erkannten Musters mit den in der Musterdatenbank abgespeicherten Mustern durch Korrelation des erkannten Musters mit den abgespeicherten Mustern. Dies ermöglicht in vorteilhafter Weise eine autonome Umgebungsklassifizierung des Fahrzeuges ohne das störanfällige Datenverbindungen zu zentralen Servern oder sonstigen Satellitennavigationssystemen hergestellt und aufrecht erhalten werden müssen.According to a further advantageous development of the method, the comparison of the recognized pattern with the patterns stored in the pattern database is carried out by correlation of the recognized pattern with the stored patterns. This advantageously enables an autonomous environmental classification of the vehicle without the need to establish and maintain data links that are prone to interference with central servers or other satellite navigation systems.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens weist die bildgebende Sensoreinrichtung mehrere Sensoren auf und es wird eine Kombination der Sensoren zum Aufnehmen des Abbildes des Umgebungsbereiches verwendet. Ein Vorteil, der sich durch die Verwendung einer Kombination der Sensoren zum Aufnehmen des Abbildes ergibt, ist, dass das System eine erhöhte Betriebssicherheit beim Ausfall eines Sensors oder eines Sensorsystem aufweist.According to a further advantageous development of the method, the imaging sensor device has a plurality of sensors and a combination of the sensors is used to record the image of the surrounding area. An advantage of using a combination of the sensors to capture the image results is that the system has increased reliability in the event of failure of a sensor or a sensor system.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens werden die in der Musterdatenbank gespeicherten Muster durch Berechnung generiert. According to a further advantageous development of the method, the patterns stored in the pattern database are generated by calculation.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens werden die in der Musterdatenbank abgespeicherten Muster durch eine Messung der Muster generiert.According to a further advantageous development of the method, the patterns stored in the pattern database are generated by measuring the patterns.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens wird das erkannte Muster als ein weiteres Muster in der Musterdatenbank abgespeichert. Dadurch wird eine verbesserte Mustererkennung ermöglicht.According to a further advantageous development of the method, the recognized pattern is stored as a further pattern in the pattern database. This allows for improved pattern recognition.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens wird das Erkennen des Musters mit einem veränderbaren Bilderkennungsalgorithmus durchgeführt. Dies führt in vorteilhafter Weise zu einer erhöhten Rate der Mustererkennung.According to a further advantageous embodiment of the method, the recognition of the pattern is performed with a variable image recognition algorithm. This advantageously leads to an increased rate of pattern recognition.

Gemäß einer vorteilhaften Weiterbildung der Vorrichtung ist die bildgebende Sensoreinrichtung als eine Kamera, eine Infrarotkamera, eine TOF-Kamera, eine 3D-Kamera, ein bildgebender Vegetationssensor, ein 3D-Laserscanner oder als eine bildgebende Ultraschallsensoreinrichtung ausgeführt.According to an advantageous development of the device, the imaging sensor device is designed as a camera, an infrared camera, a TOF camera, a 3D camera, an imaging vegetation sensor, a 3D laser scanner or as an imaging ultrasound sensor device.

Gemäß einer weiteren vorteilhaften Weiterbildung der Vorrichtung weist die bildgebende Sensoreinrichtung mehrere Sensoren auf. According to a further advantageous development of the device, the imaging sensor device has a plurality of sensors.

Gemäß einer weiteren vorteilhaften Weiterbildung der Vorrichtung sind die in der Musterdatenbank abgespeicherten Muster in Musterklassen abgespeichert.According to a further advantageous development of the device, the patterns stored in the pattern database are stored in pattern classes.

Gemäß einer weiteren vorteilhaften Weiterbildung der Vorrichtung ist die Steuereinrichtung ferner dazu ausgelegt, eine relative Position des Fahrzeuges auf einem landwirtschaftlich genutzten Feld durch Vergleichen des erkannten Musters mit in der Musterdatenbank abgespeicherten Mustern zu ermitteln.According to a further advantageous development of the device, the control device is further configured to determine a relative position of the vehicle in an agricultural field by comparing the recognized pattern with patterns stored in the pattern database.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden nachfolgend anhand der Figuren erläutert.Further features and advantages of the present invention will be explained below with reference to the figures.

Es zeigen:Show it:

1 eine schematische Darstellung einer Vorrichtung zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges gemäß einer möglichen Ausführungsform der Vorrichtung; 1 a schematic representation of an apparatus for classifying a surrounding area of a vehicle according to a possible embodiment of the device;

2 ein Flussdiagramm zum Darstellen einer Ausführungsform des Verfahrens zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges gemäß einer möglichen Ausführungsform der Erfindung; 2 a flowchart for illustrating an embodiment of the method for classifying a surrounding area of a vehicle according to a possible embodiment of the invention;

3 eine Tabelle zur Erläuterung einer Musterdatenbank; und 3 a table for explaining a pattern database; and

4 eine schematische Darstellung zur Erläuterung einer Bilderkennungstransformation eines aufgenommen Umgebungsmusters. 4 a schematic representation for explaining an image recognition transformation of a recorded environment pattern.

Ausführungsformen der ErfindungEmbodiments of the invention

In den Figuren bezeichnen gleiche Bezugszeichen dieselben bzw. funktionsgleiche Elemente.In the figures, like reference numerals designate the same or functionally identical elements.

Die 1 zeigt eine schematische Darstellung einer Vorrichtung zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges gemäß einer möglichen Ausführungsform der Vorrichtung. The 1 shows a schematic representation of an apparatus for classifying a surrounding area of a vehicle according to a possible embodiment of the device.

Ein Fahrzeug 10 weist eine Vorrichtung zum Klassifizieren eines Umgebungsbereiches UB des Fahrzeuges 10 auf. Die Vorrichtung umfasst eine am Fahrzeug 10 oder an der Karosserie 20 des Fahrzeuges angeordnete bildgebende Sensoreinrichtung 23, welche dazu ausgelegt ist, ein Abbild eines Umgebungsbereichs UB des Fahrzeuges 10 aufzunehmen, wobei das Abbild des Umgebungsbereichs UB durch Sichtfeldgrenzen SFG beschränkt ist.A vehicle 10 has a device for classifying a surrounding area UB of the vehicle 10 on. The device includes one on the vehicle 10 or on the body 20 the vehicle arranged imaging sensor device 23 , which is designed to be an image of a surrounding area UB of the vehicle 10 wherein the image of the surrounding area UB is limited by visual field boundaries SFG.

Das Fahrzeug 10 ist beispielsweise als ein Kraftfahrzeug, als ein Lastkraftwagen, als ein Traktor, ein Schlepper oder als eine Zugmaschine ausgeführt. Ferner kann das Fahrzeug 10 als landwirtschaftliches Zugfahrzeug, als Mähdrescher, als Drillmaschine oder Saatmaschine, als Pflanzmaschine oder als Düngerstreuer ausgeführt sein.The vehicle 10 For example, it is designed as a motor vehicle, a truck, a tractor, a tractor or a tractor. Furthermore, the vehicle 10 be designed as an agricultural towing vehicle, as a combine harvester, as a seed drill or sowing machine, as a planter or fertilizer spreader.

Die Vorrichtung weist ferner eine Speichereinrichtung 21 auf, welche dazu ausgelegt ist, Muster in eine Musterdatenbank D1 abzuspeichern. Ferner umfasst die Vorrichtung eine Steuereinrichtung 22, welche dazu ausgelegt ist, ein Musters auf dem aufgenommenen Abbild des Umgebungsbereiches UB zu erkennen und den Umgebungsbereiches UB des Fahrzeuges 10 durch Vergleichen des erkannten Musters mit in der Musterdatenbank D1 abgespeicherten Mustern zu klassifizieren.The device further comprises a memory device 21 which is adapted to store patterns in a pattern database D1. Furthermore, the device comprises a control device 22 , which is designed to recognize a pattern on the recorded image of the surrounding area UB and the surrounding area UB of the vehicle 10 by classifying the recognized pattern with patterns stored in the pattern database D1.

Das Muster ist beispielsweise durch eine Reihenordnung auf einem landwirtschaftlichen genutzten Feld LF gegeben, wobei das Fahrzeug 10 zum abernten des landwirtschaftlich genutzten Felds LF eingesetzt wird.The pattern is given, for example, by a serial order on an agricultural field LF, wherein the vehicle 10 used to harvest the agricultural field LF.

Das landwirtschaftlich genutzte Felds LF ist beispielsweise ein Acker, der zum Beispiel mit einem Pflug bearbeitet wurde, und somit ein charakteristisches Muster aufweist. The agricultural field LF is, for example, a field that has been worked with a plow, for example, and thus has a characteristic pattern.

Die Verwendung der Musterdatenbank D1 erlaubt es auf einfache und schnelle Weise andere Umgebungsklassen zu laden und die Klassifizierung an die jeweilige Aufgabe anzupassen. Die Musterdatenbank D1 ist beispielsweise als hierarchisches, netzwerkartiges oder relationales Datenbanksystem zur elektronischen Datenverwaltung der Muster ausgeführt. The use of the pattern database D1 allows a simple and fast way to load other environment classes and to adapt the classification to the respective task. The pattern database D1 is embodied, for example, as a hierarchical, network-type or relational database system for the electronic data management of the patterns.

Das Verfahren und die Vorrichtung sind an keinen bestimmten Sensortyp der bildgebende Sensoreinrichtung 23 gebunden, wobei die bildgebende Sensoreinrichtung 23 als eine Kamera, eine Infrarotkamera, ein bildgebender Vegetationssensor oder als eine bildgebende Ultraschallsensoreinrichtung ausgeführt ist.The method and apparatus are not specific to a sensor type of the imaging sensor device 23 bound, wherein the imaging sensor device 23 is designed as a camera, an infrared camera, an imaging vegetation sensor or as an imaging ultrasonic sensor device.

Die bildgebende Sensoreinrichtung 23 erzeugt aus Messgrößen des Umgebungsbereiches UB ein Abbild, wobei die Messgröße oder eine daraus abgeleitete Information ortsaufgelöst und über Helligkeitswerte oder Farben kodiert visualisiert werden kann.The imaging sensor device 23 generates an image from measured variables of the surrounding area UB, wherein the measured variable or information derived therefrom can be visualized spatially resolved and coded via brightness values or colors.

Beispielsweise ist die Sensoreinrichtung 23 als eine TOF-Kamera oder ein sonstiges 3D-Kamerasystem ausgeführt, wobei mit dem Laufzeitverfahren (englisch "time of flight", TOF) Distanzen gemessen werden. Dazu wird der Umgebungsbereich UB mittels eines von der Sensoreinrichtung 23 ausgesendeten Lichtpulses ausgeleuchtet und die TOF-Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht.For example, the sensor device 23 run as a TOF camera or other 3D camera system, with the time of flight (TOF) distances are measured. For this purpose, the surrounding area UB by means of one of the sensor device 23 illuminated light pulse and the TOF camera measures the time for each pixel, the light to the object and back again needs.

Durch die Steuereinrichtung 22 werden beispielsweise aus den Sensordaten der Sensoreinrichtung 23 umgebungsbeschreibende Muster abgeleitet, und ein Klassifizieren des Umgebungsbereiches UB des Fahrzeuges 10 durch Vergleichen des erkannten Musters mit in der Musterdatenbank D1 abgespeicherten Mustern.By the control device 22 For example, from the sensor data of the sensor device 23 derived environment descriptive pattern, and classify the surrounding area UB of the vehicle 10 by comparing the recognized pattern with patterns stored in the pattern database D1.

Beispielsweise wird durch das Klassifizieren des Umgebungsbereiches UB ein Identifizieren des Umgebungsbereichs UB des Fahrzeuges 10 hinsichtlich unterschiedlicher Umgebungsklassen erfolgt, wobei die in der Musterdatenbank D1 abgespeicherten Muster die unterschiedlichen Umgebungsklassen beschreiben.For example, by classifying the surrounding area UB, an identification of the surrounding area UB of the vehicle is made 10 with regard to different environmental classes, the patterns stored in the pattern database D1 describing the different environmental classes.

Das Identifizieren des Umgebungsbereichs UB umfasst beispielsweise das Erkennen der auf dem landwirtschaftlich genutzten Feld LF angebauten Kulturpflanzen oder das Erkennen von sonstigen charakteristischen Eigenheiten des Umgebungsbereiches UB.The identification of the surrounding area UB comprises, for example, the recognition of the cultivated plants cultivated on the agricultural field LF or the recognition of other characteristic features of the surrounding area UB.

Ferner kann das Identifizieren des Umgebungsbereichs UB dazu verwandt werden, um einen Reifegrad der auf dem landwirtschaftlich genutzten Feld LF angebauten Kulturpflanzen zu bestimmen und in Abhängigkeit des erkannten Reifegrades bestimmte Einstellungen am Fahrzeug 10 vorzunehmen.Furthermore, the identification of the surrounding area UB can be used to determine a degree of ripeness of the crops grown on the agricultural field LF and, depending on the recognized degree of ripeness, certain settings on the vehicle 10 make.

Es kann durch das Klassifizieren des Umgebungsbereiches UB auch ein Ermitteln einer relativen Position des Fahrzeuges 10 auf dem landwirtschaftlich genutzten Feld LF erfolgten, wobei die in der Musterdatenbank D1 abgespeicherten Muster mögliche relative Positionen des Fahrzeuges 10 auf dem landwirtschaftlich genutzten Feld LF beschreiben.By classifying the surrounding area UB, it may also determine a relative position of the vehicle 10 carried out on the agricultural field LF, the pattern stored in the pattern database D1 possible relative positions of the vehicle 10 on the agricultural field LF.

Die Lokalisierung des Fahrzeuges wird beispielsweise nicht in metrischen Werten, sondern bezüglich der Umgebung oder bezüglich der Umgebungsklassen durchgeführt und erlaubt so eine Lokalisierung des Fahrzeuges bezüglich der Umgebung ohne die Verwendung von teuren, hochgenauen GPS- oder sonstigen Satellitennavigationsgeräten.The localization of the vehicle is performed, for example, not in metric values, but with respect to the environment or with respect to the environmental classes, thus allowing a localization of the vehicle with respect to the environment without the use of expensive, highly accurate GPS or other satellite navigation devices.

Die relative Position kann dabei in Bezug auf eine Vorzugsrichtung der Fahrgassen des landwirtschaftlich genutzten Feldes LF angegeben werden, oder aber in Bezug auf das landwirtschaftlich genutzte Feld LF selbst, beispielsweise der Rand des Feldes, die Mitte des Feldes oder das Vorgewende oder das Reihenende des Feldes. The relative position may be given in relation to a preferred direction of the lanes of the agricultural field LF, or with respect to the agricultural field LF itself, for example the edge of the field, the middle of the field or the headland or the end of the field ,

Dies erlaubt eine Feststellung, ob sich der Anwender oder das Fahrzeug 10 mitten auf dem Feld, auf dem Vorgewände oder am Reihenende eines landwirtschaftlichen genutzten Feldes befindet. Mit dieser Information, insbesondere der Position des Fahrzeuges 10, lassen sich topologische Karten des Feldes erzeugen. This allows a determination as to whether the user or the vehicle 10 in the middle of the field, on the front or at the end of an agricultural field. With this information, especially the position of the vehicle 10 , topological maps of the field can be generated.

Die Steuereinrichtung 22 ist beispielsweise als ein Digitalrechner mit Bildauswertesoftware zur Steuerung der Vorrichtung, zur Bildspeicherung und zur Bildauswertung vorgesehen.The control device 22 is intended for example as a digital computer with image analysis software for controlling the device, for image storage and image evaluation.

Als Speichereinrichtung 21 kann ein Datenspeicher, ein Halbleiterspeicher, ein magnetisches Speichermedium oder ein optischer Datenträger verwendet werden.As storage device 21 For example, a data memory, a semiconductor memory, a magnetic storage medium or an optical data carrier can be used.

Die Umgebungsklassen werden durch Muster beschrieben, die aus den Sensordaten der bildgebenden Sensoreinrichtung 23 abgeleitet werden. Für jede erwartete Umgebungsklasse sind Muster in der Musterdatenbank D1 abgelegt, mit denen die gemessenen Muster verglichen werden. Die Musterdatenbank D1 besteht aus unterschiedlichen Umgebungsklassen für die jeweils ein oder mehrere Muster abgelegt sind. The environmental classes are described by patterns derived from the sensor data of the imaging sensor device 23 be derived. For each expected environment class, patterns are stored in the pattern database D1, with which the measured patterns are compared. The Pattern database D1 consists of different environment classes for each of which one or more patterns are stored.

Die Korrelation der gemessenen Muster mit in der Musterdatenbank D1 abgelegten Mustern wird beispielsweise in der Steuereinrichtung 22 berechnet, dadurch kann das erfasste Abbild des Umgebungsbereiches UB einer bestimmten Umgebungsklasse zugeordnet werden. Für unterschiedliche Anwendungen werden unterschiedliche Musterdatenbanken verwendet.The correlation of the measured patterns with patterns stored in the pattern database D1 becomes, for example, in the control device 22 calculated, thereby the captured image of the environmental area UB can be assigned to a specific environment class. Different sample databases are used for different applications.

Die 2 zeigt ein Flussdiagramm zum Darstellen einer Ausführungsform des Verfahrens zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges gemäß einer möglichen Ausführungsform der Erfindung.The 2 FIG. 12 is a flowchart illustrating an embodiment of the method for classifying a surrounding area of a vehicle according to a possible embodiment of the invention.

In einem Schritt E1 erfolgt ein Abfragen der bildgebende Sensoreinrichtung 23, wodurch das Abbild des Umgebungsbereiches UB eines Kulturpflanzenbewuchses des landwirtschaftlich genutzten Felds LF erzeugt wird. In a step E1, the imaging sensor device is interrogated 23 whereby the image of the surrounding area UB of a crop plantation of the agricultural field LF is generated.

In einem Schritt E2 erfolgt eine Mustergenerierung basierend auf einer Auswertung des erzeugten Abbildes des Umgebungsbereiches UB. In a step E2, a pattern is generated based on an evaluation of the generated image of the surrounding area UB.

Die Mustergenerierung kann bei einer alternativen Methode auch durch Eingabe von Daten per Hand beispielsweise bezüglich einer Höhenverteilung des Kulturpflanzenbewuchses oder des Ackerbodens des landwirtschaftlich genutzten Felds LF innerhalb des Umgebungsbereiches in einem Schritt E3 erfolgen.In an alternative method, the pattern generation can also take place by inputting data by hand, for example with regard to a height distribution of the crop planting or the field soil of the utilized field LF within the surrounding area in a step E3.

Durch die Steuereinrichtung 22 wird in einem Schritt E6 eine Bilderkennung durchgeführt, wobei die Bilderkennung mit einem veränderbaren Bilderkennungsalgorithmus durchgeführt werden kann. Dadurch ist es ermöglicht, dass die Steuereinrichtung 22 die Erkennung von Mustern auf Basis von bereits aufgenommenen Mustern erlernen kann. By the control device 22 In a step E6, an image recognition is performed, wherein the image recognition can be performed with a variable image recognition algorithm. This makes it possible for the control device 22 can learn the recognition of patterns based on already recorded patterns.

In einem Schritt E4 kann eine beliebige Zusammenfassung der abgespeicherten Muster in vorteilhafte Musterklassen vorgenommen werden, wobei die Zusammenfassung der Muster beispielsweise in Abhängigkeit des landwirtschaftlich genutzten Felds LF, einer Jahreszeit des Zeitpunkts der Bearbeitung des Feldes oder des Typs des Fahrzeugs 10 erfolgen kann. In a step E4, an arbitrary summary of the stored patterns can be made into advantageous pattern classes, wherein the summary of the patterns, for example, depending on the field used agricultural LF, a season of the time of processing the field or the type of vehicle 10 can be done.

Das Verfahren zum Klassifizieren des Umgebungsbereiches UB des Fahrzeuges 10 umfasst ferner die Verfahrensschritte: Aufnehmen eines Abbildes des Umgebungsbereichs UB des Fahrzeuges 10 mittels einer bildgebenden Sensoreinrichtung 23, Erkennen eines Musters auf dem aufgenommen Abbild des Umgebungsbereiches UB und Klassifizieren des Umgebungsbereiches UB des Fahrzeuges 10 durch Vergleichen des erkannten Musters mit in einer Musterdatenbank D1 abgespeicherten Mustern.The method for classifying the surrounding area UB of the vehicle 10 further comprises the steps of: taking an image of the surrounding area UB of the vehicle 10 by means of an imaging sensor device 23 , Recognizing a pattern on the recorded image of the surrounding area UB and classifying the surrounding area UB of the vehicle 10 by comparing the recognized pattern with patterns stored in a pattern database D1.

Die 3 zeigt eine Tabelle zur Erläuterung einer Musterdatenbank. In den Spalten 1 bis 5 und den Zeilen A und B der Tabelle sind Muster aufgezeigt, die durch die in schwarz/weiss Kontrast dargestellten Fahrgassen charakterisiert sind.The 3 shows a table for explaining a pattern database. Columns 1 to 5 and lines A and B of the table show patterns that are characterized by the tramlines shown in black / white contrast.

Beispielsweise sind die Muster der auf landwirtschaftlich genutzten Feldern LF angebauten Kulturpflanzen bereits bei der Aussaat oder bei einer zwischenzeitliche Bearbeitung entstanden sind, wobei die Muster beispielsweise Fahrgasse des landwirtschaftlich genutzten Feldes LF anbilden. In der Tabelle sind mögliche Musterformen als Miniaturbilder wiedergegeben.For example, the crops cultivated on agricultural fields LF have already been created during sowing or during interim processing, the patterns for example forming lanes of the agricultural field LF. The table shows possible patterns as thumbnails.

Als Fahrgasse ist der Teil des landwirtschaftlich genutzten Feldes LF bezeichnet, der während des Wachstums der Kulturpflanze wiederholt für Pflegemaßnahmen durch das Fahrzeug 10 oder weitere Fahrzeuge befahren wird.The driving lane is the part of the agricultural field LF which, during the growth of the crop, is repeated for car maintenance 10 or other vehicles is driven.

Das Feld wird in Umgebungsklassen aufgeteilt und für jede Klasse von Mustern, die die Umgebung charakterisieren, abgelegt. In der 3 wird ferner die Erzeugung der Musterdatenbank für Reihenkulturen schematisch dargestellt. Mittels der bildgebenden Sensoreinrichtung 23 und der durch die Steuereinrichtung 22 generierten Muster können weitere Muster für die Datenbank erstellt werden. The field is divided into environment classes and stored for each class of patterns that characterize the environment. In the 3 Furthermore, the generation of the pattern database for row crops is shown schematically. By means of the imaging sensor device 23 and by the controller 22 generated patterns can be created more patterns for the database.

Alternativ dazu lassen sich Muster aber auch mit anderen Verfahren erzeugen, beispielsweise durch eine manuelle Dateneingabe oder durch die Verwendung von abgespeicherten Geländeprofilen aus topografischen Karten oder aus sonstigen digitalen Geländeprofilen. Die so erhaltenen Muster werden mittels eines in der Steuereinrichtung 22 implementierten Musterlernprozesses in der Musterdatenbank D1 gespeichert.Alternatively, however, patterns can also be generated using other methods, for example by manually entering data or by using stored terrain profiles from topographical maps or from other digital terrain profiles. The patterns thus obtained are determined by means of a in the control device 22 implemented pattern learning process stored in the pattern database D1.

Die Zeile A zeigt Muster für einreihige Fahrgassen, Zeile B Muster für zweireihige Fahrgassen. Die Spalte 1 zeigt Muster für ein offenes Feld, die Spalte 2 Muster für eine einfache Reihe, die Spalte 3 Muster für einen Reihenanfang, die Spalte 4 Muster für ein Reihenende, die Spalte 5 Muster für eine Reihenlücke.Line A shows patterns for single-row tramlines, row B patterns for double-row tramlines. Column 1 shows patterns for an open field, column 2 patterns for a single row, column 3 patterns for a row start, column 4 patterns for a row end, column 5 patterns for a row gap.

Die 4 zeigt eine schematische Darstellung zur Erläuterung einer Bilderkennungstransformation eines aufgenommen Umgebungsmusters.The 4 shows a schematic representation for explaining an image recognition transformation of a recorded environmental pattern.

Für die Erläuterung wird beispielhaft die Verwendung eines 3D-Laserscanners als die bildgebende Sensoreinrichtung 23 für die Umfelderfassung beschrieben und als Anwendung landwirtschaftlich genutzte Felder LF herangezogen, welche Muster erzeugende Reihenkulturen oder Fahrgassen aufweisen.By way of example, the use of a 3D laser scanner as the imaging sensor device will be described 23 for the surroundings survey described and used as an application agriculturally used fields LF, which have pattern generating row crops or tramlines.

Dieser Prozess bekommt entweder die Musterklasse als Eingabe oder verwendet die bereits bestehende Datenbank für die Zuordnung zu einer Umgebungsklasse.This process either gets the pattern class as input or uses the existing database for mapping to an environment class.

Zur Umgebungsklassifikation wird das Abbild des Umgebungsbereiches UB durch einen 3D-Laserscanner, welcher als die bildgebende Sensoreinrichtung 23 verwendet wird, erfasst, wie in einer in einer perspektivischen 3-dimensionalen Ansicht D1 in der 4 dargestellt, wobei das landwirtschaftliche genutzten Feld LF in der x/y-Ebene des verwendeten Koordinatensystems liegt und die z-Achse des Koordinatensystems normal zum landwirtschaftlich genutzten Feld LF verläuft, wobei die z-Koordinate die Höheninformationen des Kulturpflanzenbewuchs des landwirtschaftlich genutzten Feldes LF angeben kann.For ambient classification, the image of the surrounding area UB is detected by a 3D laser scanner, which serves as the imaging sensor device 23 is used, as in a in a perspective 3-dimensional view D1 in the 4 with the agricultural field LF in the x / y plane of the coordinate system used and the z-axis of the coordinate system normal to the agricultural field LF, where the z-coordinate can indicate the height information of the crop plantation of the utilized field LF ,

Zum Erkennen eines Musters innerhalb des erfassten Abbildes des Umgebungsbereiches UB durch die Steuereinrichtung 22 wird beispielsweise ein digitales Geländemodell oder ein digitales Höhenmodell des landwirtschaftlich genutzten Feldes LF als eine digitale, numerische Speicherung der Höheninformationen der Ackeroberfläche verwendet.For recognizing a pattern within the captured image of the surrounding area UB by the control device 22 For example, a digital terrain model or a digital elevation model of the agricultural field LF is used as digital numerical storage of the altitude information of the field surface.

Beispielsweise wird über das Gelände- bzw. Höhenmodell ein gleichmäßiges Raster oder ein Gitternetz, beispielsweise ein Netz aus sich im gleichen Abstand schneidenden Linien, gelegt, wie in der 4 in einem 2-dimensionalen x/z-Diagramm D2a dargestellt. Jedem Rasterpunkt wird ein Höhenwert oder mehrere Höhenwerte innerhalb eines jeweiligen Raserquadrats zugeordnet, wie beispielsweise in einem 2-dimensionalen Säulendiagramm D2b für einen belieben Höhenschnitten der Ackeroberfläche in der 4 dargestellt. For example, over the terrain or elevation model, a uniform grid or grid, such as a grid of lines intersecting at the same distance, is laid, as in FIG 4 represented in a 2-dimensional x / z diagram D2a. Each grid point is assigned a height value or multiple height values within a respective Raser square, such as in a 2-dimensional bar graph D2b for an optional height section of the field surface in the 4 shown.

Durch Abrastern der gesamten Ackeroberfläche mit weiteren Höhenschnitten wird durch die Steuereinrichtung 22 ein Muster D3 der Höheninformationen der Ackeroberfläche berechnet.By scanning the entire field surface with further height cuts is by the controller 22 a pattern D3 of the height information of the field surface is calculated.

Das erhaltene Muster D3 wird mit den Mustern aus der Musterdatenbank D1 mittels einer Korrelation durch die Steuereinrichtung 22 verglichen. Für das erhaltene Muster wird beispielsweise ein Ähnlichkeitsmaß mit jedem in der Musterdatenbank D1 gespeicherten Muster berechnet. The obtained pattern D3 is compared with the patterns from the pattern database D1 by means of a correlation by the controller 22 compared. For the obtained pattern, for example, a similarity measure is calculated with each pattern stored in the pattern database D1.

Abhängig von den ermittelten Ähnlichkeitsmaßen wird jeder Umgebungsklasse ein Punktoder Wahrscheinlichkeitswert zugewiesen. Diese Werte können von der Steuereinrichtung 22 auch für eine Klassifikation der Muster verwendet werden.Depending on the determined similarity measures, each environment class is assigned a point or probability value. These values may be from the controller 22 also be used for a classification of the patterns.

Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar.Although the present invention has been described above with reference to preferred embodiments, it is not limited thereto, but modifiable in a variety of ways.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 29724884 U1 [0002]
DE 4431824 C1 [0003]

Claims

Method for classifying a surrounding area (UB) of a vehicle ( 10 ), the method comprising the following steps: - taking a picture of the surrounding area (UB) of the vehicle ( 10 ) by means of an imaging sensor device ( 23 ); - Recognizing a pattern on the recorded image of the surrounding area (UB); and classifying the surrounding area (UB) of the vehicle ( 10 by comparing the recognized pattern with patterns stored in a pattern database (D1).

Method according to claim 1, wherein by classifying the surrounding area (UB) an identification of the surrounding area (UB) of the vehicle ( 10 ) with respect to different environmental classes, the patterns stored in the pattern database (D1) describing the different environmental classes.

The method of claim 1, wherein classifying the surrounding area (UB) comprises determining a relative position of the vehicle (UB). 10 ) on an agricultural field (LF), the patterns stored in the pattern database (D1) indicating possible relative positions of the vehicle (LF). 10 ).

Method according to claim 3, wherein the relative position of the vehicle ( 10 ) is determined as a position on a headland, on a row end or on a center of the utilized agricultural field (LF).

Method according to one of Claims 1 to 4, wherein the comparison of the recognized pattern with the patterns stored in the pattern database (D1) is effected by correlating the recognized pattern with the stored patterns.

Method according to one of claims 1 to 5, wherein the imaging sensor device ( 23 ) has a plurality of sensors and a combination of the sensors for capturing the image of the surrounding area (UB) is used.

Method according to one of the preceding claims 1 to 6, wherein the patterns stored in the pattern database (D1) are generated by calculation.

Method according to one of the preceding claims 1 to 6, wherein the patterns stored in the pattern database (D1) are generated by measurement.

Method according to one of the preceding claims 1 to 8, wherein the recognized pattern is stored as a further pattern in the pattern database (D1).

Method according to one of the preceding claims 1 to 9, wherein the recognition of the pattern is performed with a variable image recognition algorithm.

Device for classifying a surrounding area (UB) of a vehicle ( 10 ), preferably for carrying out the method according to one of the preceding claims 1 to 10, wherein the device comprises: - one on the vehicle ( 10 ) arranged imaging device ( 23 ), which is adapted to an image of a surrounding area (UB) of the vehicle ( 10 ); A memory device ( 21 ) which is adapted to store patterns in a pattern database (D1); and a control device ( 22 ) which is designed to recognize a pattern on the recorded image of the surrounding area (UB) and the surrounding area (UB) of the vehicle ( 10 ) by comparing the recognized pattern with patterns stored in the pattern database (D1).

Apparatus according to claim 11, wherein the imaging sensor device ( 23 ) is embodied as a camera, an infrared camera, a TOF camera, a 3D camera, an imaging vegetation sensor, a 3D laser scanner or as an imaging ultrasonic sensor device.

Device according to one of claims 11 or 12, wherein the imaging sensor device ( 23 ) has a plurality of sensors.

Device according to one of claims 11 to 13, wherein the patterns stored in the pattern database (D1) are stored in pattern classes.

Device according to one of claims 11 to 14, wherein the control device ( 22 ) is further adapted to a relative position of the vehicle ( 10 ) on an agricultural field (LF) by comparing the recognized pattern with patterns stored in the pattern database (D1).