DE102020104050A1

DE102020104050A1 - Method for controlling an agricultural machine

Info

Publication number: DE102020104050A1
Application number: DE102020104050.4A
Authority: DE
Inventors: Franz Schlatte
Original assignee: Lasco Heutechnik GmbH
Current assignee: Lasco Heutechnik GmbH
Priority date: 2020-02-17
Filing date: 2020-02-17
Publication date: 2021-08-19

Abstract

Die Erfindung geht aus von einem Verfahren zum Steuern einer landwirtschaftlichen Maschine (2), die einen Greifer (4) zum Greifen von landwirtschaftlichem Gut (6) aufweist, bei dem ein optischer Sensor (22, 24) eine Umgebung des Greifers (4) aufnimmt und ein Steuersystem den Greifer (4) in seiner Position anhand von Daten des Sensors (22, 24) steuert
Um ein sicheres autonomes Arbeiten der Maschine zu ermöglichen, wird vorgeschlagen, dass das Steuersystem anhand von Daten des Sensors (22, 24) einen Gegenstand erkennt, indem es charakteristische Bildmerkmale des Gegenstands mit charakteristischen Bildmerkmalen einer Gegenstandsdatenbank vergleicht.

The invention is based on a method for controlling an agricultural machine (2) which has a gripper (4) for gripping agricultural goods (6), in which an optical sensor (22, 24) picks up the surroundings of the gripper (4) and a control system controls the position of the gripper (4) on the basis of data from the sensor (22, 24)
In order to enable the machine to work safely and autonomously, it is proposed that the control system recognize an object on the basis of data from the sensor (22, 24) by comparing characteristic image features of the object with characteristic image features of an object database.

Description

Die Erfindung betrifft ein Verfahren zum Steuern einer landwirtschaftlichen Maschine, die einen Greifer zum Greifen von landwirtschaftlichem Gut aufweist, bei dem ein optischer Sensor eine Umgebung des Greifers aufnimmt und ein Steuersystem den Greifer in seiner Position anhand von Daten des Sensors steuert.The invention relates to a method for controlling an agricultural machine which has a gripper for gripping agricultural material, in which an optical sensor picks up the surroundings of the gripper and a control system controls the position of the gripper on the basis of data from the sensor.

Die Automatisierung in der Landwirtschaft zielt darauf ab, einzelne Aufgaben der landwirtschaftlichen Prozesskette von Maschinen durchführen zu lassen. Dafür benötigt man Messsysteme zum Überwachen der Umgebung und zur Erkennung und Lokalisierung von Objekten. Üblich sind Laserscanner, die den Abstand zu Objekten in einer Scanebene mittels Time-of-Flight-Verfahren ermitteln. Durch Veränderung der Scannerposition kann damit ebenfalls eine 3D Information erhalten werden.Automation in agriculture aims to allow machines to perform individual tasks in the agricultural process chain. This requires measuring systems to monitor the environment and to detect and localize objects. Laser scanners that determine the distance to objects in a scan plane using a time-of-flight method are common. By changing the scanner position, 3D information can also be obtained.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Steuern einer landwirtschaftlichen Maschine anzugeben, mit dem die Maschine besonders sicher geführt werden kann.It is an object of the present invention to specify a method for controlling an agricultural machine with which the machine can be guided particularly safely.

Diese Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei dem das Steuersystem erfindungsgemäß anhand von Daten des Sensors einen Gegenstand erkennt, indem es charakteristische Bildmerkmale des Gegenstands mit charakteristischen Bildmerkmalen einer Gegenstandsdatenbank vergleicht.This object is achieved by a method of the type mentioned at the outset, in which the control system according to the invention recognizes an object on the basis of data from the sensor by comparing characteristic image features of the object with characteristic image features of an object database.

Die Erfindung geht von der Überlegung aus, dass das Abscannen von Objekten mittels Laser einer hohen Genauigkeit bedarf, um ein Objekt mit hoher Wahrscheinlichkeit zu erkennen. Zudem dauert das Abscannen verhältnismäßig lange und kann daher bei schnellen Prozessen zu einem Sicherheitsproblem werden.The invention is based on the consideration that the scanning of objects by means of a laser requires a high degree of accuracy in order to detect an object with a high degree of probability. In addition, the scanning takes a relatively long time and can therefore become a security problem with fast processes.

Durch die Erfindung kann das Steuersystem eine zügige Orientierung im Raum erhalten anhand von bekannten Bildpunkten, die durch die charakteristischen Bildmerkmale wiedererkannt werden. Sind unter den Bildpunkten solche auf fest stationären Gegenständen, wie beispielsweise Gebäudeelementen, kann zudem eine Lageänderung von nichtstationären Gegenständen schnell erkannt werden und der Greifer kann so gesteuert werden, dass er die Gegenstände nicht berührt oder beeinflusst.The invention enables the control system to quickly orientate itself in space on the basis of known image points which are recognized by the characteristic image features. If the pixels are on stationary objects, such as building elements, a change in the position of non-stationary objects can also be recognized quickly and the gripper can be controlled in such a way that it does not touch or influence the objects.

Die charakteristischen Bildmerkmale einer Gegenstandsdatenbank sind zweckmäßigerweise so geordnet, dass sich ein Satz von charakteristischen Bildmerkmalen auf einen Punkt im aufgenommen Raum bezieht und diesen beschreibt. Ein solcher Satz von charakteristischen Bildmerkmalen wird im Folgenden vereinfacht als charakteristische Bildmerkmale beschrieben, sodass anhand von charakteristischen Bildmerkmalen im Bild ein vorbekannter Punkt im Raum im Bild und damit insbesondere auch ein Gegenstand als solcher identifiziert werden kann.The characteristic image features of an object database are expediently arranged in such a way that a set of characteristic image features relates to a point in the recorded space and describes this. Such a set of characteristic image features is described in simplified form below as characteristic image features, so that a previously known point in space in the image and thus in particular an object as such can be identified on the basis of characteristic image features in the image.

Einer Erkennung eines Gegenstands als solchem ist es gleichwertig, wenn nur ein Punkt im Raum, also ein Punkt auf einem Gegenstand, erkannt wird und diesem eine Gegenstandseigenschaft zugeordnet ist. Es reicht zur Gegenstandserkennung also nicht nur aus, einen Bildpunkt wiederzuerkennen und einem Datenbankpunkt zuzuordnen. Es muss vielmehr dem Datenbankpunkt eine Gegenstandseigenschaft zugeordnet sein, sodass der Bildpunkt einer Gegenstandseigenschaft zugeordnet werden kann.It is equivalent to recognizing an object as such if only one point in space, i.e. a point on an object, is recognized and an object property is assigned to it. For object recognition, it is therefore not sufficient just to recognize an image point and assign it to a database point. Rather, an object property must be assigned to the database point so that the image point can be assigned to an object property.

Eine Gegenstandseigenschaft kann eine Bezeichnung des Gegenstands sein, beispielsweise „Heuballen“, „Schubkarre“, „Dachbalken“ o.ä. Die Gegenstandseigenschaft bezeichnet hier den Gegenstand an sich, sodass der Gegenstand als solcher erkannt werden kann. In einem anderen Beispiel wird eine Kante eines Heuballens erkannt und dieser Kante ist die Eigenschaft „Heuballen“ zugeordnet. Das Identifizieren der Kante ist somit ein Erkennen des Heuballens als solcher.An object property can be a designation of the object, for example “hay bales”, “wheelbarrow”, “roof beams” or the like. The object property here refers to the object itself, so that the object can be recognized as such. In another example, an edge of a hay bale is recognized and the property “hay bale” is assigned to this edge. Identifying the edge is thus recognizing the hay bale as such.

Eine Gegenstandseigenschaft kann aber auch eine andere Eigenschaft sein, wie beispielsweise Koordinaten des Punkts oder Gegenstands, auf dem der Punkt liegt. Beispielsweise beziehen sich charakteristische Bildmerkmale auf eine Ecke eines Balkens eines Gebäudes, deren Koordinaten bekannt sind. Auch hierdurch soll der Gegenstand im Sinne der Erfindung als erkannt gelten, da auch Koordinaten den Gegenstand konkret und unzweifelhaft angeben, da nur dieser Gegenstand bei diesen Koordinaten liegt.An object property can also be another property, such as coordinates of the point or object on which the point lies. For example, characteristic image features relate to a corner of a beam of a building, the coordinates of which are known. In this way, too, the object is to be regarded as recognized within the meaning of the invention, since coordinates also specify the object specifically and unequivocally, since only this object lies at these coordinates.

Die Steuerung des Greifers geschieht zweckmäßigerweise mittelbar anhand von Daten des Sensors. Die Sensordaten können zu Zwischenergebnissen verarbeitet werden, bevor diese - ggf. auch nur mittelbar - zur Steuerung des Greifers verwendet werden.The gripper is expediently controlled indirectly using data from the sensor. The sensor data can be processed into intermediate results before these - possibly even indirectly - are used to control the gripper.

In einer vorteilhaften Ausführungsform der Erfindung werden als charakteristische Bildmerkmale Schlüsselpunkte im Bild des Gegenstands ermittelt, sowie zu jedem Schlüsselpunkt zumindest ein mehrdimensionaler Gegenstandsdeskriptor. Schlüsselpunkte werden im Folgenden vereinfacht auch nur als Punkte bezeichnet.In an advantageous embodiment of the invention, key points in the image of the object are determined as characteristic image features, as well as at least one multidimensional object descriptor for each key point. In the following, key points are simply referred to as points.

Die Schlüsselpunkte können automatisiert und damit sehr schnell im Bild der Umgebung ermittelt werden, sodass schon nach sehr kurzer Zeit die Schlüsselpunkte als Vergleichsmerkmale zur Verfügung stehen. Die Gegenstandsdatenbank umfasst wiederum Schlüsselpunkte und/oder die zu jedem Schlüsselpunkt ermittelten mehrdimensionalen Datenbankdeskriptoren, sodass Schlüsselpunkte mit Schlüsselpunkten beziehungsweise Gegenstandsdeskriptoren mit Datenbankdeskriptoren verglichen werden können. Bei Vorliegen eines Vergleichsergebnisses oberhalb eines vorbestimmten Vergleichsgrenzwerts gilt der aufgenommene Gegenstand als klassifiziert und kann somit als eine Gegenstandsklasse identifiziert werden, zu denen die Schlüsselpunkte bzw. mehrdimensionalen Datenbankdeskriptoren zugeordnet sind.The key points can be automated and thus determined very quickly in the image of the environment, so that the key points are available as comparison features after a very short time. The object database in turn comprises key points and / or those for each Key point determined multidimensional database descriptors so that key points can be compared with key points or object descriptors with database descriptors. If there is a comparison result above a predetermined comparison limit value, the recorded object is considered classified and can thus be identified as an object class to which the key points or multi-dimensional database descriptors are assigned.

Um einen Vergleich durchführen zu können, müssen die Schlüsselpunkte beziehungsweise Deskriptoren mit Schlüsselpunkten bzw. Deskriptoren der Gegenstandsdatenbank verglichen werden. Die Gegenstandsdatenbank enthält daher zweckmäßigerweise eine Vielzahl von Beschreibungen von verschiedenen Gegenständen, zweckmäßigerweise eine Klasseneinteilung dieser Beschreibungen in verschiedene Klassen. Jede Beschreibung und/oder Klasse, im Folgenden vereinfacht als Gegenstandsklasse bezeichnet, enthält eine Vielzahl von charakteristischen Bildmerkmalen, die von einem oder mehreren gleichen oder ähnlichen Gegenständen gewonnen sein können, beispielsweise gleichen Gattern, die nebeneinander angeordnet sind, oder mehreren gleichartigen Heuballen. Klassen von Gegenständen, wie Heuballen, und einzelne Gegenstände, wie ein Heuballen, werden im Folgenden nicht streng voneinander unterschieden.In order to be able to carry out a comparison, the key points or descriptors must be compared with key points or descriptors of the object database. The object database therefore expediently contains a large number of descriptions of different objects, expediently a classification of these descriptions into different classes. Each description and / or class, hereinafter referred to simply as an object class, contains a large number of characteristic image features that can be obtained from one or more identical or similar objects, for example identical gates arranged next to one another or several similar hay bales. Classes of objects, such as hay bales, and individual objects, such as a hay bale, are not strictly distinguished from one another in the following.

Die charakteristischen Bildmerkmale sind Schlüsselpunkte und/oder mehrdimensionale Gegenstandsdeskriptoren zu Schlüsselpunkten von Bildern von einem Gegenstand. Zur Unterscheidung der Begriffe werden im Folgenden die in der Datenbank hinterlegten Gegenstandsdeskriptoren als Datenbankdeskriptoren bezeichnet.The characteristic image features are key points and / or multidimensional object descriptors for key points of images of an object. To distinguish the terms, the object descriptors stored in the database are referred to below as database descriptors.

Schlüsselpunkte werden mit einem Merkmalsdetektor aus einem oder mehreren Bildern ermittelt. Ein Merkmalsdetektor ist in der Lage, Punkte in einem Bild zu finden, die das Bild charakterisieren. Ein guter Merkmalsdetektor ist auch bei einer Skalierung, Rotation, bei einer geometrischen Transformation und Beleuchtungsveränderung des aufgenommenen Gegenstands in der Lage, die gleichen Schlüsselpunkte in dem erneut aufgenommenen Bild dieses so veränderten Gegenstands zu finden.Key points are determined from one or more images with a feature detector. A feature detector is able to find points in an image that characterize the image. A good feature detector is also able to find the same key points in the re-recorded image of this changed object in the case of a scaling, rotation, a geometric transformation and a change in the illumination of the recorded object.

Es sind eine Reihe von geeigneten Merkmalsdetektoren bekannt, wie beispielsweise der SIFT-Merkmalsdetektor (Scale-Invariant Feature Transform), der SURF-Merkmalsdetektor (Speeded Up Robust Features), der ORB-Merkmalsdetektor (Oriented Fast and Rotated Brief), sowie weitere Verfahren. Das SIFT-Verfahren und der SIFT-Merkmalsdetektor sind beispielsweise beschrieben in Lowe, David G.: Object recognition from localscale-invariant features; Computer vision, 1999; The proceedings of the seventh IEEE international conference on Bd. 2 Ieee, 1999, S. 1150-1157 , und in Lowe, David G.: Distinctive image features from scale-invariant keypoints; International journal of computer vision 60 (2004), Nr. 2, S. 91-110 . Das SURF-Verfahren mit dem SURF-Merkmalsdetektor ist beispielsweise beschrieben in Bay, Herbert; Tuytelaars, Tinne; Van Gool, Luc: Surf: Speeded up robust features; Computer Vision-ECCV 2006. Springer, 2006, S. 404-417 . Und das ORB-Verfahren mit dem ORB-Merkmalsdetektor ist beispielsweise beschrieben in Rublee, Ethan; Rabaud, Vincent; Konolige, Kurt; Bradski, Gary: ORB: an efficient alternative to SIFT or SURF. In: Computer Vision (ICCV), 2011 IEEE International Conference on IEEE, 2011, S. 2564-2571 . Andere bekannte Verfahren für eine Merkmalsfindung und einen automatischen Merkmalsvergleich sind beispielsweise Laplacian of Gaussian (LoG), sowie Normalized Cross-Correlation Function (NCCF). Es können aber auch andere Verfahren verwendet werden, die für einen automatischen Vergleich von Schlüsselpunkten bzw. Deskriptoren geeignet erscheinen.A number of suitable feature detectors are known, such as the SIFT feature detector (Scale-Invariant Feature Transform), the SURF feature detector (Speeded Up Robust Features), the ORB feature detector (Oriented Fast and Rotated Brief), and other methods. The SIFT method and the SIFT feature detector are described in, for example Lowe, David G .: Object recognition from localscale-invariant features; Computer vision, 1999; The proceedings of the seventh IEEE international conference on Vol. 2 Ieee, 1999, pp. 1150-1157 , and in Lowe, David G .: Distinctive image features from scale-invariant keypoints; International journal of computer vision 60 (2004), No. 2, pp. 91-110 . The SURF method with the SURF feature detector is described in, for example Bay, Herbert; Tuytelaars, Tinne; Van Gool, Luc: Surf: Speeded up robust features; Computer Vision-ECCV 2006. Springer, 2006, pp. 404-417 . And the ORB method with the ORB feature detector is described in, for example Rublee, ethane; Rabaud, Vincent; Konolige, Kurt; Bradski, Gary: ORB: an efficient alternative to SIFT or SURF. In: Computer Vision (ICCV), 2011 IEEE International Conference on IEEE, 2011, pp. 2564-2571 . Other known methods for finding features and an automatic feature comparison are, for example, Laplacian of Gaussian (LoG) and Normalized Cross-Correlation Function (NCCF). However, other methods can also be used which appear suitable for an automatic comparison of key points or descriptors.

Vor der Ermittlung der Schlüsselpunkte kann das Referenzbild, aus dem die Schlüsselpunkte gewonnen werden sollen, mit einem Gauß-Filter geglättet werden, um es von Bildrauschen zu bereinigen. Nach dem Ermitteln der Schlüsselpunkte können diese in einem weiteren Verfahrensschritt auf ihre Robustheit untersucht werden, wobei letztendlich zweckmäßigerweise nur solche Schlüsselpunkte ausgewählt werden, die vorgegebenen Stabilitätsansprüchen genügen. Robust sind beispielsweise solche Schlüsselpunkte, die unempfindlich gegen perspektivische Verzerrung und/oder Rotation sind. Dafür geeignet sind beispielsweise Schlüsselpunkte, deren Bildeigenschaften von ihrem Hintergrund abweichen. Eine Rotationsstabilität kann erreicht werden, wenn einem Schlüsselpunkt eine oder mehrere Orientierung/en zugewiesen wird, basierend auf den Orientierungen der umliegenden Bildgradienten. Zukünftige Berechnungen beziehungsweise Vergleiche können nun auf der Grundlage von Bilddaten durchgeführt werden, die relativ zu den zugewiesenen Orientierungen, und insbesondere auch Skalierungen und Positionierungen, transformiert wurden, um Invarianz für eben diese Transformationen zu gewährleisten.Before the key points are determined, the reference image from which the key points are to be obtained can be smoothed with a Gaussian filter in order to remove image noise. After the key points have been determined, they can be examined for their robustness in a further method step, with ultimately only those key points being selected that meet the given stability requirements. Key points that are insensitive to perspective distortion and / or rotation are, for example, robust. Key points, for example, whose image properties differ from their background are suitable for this. Rotational stability can be achieved when a key point is assigned one or more orientations based on the orientations of the surrounding image gradients. Future calculations or comparisons can now be carried out on the basis of image data that have been transformed relative to the assigned orientations, and in particular also scaling and positioning, in order to ensure invariance for precisely these transformations.

Aus den so gefundenen Schlüsselpunkten können nun die Referenzdeskriptoren ermittelt werden. Hierzu werden die den Schlüsselpunkt umgebenden Bildgradienten ermittelt, die in einem mehrdimensionalen Merkmalsvektor zusammengefasst werden können. Auch dieser Merkmalsvektor ist zweckmäßigerweise robust gegen Änderungen in der Beleuchtung, der Verzerrung, der Rotation und dergleichen. Ein Deskriptor enthält neben seinen Bildmerkmalen am Schlüsselpunkt zweckmäßigerweise auch die Koordinaten seines Schlüsselpunkts, sodass der Schlüsselpunkt im Deskriptor enthalten ist.The reference descriptors can now be determined from the key points found in this way. For this purpose, the image gradients surrounding the key point are determined, which can be combined in a multi-dimensional feature vector. This feature vector is also expediently robust against changes in the lighting, the distortion, the rotation and the like. In addition to its image features, a descriptor expediently contains the key point also the coordinates of its key point so that the key point is included in the descriptor.

Ein nachfolgender Vergleich der Deskriptoren, also der Fahrzeugdeskriptoren mit den Datenbankdeskriptoren, erfolgt mit einem geeigneten Algorithmus, beispielsweise dem Random Sample Consensus-Algorithmus (RANSAC) oder dem FLANN-Matcher. Allgemein gesprochen kann zum Vergleich von Deskriptoren die Distanzfunktion verwendet werden, die die Vektordistanz, also den Richtungsunterschied zweier Vektoren, bestimmt. Dies kann jedoch bei Bildern, in denen sich gewisse Objekte wiederholen, zu mehrdeutigen Ergebnissen führen. In der Praxis kann deshalb ein Distanzquotient verwendet werden, wobei der beste Match, also der kleinste Abstand, durch den zweitbesten Match geteilt wird. Sehr ähnlichen Ergebnissen kann nun eine kleinere Wahrscheinlichkeit zugeordnet werden, dass der gefundene Match korrekt ist. Beim SIFT-Verfahren können k-d Trees oder andere Suchbäume verwendet werden. Für den Brief-Merkmalsdetektor aus dem ORB-Verfahren kann die Hamming-Distanz der Bit Strings der Deskriptoren verwendet werden. Um die Suche der nächsten Nachbarn zu optimieren, kann auch Locality Sensitive Haching verwendet werden, sodass ähnliche Bit Strings so gehacht werden, dass sie mit großer Wahrscheinlichkeit in denselben Baskets landen.A subsequent comparison of the descriptors, that is to say the vehicle descriptors with the database descriptors, is carried out using a suitable algorithm, for example the random sample consensus algorithm (RANSAC) or the FLANN matcher. Generally speaking, the distance function can be used to compare descriptors, which determines the vector distance, that is, the difference in direction between two vectors. However, this can lead to ambiguous results for images in which certain objects are repeated. In practice, a distance quotient can therefore be used, with the best match, i.e. the smallest distance, being divided by the second best match. Very similar results can now be assigned a lower probability that the match found is correct. With the SIFT method, k-d trees or other search trees can be used. The Hamming distance of the bit strings of the descriptors can be used for the letter feature detector from the ORB method. In order to optimize the search for the closest neighbors, Locality Sensitive Haching can also be used, so that similar bit strings are hacked in such a way that they are very likely to end up in the same baskets.

Beispielhaft wird im Folgenden der SIFT-Merkmalsdetektor ausführlicher beschrieben. Von dem der Analyse zu unterziehenden Bild werden unterschiedlich stark verschwommene Kopien des Bilds erstellt, indem ein Gauß-Filter mehrfach mit zunehmender Stärke auf das Bild angewendet wird oder der gleichbleibende Gauß-Filter immer wieder auf das letzte gefilterte Bild angewendet wird. In der Verschwimmungsskala nebeneinander liegende Bilder werden nun voneinander subtrahiert, was als Difference of Gaussian (DoG) bezeichnet wird. Die unterschiedlich stark verschwommenen Kopien des Bilds und die DoG-Bilder bilden zusammen eine Oktave. Da der Gauß-Filter kontrastreiche Regionen im Bild stark verändert, führt eine Subtraktion der Bilder dazu, dass solche Stellen, an denen sich die Bilder stark verändert haben, also kontrastreiche Regionen, wie Kanten und Ecken, gefunden werden. Die Schlüsselpunkte können nun, wie in der oben angegebenen Veröffentlichung von Lowe aus dem Jahr 2004 vorgeschlagen, gefunden werden. Hierbei werden Schlüsselpunkte, die in einer Fläche liegen und deren Gradienten insofern klein sind, ausgeschieden. Liegt der Schlüsselpunkt auf einer Kante, so ist der Gradient senkrecht zur Kante groß und der Gradient parallel zur Kante klein. Auch solche Schlüsselpunkte werden entfernt. Ein auf einer Ecke liegender Schlüsselpunkt beinhaltet zwei orthogonale und große Gradienten. Solche Schlüsselpunkte sind besonders robust und sollten beibehalten werden.The SIFT feature detector is described in more detail below by way of example. From the image to be subjected to the analysis, copies of the image that are blurred to different degrees are created by applying a Gaussian filter repeatedly with increasing strength to the image or by repeatedly applying the constant Gaussian filter to the last filtered image. Images lying next to one another in the blurring scale are now subtracted from one another, which is referred to as the Difference of Gaussian (DoG). The differently blurred copies of the image and the DoG images together form an octave. Since the Gaussian filter changes high-contrast regions in the image significantly, subtracting the images leads to the fact that locations where the images have changed significantly, i.e. high-contrast regions such as edges and corners, are found. The key points can now be found as suggested in the 2004 Lowe paper noted above. Here, key points that lie in an area and whose gradients are small, are eliminated. If the key point is on an edge, the gradient perpendicular to the edge is large and the gradient parallel to the edge is small. Such key points are also removed. A key point lying on a corner contains two orthogonal and large gradients. Such key points are particularly robust and should be retained.

Da hierbei nur scharfe Konturen im Ausgangsbild gefunden werden, nicht jedoch ebenfalls signifikante weichere Konturen, wird nun - oder bereits vor der Berechnung der Schlüsselpunkte - eine nächsthöhere Oktave gebildet, indem beispielsweise von dem verschwommensten Bild nur jeder zweite Pixel verwendet wird oder das Ausgangsbild verpixelt wird. In einer nächsthöheren Oktave bzw. Bildoktave weist das der Erstellung der Deskriptoren zugrunde liegende Bild also eine niedrigere Auflösung auf als das Bild der niedrigeren Oktave. Die niedrigere Auflösung kann geschaffen werden, indem z. B. je eine Gruppe von Pixeln, insbesondere 2 Pixel oder n×n Pixel, beispielsweise 2×2 Pixel, zu einem Pixel zusammengefasst werden, z. B. durch Addition, Mittelwertbildung oder Herausnehmen von nur einem Pixel aus der Gruppe. In dieser zweiten Oktave werden nun wiederum die Schlüsselpunkte bestimmt. Die Schlüsselpunkte umfassen neben ihren x- und y-Koordinaten auch einen Skalenfaktor, also die Angabe der Oktave, aus der sie stammen. Auf diese Weise wird dem Bild des Zielobjekts eine Vielzahl von Schlüsselpunkten zugewiesen. Die den Schlüsselpunkten zugeordneten bzw. die Schlüsselpunkte enthaltenden Deskriptoren enthalten also zweckmäßigerweise auch die Angabe der Oktave, also den Skalenfaktor.Since only sharp contours are found in the initial image, but not also significantly softer contours, a next higher octave is formed now - or before the calculation of the key points - by using, for example, only every second pixel of the most blurred image or by pixelating the initial image . In a next higher octave or image octave, the image on which the creation of the descriptors is based therefore has a lower resolution than the image of the lower octave. The lower resolution can be created by e.g. B. in each case a group of pixels, in particular 2 pixels or n × n pixels, for example 2 × 2 pixels, can be combined into one pixel, e.g. B. by addition, averaging or removing just one pixel from the group. The key points are again determined in this second octave. In addition to their x and y coordinates, the key points also include a scale factor, i.e. the specification of the octave from which they originate. In this way, a large number of key points are assigned to the image of the target object. The descriptors assigned to the key points or containing the key points therefore expediently also contain the specification of the octave, that is to say the scale factor.

In der Gegenstandsdatenbank kann, jeweils zugeordnet in die verschiedenen Gegenstandsklassen, vorhanden sein: Gegenstandsbilder, Schlüsselpunkte und/oder die zu den Schlüsselpunkten zugehörigen Deskriptoren. Soll nun ein Gegenstand klassifiziert werden, so werden die Gegenstandsdeskriptoren aus dem aufgenommenen Bild des Gegenstands ermittelt. Diese können mit den Datenbankdeskriptoren verglichen werden, die zweckmäßigerweise mit dergleichen Methode aus früheren Bildern desselben oder des gleichen Gegenstands ermittelt wurden.In the object database, each assigned to the various object classes, there can be present: object images, key points and / or the descriptors associated with the key points. If an object is to be classified, the object descriptors are determined from the recorded image of the object. These can be compared with the database descriptors, which were expediently determined using the same method from previous images of the same or the same object.

Da aus einem Bild eine Vielzahl von Gegenstandsdeskriptoren extrahiert wird, werden diese - einzeln betrachtet - üblicherweise auch in einer Vielzahl von Klassen zu guten Vergleichsergebnissen führen. Hierbei ist jedoch nicht die Ähnlichkeit eines einzigen Gegenstandsdeskriptors mit einem einzigen Datenbankdeskriptor entscheidend, sondern die Ähnlichkeit aller oder vieler Gegenstandsdeskriptoren mit einer Vielzahl von Datenbankdeskriptoren einer Klasse. Das Vergleichsergebnis kann insofern aus der Summe der Ähnlichkeiten der Gegenstandsdeskriptoren mit Datenbankdeskriptoren einer Gegenstandsklasse beschrieben werden. Überschreitet dieses Vergleichsergebnis einen vorbestimmten Grenzwert, ist die Klassifizierung erfolgreich und der Gegenstand wird entsprechend klassifiziert. Enthält die Gegenstandsklasse nur einen einzigen Gegenstand, führt die Klassifizierung zu einer Identifizierung des Gegenstands. Ansonsten beschränkt sich die Identifizierung des Gegenstands auf die Identifizierung eines Gegenstandstyps, beispielsweise eines Heuballens, eines Traktors von mehreren oder einem Stück Vieh aus mehreren. Insofern werden die aus dem Bild des Gegenstands ermittelten Gegenstandsdeskriptoren in einer vorteilhaften Ausführungsform der Erfindung mit Datenbankdeskriptoren mehrerer in der Gegenstandsdatenbank hinterlegten Gegenstandsklassen verglichen. Die passende Gegenstandsklasse wird erkannt und der Gegenstand kann dieser Klasse zugeordnet werden.Since a large number of object descriptors are extracted from an image, these - considered individually - will usually lead to good comparison results in a large number of classes. Here, however, it is not the similarity of a single item descriptor to a single database descriptor that is decisive, but rather the similarity of all or many item descriptors to a large number of database descriptors of a class. In this respect, the comparison result can be described from the sum of the similarities of the object descriptors with database descriptors of an object class. If this comparison result exceeds a predetermined limit value, the classification is successful and the object is classified accordingly. If the item class contains only one item, the classification leads to an identification of the item. Otherwise it is limited the identification of the object on the identification of an object type, for example a hay bale, a tractor from several or a head of cattle from several. To this extent, the object descriptors determined from the image of the object are compared in an advantageous embodiment of the invention with database descriptors of several object classes stored in the object database. The appropriate object class is recognized and the object can be assigned to this class.

Eine Gegenstandsklasse enthält zweckmäßigerweise ausschließlich ortsfeste Gegenstände, auch stationäre Gegenstände genannt, die im üblichen Jahresverlauf ihre Position nicht verändern. Das können Gebäudeelemente sein oder fest am oder im Gebäude verbaute Gegenstände. Werden mehrere solche ortsfesten Gegenstände erkannt, so kann sich das Steuersystem in einer weiteren vorteilhaften Ausgestaltung der Erfindung anhand der erkannten Gegenstände in einem festgelegten Raum orientieren. Beispielsweise kann aus der Lage der ortsfesten Gegenstände im Bild eine Orientierung der Sichtrichtung und/oder die Ortslage der das Bild aufnehmenden Kamera ermittelt werden, also ihre relative Position im Raum zu den Gegenständen. Auch die Ortslage eines im Bild erkennbaren Greifers im Raum kann anhand seiner Bildlage ermittelt werden.An object class expediently contains only stationary objects, also called stationary objects, which do not change their position in the usual course of the year. These can be building elements or objects permanently installed on or in the building. If several such stationary objects are recognized, the control system can, in a further advantageous embodiment of the invention, orientate itself in a defined space on the basis of the recognized objects. For example, an orientation of the viewing direction and / or the location of the camera recording the image can be determined from the position of the stationary objects in the image, that is to say their relative position in space to the objects. The spatial position of a gripper recognizable in the image can also be determined on the basis of its image position.

Vorteilhafterweise ermittelt das Steuersystem eine Position des erkannten Gegenstands im Raum und steuert eine Bewegung des Greifers in Abhängigkeit von der Position. Der Greifer kann beispielsweise um den Gegenstand herumgeführt werden, sodass der Gegenstand vom Greifer nicht berührt wird. Oder der Greifer wird so weit von einem als Tier, beispielsweise eine Kuh, klassifizierten Gegenstand entfernt gehalten, dass die Kuh nicht gestört wird.The control system advantageously determines a position of the recognized object in space and controls a movement of the gripper as a function of the position. The gripper can be guided around the object, for example, so that the object is not touched by the gripper. Or the gripper is held so far away from an object classified as an animal, for example a cow, that the cow is not disturbed.

Besonders vorteilhaft ist die Maschine ein an einer Schiene laufender und autonom arbeitender Kran. Der Kran kann sicher gesteuert werden und insbesondere ein Greifer des Krans kann sicher geführt werden.The machine is particularly advantageous as a crane that runs on a rail and works autonomously. The crane can be safely controlled and, in particular, a gripper of the crane can be safely guided.

Wenn der optische Sensor am Kran befestigt ist, kann er besonders einfach im Raum, beispielsweise einer Scheune, herumgeführt werden. Ist beispielsweise ein wichtiger Bereich des Raums abgeschattet, also für die Kamera momentan nicht sichtbar, so kann der Greifer mit der Kamera so geführt werden, dass die Kamera auch in diesen Bereich hinein Bilder aufnehmen kann, sodass auch dort liegende Gegenstände erkennbar werden.If the optical sensor is attached to the crane, it can be moved around the room, for example a barn, particularly easily. For example, if an important area of the room is shaded, i.e. not currently visible to the camera, the gripper with the camera can be guided so that the camera can also take pictures into this area so that objects lying there can also be recognized.

Außerdem kann der Greifer in unterschiedlichen Abständen zum Gegenstand gehalten werden, beispielsweise während einer regulären Arbeitsbewegung des Greifers. Mehrere aus verschiedenen Abständen aufgenommene Bilder eines Gegenstands können zur Bildung von Bildoktaven oder Merkmalsoktaven verwendet werden, sodass der Gegenstand besonders sicher klassifizierbar beziehungsweise erkennbar wird.In addition, the gripper can be held at different distances from the object, for example during a regular working movement of the gripper. Several images of an object recorded from different distances can be used to form image octaves or feature octaves, so that the object can be classified or recognized particularly reliably.

Insbesondere hierfür ist es vorteilhaft, wenn in der Gegenstandsdatenbank zu einer Gegenstandsklasse zu mehreren Bildoktaven Datenbankdeskriptoren gespeichert sind, die verschiedenen Bildauflösungen von Gegenständen dieser Gegenstandsklasse zugeordnet sind.For this purpose, in particular, it is advantageous if database descriptors are stored in the object database for an object class for several image octaves, which are assigned to different image resolutions of objects of this object class.

Zur Orientierung im Raum ist es hilfreich, wenn die Gegenstandsdatenbank Bildmerkmale von Gegenständen enthält, die zu einem früheren Zeitpunkt am gleichen Ort aufgenommen wurden, zweckmäßigerweise ortsfeste Gegenstände. Der Ort kann ein Raum eines landwirtschaftlichen Gebäudes sein.For orientation in space, it is helpful if the object database contains image features of objects that were recorded at an earlier point in time at the same location, expediently stationary objects. The place can be a room of a farm building.

Einer zuverlässigen Objekterkennung ist es außerdem förderlich, wenn die Gegenstandsdatenbank in mehreren Gegenstandsklassen jeweils mehrere Bilder eines Gegenstands aus verschiedenen Perspektiven enthält.It is also beneficial for reliable object recognition if the object database contains several images of an object from different perspectives in several object classes.

Insbesondere bei stark wechselnden Beleuchtungsverhältnissen, beispielsweise wenn Sonnenstrahlen durch schmale Schlitze zwischen Scheunenbrettern fallen, können Sonnenreflexe in der Kamera zu störenden Gegenstandsdeskriptoren scheinbarer Gegenstandsdetails führen. Um dies zu vermeiden, ist es vorteilhaft, wenn die Gegenstandsdeskriptoren aus mehreren überlagerten Bildern des Gegenstands erzeugt werden. Beispielsweise können Pixel jeweils über mehrere Bilder gemittelt werden. Durch die Überlagerung können Reflexe in ihrem Kontrast soweit reduziert werden, dass sie nicht oder nur unwesentlich zu störenden Gegenstandsdeskriptoren im Bild führen. Zweckmäßigerweise werden auch die Datenbankdeskriptoren aus Bildern ermittelt, die aus mehreren überlagerten Bildern des Gegenstands erzeugt wurden.Particularly in the case of strongly changing lighting conditions, for example when sun rays fall through narrow slits between barn boards, sun reflections in the camera can lead to disruptive object descriptors of apparent object details. To avoid this, it is advantageous if the object descriptors are generated from several superimposed images of the object. For example, pixels can be averaged over several images. The superposition allows the contrast of reflections to be reduced to such an extent that they do not, or only insignificantly, lead to disruptive object descriptors in the image. The database descriptors are also expediently determined from images that were generated from several superimposed images of the object.

Ein sicheres Greifen eines Gegenstands ist in der Regel nur möglich, wenn der Greifer den Gegenstand an der richtigen Stelle - oder in einem sicheren Greifbereich - greift. Ein sicheres Greifen kann erreicht werden, wenn in der Gegenstandsdatenbank zu einer Gegenstandsklasse beziehungsweise zu einem Gegenstand zumindest ein Greifpunkt zum Anordnen des Greifers zugeordnet ist. Gleichwertig ist ein Greifbereich, wobei dieser alle Punkte des Bereichs beinhaltet. Zweckmäßigerweise gibt der Greifpunkt einen vorbestimmten Punkt auf einem der Gegenstandsklasse zugeordneten Gegenstand an.A secure gripping of an object is generally only possible if the gripper grips the object in the right place - or in a safe gripping area. Secure gripping can be achieved if at least one gripping point for arranging the gripper is assigned to an object class or to an object in the object database. A gripping area is equivalent, and this includes all points of the area. The gripping point expediently indicates a predetermined point on an object assigned to the object class.

Der Greifpunkt kann in der Gegenstandsdatenbank in seiner Lage relativ zu der Lage mehrerer Schlüsselpunkte angegeben sein. Aus der Lage mehrerer Schlüsselpunkte kann im Bild des Gegenstands die Lage des Greifpunkts im aufgenommenen Gegenstand ermittelt werden.The gripping point can be specified in the object database in its position relative to the position of several key points. From the situation several key points, the position of the gripping point in the picked-up object can be determined in the image of the object.

Neben dem Greifbereich ist auch die Greifrichtung von Bedeutung, also die Anordnung des Greifers relativ zum Gegenstand beim Greifen. Analog zum Greifpunkt beziehungsweise Greifbereich kann in der Gegenstandsdatenbank zu einer Gegenstandsklasse beziehungsweise zu einem Gegenstand zumindest eine Greifrichtung angegeben sein.In addition to the gripping area, the gripping direction is also important, i.e. the position of the gripper relative to the object when gripping. Analogously to the gripping point or gripping area, at least one gripping direction can be specified in the object database for an object class or for an object.

Je nach Gegenstand können verschiedene Greifer oder Greiferklassen notwendig oder zumindest sinnvoll sein, um den Gegenstand sicher zu greifen. Ein Heuballen wird zweckmäßigerweise mit einem anderen Greifer gegriffen als Hackschnitzel oder ein Futtersack. Es ist daher vorteilhaft, wenn in der Gegenstandsdatenbank zu verschiedenen Gegenständen verschiedene Greiferklassen zugeordnet sind und in Abhängigkeit der den Gegenstandsdeskriptoren zugeordneten Datenbankdeskriptoren eine von mehreren Greiferklassen ausgesucht wird. Die landwirtschaftliche Maschine kann nun - zweckmäßigerweise autonom - den Greifer wechseln und den Gegenstand mit dem geeigneten Greifer sicher greifen.Depending on the object, different grippers or gripper classes may be necessary or at least useful in order to grasp the object securely. A hay bale is expediently gripped with a different gripper than wood chips or a feed sack. It is therefore advantageous if different gripper classes are assigned to different objects in the object database and one of several gripper classes is selected as a function of the database descriptors assigned to the object descriptors. The agricultural machine can now - expediently autonomously - change the gripper and grasp the object securely with the suitable gripper.

Das Verfahren ist vorteilhaft anwendbar, wenn das Steuersystem unter Verwendung der Bildmerkmale einen Heuballen erkennt, beispielsweise einen Rundballen.The method can advantageously be used when the control system recognizes a hay bale, for example a round bale, using the image features.

Die Gegenstanderkennung kann verbessert werden, wenn das Steuersystem zur Erkennung des Gegenstands eine ermittelte Gegenstandstopografie mit heranzieht. Aus der Topografie, die einen nach oben weisenden Anteil der Gegenstandsoberfläche mit beinhaltet, kann auf den Gegenstand an sich geschlossen werden, zumindest jedoch kann sie als zusätzliches Merkmal zur Gegenstanderkennung verwendet werden.The object recognition can be improved if the control system also uses a determined object topography for recognizing the object. From the topography, which also includes an upwardly pointing portion of the object surface, conclusions can be drawn about the object itself, but at least it can be used as an additional feature for object recognition.

Die Geländetopografie kann mittels Laserscanning ermittelt werden. Deutlich schneller ist das Verfahren der Fotogrammetrie unter Verwendung mehrerer Kameras, die den Gegenstand aus mehreren Richtungen aufnehmen.The topography of the terrain can be determined by means of laser scanning. The photogrammetry method using several cameras that record the object from several directions is significantly faster.

Der Zuverlässigkeit der Gegenstandserkennung ist es auch förderlich, wenn das Steuersystem zur Erkennung des Gegenstands eine ermittelte Farbe/Farbkombination des Gegenstands mit heranzieht.The reliability of the object recognition is also beneficial if the control system also uses a determined color / color combination of the object to recognize the object.

Die Erfindung ist außerdem gerichtet auf eine landwirtschaftliche Maschine mit einem Greifer zum Greifen von landwirtschaftlichem Gut, zweckmäßigerweise einem Antriebssystem zum mehrdimensionalen Bewegen des Greifers, einem optischen Sensor und einem Steuersystem, das dazu vorbereitet ist, anhand von Daten des Sensors insbesondere die Position des Greifers relativ zu einem vorbestimmten Punkt zu erkennen und auf jeden Fall den Greifer in seiner Position zu steuern.The invention is also directed to an agricultural machine with a gripper for gripping agricultural material, expediently a drive system for multi-dimensional movement of the gripper, an optical sensor and a control system which is prepared to use data from the sensor to determine, in particular, the position of the gripper relative to recognize to a predetermined point and in any case to control the gripper in its position.

Um ein sicheres Greifen des Gegenstands zu erreichen, wird vorgeschlagen, dass das Steuersystem erfindungsgemäß dazu vorbereitet ist, anhand von Daten des Sensors einen Gegenstand als solchen zu erkennen, indem es charakteristische Bildmerkmale des Gegenstands mit charakteristischen Bildmerkmalen einer Gegenstandsdatenbank vergleicht.In order to achieve a secure gripping of the object, it is proposed that the control system is prepared according to the invention to recognize an object as such on the basis of data from the sensor by comparing characteristic image features of the object with characteristic image features of an object database.

Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Merkmale, die in einigen abhängigen Ansprüchen zu mehreren zusammengefasst wiedergegeben sind. Diese Merkmale können jedoch zweckmäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammenfasst werden, insbesondere bei Rückbezügen von Ansprüchen, sodass ein einzelnes Merkmal eines abhängigen Anspruchs mit einem einzelnen, mehreren oder allen Merkmalen eines anderen abhängigen Anspruchs kombinierbar ist. Außerdem sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination sowohl mit dem erfindungsgemäßen Verfahren als auch mit der erfindungsgemäßen Vorrichtung gemäß den unabhängigen Ansprüchen kombinierbar. So sind Verfahrensmerkmale auch als Eigenschaft der entsprechenden Vorrichtungseinheit gegenständlich formuliert zu sehen und funktionale Vorrichtungsmerkmale auch als entsprechende Verfahrensmerkmale.The description of advantageous embodiments of the invention given so far contains numerous features which are summarized in several dependent claims. These features can, however, expediently also be considered individually and combined into meaningful further combinations, in particular when claims are referenced, so that an individual feature of a dependent claim can be combined with an individual, several or all features of another dependent claim. In addition, these features can each be combined individually and in any suitable combination both with the method according to the invention and with the device according to the invention according to the independent claims. Process features are thus also to be seen objectively formulated as a property of the corresponding device unit, and functional device features are also to be seen as corresponding process features.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung, sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit der Zeichnung näher erläutert wird. Das Ausführungsbeispiel dient der Erläuterung der Erfindung und beschränkt die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale des Ausführungsbeispiels auch explizit isoliert betrachtet und mit einem beliebigen der Ansprüche kombiniert werden.The properties, features and advantages of this invention described above, as well as the manner in which they are achieved, will become clearer and more clearly understood in connection with the following description of an exemplary embodiment which is explained in more detail in connection with the drawing. The exemplary embodiment serves to explain the invention and does not limit the invention to the combination of features specified therein, not even with regard to functional features. In addition, features of the exemplary embodiment suitable for this purpose can also be explicitly viewed in isolation and combined with any of the claims.

Es zeigt:

1 einen Heukran mit einem Greifer zum Greifen von Heu in einem Kuhstall während des Fütterns von Kühen.

It shows:

1 a hay crane with a grapple for gripping hay in a cowshed while feeding cows.

In 1 ist eine landwirtschaftliche Maschine 2 in Form eines Heukrans dargestellt, die einen Greifer 4 zum Greifen von landwirtschaftlichen Gut 6 aufweist. Der Greifer 4 ist eine Heuzange und das landwirtschaftliche Gut 6 ist Heu. Heukran und Heuballen werden im Folgenden zur Vereinfachung der Beschreibung ebenfalls mit dem Bezugszeichen 2 beziehungsweise 6 gekennzeichnet, ohne dass damit eine Einschränkung der Allgemeinheit der Erfindung verstanden werden soll.In 1 is an agricultural machine 2 shown in the form of a hay crane holding a grapple 4th for grabbing agricultural goods 6th having. The gripper 4th is a hay tong and that agricultural good 6th is hay. Hay crane and hay bales are also given the reference number in the following to simplify the description 2 respectively 6th characterized without this should be understood to mean a restriction of the generality of the invention.

Der Heukran 2 ist beweglich an und in einem Gebäude 8 befestigt und läuft im gezeigten Ausführungsbeispiel an einer Katze 10 entlang einer Schiene 12. Der Greifer 4 des Heukrans 2 ist mit einem Arm 14 mit einem Zentrum 16 des Heukrans 2 verbunden, das eine Steuereinheit 18 beherbergt, die Teil eines Steuersystems ist, das neben der Steuereinheit 18 zumindest eine stationäre weitere Recheneinheit 20 im Gebäude 8 aufweisen kann, die in 1 nur schematisch angedeutet ist. Der Heukran 2 ist ein autonomer Heukran 2, der zum autonomen Arbeiten vorbereitet ist, also ohne Eingriffe eines Bedieners.The hay crane 2 is mobile on and in a building 8th attached and runs in the embodiment shown on a cat 10 along a rail 12th . The gripper 4th of the hay crane 2 is with one arm 14th with a center 16 of the hay crane 2 connected that a control unit 18th which is part of a control system that is adjacent to the control unit 18th at least one further stationary computing unit 20th inside the building 8th may have that in 1 is only indicated schematically. The hay crane 2 is an autonomous hay crane 2 that is prepared for autonomous work, i.e. without the intervention of an operator.

Der Heukran 2 ist mit mehreren Sensoren ausgestattet, die im Folgenden beschrieben sind. Es ist zumindest ein optischer Sensor 22, beispielsweise eine Kamera, vorhanden, deren Blickfeld vorteilhafterweise nach unten gerichtet ist. Im gezeigten Beispiel ist sie unterhalb des Zentrums 16 angeordnet mit freiem Blickfeld auf eine Gegenstandstopografie unter dem Heukran 2. Vorteilhaft ist eine weitere Kamera 24, die möglichst mehr als 2 Meter von der ersten Kamera 22 beabstandet ist. Im gezeigten Ausführungsbeispiel ist sie am Greifer 4 angeordnet. Weiter kann ein Topografiesensor 26 vorhanden sein, beispielsweise ein Laserscanner, der eine Geländetopografie 28 ausmisst, also eine Oberfläche der im Arbeitsbereich des Heukrans 2 befindlichen Gegenstände, inklusive des Gebäudes selbst, beispielsweise dessen Scheunenfußbodens.The hay crane 2 is equipped with several sensors, which are described below. It's at least an optical sensor 22nd , for example a camera, present, the field of view is advantageously directed downwards. In the example shown, it is below the center 16 arranged with a clear field of view of an object topography under the hay crane 2 . Another camera is advantageous 24 preferably more than 2 meters from the first camera 22nd is spaced. In the embodiment shown, it is on the gripper 4th arranged. A topography sensor can also be used 26th be available, for example a laser scanner that shows a terrain topography 28 measures, i.e. a surface in the working area of the hay crane 2 objects located, including the building itself, for example its barn floor.

Vorteilhafte Arbeitsverfahren der landwirtschaftlichen Maschine 2 sind im Folgenden beschrieben. Der Sensor 22 nimmt die Umgebung um den Greifer 4 auf und sendet seine Daten an das Steuersystem, also an die Steuereinheit 18 oder direkt oder über die Steuereinheit 18 an die Recheneinheit 20. Das Steuersystem ermittelt aus den empfangenen Bildern charakteristische Bildmerkmale in Form von Schlüsselpunkten im Bild des Gegenstands, sowie zu jedem Schlüsselpunkt zumindest ein mehrdimensionalen Gegenstandsdeskriptor.Advantageous working methods of the agricultural machine 2 are described below. The sensor 22nd takes the area around the gripper 4th and sends its data to the control system, i.e. to the control unit 18th or directly or via the control unit 18th to the computing unit 20th . The control system determines from the received images characteristic image features in the form of key points in the image of the object, as well as at least one multidimensional object descriptor for each key point.

Da in den Bildern Gegenstände abgebildet sind, sind diese Bildmerkmale charakteristische Bildmerkmale von in den Bildern abgebildeten Gegenständen. Diese charakteristischen Bildmerkmale der Gegenstände - beziehungsweise deren Gegenstandsdeskriptoren - werden mit charakteristischen Bildmerkmalen einer Gegenstandsdatenbank verglichen - beziehungsweise mit den Gegenstandsdeskriptoren der Bildmerkmale der Gegenstandsdatenbank.Since objects are depicted in the images, these image features are characteristic image features of objects depicted in the images. These characteristic image features of the objects - or their object descriptors - are compared with characteristic image features of an object database - or with the object descriptors of the image features of the object database.

Um die Daten in der Gegenstandsdatenbank zu erzeugen, wird ein Arbeitsbereich des Heukrans 2, zweckmäßigerweise der gesamte Arbeitsbereich, in dem der Heukran 2 tätig werden kann, mit einer Kamera aufgenommen, zweckmäßigerweise einer gleichen Kamera, wie die Kamera 22, insbesondere mit derselben Kamera 22. Beispielsweise fährt der Heukran 2 durch seinen Arbeitsbereich und nimmt die Bilder auf. Aus den Bildern werden charakteristische Bildmerkmale von abgebildeten Gegenständen beziehungsweise Gegenstandspunkten ermittelt. Nun können diesen Bildmerkmalen beziehungsweise Punkten Eigenschaften zugeordnet werden, beispielsweise die zugehörigen Gegenstände als solche zugeordnet werden, wie „Heuballen“, „Schubkarre“, „Futtergatter“ oder dergleichen, oder es werden ihnen nur jeweils Koordinaten zugeordnet. Es können auch andere Eigenschaften zugeordnet werden. Beispielsweise wird einem Kreuzungspunkt von zwei Balken eines Gebäudes oder eine Ecke eines Gatters ein Ort in Form von Koordinaten zugeordnet. Die Zuordnung kann manuell durch einen Bediener erfolgen, der die Bilder anschaut und die dargestellten Schlüsselpunkte den Gegenständen oder Koordinaten zuordnet. Oder die Zuordnung erfolgt automatisiert anhand von Informationen über die Gegenstände.A work area of the hay crane is used to generate the data in the object database 2 , expediently the entire work area in which the hay crane 2 can be active, recorded with a camera, expediently the same camera as the camera 22nd , especially with the same camera 22nd . For example, the hay crane moves 2 through his work area and takes the pictures. Characteristic image features of depicted objects or object points are determined from the images. Properties can now be assigned to these image features or points, for example the associated objects can be assigned as such, such as “hay bales”, “wheelbarrows”, “feed gates” or the like, or only coordinates are assigned to them in each case. Other properties can also be assigned. For example, a point of intersection of two beams of a building or a corner of a gate is assigned a location in the form of coordinates. The assignment can be made manually by an operator who looks at the images and assigns the key points shown to the objects or coordinates. Or the assignment takes place automatically on the basis of information about the objects.

Gegenständen oder Punkten können insofern Koordinaten zugeordnet werden, beispielsweise relativ zu einem gemeinsamen Bezugspunkt, wie einer Ecke eines Raums oder eines Gebäudes, und/oder andere Gegenstandsmerkmale. Sind Koordinaten zugeordnet, so kann sich der Heukran 2 beziehungsweise dessen Steuersystem anhand der im später aufgenommenen Bild wiedergefundenen Punkte im Raum orientieren. Sind Gegenstandsbezeichnungen oder Äquivalentes zugeordnet, so kann der Heukran 2 - wenn er den Gegenstand in einem später aufgenommenen Bild wiederfindet - etwas mit dem Gegenstand tun, beispielsweise anheben oder verschieben, oder besonderen Abstand davon halten, wie beispielsweise von einer Kuh oder einem Menschen.In this respect, objects or points can be assigned coordinates, for example relative to a common reference point, such as a corner of a room or a building, and / or other object features. If coordinates are assigned, the hay crane can move 2 or orient its control system on the basis of the points in space found in the later recorded image. If object names or equivalent are assigned, the hay crane can 2 - if he finds the object in a later recorded image - do something with the object, for example lift or move it, or keep a special distance from it, such as from a cow or a person.

Um ein sicheres Erkennen von Punkten/Gegenständen zu gewährleisten, ist es vorteilhaft, wenn die Punkte/Gegenstände aus mehreren Richtungen aufgenommen werden, sodass die Gegenstandsdatenbank jeweils mehrere Bilder eines Punkts/Gegenstands aus verschiedenen Perspektiven enthält. Dies gilt insbesondere für die Bestückung der Datenbank mit Daten, damit ein Gegenstand später stets wiedergefunden wird auch wenn er von unterschiedlichen Richtungen aufgenommen wird.In order to ensure reliable detection of points / objects, it is advantageous if the points / objects are recorded from several directions so that the object database contains several images of a point / object from different perspectives. This applies in particular to the filling of the database with data so that an object can always be found again later, even if it is picked up from different directions.

Die Aufnahme aus verschiedenen Richtungen wird für verschiedene Gegenstände/Punkte durchgeführt. Da die Gegenstände/Punkte zweckmäßigerweise verschiedenen Gegenstandsklassen zugeordnet sind, wie „Heuballen“, „Futtergitterteile“, „Gebäudebalken“ usw., liegen charakteristische Bildmerkmale eines jeden solchen Punkts/Gegenstands in mehreren Gegenstandsklassen aus verschiedenen Perspektiven in der Datenbank vor.The recording from different directions is carried out for different objects / points. Since the objects / points are expediently different object classes are assigned, such as "hay bales", "feed fence parts", "building beams" etc., there are characteristic image features of each such point / object in several object classes from different perspectives in the database.

Gegenstände beziehungsweise Punkte davon können aus verschiedenen Entfernungen recht unterschiedlich aussehen. Hierbei ist zu bemerken, dass ein Punkt zweckmäßigerweise aus mehreren Bildpixeln besteht, die in ihrer Gemeinsamkeit die charakteristischen Bildmerkmale bilden. Je weiter der Sensor 22, 24 vom Punkt entfernt ist, desto größer ist der Punkt, der mehrere Bildpixel umfasst, im Raum. Das Bildeigenschaften eines Punkts in verschiedenen Größen/Entfernungen deutlich differieren können, ist es sinnvoll, die Punkte aus verschiedenen Entfernungen aufzunehmen und zu charakterisieren.Objects or points thereof can look quite different from different distances. It should be noted here that a point expediently consists of several image pixels which, in common, form the characteristic image features. The further the sensor 22nd , 24 away from the point, the larger the point, which comprises several image pixels, is in space. Since the image properties of a point can differ significantly at different sizes / distances, it makes sense to record and characterize the points from different distances.

Es sind daher zweckmäßigerweise in der Gegenstandsdatenbank zu einem Punkt/Gegenstand beziehungsweise einer Gegenstandsklasse zu mehreren Bildoktaven Datenbankdeskriptoren gespeichert, die verschiedenen Bildauflösungen von Gegenständen dieser Gegenstandsklasse zugeordnet sind.It is therefore expediently stored in the object database for a point / object or an object class for several image octaves database descriptors which are assigned to different image resolutions of objects of this object class.

Die Daten der Datenbank können in regelmäßigen oder unregelmäßigen Abständen vor oder während einer vom Heukran 2 durchzuführenden Arbeit mit Sensordaten beziehungsweise den daraus ermittelten Bilddaten, also den charakteristischen Bildmerkmalen, aktualisiert werden. Beispielsweise fährt der Heukran 2 durch seinen Arbeitsbereich, orientiert sich anhand solcher charakteristischer Bildmerkmale, denen Koordinaten zugeordnet sind und erfasst andere Punkte, denen Gegenstände zugeordnet sind. Die Deskriptoren dieser neuen Punkte können dann in die Datenbank eingespeist werden und die Gegenstandseigenschaften können später manuell oder automatisiert hinzugefügt werden. Auf diese Weise kann immer neu erfasst werden, welcher Gegenstand gerade im Raum wo steht.The data in the database can be updated at regular or irregular intervals before or during a hay crane 2 work to be carried out with sensor data or the image data determined therefrom, i.e. the characteristic image features, are updated. For example, the hay crane moves 2 through its work area, orients itself on the basis of such characteristic image features to which coordinates are assigned and records other points to which objects are assigned. The descriptors of these new points can then be fed into the database and the object properties can later be added manually or automatically. In this way, it can be recorded again and again which object is currently where in the room.

Ist ein Arbeitsbefehl vorhanden, der sich auf einen erkannten Gegenstand bezieht, so kann der Arbeitsbefehl ausgeführt werden. Liegt beispielsweise der Arbeitsbefehl vor, einen Greifer 4 voll Heu 30 zu einem bestimmen Punkt zu bringen, und das Heu 30 wird an einem Lagerplatz erkannt, so kann der Greifer 4 das Heu 30 aufnehmen und zum vordefinierten Punkt bringen, beispielsweise zu Kühen 32, wie in 1 dargestellt ist. In einem anderen Beispiel liegen Heuballen 34 an einem Lagerplatz im Stall oder in einer Scheune. Ist der Heuballen 34 durch charakteristische Bildmerkmale in der Datenbank erfasst und die charakteristischen Bildmerkmale werden in einem Bild des Heukrans 2 ermittelt, so gilt der Heuballen 34 als erkannt, der Greifer 4 kann ihn greifen und eine Tätigkeit mit ihm ausführen, beispielsweise öffnen und verteilen.If there is a work command that relates to a recognized object, the work command can be carried out. For example, if there is a work command, a gripper 4th full of hay 30th to a certain point and bring the hay 30th is recognized at a storage location, the gripper can 4th the hay 30th pick up and bring to the predefined point, for example to cows 32 , as in 1 is shown. In another example there are hay bales 34 at a storage place in the stable or in a barn. Is the hay bale 34 recorded by characteristic image features in the database and the characteristic image features are recorded in an image of the hay crane 2 determined, the hay bale applies 34 than recognized the gripper 4th can grab it and perform an activity with it, for example opening and distributing.

Sind erkannten charakteristischen Bildmerkmalen Koordinaten zugeordnet, so kann sich der Heukran 2 anhand dieser Koordinaten im Raum beziehungsweise seinem Arbeitsbereich orientieren. Hierzu ist es sinnvoll, wenn die Ausrichtung seines Arms 14 und/oder die Position des Greifers 4 relativ zur Blickrichtung des Sensors 22 und/oder des Sensors 24 bekannt ist.If recognized characteristic image features are assigned coordinates, the hay crane can 2 Use these coordinates to orientate in the room or in its work area. For this it makes sense if the orientation of his arm 14th and / or the position of the gripper 4th relative to the viewing direction of the sensor 22nd and / or the sensor 24 is known.

Zur Steuerung der Bewegung des Greifers 4 ist es hilfreich, wenn dessen aktuelle Koordinaten bekannt sind. Hierfür - und auch zur Bestimmung der Position von anderen Gegenständen - kann das Verfahren der Fotogrammmetrie herangezogen werden. Anhand mehrerer Bilder aus unterschiedlichen Richtungen auf eine Topografie 28 kann die Topografie 28 als solche ermittelt werden. In 1 ist ein Futtergatter als Topografie 28 gekennzeichnet, in das die Kühe 32 ihre Köpfe stecken zum Erreichen des Heus im Mittelgang des Stalls. Vielen Punkten des Futtergatters sind charakteristische Bildmerkmale, also Schlüsselpunkte, zugeordnet, denen wiederum Koordinaten zugeordnet sind. Mittels Fotogrammmetrie kann die Topografie 28 des Futtergatters ermittelt werden, also auch wo die Punkte innerhalb der Topografie 28 liegen. Sind die Koordinaten der Punkte bekannt, so kann die gesamte Topografie 28 vermessen und verortet werden, sodass nun die Lage jedes Punkts in der Topografie 28 bekannt ist.To control the movement of the gripper 4th it is helpful if its current coordinates are known. For this - and also to determine the position of other objects - the method of photogrammetry can be used. Using several images from different directions on a topography 28 can topography 28 be determined as such. In 1 is a feed fence as a topography 28 marked in which the cows 32 their heads are stuck in the center aisle of the stable to reach the hay. Many points of the feed gate are assigned characteristic image features, that is to say key points, to which coordinates are in turn assigned. The topography 28 of the feed gate can be determined, including where the points within the topography 28 lie. If the coordinates of the points are known, the entire topography 28 measured and located, so that now the position of each point in the topography 28 is known.

Die Topografie 28 erstreckt sich dabei zweckmäßigerweise über alle Gegenstände im Arbeitsbereich des Heukrans 2. Auch der Greifer 4 als solcher kann als Teil der Topografie 28 aufgenommen werden. Ist die Topografie 28 durch mehrere in ihrer Lage bekannte Punkte vermessen, so kann die Lage und Ausrichtung des Greifers 4 aus seiner Lage und Ausrichtung innerhalb der Topografie 28 bestimmt werden. Diese Daten können fortwährend im Wesentlichen in Echtzeit aktualisiert werden, sodass der Ort und die Ausrichtung des Greifers 4 im Raum stets bekannt ist.The topography 28 expediently extends over all objects in the working area of the hay crane 2 . Also the gripper 4th as such can be considered part of the topography 28 be included. Is the topography 28 measured by several points known in their position, the position and alignment of the gripper 4th from its location and orientation within the topography 28 to be determined. This data can be continuously updated essentially in real time, so that the location and the orientation of the gripper 4th is always known in the room.

Im Raum hängt beispielsweise ein Futtersack 36 mit einer textilen Hülle. Diese soll durch den Greifer 4 nicht beschädigt werden. Der Greifer 4 soll einen Mindestabstand vom Futtersack 36 stets einhalten. Sind dem Futtersack 36 oder seinem Gestell Schlüsselpunkte, also Punkte mit charakteristischen Bildmerkmalen, zugeordnet und diese werden im Bild des Sensors 22 oder 24 erkannt, so kann die Lage des Greifers 4 relativ zum Futtersack 36 laufend ermittelt werden, insbesondere mit Fotogrammmetrie, und der Mindestabstand kann stets eingehalten werden.For example, there is a feed bag hanging in the room 36 with a textile cover. This should through the gripper 4th not be damaged. The gripper 4th should be a minimum distance from the feed bag 36 always adhere to. Are the feed bag 36 or its frame is assigned key points, i.e. points with characteristic image features, and these are shown in the image of the sensor 22nd or 24 recognized, the position of the gripper 4th relative to the feed bag 36 continuously determined, in particular with photogrammetry, and the minimum distance can always be maintained.

Um beispielsweise eine Heuballen 34 sicher greifen zu können, sollte dieser nicht nur an einer Seite gegriffen werden, sodass er dann am Greifer 4 herabhängt. Der Ballen 34 könnte zerreißen und ganz oder teilweise unbeabsichtigt herabfallen. Um einen Gegenstand sicher greifen zu können, kann diesem ein Greifpunkt zugeordnet sein. Wurde also der Gegenstand als solcher erfasst und ist seine Lage bekannt, so ist auch sein Greifpunkt bekannt, der in seiner Lage zum Gegenstand insgesamt definiert sein kann. Der Greifpunkt kann beispielsweise ein Punkt sein, auf den die Greifarme des Greifers 4 symmetrisch zu bewegt werden. Er ist beispielsweise ein geometrischer Schwerpunkt oder Gewichtsschwerpunkt des Gegenstands oder liegt darunter.For example, a hay bale 34 to be able to grasp safely, this should not only be on one Side, so that it is then on the gripper 4th hangs down. The bale 34 could tear and fall unintentionally in whole or in part. In order to be able to grasp an object securely, a gripping point can be assigned to it. If the object has been detected as such and its position is known, then its gripping point is also known, which can be defined in its position in relation to the object as a whole. The gripping point can be, for example, a point on which the gripping arms of the gripper 4th symmetrically to be moved. It is, for example, a geometric center of gravity or weight center of gravity of the object or lies below it.

Ebenfalls möglich ist es, mehreren Gegenständen verschiedener Klassen, also Heuballen und Säcken beispielweise, verschiedene Greiferklassen, also Greiferarten zuzuordnen. So können verschiedene Gegenstände mit stets dem jeweils richtigen Greifer 4 gegriffen werden, ohne dass ein Sack beim Greifer aufgerissen oder Heu beim Greifen zerdrückt wird. Der Heukran 2 kann mit seinem Arm zu einem vordefinierten Lagerort fahren, in dem mehrere verschiedene Greifer 4 liegen, und er kann sich - zweckmäßigerweise autonom - den gewünschten Greifer 4 in den Arm einklinken und nun damit arbeiten.It is also possible to assign different gripper classes, that is to say gripper types, to several objects of different classes, that is to say hay bales and sacks, for example. In this way, different objects can always be picked up with the right gripper 4th can be gripped without a sack being torn open by the gripper or hay being crushed when gripping. The hay crane 2 can move his arm to a predefined storage location in which several different grippers 4th and he can - expediently autonomously - the desired gripper 4th latch into the arm and now work with it.

BezugszeichenlisteList of reference symbols

22: Landwirtschaftliche Maschine / HeukranAgricultural machine / hay crane
44th: GreiferGrapple
66th: Landwirtschaftliches Gut / HeuballenAgricultural goods / hay bales
88th: Gebäudebuilding
1010: Katzecat
1212th: Schienerail
1414th: Armpoor
1616: Zentrumcenter
1818th: SteuereinheitControl unit
2020th: RecheneinheitArithmetic unit
2222nd: Optischer SensorOptical sensor
2424: Optischer SensorOptical sensor
2626th: TopografiesensorTopography sensor
2828: GeländetopografieTerrain topography
3030th: Heuhay
3232: Kuhcow
3434: HeuballenHay bales
3636: FuttersackFeed bag

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

Lowe, David G .: Object recognition from localscale-invariant features; Computer vision, 1999; The proceedings of the seventh IEEE international conference on Vol. 2 Ieee, 1999, pp. 1150-1157 [0017]
Lowe, David G .: Distinctive image features from scale-invariant keypoints; International journal of computer vision 60 (2004), No. 2, pp. 91-110 [0017]
Bay, Herbert; Tuytelaars, Tinne; Van Gool, Luc: Surf: Speeded up robust features; Computer Vision-ECCV 2006. Springer, 2006, pp. 404-417 [0017]
Rublee, ethane; Rabaud, Vincent; Konolige, Kurt; Bradski, Gary: ORB: an efficient alternative to SIFT or SURF. In: Computer Vision (ICCV), 2011 IEEE International Conference on IEEE, 2011, pp. 2564-2571 [0017]

Claims

Method for controlling an agricultural machine (2), which has a gripper (4) for gripping agricultural material (6), in which an optical sensor (22, 24) picks up the surroundings of the gripper (4) and a control system detects the gripper ( 4) controls its position based on data from the sensor (22, 24), characterized in that the control system uses data from the sensor (22, 24) to identify an object by comparing characteristic image features of the object with characteristic image features of an object database.

Procedure according to Claim 1 , characterized in that key points in the image of the object are determined as characteristic image features, as well as at least one multidimensional object descriptor for each key point.

Procedure according to Claim 1 or 2 , characterized in that the control system is based on the detected objects in a specified space.

Method according to one of the preceding claims, characterized in that the control system determines a position of the recognized object in space and controls a movement of the gripper (4) as a function of the position.

Method according to one of the preceding claims, characterized in that the machine (2) is a crane running on a rail and working autonomously.

Procedure according to Claim 5 , characterized in that the optical sensor (22, 24) is attached to the crane.

Method according to one of the preceding claims, characterized in that the optical sensor (22, 24) is attached to the gripper (4).

Method according to one of the preceding claims, characterized in that database descriptors are stored in the object database for an object class for several image octaves, which are assigned to different image resolutions of objects of this object class.

Method according to one of the preceding claims, characterized in that the object database contains image features of objects which were recorded at an earlier point in time at the same location.

Procedure according to Claim 9 , characterized in that the location is a room of an agricultural building (8).

Method according to one of the preceding claims, characterized in that the object database in several object classes each contains several images of an object from different perspectives.

Method according to one of the preceding claims, characterized in that the object descriptors are generated from several superimposed images of the object and the database descriptors were also determined from images which were generated from several superimposed images of an object.

Method according to one of the preceding claims, characterized in that in the object database an object class is assigned at least one gripping point for arranging the gripper (4) which indicates a predetermined point on an object assigned to the object class and which in the object database is in its relative position is specified for the position of several key points, and the position of a gripping point in the picked-up object is determined from the position of several key points in the image of the object.

Procedure according to Claim 13 , characterized in that different gripper classes are assigned to different objects in the object database and one of several gripper classes is selected as a function of the database descriptors assigned to the object descriptors.

Method according to one of the preceding claims, characterized in that the control system recognizes a hay bale (34) using the image features.

Method according to one of the preceding claims, characterized in that the control system also uses a determined object topography (28) to identify the object.

Procedure according to Claim 16 , characterized in that the terrain topography (28) is determined by means of laser scanning.

Procedure according to Claim 16 or 17th , characterized in that the terrain topography (28) is determined by means of data from several cameras (22, 24) and photogrammetry.

Method according to one of the preceding claims, characterized in that the Control system for recognizing the object uses a determined color / color combination of the object.

Agricultural machine (2) with a gripper (4) for gripping agricultural material (6), an optical sensor (22, 24) and a control system which is prepared to use data from the sensor (22, 24) to move the gripper into its position, characterized in that the control system is prepared to use data from the sensor (22, 24) to identify an object as such by comparing characteristic image features of the object with characteristic image features of an object database.