DE4411646A1

DE4411646A1 - Determining geometric properties of objects in front of agricultural vehicle

Info

Publication number: DE4411646A1
Application number: DE4411646A
Authority: DE
Inventors: Gert Dr Ing Schoenfelder; Herbert Dipl Ing Niproschke
Original assignee: Individual
Current assignee: Individual
Priority date: 1994-04-02
Filing date: 1994-04-02
Publication date: 1995-11-02

Abstract

A video camera (K1) mounted at a defined height on a vehicle captures images of the region in front of the vehicle. The heights of objects in this region are determined from the displacement of the image contents of two successively acquired images and the distance (S) travelled by the vehicle.For two images acquired at a distance apart a region is defined in the first image which is relocated in the second image using a correlation technique. The height of the observed object is derived from the difference between the located position of the selected image section and the position within the image calculated from the distance travelled.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Be stimmung der Höhe eines Objektes mit diffuser Begrenzung vor einem Fahrzeug, vorzugsweise zur Steuerung einer landwirt schaftlichen Bearbeitungsmaschine bei der Getreideernte, unter Berücksichtigung der aktuellen Höhe des Pflanzenbestandes vor der Erntemaschine.The invention relates to a method and an arrangement for loading adjustment of the height of an object with diffuse limitation a vehicle, preferably to control a farmer economic processing machine during the grain harvest, under Taking into account the current level of the crop the harvester.

Es ist bekannt, mit Hilfe von zwei Kameras über mathematische Betrachtungen im Raum, aus ausgewählten Merkmalen des betrach teten Objektes dessen Höhe zu bestimmen.It is known using two cameras on mathematical Considerations in space, from selected features of the considered to determine the height of the object.

Dazu ist bereits eine Anordnung (DE-OS 30 09 534) zur optoelek tronischen Messung der Entfernung eines Gegenstandes mit zwei linearen, jeweils eine Mehrzahl von Sensorelementen aufweisen den Bildsensoren vorgeschlagen worden, die zwei optische Ein richtungen aufweisend, jeweils Ausschnitte einander entspre chender Zeilen zwei von dem Gegenstand getrennt enthaltener Ab bildungen auf die linearen Bildsensoren projizieren und mittels einer Auswerteschaltung eine der Entfernung entsprechende elek trische Größe bildet. Eine zusätzliche Belichtung mindestens eines Teiles des in seiner Entfernung zu bestimmenden Gegen standes soll dabei Meßfehler verringern, die sich aus der zu gleichmäßigen Belichtung der einzelnen Sensorelemente ergeben.There is already an arrangement for this (DE-OS 30 09 534) for optoelek tronic measurement of the distance of an object with two linear, each having a plurality of sensor elements the image sensors have been proposed, the two optical one showing directions, each section corresponds to each other The following lines contain two Ab separate from the subject project education onto the linear image sensors and by means of an evaluation circuit an elek corresponding to the distance trical size. At least one additional exposure a part of the counter to be determined in its distance Standes should reduce measurement errors resulting from the result in uniform exposure of the individual sensor elements.

Nachteil dabei ist der erhöhte Aufwand für die künstliche Be leuchtung des Objektes zum Erzielen des für die Auswertung not wendigen Kontrastes. The disadvantage here is the increased effort for artificial loading Illumination of the object to achieve the need for the evaluation agile contrast.

Ein bekanntgewordenes Verfahren und eine Vorrichtung zur Situations-, Hindernis- und Objekterkennung (DE-OS 41 15 747) verwendet einen oder mehrere Entfernungsmesser, deren Meßstrah len mittels Scanner einen bestimmten Raumwinkelbereich mit ei nem bestimmten Muster unabhängig von der Umgebungsbeleuchtung und vom Umlicht abtasten.A method and a device for Situation, obstacle and object detection (DE-OS 41 15 747) uses one or more rangefinders whose measuring beam len using a scanner a certain solid angle range with egg a specific pattern regardless of the ambient lighting and feel the ambient light.

Gemeinsamer Nachteil dieser Lösungen ist es jedoch, daß neben dem erheblichen, erforderlichen technischen Aufwand nur von Ob jekten mit klaren Kanten ausgegangen wird. Der Aufwand zur Aus wertung der anfallenden Daten bei der Anwendung der genannten Lösungen auf diffuse Objekte würde den Aufwand erheblich erhö hen, da eine dreidimensionale Glättung der Bilddaten vorgenom men werden müßte.Common disadvantage of these solutions, however, is that in addition to the considerable, necessary technical effort only from Ob projects with clear edges. The effort to get out evaluation of the resulting data when using the above Solutions on diffuse objects would significantly increase the effort hen, since a three-dimensional smoothing of the image data should be men.

Nur eine Videokamera wird bei einem bekanntgewordenen Verfahren mit Vorrichtung zur Abstandsmessung zwischen einem Meßobjekt und einer relativ zum Meßobjekt bewegten Meßeinrichtung (DE-OS 40 19 214) eingesetzt, mit der eine Folge von Bildern zweier von der Videokamera etwa gleich weit entfernter Punkte des Meß objektes, die einen konstanten Abstand zueinander aufweisen, aufgenommen und ausgewertet wird. Damit kann der Abstand vom Meßobjekt aus dem normalen Bildabstand der beiden in der Bild ebene der Videokamera abgebildeten Punkte aus der Änderungsge schwindigkeit des Bildabstands und aus der Geschwindigkeitskom ponente der Videokamera in Richtung ihrer optischen Achse be rechnet werden.Only one video camera is used in a method that has become known with device for measuring the distance between a measurement object and a measuring device (DE-OS 40 19 214), with which a sequence of images of two points of the measurement approximately equally distant from the video camera object that are at a constant distance from each other, is recorded and evaluated. The distance from Measurement object from the normal image distance of the two in the image plane of the video camera depicted points from the change ge speed of the image distance and from the speed com component of the video camera in the direction of its optical axis be counted.

Nachteil dieser Lösung ist es, daß für die Abstandsbestimmung zwei feste Markierungen auf dem betrachteten Objekt benutzt werden, die zudem noch nebeneinander liegen müssen. Diese not wendige Markierung ist auf einem Objekt diffusen Charakters nicht anbringbar und schließt auch das Wechseln des Objektes während der Messungen aus.The disadvantage of this solution is that for the distance determination two fixed marks are used on the object under consideration that also have to be next to each other. This distress agile marking is on an object of diffuse character not attachable and also includes changing the object during the measurements.

Hier will die Erfindung Abhilfe schaffen. Die Erfindung, wie sie in den Ansprüchen gekennzeichnet ist, löst die Aufgabe, ein Verfahren und eine zugehörige Anordnung zur Bestimmung der Höhe eines diffusen Objektes vor einem Fahrzeug zu schaffen, wobei mit geringem Aufwand die erforderlichen Daten erfaßt, minimiert und erst in der Endphase die räumliche Verknüpfung ausgeführt wird. Eine weitere Bedingung ist der Einsatz nur einer Videoka mera zur Datenerfassung und die Ausnutzung der Bewegung der Ma schine bzw. des Fahrzeuges zur Gewinnung der räumlichen Infor mation.The invention seeks to remedy this. The invention how it is characterized in the claims, fulfills the task Method and an associated arrangement for determining the height to create a diffuse object in front of a vehicle, whereby the required data is recorded with little effort, minimized and the spatial linkage was only carried out in the final phase becomes. Another condition is the use of only one videoka mera for data acquisition and the exploitation of the movement of the ma machine or the vehicle to obtain the spatial information mation.

Die zur räumlichen Betrachtung eines Objektes notwendige zweite Videokamera wird durch den mechanischen Versatz der ersten Vi deokamera realisiert. Das insbesondere an bewegten Fahrzeugen eingesetzte Verfahren nutzt den Versatz der Videokamera durch die Bewegung des Fahrzeuges gegenüber dem auf der Fahrbahn feststehenden Objekt. Damit ist der Effekt der Stereometrie durch die zeitlich versetzte Aufnahme zweier Bilder des gleichen Objektes nutzbar.The second necessary for the spatial observation of an object Video camera is due to the mechanical offset of the first Vi deo camera realized. This is particularly true of moving vehicles The method used uses the offset of the video camera the movement of the vehicle compared to that on the road fixed object. So that's the effect of stereometry by taking two pictures of the same object can be used.

Im folgenden wird die Erfindung anhand einer ein Ausführungs beispiel darstellenden Zeichnung näher erläutert:The invention is based on an embodiment example illustrating the drawing:

Fig. 1 zeigt eine schematische Darstellung des Wesens der Er findung. Fig. 1 shows a schematic representation of the nature of the invention.

Wie aus Fig. 1 ersichtlich, ist eine Videokamera K1 an einem möglichst hohem Ort auf dem in der Zeichnung nicht näher darge stellten Fahrzeug angeordnet. Die Videokamera K1 blickt dabei auf den Bereich vor dem Fahrzeug im Winkel W1 mit einem Öff nungswinkel OW. Die dabei gesehene Strecke bzw. der Bildaus schnitt in Fahrtrichtung soll hierbei mit XM Pixel aufgelöst werden. As can be seen from Fig. 1, a video camera K1 is arranged at the highest possible location on the vehicle not shown in the drawing Darge. The video camera K1 looks at the area in front of the vehicle at an angle W1 with an opening angle OW. The distance seen or the image section in the direction of travel should be resolved with XM pixels.

Für die Berechnung wird der Pixelbereich von XM Pixel entnommen und abgespeichert. Nachdem das Fahrzeug einen Weg S zurückge legt hat, wird ein weiteres Bild aufgenommen, in dem der Pixelbereich X1 gesucht wird. Dies erfolgt mittels Korrela tionsfunktionen und bringt eine Wiedererkennung des zuerst ge wählten Bereiches als Bereich X2 mit der Anfangsposition P2.The pixel area is taken from XM pixels for the calculation and saved. After the vehicle has traveled a path S another picture is taken, in which the Pixel area X1 is searched. This is done using correla functions and brings a recognition of the first ge selected area as area X2 with the starting position P2.

Zur Ermittlung der durch den Betrachtungswinkel hervorgerufenen Streckung des Bereiches X2 gegenüber dem Original X1 wurde fol gende Gleichung gefunden:To determine those caused by the viewing angle Extension of the area X2 compared to the original X1 was fol found the following equation:

(Winkel OW, W1 in Grad; XM, X2, P2 in Pixel)(Angle OW, W1 in degrees; XM, X2, P2 in pixels)

Zur Ermittlung des in Fig. 1 dargestellten Punktes P2 wurde un ter der Annahme, daß die Höhe H unverändert bleibt, nachstehen de Gleichung gefunden:To determine the point P2 shown in FIG. 1, the following equation was found assuming that the height H remains unchanged:

Aus dem über die Korrelation bestimmten Punkt P2 kann nach Um stellung der Gleichung (2) auf die Höhe des Objektes geschlos sen werden.From the point P2 determined via the correlation, according to Um Position of the equation (2) closed on the height of the object will be.

Wegen der notwendigen Bewegung der Videokamera K1 ist eine Mes sung nur aus der Bewegung heraus sinnvoll. Das betrachtete Ob jekt sollte vorzugsweise großflächig sein. Because of the necessary movement of the video camera K1 is a measurement solution only makes sense from the movement. That considered Ob ject should preferably be large.

Die erfindungsgemäße Anordnung ist vorteilhaft bei der Getrei deernte mittels Mähdrescher anwendbar. Dabei ist die Höhe des Getreidebestandes vor dem Schneidwerk des Mähdreschers zu be stimmen, um die Arbeitshöhe und die Höhe der Haspel einzustel len. Es ist erforderlich, eine flächige Höhenbestimmung über die gesamte Schneidwerksbreite unter natürlichen Lichtverhält nissen im Freiland vorzunehmen.The arrangement according to the invention is advantageous in the crop harvest can be used with a combine harvester. The height of the Grain stock in front of the combine harvester vote to set the working height and the height of the reel len. It is necessary to use a flat height determination the entire header width under natural light conditions nissen in the field.

Im Ausführungsweg ist die Videokamera K1 auf dem Dach des Fah rerhauses des Mähdreschers angeordnet und in Fahrtrichtung auf einen Punkt im ausreichenden Abstand vor dem Schneidwerk ge richtet. Die Montagewerte W1 und OW gehen damit als Konstante in die Gleichung (1), (2) ein. Die Höhe H nimmt dabei maximal den Wert der Montagehöhe an.In the execution path, the video camera K1 is on the roof of the vehicle rerhaus of the combine and arranged in the direction of travel a point at a sufficient distance in front of the cutting unit judges. The assembly values W1 and OW therefore go as a constant into equation (1), (2). The height H takes a maximum the value of the mounting height.

Zur effektiven Gestaltung des Datenstromes ist die Videokamera K1 in der optischen Achse um 90° gedreht, so daß die Abtastung des Bildes von oben nach unten erfolgt. Zur Auswertung sind dann eine oder mehrere Zeilen des Bildes heranziehbar. Von den in der Zeichnung nicht näher dargestellten Radantrieben des Fahrzeuges wird durch ebenfalls nicht näher dargestellte Senso ren der Wert des Weges S bereitgestellt.The video camera is for effective data stream design K1 rotated 90 ° in the optical axis, so that the scanning of the picture from top to bottom. Are for evaluation then one or more lines of the picture can be used. Of the in the drawing, not shown, the wheel drives Vehicle is also not shown by Senso ren the value of the path S provided.

Der Streifen des Bildausschnittes X1 wird in einer Auswerteein richtung zwischengespeichert. Nach der Bewegung um den Weg S wird ein weiteres Bild erfaßt und über eine Korrelation der neue Ort des Abschnittes X1 gesucht. Um eine Korrelation effek tiv zu gestalten, kann aus dem möglichen Höhenbereich und dem aktuellen Weg S der Erwartungsbereich des Punktes P2 näherungs weise vorherbestimmt und damit der Suchbereich verkürzt werden.The strip of the image section X1 is in an evaluation direction cached. After moving around path S another image is captured and a correlation of the Searched for new location of section X1. For a correlation effec tiv can be designed from the possible height range and the current path S approximate the expected range of point P2 predetermined and thus the search area can be shortened.

Nach dem Auffinden der Lage der Bereiche X1 an dem neuen Ort X2 ist mit dem bestimmten Punkt P2, dem Weg S und den bereits ge nannten Montagekonstanten die Höhe des ausgewerteten Objektes bestimmbar. After finding the location of the areas X1 at the new location X2 is with the certain point P2, the path S and the already ge called assembly constants the height of the evaluated object determinable.

Werden mehrere Ausschnitte aus dem Videobild ausgewertet, so ist ein Höhenprofil des Getreidebestandes vor dem Schneidwerk bestimmbar. Die erhaltenen Daten können dann zur Steuerung der Schneidwerkeinstellungen herangezogen werden. Bei einer übli chen Erntegeschwindigkeit von etwa 1 m/s sind zwei bis vier Bilder auszuwerten.If several sections from the video image are evaluated, so is a height profile of the grain stock in front of the cutting unit determinable. The data obtained can then be used to control the Cutting unit settings can be used. With a common Chen harvesting speed of about 1 m / s are two to four Evaluate images.

Claims

1. A method for determining the geometric properties of objects in front of a vehicle, with a video camera which is arranged at a certain height on a vehicle, preferably a harvesting machine, characterized in that the area in front of the vehicle can be recorded with the video camera (K1) and the height of objects in this area can be determined from the shift in the image content of two images taken in succession and the distance traveled (S) of the vehicle.

2. The method according to claim 1, characterized in that at two images taken at a distance (S) in the first image Excerpt is defined, which is shown in the following picture using Cor relation procedure is recoverable.

3. The method according to claim 1 and 2, characterized in that from the difference between the location found of the chosen one Image section and the distance covered (S) precalculated place in the picture the height of the seen ob jektes is determinable.

4. Arrangement for determining the geometric properties of Objects in front of a vehicle, characterized in that the Video camera (K1) at the highest possible point in the vehicle is arranged rotated by 90 ° in the optical axis.