EP3725143A1 - Berührungslos steuerbares fahrzeug - Google Patents

Berührungslos steuerbares fahrzeug Download PDF

Info

Publication number
EP3725143A1
EP3725143A1 EP20151429.6A EP20151429A EP3725143A1 EP 3725143 A1 EP3725143 A1 EP 3725143A1 EP 20151429 A EP20151429 A EP 20151429A EP 3725143 A1 EP3725143 A1 EP 3725143A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
person
control unit
communication signals
vehicle according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20151429.6A
Other languages
English (en)
French (fr)
Other versions
EP3725143B1 (de
Inventor
Max Reinecke
Jens Heydekorn
Arne Weichert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Claas E Systems GmbH
Original Assignee
Claas E Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Claas E Systems GmbH filed Critical Claas E Systems GmbH
Publication of EP3725143A1 publication Critical patent/EP3725143A1/de
Application granted granted Critical
Publication of EP3725143B1 publication Critical patent/EP3725143B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B71/00—Construction or arrangement of setting or adjusting mechanisms, of implement or tool drive or of power take-off; Means for protecting parts against dust, or the like; Adapting machine elements to or for agricultural purposes
    • A01B71/02—Setting or adjusting mechanisms
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B76/00—Parts, details or accessories of agricultural machines or implements, not provided for in groups A01B51/00 - A01B75/00
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic

Definitions

  • the present invention relates to a vehicle, in particular a mobile agricultural machine such as a tractor, a combine harvester, a forage harvester or the like, in which at least some of the functions of the vehicle can be controlled without the driver having direct physical contact with a steering wheel or joystick , Accelerator pedal or the like is necessary.
  • DE 10 2004 032 642 A1 a mobile agricultural machine which can be used for distributing seeds and fertilizer.
  • the problem with such a vehicle is that the driver, especially when driving in the headland, has to do a large number of tasks at the same time or in close chronological order and thus has his hands full in the literal sense of the word. That is why in DE 10 2004 032 642 A1 Proposed to implement a control by voice for non-safety-relevant functions such as the dosage of the fertilizer to be distributed or the tillage depth, which reacts to commands uttered by the driver.
  • DE 10 2016 004 198 A1 describes an emergency command device for a tractor.
  • the tractor has a radio-based receiving station that communicates with a headset of an operator. Since the headset sends an emergency stop control command when a limit sound pressure level is exceeded, the operator can bring the tractor to a standstill from outside in an emergency. People who do not wear a suitable headset are therefore not effectively protected by this conventional emergency command device, and even a knowledgeable user has the problem that he cannot trigger an emergency stop if he does not anticipate the possibility from the outset and is equipped with the headset for it Has.
  • the object of the invention is to create a vehicle, in particular a mobile agricultural machine, which enables people outside the vehicle to control functions of the vehicle without the use of technical aids.
  • the sensor system is mounted on the vehicle with a sensor system for the direct detection of human communication signals and a control unit for controlling the movement of the vehicle based on the communication signals detected by the sensor system in order to receive the communication signals from To capture vehicle from, and has a detection area outside of the vehicle.
  • the control unit is thus able to detect signals emanating from any person in the detection range of the sensor system; i.e. in particular a communication signal that causes a safety stop of the vehicle can come from any person who could come into conflict with the vehicle.
  • control unit should not only be configured to stop a movement of the vehicle; it is preferably also set up to quantitatively control the direction and / or speed of a movement of the vehicle on the basis of corresponding communication signals of a user who is outside the vehicle.
  • a quantitative control can consist in that the numerical value of a quantitative variable such as direction of travel or speed is derived from a communication signal; It is also conceivable, however, that a command for executing a program of several functions, e.g. for the autonomous harvesting of a field or for compacting an access silo by the vehicle, for connecting or disconnecting a tool or the like, derived and executed.
  • control unit should also be set up to set a user as a person who is authorized to set the vehicle in motion by means of a corresponding communication signal, to differentiate from other, illegitimate persons, in order to ignore the same communication signal if it emanates from such an illegitimate person.
  • the sensor system preferably comprises at least one imaging, in particular optical, sensor.
  • a sensor can be used to detect communication signals in the form of gestures, e.g. to interpret a defensive hand movement of a person as a stop command, a gesture by a user as a command to start moving or to accelerate, a pushing hand movement as a command to stop or slow down, or a pointing or circular hand movement as a direction or steering command.
  • gesture control is that it works regardless of the noise level around the vehicle; a headlight for illuminating the detection area, which allows communication signals to be detected by the imaging sensor even in the dark, can be mounted on the vehicle.
  • the sensor system can furthermore comprise at least one acoustic sensor, preferably in combination with the imaging sensor, in order to enable communication without the need for a line of sight.
  • control unit is preferably set up to extract control commands from detected communication signals, to classify each control command into one of at least two classes and to execute control commands of a first class regardless of the identity of a person who issued the communication signals, and to only execute control commands of a second class if a person who issued the communication signals is authorized to do so.
  • control unit can preferably use a feature of an image of the person supplied by the imaging sensor.
  • biometric face recognition is used to compare data extracted from the image with one or more personal profiles of legitimate users.
  • features of a person's voice can also be used to decide whether or not the person is authorized as a user.
  • an analysis of sensor data as to whether they contain a command of the second class can be restricted to the sensor data originating from a recognized user.
  • the control unit can be set up to superimpose the output signals with at least one selectable time offset and thus selectively increase the sensitivity to sound waves from part of the detection area.
  • control unit can be set up to select the at least one time offset based on the detected position of a person and thus give preference to sounds from this person over sounds from other sources to capture.
  • the vehicle can have a communication interface for generating communication signals that can be perceived by a human sensory organ, for example to people in the vicinity of the vehicle to bring a planned movement of the vehicle to the notice in advance.
  • This communication interface can also be provided in order to use it to signal an extracted control command. In this way, the user can immediately correct any misinterpretation; it can also be provided that an extracted and signaled control command is only executed by the control unit after the user has given his express permission.
  • the invention also relates to a computer program product with program code means which enable a computer to work as a control unit in a vehicle according to one of the preceding claims.
  • the computer program product can be stored in a memory of the computer, on a computer-readable data carrier or in downloadable form on a server.
  • Fig. 1 shows a forage harvester as an example of an agricultural vehicle 1 according to the invention.
  • the vehicle 1 is located in the depot of an operator and has to pick up a harvesting tool 2 in preparation for use in the field.
  • Imaging sensors are mounted on the body of the vehicle 1 in the number required for complete monitoring of the surroundings of the vehicle 1.
  • the imaging sensors are inexpensive, visible light sensitive electronic cameras; however, radar sensors or the like can also be used.
  • the surroundings 4 monitored by the imaging sensors form an uninterrupted ring around the vehicle 1.
  • Microphones 5 are distributed along the circumference of the vehicle 1 in order to be able to receive sound signals from any point in the surroundings 4.
  • control elements such as a steering wheel, Accelerator pedals, a joystick or the like are provided, which enable a driver to control the vehicle 1 from the cab 6 in a non-autonomous operating mode of the vehicle 1.
  • a (in Fig. 1 (not shown) on-board computer 7 supports, in addition to the non-autonomous, an at least partially autonomous operating mode in which it is able to use appropriate actuators to steer, accelerate and brake the vehicle 1, as well as various other functions such as connecting and disconnecting the Tool 2 or the processing of the harvested crop, here by a chopper to control.
  • the on-board computer 7 is connected to the cameras 3 in order to receive image data from them, and has an image processing unit 10 which makes it possible to recognize people 8, 9 in the surroundings 4 and to give them at least one azimuthal coordinate in the coordinate system of the vehicle 1, preferably position information in two dimensions.
  • the image processing unit 10 is also set up to recognize individual features of the persons 8, 9, e.g. to distinguish the faces of the people 8, 9 or to recognize that the person 8 is wearing work clothes 11, but the person 9 is not.
  • the on-board computer 7 also has a voice recognition unit 12 which receives audio signals from the microphones 5.
  • the Speech recognition unit 12 preferably over several channels, each of which processes audio signals from different microphones.
  • At least one signal delay unit 13 that can be individually controlled by the on-board computer 7 can be assigned to each microphone 5.
  • Such a channel can be assigned to a person recognized in the environment by compensating for runtime differences, with which the utterance arrives at several microphones 5, by their signal delay units 13 and the time-shifted audio signals are then additively superimposed in a summation unit 14 to produce a combined audio signal in which noises from other directions are suppressed from the person's utterance.
  • the azimuth coordinates of the people determined on the basis of the image data can be used.
  • Further channels can each be assigned to a single microphone 5 in order to record and process sound arriving at the microphone in question without weighting according to the direction of origin.
  • Fig. 3 shows a working method of the on-board computer 7.
  • S1 After the start-up S1, with the vehicle 1 still stationary, it first begins to monitor the surroundings 4 with the aid of the cameras 3 and to decide whether the image data supplied by the cameras 3 contain the image of a person ( S2). As long as this is not the case, the vehicle cannot receive any commands and will stop.
  • S2 In the vicinity of the Fig. 2 succeeds Identification of a person twice, for persons 8 and 9. A check is made for each identified person to determine whether or not they are authorized as a user. This can be done in two steps. In a first step S3 it is checked whether the person is wearing a predetermined visible sign of their legitimacy such as clothing prescribed by the operator of the vehicle 1.
  • step S5 by comparing features of the face of the person 8 recognizable in the images from the cameras 3 with a database of the on-board computer 7, it is decided whether the person belongs to a group of people authorized to drive the vehicle 1. If the person turns out to be illegitimate here too (S4), steps S2 are repeated until an authorized person appears in the surroundings 4 and is recognized by the on-board computer 7 (S6).
  • the on-board computer 1 As soon as a person has been recognized as a legitimate user, this is confirmed by the on-board computer 1 by outputting a greeting, preferably mentioning the person's name stored in the database, via a loudspeaker 15 (S7). So this person is informed that the on-board computer 7 has recognized them as a user and is waiting for their commands.
  • a greeting preferably mentioning the person's name stored in the database
  • An audio channel is assigned to each of the recognized persons (S8). For this purpose, based on azimuth angles ⁇ 8 , ⁇ 9 determined in step S2 for each person 8, 9 - preferably relative to the longitudinal direction of the vehicle - a decision is made as to which microphones 5 are to be used as receivers of sounds made by the person concerned come into consideration and what the differences in transit time of a sound wave from the person to the respective microphones are. In case of Fig. 2 these are the microphones 5 1 , 5 2 , 5 3 for the person 8 and the microphones 5 4 , 5 5 for the person 9.
  • the signal of the microphone 5 5 closer to the person 9 is in its signal delay unit 13 according to the transit time difference of a sound wave
  • a time delay is set from the person 9 to the two microphones 5 4 , 5 5 , the signal from the further microphone 5 4 remains undelayed, and the signals thus obtained are superimposed in the summation unit 14.
  • the signals of the microphones 5 1 , 5 2 , 5 3 are in part time-delayed and superimposed on one another, so that the summation unit 14 supplies an audio signal selective for this person to the speech recognition unit 12 for each identified person 8, 9.
  • the steps described above are repeated regularly in order to take into account when people are new to the environment 4 or persons previously recorded leave the environment 4 or to take into account changes in the azimuth angles of the people that result from movements of the people and the vehicle 1 .
  • the image processing unit 10 monitors the images of the recognized persons 8, 9 supplied by the cameras 5 for the occurrence of predetermined gestures (S9).
  • the gestures for which the images of the person 9 are monitored comprise minimally only those which a desired stop of the vehicle 1 signal, such as a startling movement or a defensive gesture such as raising a hand. Possibly. gestures that indicate a desired movement of the vehicle 1 away from the person 9 can also be taken into account.
  • the image data are examined for the occurrence of further gestures, for example pointing gestures such as an outstretched arm, in the case of the Fig. 1 in the direction of the harvesting tool 2 to be picked up by the vehicle 1, on gestures such as those commonly used by motorists to assist with maneuvering, to clarify a desired direction of travel, to drive faster or slower, or on gestures specifically defined by the manufacturer of the vehicle that support the Vehicle 1 display an action desired by the user 8, such as coupling and picking up the tool 2.
  • further gestures for example pointing gestures such as an outstretched arm, in the case of the Fig. 1 in the direction of the harvesting tool 2 to be picked up by the vehicle 1, on gestures such as those commonly used by motorists to assist with maneuvering, to clarify a desired direction of travel, to drive faster or slower, or on gestures specifically defined by the manufacturer of the vehicle that support the Vehicle 1 display an action desired by the user 8, such as coupling and picking up the tool 2.
  • the speech recognition unit 12 monitors the audio signals arriving on the various channels (S10).
  • the monitoring of the channel aimed at person 9 can be limited to a subset of the command set for which the channel of user 8 is monitored, in particular for stop commands in any wording or inarticulate calls above a predetermined volume threshold.
  • the selective alignment of the channel to the person 9 with the help of the delay units 13 makes it possible to set this volume threshold so low that louder sources of noise can occur in the wider area which, unlike a call from the person 9, do not cause the vehicle 1 to stop because you noise comes from a direction to which the channel is not or only slightly sensitive.
  • the image processing unit 10 or the speech recognition unit 12 recognizes a hold command in the recognized gestures or the received audio signals (Sll), this is carried out immediately.
  • the person 9 bring the vehicle 1 to a standstill by shouting or an involuntary startling movement if an instruction from the user 8, from whose position the person 9 is hidden by the vehicle 1, causes the latter to drive towards the person 9.
  • Certain commands reserved for the user 8, in particular steering, deceleration or acceleration commands in an ongoing maneuvering process, can also be executed immediately after they have been recognized.
  • the on-board computer 7 first outputs a wording assigned to this command (S12); only when the user 8 then confirms the correctness of the recognition by speech or gesture and this is recorded by the on-board computer in step S13, the recognized command is executed in step S14 (S14).
  • vehicle 1 While the approach of the vehicle 1 on public roads to a field to be harvested preferably (at least currently) takes place under the control of a driver, the navigation tasks that arise during navigation in the field are simpler and can already be carried out autonomously with known satellite-assisted technologies. The driver can therefore get out of vehicle 1 after reaching the field, give it a command to harvest the field verbally and with gestures as described and then take on another task, in the case considered here that vehicle 1 is a forage harvester, e.g. driving an escort vehicle alongside the forage harvester to collect chaff continuously ejected therefrom; or driving a full escort vehicle between the field and a distant crop collection point such as a silo.
  • a forage harvester e.g. driving an escort vehicle alongside the forage harvester to collect chaff continuously ejected therefrom; or driving a full escort vehicle between the field and a distant crop collection point such as a silo.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Fahrzeug (1), insbesondere eine fahrbare Landmaschine, umfasst eine Sensorik (3, 5) zum Erfassen menschlicher Kommunikationssignale und eine Steuereinheit (7) zum Steuern wenigstens der Bewegung des Fahrzeugs (1) anhand von durch die Sensorik (3, 5) erfassten Kommunikationssignalen. Die Sensorik (3, 5) ist am Fahrzeug (1) montiert ist, um die Kommunikationssignale unmittelbar vom Fahrzeug (1) aus zu erfassen, und weist einen außerhalb des Fahrzeugs (1) liegenden Erfassungsbereich (4) auf.

Description

  • Die vorliegende Erfindung betrifft ein Fahrzeug, insbesondere eine fahrbare Landmaschine wie etwa ein Traktor, ein Mähdrescher, ein Feldhäcksler oder dergleichen, bei dem wenigstens ein Teil der Funktionen des Fahrzeugs gesteuert werden können, ohne dass dafür ein direkter Körperkontakt eines Fahrers mit einem Lenkrad, Steuerknüppel, Fahrpedal oder dergleichen notwendig ist.
  • Aus DE 10 2004 032 642 A1 ist eine fahrbare Landmaschine bekannt, die zum Verteilen von Saatgut und Dünger einsetzbar ist. Bei einem solchen Fahrzeug besteht das Problem, dass der Fahrer insbesondere beim Fahren im Vorgewende eine Vielzahl von Aufgaben gleichzeitig oder in enger zeitlicher Folge zu erledigen und damit im Wortsinne alle Hände voll zu tun hat. Deswegen wird in DE 10 2004 032 642 A1 vorgeschlagen, für nicht sicherheitsrelevante Funktionen wie etwa die die Dosierung des zu verteilenden Düngers oder die Bodenbearbeitungstiefe eine Steuerung durch Sprache zu implementieren, die auf vom Fahrer ausgesprochene Befehle reagiert.
  • DE 10 2016 004 198 A1 beschreibt eine Notbefehlseinrichtung für einen Traktor. Der Traktor weist eine funkbasierte Empfangsstation auf, die mit einem Headset eines Bedieners kommuniziert. Indem das Headset bei Überschreiten eines Grenz-Schalldruckpegels einen Not-Aus-Steuerbefehl sendet, kann der Bediener den Traktor im Notfall auch von außerhalb zum Stehen bringen. Personen, die kein geeignetes Headset tragen, sind daher durch diese herkömmliche Notbefehlseinrichtung nicht wirksam geschützt, und auch ein kundiger Benutzer hat das Problem, dass er keinen Nothalt auslösen kann, wenn er nicht von vornherein mit der Möglichkeit gerechnet und sich dafür mit dem Headset ausgerüstet hat.
  • Keines dieser bekannten landwirtschaftlichen Fahrzeuge ist in der Lage, ohne ständige Beaufsichtigung durch einen Benutzer zu arbeiten.
  • Aufgabe der Erfindung ist, ein Fahrzeug, insbesondere eine fahrbare Landmaschine zu schaffen, die es Personen außerhalb des Fahrzeugs ohne den Einsatz technischer Hilfsmittel ermöglicht, Funktionen des Fahrzeugs zu steuern.
  • Die Aufgabe wird gelöst, indem bei einem Fahrzeug, insbesondere einer fahrbaren Landmaschine, mit einer Sensorik zum unmittelbaren Erfassen menschlicher Kommunikationssignale und einer Steuereinheit zum Steuern der Bewegung des Fahrzeugs anhand von durch die Sensorik erfassten Kommunikationssignalen die Sensorik am Fahrzeug montiert ist, um die Kommunikationssignale vom Fahrzeug aus zu erfassen, und einen außerhalb des Fahrzeugs liegenden Erfassungsbereich aufweist.
  • Die Steuereinheit ist somit in der Lage, Signale zu erfassen, die von jeder beliebigen Person im Erfassungsbereich der Sensorik ausgehen; d.h. insbesondere ein Kommunikationssignal, das einen Sicherheitsstopp des Fahrzeugs bewirkt, kann von jeder beliebigen Person ausgehen, die mit dem Fahrzeug in Konflikt geraten könnte.
  • Die Steuereinheit sollte aber nicht nur eingerichtet sein, um eine Bewegung des Fahrzeugs zu stoppen; vorzugsweise ist sie auch eingerichtet, um die Richtung und/oder Geschwindigkeit einer Bewegung des Fahrzeugs anhand entsprechender Kommunikationssignale eines sich außerhalb des Fahrzeugs aufhaltenden Benutzers quantitativ zu steuern. Eine solche quantitative Steuerung kann darin bestehen, dass der Zahlenwert einer quantitativen Größe wie Fahrtrichtung oder Geschwindigkeit aus einem Kommunikationssignal abgeleitet wird; denkbar ist aber auch, dass aus einem einzelnen Kommunikationssignal ein Befehl zur Durchführung eines Programms mehrerer Funktionen, z.B. zum autonomen Abernten eines Feldes oder zum Verdichten eines Befahrsilos durch das Fahrzeug, zum An- oder Abkoppeln eines Werkzeugs oder dergleichen, abgeleitet und ausgeführt wird.
  • Zu diesem Zweck sollte die Steuereinheit ferner eingerichtet sein, einen Benutzer als eine Person, die legitimiert ist, durch ein entsprechendes Kommunikationssignal das Fahrzeug in Bewegung zu setzen, von anderen, nicht legitimierten Personen zu unterscheiden, um dasselbe Kommunikationssignal zu ignorieren, wenn es von einer solchen nicht legitimierten Person ausgeht.
  • Die Sensorik umfasst vorzugsweise wenigstens einen bildgebenden, insbesondere optischen, Sensor. Ein solcher Sensor kann eingesetzt werden, um Kommunikationssignale in Form von Gesten zu erfassen, z.B. um eine abwehrende Handbewegung einer Person als Haltebefehl, ein Heranwinken durch einen Benutzer als Befehl, sich in Bewegung zu setzen oder zu beschleunigen, eine wegschiebende Handbewegung als Befehl zum Stehenbleiben oder Verlangsamen oder ein Zeigen oder eine kreisende Handbewegung als Richtungs- oder Lenkbefehl zu interpretieren. Ein Vorteil der Steuerung durch Gesten ist, dass sie unabhängig vom Geräuschpegel in der Umgebung des Fahrzeugs funktioniert; ein Scheinwerfer zum Ausleuchten des Erfassungsbereichs, der eine Erfassung von Kommunikationssignalen durch den bildgebenden Sensor auch im Dunklen erlaubt, kann am Fahrzeug montiert sein.
  • Die Sensorik kann, vorzugsweise in Kombination mit dem bildgebenden Sensor, ferner wenigstens einen akustischen Sensor umfassen, um Kommunikation ohne die Notwendigkeit einer Sichtverbindung zu ermöglichen.
  • Wie bereits oben angedeutet, kann es Steuerbefehle geben, die nur von einem kundigen Benutzer gegeben werden sollten, und solche, die von beliebigen Personen kommen können. Um dem Rechnung zu tragen, ist die Steuereinheit vorzugsweise eingerichtet, aus erfassten Kommunikationssignalen Steuerbefehle zu extrahieren, jeden Steuerbefehl in eine von wenigstens zwei Klassen zu klassifizieren und Steuerbefehle einer ersten Klasse unabhängig von der Identität einer Person auszuführen, die die Kommunikationssignale abgegeben hat, und Steuerbefehle einer zweiten Klasse nur auszuführen, wenn eine Person, die die Kommunikationssignale abgegeben hat, hierzu legitimiert ist.
  • Um die Legitimation einer Person zu überprüfen, kann die Steuereinheit vorzugsweise ein Merkmal einer von dem bildgebenden Sensor gelieferten Abbildung der Person heranziehen. So können z.B. bekannte Verfahren zur biometrischen Gesichtserkennung herangezogen werden, um aus der Abbildung extrahierte Daten mit einem oder mehreren persönlichen Profilen von legitimen Benutzern zu vergleichen.
  • Denkbar ist auch, einen Benutzer von anderen Personen anhand von veränderlichen Merkmalen zu unterscheiden, z.B. anhand von spezifischen Merkmalen der Kleidung. So muss zwar ein Benutzer, wenn er die Absicht hat, das Fahrzeug zu benutzen, dafür die entsprechende Kleidung tragen, gleichzeitig ist sichergestellt, dass wenn der Benutzer ohne die Absicht, das Fahrzeug zu benutzen und ohne entsprechend gekleidet zu sein, am Fahrzeug vorübergeht, Äußerungen oder Bewegungen des Benutzers nicht als an das Fahrzeug gerichtete Kommunikationssignale fehlinterpretiert werden.
  • Alternativ oder ergänzend können auch Merkmale der Stimme einer Person, wie etwa deren spektrale Zusammensetzung, herangezogen werden, um zu entscheiden, ob die Person als Benutzer legitimiert ist oder nicht.
  • Um den Verarbeitungsaufwand der Steuereinheit zu minimieren, wenn sich mehrere Personen im Erfassungsbereich aufhalten, kann eine Analyse von Sensordaten darauf, ob sie einen Befehl der zweiten Klasse enthalten, auf die von einem erkannten Benutzer herrührenden Sensordaten eingeschränkt werden.
  • Wenn die Sensorik wenigstens zwei akustische Sensoren zum Liefern jeweils eines zeitaufgelösten Ausgangssignals umfasst, kann die Steuereinheit eingerichtet sein, die Ausgangssignale mit wenigstens einem wählbaren Zeitversatz zu überlagern und so die Empfindlichkeit für Schallwellen aus einem Teil des Erfassungsbereichs selektiv zu erhöhen.
  • Wenn ein bildgebender Sensor vorhanden ist, der es erlaubt, die Position einer Person relativ zum Fahrzeug zu erfassen, kann die Steuereinheit eingerichtet sein, den wenigstens einen Zeitversatz anhand der erfassten Position einer Person zu wählen und somit Lautäußerungen dieser Person gegenüber Geräuschen anderer Quellen bevorzugt zu erfassen.
  • Das Fahrzeug kann seinerseits über eine Kommunikationsschnittstelle zum Erzeugen von durch ein menschliches Sinnesorgan wahrnehmbaren Kommunikationssignalen verfügen, um z.B. Personen im Umkreis des Fahrzeugs eine geplante Bewegung des Fahrzeugs vorab zur Kenntnis zu bringen.
  • Diese Kommunikationsschnittstelle kann auch vorgesehen sein, um darüber einen extrahierten Steuerbefehl zu signalisieren. So kann der Benutzer im Falle einer Fehlinterpretation umgehend korrigieren; es kann auch vorgesehen sein, dass ein extrahierter und signalisierter Steuerbefehl erst nach ausdrücklicher Genehmigung durch den Benutzer von der Steuereinheit ausgeführt wird.
  • Die Aufgabe wird ferner gelöst durch ein Verfahren zum Betreiben eines Fahrzeugs, insbesondere eines Fahrzeugs wie oben beschrieben, mit den Schritten
    • Erfassen eines menschlichen Kommunikationssignals mittels einer am Fahrzeug montierten Sensorik aus einem außerhalb des Fahrzeugs liegenden Erfassungsbereich,
    • Steuern wenigstens der Bewegung des Fahrzeugs anhand des erfassten Kommunikationssignals.
  • Gegenstand der Erfindung ist ferner ein Computerprogramm-Produkt mit Programmcode-Mitteln, die einen Computer befähigen, als eine Steuereinheit in einem Fahrzeug nach einem der vorhergehenden Ansprüche zu arbeiten. Das Computerprogramm-Produkt kann in einem Speicher des Computers hinterlegt sein, auf einem computerlesbaren Datenträger oder in downloadbarer Form auf einem Server vorliegen.
  • Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen. Es zeigen:
    • Fig. 1
    eine Seitenansicht eines Fahrzeugs
    Fig.2
    eine schematische Draufsicht auf das Fahrzeug und seine Umgebung; und
    Fig. 3
    ein Flussdiagramm eines Betriebsverfahrens des Fahrzeugs.
  • Fig. 1 zeigt als Beispiel für ein erfindungsgemäßes landwirtschaftliches Fahrzeug 1 einen Feldhäcksler. Das Fahrzeug 1 befindet sich auf dem Betriebshof eines Betreibers und muss zur Vorbereitung eines Feldeinsatzes noch ein Erntewerkzeug 2 aufnehmen. An der Karosserie des Fahrzeugs 1 sind bildgebende Sensoren in einer zum vollständigen Überwachen der Umgebung des Fahrzeugs 1 erforderlichen Zahl montiert. Typischerweise sind die bildgebenden Sensoren preiswert verfügbare, für sichtbares Licht empfindliche elektronische Kameras; es können aber auch Radarsensoren o. dgl. verwendet werden. Wie in der Draufsicht der Fig. 2 zu erkennen, bildet die von den bildgebenden Sensoren überwachte Umgebung 4 einen ununterbrochenen Ring rings um das Fahrzeug 1.
  • Mikrofone 5 sind entlang des Umfangs des Fahrzeugs 1 verteilt, um Schallsignale von jedem Punkt der Umgebung 4 empfangen zu können.
  • In einer Fahrerkabine 6 des Fahrzeugs 1 sind in üblicher Weise Bedienelemente wie etwa ein Lenkrad, Fahrpedale, ein Steuerknüppel oder dergleichen vorgesehen, die es in einem nichtautonomen Betriebsmodus des Fahrzeugs 1 einem Fahrer ermöglichen, das Fahrzeug 1 von der Kabine 6 aus zu steuern. Ein (in Fig. 1 nicht gezeigter) Bordcomputer 7 unterstützt neben dem nichtautonomen noch einen wenigstens teilweise autonomen Betriebsmodus, in dem er in der Lage ist, über entsprechende Stellglieder das Fahrzeug 1 zu lenken, zu beschleunigen und zu bremsen sowie diverse andere Funktionen wie etwa das An- und Abkoppeln des Werkzeugs 2 oder die Verarbeitung von aufgenommenem Erntegut, hier durch ein Häckselwerk, zu steuern.
  • Der Bordcomputer 7 ist mit den Kameras 3 verbunden, um Bilddaten von diesen zu empfangen, und verfügt über eine Bildverarbeitungseinheit 10, die es ermöglicht, Personen 8, 9 in der Umgebung 4 zu erkennen und ihnen im Koordinatensystem des Fahrzeugs 1 mindestens eine Azimutalkoordinate, vorzugsweise eine Positionsinformation in zwei Dimensionen, zuzuordnen.
  • Im hier betrachteten Fall ist die Bildverarbeitungseinheit 10 darüber hinaus eingerichtet, individuelle Merkmale der Personen 8, 9 zu erkennen, z.B. die Gesichter der Personen 8, 9 zu unterscheiden oder zu erkennen, dass die Person 8 Berufskleidung 11 trägt, die Person 9 aber nicht.
  • Der Bordcomputer 7 verfügt ferner über eine Spracherkennungseinheit 12, die Audiosignale von den Mikrofonen 5 empfängt. Um Sprache sicher zu erkennen, egal aus welcher Richtung sie kommt, verfügt die Spracherkennungseinheit 12 vorzugsweise über mehrere Kanäle, die jeweils Audiosignale von verschiedenen Mikrofonen verarbeiten. Jedem Mikrofon 5 ist wenigstens eine durch den Bordcomputer 7 individuell steuerbare Signalverzögerungseinheit 13 zuordenbar. Ein solcher Kanal kann jeweils einer in der Umgebung erkannten Person zugeordnet sein, indem Laufzeitunterschiede, mit denen die Lautäußerung an mehreren Mikrofonen 5 eintrifft, von deren Signalverzögerungseinheiten 13 kompensiert und die zeitversetzten Audiosignale dann in einer Summationseinheit 14 additiv überlagert werden, um ein kombiniertes Audiosignal zu erhalten, in dem Geräusche aus anderen Richtungen gegenüber der Lautäußerung der Person unterdrückt sind. Um die hierfür benötigten Zeitverzögerungen zu bestimmen, kann auf die anhand der Bilddaten ermittelten Azimutkoordinaten der Personen zurückgegriffen werden.
  • Weitere Kanäle können jeweils einem einzelnen Mikrofon 5 zugeordnet sein, um an dem betreffenden Mikrofon eintreffenden Schall ohne Gewichtung nach der Herkunftsrichtung aufzuzeichnen und zu verarbeiten.
  • Fig. 3 zeigt ein Arbeitsverfahren des Bordcomputers 7. Nach dem Hochfahren Sl, bei noch stehendem Fahrzeug 1, beginnt dieser zunächst mit Hilfe der Kameras 3, die Umgebung 4 zu überwachen und zu entscheiden, ob die von den Kameras 3 gelieferten Bilddaten die Abbildung einer Person enthalten (S2). Solange dies nicht der Fall ist, kann das Fahrzeug auch keine Befehle empfangen und bleibt stehen. In der Umgebung der Fig. 2 gelingt die Identifizierung einer Person zweimal, für die Personen 8 und 9. Für jede identifizierte Person wird überprüft, ob sie als Benutzer legitimiert ist oder nicht. Dies kann in zwei Schritten geschehen. In einem ersten Schritt S3 wird geprüft, ob die Person ein vorgegebenes sichtbares Zeichen ihrer Legitimierung wie etwa eine vom Betreiber des Fahrzeugs 1 vorgeschriebene Kleidung trägt. Dies ist bei der Person 9 nicht der Fall, damit scheidet sie als legitimierter Benutzer aus (S4). In einem zweiten Schritt S5 wird durch Abgleich von in den Bildern der Kameras 3 erkennbaren Merkmalen des Gesichts der Person 8 mit in einer Datenbank des Bordcomputers 7 entschieden, ob die zu einem zum Führen des Fahrzeugs 1 berechtigten Personenkreis gehört. Wenn sich auch hier die Person als nicht legitimiert erweise (S4), werden der Schritte S2 so lange wiederholt, bis eine berechtigte Person in der Umgebung 4 erscheint und vom Bordcomputer 7 erkannt wird (S6).
  • Sobald eine Person als legitimierter Benutzer erkannt worden ist, bestätigt dies der Bordcomputer 1 durch Ausgabe einer Begrüßung, vorzugsweise unter Nennung des in der Datenbank hinterlegten Namens der Person, über einen Lautsprecher 15 (S7). So wird diese Person darüber informiert, dass der Bordcomputer 7 sie als Benutzer erkannt hat und auf ihre Befehle wartet.
  • Den erkannten Personen wird jeweils ein Audiokanal zugeordnet (S8). Dazu wird anhand von in Schritt S2 für jede Person 8, 9 - vorzugsweise relativ zur Fahrzeuglängsrichtung - ermittelten Azimutwinkeln θ8, θ9 entschieden, welche Mikrofone 5 als Empfänger von Lautäußerungen der betreffenden Personen in Betracht kommen und welches die Laufzeitunterschiede einer Schallwelle von der Person zu den jeweiligen Mikrofonen sind. Im Falle der Fig. 2 sind dies die Mikrofone 51, 52, 53 für die Person 8 und die Mikrofone 54, 55 für die Person 9. Für das Signal des zur Person 9 näheren Mikrofons 55 wird in dessen Signalverzögerungseinheit 13 entsprechend der Laufzeitdifferenz einer Schallwelle von der Person 9 zu den beiden Mikrofonen 54, 55 eine Zeitverzögerung eingestellt, das Signal des ferneren Mikrofons 54 bleibt unverzögert, und die so erhaltenen Signale werden in der Summationseinheit 14 überlagert. Entsprechend werden die Signale der Mikrofone 51, 52, 53 z.T. zeitverzögert und einander überlagert, so dass die Summationseinheit 14 zu jeder identifizierten Person 8, 9 ein für diese Person selektives Audiosignal an die Spracherkennungseinheit 12 liefert.
  • Die oben beschriebenen Schritte werden regelmäßig wiederholt, um zu berücksichtigen, wenn Personen neu in die Umgebung 4 eintreten oder früher erfasste Personen die Umgebung 4 verlassen bzw. um Veränderungen der Azimutwinkel der Personen zu berücksichtigen, die sich aus Bewegungen der Personen und des Fahrzeugs 1 ergeben.
  • In der Folge überwacht die Bildverarbeitungseinheit 10 die von den Kameras 5 gelieferten Abbilder der erkannten Personen 8, 9 auf das Vorkommen vorgegebener Gesten (S9). Die Gesten, auf die die Abbilder der Person 9 überwacht werden, umfassen minimal nur solche, die einen gewünschten Halt des Fahrzeugs 1 signalisieren, wie etwa eine Schreckbewegung oder eine Abwehrgeste wie etwa das Heben einer Hand. Ggf. können auch Gesten berücksichtigt werden, die eine gewünschte Bewegung des Fahrzeugs 1 von der Person 9 fort anzeigen.
  • Im Falle der Person 8 werden die Bilddaten auf das Vorkommen weiterer Gesten untersucht, etwa auf Zeigegesten wie etwa einen ausgestreckten Arm, im Fall der Fig. 1 in Richtung des von dem Fahrzeug 1 aufzunehmenden Erntewerkzeugs 2, auf Gesten, wie sie unter Autofahrern zum Unterstützen beim Rangieren, zum Verdeutlichen einer gewünschten Fahrtrichtung, von schnellerem oder langsamerem Fahren gebräuchlich sind, oder auch auf speziell vom Hersteller des Fahrzeugs definierte Gesten, die dem Fahrzeug 1 eine vom Benutzer 8 gewünschte Aktion wie etwa das Ankoppeln und Aufnehmen des Werkzeugs 2 anzeigen.
  • Gleichzeitig überwacht die Spracherkennungseinheit 12 die auf den verschiedenen Kanälen eintreffenden Audiosignale (S10). Auch hier kann sich die Überwachung des auf die Person 9 ausgerichteten Kanals auf eine Teilmenge des Befehlssatzes beschränken, auf den der Kanal des Benutzers 8 überwacht wird, insbesondere auf Haltebefehle beliebigen Wortlauts oder unartikulierte Rufe oberhalb einer vorgegebenen Lautstärkeschwelle. Die selektive Ausrichtung des Kanals auf die Person 9 mit Hilfe der Verzögerungseinheiten 13 ermöglicht es, diese Lautstärkeschwelle so niedrig anzusetzen, dass in der weiteren Umgebung lautere Geräuschquellen auftreten können, die anders als ein Ruf der Person 9 keinen Halt des Fahrzeugs 1 auslösen, weil ihr Geräusch aus einer Richtung kommt, für die der Kanal nicht oder nur wenig empfindlich ist.
  • Wenn die Bildverarbeitungseinheit 10 oder die Spracherkennungseinheit 12 in den erkannten Gesten oder den empfangenen Audiosignalen einen Haltebefehl erkennt (Sll), so wird dieser umgehend ausgeführt. So kann z.B. die Person 9 das Fahrzeug 1 durch einen Zuruf oder eine unwillkürliche Schreckbewegung zum Stehen bringen, falls ein Befehl des Benutzers 8, von dessen Standpunkt aus die Person 9 durch das Fahrzeug 1 verdeckt ist, letzteres veranlasst, auf die Person 9 zuzufahren. Auch bestimmte, dem Benutzer 8 vorbehaltene Befehle, insbesondere Lenk-, Verzögerungs- oder Beschleunigungsbefehle in einem laufenden Rangiervorgang, können unmittelbar nach ihrer Erkennung ausgeführt werden.
  • Wenn ein anderer Befehl des Benutzers 8 erkannt worden ist, gibt der Bordcomputer 7 zunächst einen diesem Befehl zugeordneten Wortlaut aus (S12); erst wenn daraufhin der Benutzer 8 durch Sprache oder Geste die Richtigkeit der Erkennung bestätigt und dies vom Bordcomputer in Schritt S13 erfasst wird, wird der erkannte Befehl in Schritt S14 ausgeführt (S14).
  • Denkbar ist auch, mit der Ausführung eines Befehls bereits dann zu beginnen, wenn er übereinstimmend in Sprache und Gesten des Benutzers 8 erkannt wird. Eine solche Übereinstimmung kann z.B. darin gesehen werden, dass der Benutzer gleichzeitig mit dem Arm auf das Werkzeug 2 weist und einen Befehl wie etwa "Maisgebiss aufnehmen" ausspricht. Eine zur Überwachung der Umgebung 4 eingesetzte Kamera 3 kann hier auch dazu dienen, die Position des Fahrzeugs 1 relativ zum Werkzeug zu vermessen, so dass der Bordcomputer 7 anhand der Bilddaten der Kamera 3 das Fahrzeug 1 an das Werkzeug 2 autonom in einer Orientierung heranmanövrieren kann, die zum Ankoppeln und Anheben des Werkzeugs 2 geeignet ist.
  • Während die Anfahrt des Fahrzeugs 1 auf öffentlichen Verkehrswegen zu einem zu beerntenden Feld vorzugsweise (zumindest gegenwärtig noch) unter der Kontrolle eines Fahrers stattfindet, sind die bei der Navigation auf dem Feld anfallenden Navigationsaufgaben einfacher und können bereits mit bekannten satellitenunterstützten Techniken autonom ausgeführt werden. Der Fahrer kann daher nach Erreichen des Feldes aus dem Fahrzeug 1 wieder aussteigen, diesem wie beschrieben mündlich und durch Gesten einen Befehl zum Abernten des Feldes erteilen und dann eine andere Aufgabe übernehmen, im hier betrachteten Fall, dass das Fahrzeug 1 ein Feldhäcksler ist, z.B. das Fahren eines Begleitfahrzeugs neben dem Feldhäcksler her, um von diesem kontinuierlich ausgestoßenes Häckselgut zu sammeln, oder das Fahren eines vollen Begleitfahrzeugs zwischen dem Feld und einer entfernten Erntegutsammelstelle wie etwa einem Silo.
    • Bezugszeichenliste
    • 1
    Fahrzeug
    2
    Werkzeug
    3
    Kamera
    4
    Umgebung
    5
    Mikrofon
    6
    Fahrerkabine
    7
    Bordcomputer
    8
    Person (Benutzer)
    9
    Person
    10
    Bildverarbeitungseinheit
    11
    Berufskleidung
    12
    Spracherkennungseinheit
    13
    Signalverzögerungseinheit
    14
    Summationseinheit
    15
    Lautsprecher

Claims (13)

  1. Fahrzeug (1), insbesondere fahrbare Landmaschine, mit einer Sensorik (3, 5) zum Erfassen menschlicher Kommunikationssignale und einer Steuereinheit (7) zum Steuern wenigstens der Bewegung des Fahrzeugs (1) anhand von durch die Sensorik (3, 5) erfassten Kommunikationssignalen, dadurch gekennzeichnet, dass die Sensorik (3, 5) am Fahrzeug (1) montiert ist, um die Kommunikationssignale unmittelbar vom Fahrzeug (1) aus zu erfassen, und einen außerhalb des Fahrzeugs (1) liegenden Erfassungsbereich (4) aufweist.
  2. Fahrzeug nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinheit (7) eingerichtet ist, die Richtung und/oder Geschwindigkeit einer Bewegung des Fahrzeugs quantitativ zu steuern.
  3. Fahrzeug nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Sensorik (3, 5) wenigstens einen bildgebenden Sensor (3) umfasst.
  4. Fahrzeug nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorik (3, 5) wenigstens einen akustischen Sensor (5) umfasst.
  5. Fahrzeug nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (7) eingerichtet ist, aus erfassten Kommunikationssignalen Steuerbefehle zu extrahieren, jeden Steuerbefehl in eine von wenigstens zwei Klassen zu klassifizieren und Steuerbefehle einer ersten Klasse unabhängig von der Identität einer Person (8, 9) auszuführen, die die Kommunikationssignale abgegeben hat, und Steuerbefehle einer zweiten Klasse nur auszuführen, wenn eine Person (8), die die Kommunikationssignale abgegeben hat, legitimiert ist.
  6. Fahrzeug nach Anspruch 5 und Anspruch 3, dadurch gekennzeichnet, dass die Steuereinheit (7) eingerichtet ist, die Legitimation einer Person (8, 9) anhand eines Merkmals einer von dem bildgebenden Sensor (3) gelieferten Abbildung der Person (8, 9) zu überprüfen.
  7. Fahrzeug nach Anspruch 5 und Anspruch 4, dadurch gekennzeichnet, dass die Steuereinheit (7) eingerichtet ist, die Legitimation einer Person (8, 9) anhand eines Merkmals ihrer Stimme zu überprüfen.
  8. Fahrzeug nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorik (3, 5) wenigstens zwei akustische Sensoren (5) zum Liefern jeweils eines zeitaufgelösten Ausgangssignals umfasst und die Steuereinheit (7) eingerichtet ist, die Ausgangssignale mit wenigstens einem wählbaren Zeitversatz zu überlagern.
  9. Fahrzeug nach Anspruch 8, dadurch gekennzeichnet, dass die Steuereinheit eingerichtet ist, den wenigstens einen Zeitversatz anhand der mit Hilfe eines bildgebenden Sensors (3) erfassten Position einer Person (8, 9) zu wählen.
  10. Fahrzeug nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Kommunikationsschnittstelle (15) zum Erzeugen von durch ein menschliches Sinnesorgan wahrnehmbaren Kommunikationssignalen.
  11. Fahrzeug nach Anspruch 10, dadurch gekennzeichnet, dass die Steuereinheit (7) eingerichtet ist, aus erfassten Kommunikationssignalen Steuerbefehle zu extrahieren und einen extrahierten Steuerbefehl über die Kommunikationsschnittstelle (15) zu signalisieren.
  12. Verfahren zum Betreiben eines Fahrzeugs, insbesondere eines Fahrzeugs (1) nach einem der Ansprüche 1 bis 11, mit den Schritten
    - Erfassen eines menschlichen Kommunikationssignals mittels einer am Fahrzeug (1) montierten Sensorik (3, 5) aus einem außerhalb des Fahrzeugs (1) liegenden Erfassungsbereich (4),
    - Steuern wenigstens der Bewegung des Fahrzeugs (1) anhand des erfassten Kommunikationssignals.
  13. Computerprogramm-Produkt mit Programmcode-Mitteln, die einen Computer befähigen, als eine Steuereinheit (7) in einem Fahrzeug nach einem der Ansprüche 1 bis 11 zu arbeiten oder das Verfahren nach Anspruch 12 auszuführen.
EP20151429.6A 2019-04-17 2020-01-13 Berührungslos steuerbares fahrzeug Active EP3725143B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019002816.3A DE102019002816A1 (de) 2019-04-17 2019-04-17 Berührungslos steuerbares Fahrzeug

Publications (2)

Publication Number Publication Date
EP3725143A1 true EP3725143A1 (de) 2020-10-21
EP3725143B1 EP3725143B1 (de) 2023-06-07

Family

ID=69159661

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20151429.6A Active EP3725143B1 (de) 2019-04-17 2020-01-13 Berührungslos steuerbares fahrzeug

Country Status (2)

Country Link
EP (1) EP3725143B1 (de)
DE (1) DE102019002816A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4449841A4 (de) * 2021-12-21 2025-05-21 Kubota Corporation Landwirtschaftliche maschine und gestenerkennungssystem für eine landwirtschaftliche maschine

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024202209A1 (de) * 2024-03-08 2025-09-11 Volkswagen Aktiengesellschaft Verfahren und System zum Betreiben eines automatisiert fahrenden Fahrzeugs
DE102024202592A1 (de) * 2024-03-19 2025-09-25 Zf Friedrichshafen Ag Fahrzeug und Verfahren zur Erfassung von Umgebungsgeräuschen um das Fahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10217398A1 (de) * 2001-06-12 2003-01-02 Poettinger Gmbh Geb Landmaschine sowie Verfahren zur Steuerung einer Landmaschine
DE102004032642A1 (de) 2004-07-06 2006-02-16 Rabe Agrarsysteme Gmbh & Co. Kg Sprachsteuerung für eine Landmaschine, insbesondere für eine Verteilmaschine
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
EP3089493A1 (de) * 2015-04-10 2016-11-02 PÖTTINGER Landtechnik GmbH Landwirtschaftliches arbeitsgerät
DE102016004198A1 (de) 2016-01-19 2017-07-20 Helmut Altepost Notbefehlseinrichtung für Traktoren, selbstfahrende Arbeitsmaschinen und/oder auswechselbare Ausrüstungen der Landtechnik
US20180079427A1 (en) * 2016-09-21 2018-03-22 Apple Inc. Gesture based control of autonomous vehicles
EP3355670A1 (de) * 2015-09-30 2018-08-08 AGCO Corporation Benutzeroberfläche für mobile maschinen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10217398A1 (de) * 2001-06-12 2003-01-02 Poettinger Gmbh Geb Landmaschine sowie Verfahren zur Steuerung einer Landmaschine
DE102004032642A1 (de) 2004-07-06 2006-02-16 Rabe Agrarsysteme Gmbh & Co. Kg Sprachsteuerung für eine Landmaschine, insbesondere für eine Verteilmaschine
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
EP3089493A1 (de) * 2015-04-10 2016-11-02 PÖTTINGER Landtechnik GmbH Landwirtschaftliches arbeitsgerät
EP3355670A1 (de) * 2015-09-30 2018-08-08 AGCO Corporation Benutzeroberfläche für mobile maschinen
DE102016004198A1 (de) 2016-01-19 2017-07-20 Helmut Altepost Notbefehlseinrichtung für Traktoren, selbstfahrende Arbeitsmaschinen und/oder auswechselbare Ausrüstungen der Landtechnik
US20180079427A1 (en) * 2016-09-21 2018-03-22 Apple Inc. Gesture based control of autonomous vehicles

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4449841A4 (de) * 2021-12-21 2025-05-21 Kubota Corporation Landwirtschaftliche maschine und gestenerkennungssystem für eine landwirtschaftliche maschine
US12591248B2 (en) 2021-12-21 2026-03-31 Kubota Corporation Agricultural machine and gesture recognition system for agricultural machine

Also Published As

Publication number Publication date
DE102019002816A1 (de) 2020-10-22
EP3725143B1 (de) 2023-06-07

Similar Documents

Publication Publication Date Title
EP3340206B1 (de) Vorrichtung und verfahren für ein fahrzeug zum bereitstellen einer bidirektionalen kommunikation zwischen dem fahrzeug und einem passanten
EP3478535B1 (de) Verfahren zum betrieb eines kraftfahrzeugs
DE3536907C2 (de)
DE112015002934B4 (de) Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
EP3725143B1 (de) Berührungslos steuerbares fahrzeug
DE102008027692B4 (de) Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Parkvorgang
EP3150056B1 (de) Selbstfahrende landwirtschaftliche arbeitsmaschine
WO2006015894A1 (de) Verfahren und vorrichtung zum betreiben eines sensorsystems
DE10392355T5 (de) System und Verfahren zur Identifizierung der Herkunft von RF Übertragungen
EP2700566A2 (de) Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Kopforientierung und/oder Blickrichtung eines Bedieners mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102015225241A1 (de) Verfahren und System zur automatischen Steuerung eines Folgefahrzeugs mit einem Vorderfahrzeug
WO2019219718A1 (de) Akustische erfassung eines fahrzeugumfelds
EP1530402A2 (de) Verfahren zur Adaption eines Hörgeräts unter Berücksichtigung der Kopfposition und entsprechendes Hörgerät
DE102015209373A1 (de) Fahrunterstützungsgerät
WO2020074565A1 (de) Fahrerassistenzsystem für ein fahrzeug
DE102013219038A1 (de) Verfahren zur Erkennung eines Verkehrspolizisten durch ein Fahrerassistenzsystem eines Kraftfahrzeugs sowie ein Fahrerassistenzsystem
EP3391163A1 (de) Vorrichtung und verfahren für ein unbemanntes flugobjekt
DE102019201914A1 (de) Trajektoriebestimmung für Landmaschinen unter Verwendung von Rasterkarten
DE102016221365A1 (de) Verfahren und Vorrichtung zum automatischen Manövrieren eines Rollstuhls relativ zu einem Fahrzeug
EP4400868A2 (de) Verfahren zur ermittlung einer dreidimensionalen lage eines reflexionspunktes eines objektes in der umgebung eines fahrzeugs mittels eines ultraschallsensors, computerprogramm, rechenvorrichtung und fahrzeug
DE112021006490T5 (de) Autonomer Fahrzeuglenkungs-Juke-Ereignisdetektor
EP3769599A1 (de) Verfahren zur erkennung eines hindernisses
DE102021214840A1 (de) Verfahren zum Ausparken eines Fahrzeugs, Computerprogramm, Steuergerät, System und Fahrzeug
DE102017210090A1 (de) Verfahren zum Betrieb eines Spurhalteassistenzsystems
DE102016121279A1 (de) Auf konnektivität einer tragbaren vorrichtung basierende fahrzeugsteuerung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210421

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIC1 Information provided on ipc code assigned before grant

Ipc: A01B 69/04 20060101ALN20221221BHEP

Ipc: A01B 76/00 20060101ALI20221221BHEP

Ipc: A01B 71/02 20060101AFI20221221BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: A01B 69/04 20060101ALN20230117BHEP

Ipc: A01B 76/00 20060101ALI20230117BHEP

Ipc: A01B 71/02 20060101AFI20230117BHEP

INTG Intention to grant announced

Effective date: 20230202

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1571839

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230615

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230516

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020003417

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230907

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230908

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231007

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231009

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231007

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502020003417

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

26N No opposition filed

Effective date: 20240308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240113

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20240113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240113

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240113

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20250417

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20200113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20200113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1571839

Country of ref document: AT

Kind code of ref document: T

Effective date: 20250113

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20260121

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250113

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20260121

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260123

Year of fee payment: 7