DE102014103195A1 - Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson - Google Patents

Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson Download PDF

Info

Publication number
DE102014103195A1
DE102014103195A1 DE102014103195.4A DE102014103195A DE102014103195A1 DE 102014103195 A1 DE102014103195 A1 DE 102014103195A1 DE 102014103195 A DE102014103195 A DE 102014103195A DE 102014103195 A1 DE102014103195 A1 DE 102014103195A1
Authority
DE
Germany
Prior art keywords
assistance system
operator
information
data
working environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014103195.4A
Other languages
English (en)
Inventor
Heike Fröschle
Rainer Resch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazonen Werke H Dreyer SE and Co KG
Original Assignee
Amazonen Werke H Dreyer SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazonen Werke H Dreyer SE and Co KG filed Critical Amazonen Werke H Dreyer SE and Co KG
Priority to DE102014103195.4A priority Critical patent/DE102014103195A1/de
Priority to PCT/EP2015/054336 priority patent/WO2015135786A1/de
Priority to EP15707627.4A priority patent/EP3117261A1/de
Publication of DE102014103195A1 publication Critical patent/DE102014103195A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0165Head-up displays characterised by mechanical features associated with a head-down display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Assistenzsystem (1) für eine landwirtschaftliche Arbeitsmaschine (4) zur Unterstützung einer Bedienperson in einer landwirtschaftlichen Arbeitsumgebung (21, 41), beispielsweise ein Feld (21) und/oder ein Führerstand (41) der Arbeitsmaschine (4), dadurch gekennzeichnet, dass das Assistenzsystem (1) eine mobile Anzeigeeinheit (3, 5) umfasst, die dazu ausgebildet ist, der Bedienperson Informationen (61–68) überlagert mit der landwirtschaftlichen Arbeitsumgebung (21, 41) im Sinne einer angereicherten Realität (augumented reality) anzuzeigen.

Description

  • Die Erfindung betrifft ein Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine mit den Merkmalen des Oberbegriffs von Anspruch 1 und ein Verfahren zur Unterstützung einer Bedienperson bei der Bedienung einer landwirtschaftlichen Arbeitsmaschine mit den Merkmalen des Oberbegriffs von Anspruch 12.
  • Ein derartiges Assistenzsystem ist beispielsweise aus der EP 1674324 A1 bekannt. In der Sichtscheibe eines Mähdreschers ist hier ein Head-Up-Display gezeigt, um dem Fahrer Informationen, wie beispielsweise Erntegutparameter oder Betriebsparameter direkt ins Sichtfeld einzublenden. Dadurch ist es möglich, dass die Bedienperson diese Parameter vom Head-Up-Display abliest ohne dabei den Blick vom zu bearbeitenden Feld abzuwenden.
  • Weiterhin sind auch im Führerhaus fest angeordnete Bildschirme bekannt, auf denen verschiedenartigste Informationen der Arbeitsmaschine angezeigt werden können.
  • Bei derartigen Assistenzsystemen kann es vorkommen, dass dem Bediener eine Vielzahl von Informationen gleichzeitig angezeigt wird und dies die Bedienerführung erschwert.
  • Aufgabe der vorliegenden Erfindung ist es daher, ein Assistenzsystem bereitzustellen, mit dem auch bei einer Vielzahl von anzuzeigenden Informationen eine einfache Bedienerführung möglich ist.
  • Diese Aufgabe wird bei einem Assistenzsystem mit den Merkmalen des Oberbegriffs von Anspruch 1 mit den Merkmalen des kennzeichnenden Teils gelöst, gemäß dem das Assistenzsystem eine mobile Anzeigeeinheit umfasst, die dazu ausgebildet ist, der Bedienperson Informationen überlagert mit der landwirtschaftlichen Arbeitsumgebung im Sinne einer angereicherten Realität (augumented reality) anzuzeigen.
  • Dadurch, dass das Assistenzsystem eine mobile Anzeigeeinheit umfasst, ist es grundsätzlich möglich, unterschiedliche Informationen in Abhängigkeit von der Lage der Anzeigeeinheit darzustellen. Die Bedienperson kann also die mobile Anzeigeeinheit in eine bestimmte Richtung auf die Arbeitsumgebung halten, um die dazu gewünschten Informationen passend anzuzeigen. Dadurch ist es nicht mehr notwendig, auf der Anzeigeeinheit alle Informationen gleichzeitig anzuzeigen oder diese per Tastatur umzuschalten.
  • Dadurch, dass die Informationen überlagert mit der landwirtschaftlichen Arbeitsumgebung im Sinne einer angereicherten Realität angezeigt werden, sind die Informationen automatisch mit der dahinterliegenden landwirtschaftlichen Arbeitsumgebung verknüpft dargestellt. Dies hat zur Folge, dass die Informationen leichter mit den Merkmalen der Arbeitsumgebung assoziiert werden können und somit die Arbeitsbelastung der Bedienperson verringert und die Sicherheit erhöht wird. Dadurch ist auch bei einer Vielzahl von Informationen eine einfache Bedienerführung möglich.
  • Die landwirtschaftliche Arbeitsmaschine kann eine Zugmaschine, wie beispielsweise ein Traktor, oder einen Mähdrescher sein. An der Arbeitsmaschine kann ein Bodenbearbeitungsgerät, eine Sämaschine ein Düngerstreuer, eine Pflanzenschutzspritze oder dergleichen angeordnet sein. Die Arbeitsmaschine kann einen Führerstand für die Bedienperson umfassen.
  • Die landwirtschaftliche Arbeitsumgebung kann ein Feld und/oder den Führerstand der Arbeitsmaschine umfassen. Denkbar ist auch, dass die Arbeitsumgebung einen Innen- und/oder Außenbereich der Arbeitsmaschine umfasst, wie beispielsweise einen Motor, einen Ausleger und/oder eine Walze. Denkbar ist auch, dass die landwirtschaftliche Arbeitsumgebung einen Stall, einen Futtervorrat und/oder ein Tier umfasst. Anders ausgedrückt, kann die landwirtschaftliche Arbeitsumgebung alles umfassen, wozu die Bedienperson bei der landwirtschaftlichen Arbeit Informationen benötigt.
  • Das Assistenzsystem kann eine Datenaufbereitungseinheit mit einem Mikroprozessor, einem Speicher, einer Bild- und/oder Signalverarbeitungseinheit umfassen. Die Datenaufbereitungseinheit kann dazu ausgebildet sein, die mobile Anzeigeeinheit anzusteuern und/oder die darauf anzeigten Inhalte (Bilder der Arbeitsumgebung, die Informationen und deren Positionen, Grafiken, Texte, Beschriftungen, Hinweise, etc.) zu berechnen. Die mobile Anzeigeeinheit kann die Datenaufbereitungseinheit umfassen. Denkbar ist auch, dass die mobile Anzeigeeinheit über eine kabelgebundene oder drahtlose Datenschnittstelle mit der Datenaufbereitungseinheit verbunden ist. Die drahtlose Datenschnittstelle kann als WLAN-, Bluetooth- oder Infrarotschnittstelle, sowie als CAN, ISOBUS oder NFC o.ä. ausgebildet sein.
  • Mobile Anzeigeeinheit kann hier bedeuten, dass die Anzeigeeinheit gegenüber der Arbeitsmaschine bewegbar ist. Mobile Anzeigeeinheit kann auch bedeuten, dass die Anzeigeeinheit keine feste Verbindung zur Arbeitsmaschine aufweist und optional über ein Kabel oder über eine drahtlose Datenschnittstelle mit der Arbeitsmaschine verbunden ist.
  • Die Informationen können Planungs- und/oder Managementdaten, Informationen zur Maschinenbedienung, Hilfsinformation für die Bedienperson (Helpdesk) und/oder Schulungsinformationen sein.
  • Planungs- und Managementdaten kann hier bedeuten, dass es sich um Auftragsdaten, arbeitsrelevante Daten, Informationen über das verwendete Saatgut bzw. über die auf dem Feld angebauten Pflanzen, Streubilder, Informationen über die Taubildung, den Krankheitsdruck und/oder um Umgebungsinformationen wie Taubildung, Wetterdaten, geographische Daten bzw. die Bestandstemperatur o.ä. handelt.
  • Bei Informationen zur Maschinenbedienung kann es sich um Betriebsparameter (beispielsweise Fahrgeschwindigkeit, Richtung, etc.), Bedieninformationen und/oder Bedienfunktionen handeln.
  • Bei Hilfsinformationen kann es sich um Information zur virtuellen Bedienerunterstützung handeln. Beispielsweise können dabei virtuelle Bedienungsanleitungen und/oder ein Video-Chat mit einem Servicemitarbeiter angezeigt werden. Ebenso ist denkbar, dass die Hilfsinformationen Kundendienstinformationen umfassen, beispielsweise eine Unterstützung bei der Fehleranalyse oder ein Katalog für die Ersatzteilbeschaffung.
  • Denkbar ist auch, dass mit dem Assistenzsystem Informationen zur Schulung bereitgestellt werden. Eine Lehrperson kann beispielsweise gezielt Informationen auf der mobilen Anzeigeeinheit für die Bedienperson einblenden, um dieser die Bedienung der Arbeitsmaschine zu vermitteln.
  • Angereicherte Realität kann hier bedeuten, dass die Informationen korreliert zur landwirtschaftlichen Arbeitsumgebung angezeigt werden. Ebenso kann angereicherte Realität bedeuten, dass ein Kamerabild und/oder 3D-Daten der landwirtschaftlichen Arbeitsumgebung zusammen mit dazu korrelierten Informationen angezeigt werden. Die Informationen können mit rotationsinvarianten Merkmalen der landwirtschaftlichen Arbeitsumgebung korreliert sein. Rotationsinvariante Merkmale können Musterverläufe, Farbstrukturen, die Arbeitsbreite, Längenverhältnisse, etc. in der Arbeitsumgebung sein.
  • Die mobile Anzeigeeinheit kann eine Datenbrille sein. Dadurch befindet sich die mobile Anzeigeeinheit immer im Blickfeld der Bedienperson und ist besonders leicht tragbar. Die Datenbrille kann als Head-Mounted-Display (HMD) ausgebildet sein. Die Datenbrille kann mit einem Display für ein Auge oder mit zwei Displays für beide Augen der Bedienperson ausgebildet sein. Denkbar ist auch, dass die Datenbrille für ein Auge mehrere Displays aufweist. Die Displays können beispielsweise LCD-, DMD- oder LCoS-Displays sein. Ebenso ist denkbar, dass die Datenbrille eine Projektionseinheit aufweist, optional einen Laserprojektor, mit dem die Informationen direkt auf die Netzhaut der Bedienperson projiziert werden.
  • Die Datenbrille kann eine Projektionseinheit und wenigstens einen teilweise transparenten Bereich aufweisen, durch den die Arbeitsumgebung direkt sichtbar ist und über den die Informationen mit der Projektionseinheit einblendbar sind. Durch den teilweise transparenten Bereich der Datenbrille kann die Bedienperson die Arbeitsumgebung direkt erfassen. Gleichzeitig werden die Informationen mittels der Projektionseinheit im teilweise transparenten Bereich mit der Arbeitsumgebung überlagert. Dadurch ist der visuelle Eindruck der angereicherten Realität besonders hochwertig und die Betrachtung für die Bedienperson wenig anstrengend.
  • Eine Datenbrille ist beispielsweise aus dem Projekt „Google-Glas“ bekannt.
  • Die mobile Anzeigeeinheit kann ein Tabletcomputer oder ein Mobiltelefon sein. Da Tabletcomputer bzw. Mobiltelefone in großen Stückzahlen hergestellt werden, sind diese besonders kostengünstig erhältlich. Der Tabletcomputer bzw. das Mobiltelefon kann mit einem berührungsempfindlichen Bildschirm zur Eingabe ausgebildet sein.
  • Das Assistenzsystem kann mit einer Kamera und/oder mit einem 3D-Sensor zur Erfassung der landwirtschaftlichen Arbeitsumgebung ausgebildet sein. Mittels der Kamera kann die Arbeitsumgebung erfasst werden und als Teil der angereicherten Realität auf der mobilen Anzeigeeinheit angezeigt werden. Die Kamera kann beispielsweise als CCD- oder CMOS-Kamera ausgebildet sein. Durch die Erfassung der Arbeitsumgebung mit dem 3D-Sensor ist es möglich, ein dreidimensionales Abbild der Arbeitsumgebung als angereicherte Realität über die mobile Anzeigeeinheit anzuzeigen.
  • Das Assistenzsystem kann dazu ausgebildet sein, Merkmale der landwirtschaftlichen Arbeitsumgebung in einem Kamerabild und/oder in 3D-Daten zu erkennen und die Information damit zu verknüpfen. Dadurch ist es besonders einfach möglich, die Merkmale der landwirtschaftlichen Arbeitsumgebung zu erkennen und zur Anzeige der Informationen auszuwerten. Die Erkennung der Merkmale kann mit einer Bild- und/oder 3D-Datenverarbeitungseinheit erfolgen. Die Bild- und/oder 3D-Datenverarbeitungseinheit kann einen digitalen Filter umfassen. Die Bild- und/oder 3D-Datenverarbeitungseinheit kann in der zuvor beschriebenen Datenaufbereitungseinheit integriert sein.
  • Das Assistenzsystem kann mit einem Lageerkennungssystem zur Lageermittlung der mobilen Anzeigeeinheit gegenüber der landwirtschaftlichen Arbeitsumgebung ausgebildet sein. Das Lageerkennungssystem kann eine Kamera, einen Lagesensor und/oder ein Ortungssystem umfassen. Dadurch, dass das Assistenzsystem ein Lageerkennungssystem umfasst, kann damit besonders einfach die Orientierung des Assistenzsystems gegenüber der landwirtschaftlichen Arbeitsumgebung ermittelt werden. Durch die bekannte Lage können die Informationen besonders einfach mit der Arbeitsumgebung verknüpft und über die mobile Anzeigeeinheit angezeigt werden. Durch die Nutzung der Kamera ist das Lageerkennungssystem besonders einfach aufgebaut. Für das Lageerkennungssystem kann dieselbe Kamera genutzt werden wie die zuvor beschriebene Kamera zur Erfassung der landwirtschaftlichen Arbeitsumgebung. Umfasst das Lageerkennungssystem einen Lagesensor oder ein Ortungssystem, so kann die Lage des Assistenzsystems auch ermittelt werden, wenn das Blickfeld der Kamera verdeckt ist.
  • Das Assistenzsystem kann ein Mikrofon, einen Kopfhörer und/oder einen Lautsprecher umfassen. Dadurch ist es möglich, dass die Bedienperson mit einer weiteren Person, wie beispielsweise einem Schulungsleiter oder einem Servicemitarbeiter online kommuniziert.
  • Das Assistenzsystem kann über wenigstens eine Datenschnittstelle mit einer Datenbank, einem Planungs- und/oder Managementsystem, einer Steuerungseinheit der landwirtschaftlichen Arbeitsmaschine, einem Helpdesk und/oder einem Schulungssystem verbindbar sein. Dadurch ist das Assistenzsystem für besonders viele Anwendungen einsetzbar. Die Datenschnittstelle kann als Funkschnittstelle ausgebildet sein und optional eine GSM-, WLAN-, UMTS- oder LTE-oder eine andere mobile Daten-Schnittstelle umfassen.
  • Mit der Datenschnittstelle kann eine Verbindung über ein Datennetz wie beispielsweise das Internet aufbaubar sein. Dadurch ist eine Interaktion der Bedienperson mit entfernten Anwendungen, Servern, Personen oder dergleichen möglich.
  • Darüber hinaus stellt die Erfindung mit dem Anspruch 12 ein Verfahren zur Unterstützung einer Bedienperson bei der Bedienung einer landwirtschaftlichen Arbeitsmaschine in einer landwirtschaftlichen Arbeitsumgebung bereit, dadurch gekennzeichnet, dass der Bedienperson mit einer mobilen Anzeigeeinheit eines Assistenzsystems Informationen überlagert mit der landwirtschaftlichen Arbeitsumgebung im Sinne einer angereicherten Realität (augumented reality) angezeigt werden.
  • Dadurch, dass die Informationen überlagert mit der landwirtschaftlichen Arbeitsumgebung im Sinne einer angereicherten Realität angezeigt werden, werden die Informationen der Bedienperson besonders übersichtlich und verknüpft mit der Arbeitsumgebung angezeigt. Weiterhin kann die Bedienperson die mobile Anzeigeeinheit auf den Teil der Arbeitsumgebung richten, zu dem die Bedienperson eine bestimmte Information erhalten möchte. Dadurch ist die Auswahl der relevanten Informationen besonders einfach möglich.
  • Das Verfahren kann die zuvor in Bezug auf die Ansprüche 1–11 beschriebenen Merkmale, einzelnen oder in beliebigen Kombinationen, aufweisen.
  • Bei dem Verfahren kann die Arbeitsumgebung mit einer Bild- und/oder Signalverarbeitungseinheit erkannt werden und daraus Positionen für die Informationen berechnet werden. Die Informationen werden dann in der mobilen Anzeigeeinheit so angezeigt, dass sie für die Bedienperson an den berechneten Positionen erscheinen. Das Verfahren kann dazu ausgebildet sein, dass die Informationen mit dem direkten Blickfeld der Bedienperson oder mit einem Kamerabild überlagert werden.
  • Weitere Merkmale und Vorteile der Erfindung werden nachfolgend anhand der beispielhaften Zeichnungen erläutert. Dabei zeigt:
  • 1 eine erste Ausführungsform des Assistenzsystems mit einer Datenbrille in einer perspektivischen Ansicht; und
  • 2 eine zweite Ausführungsform des Assistenzsystems mit einem Tabletcomputer in einer perspektivischen Ansicht.
  • In der 1 ist eine erste Ausführungsform des Assistenzsystems 1 mit einer Datenbrille 3 in einer perspektivischen Ansicht dargestellt. Zu sehen ist das Blickfeld einer Bedienperson durch eine mobile Anzeigeeinheit, die hier als Datenbrille 3 ausgebildet ist. Die Datenbrille 3 ist in den Bereichen 33 transparent und gibt den direkten Blick auf die Szenerie 2 mit der landwirtschaftlichen Arbeitsumgebung 21 frei. Zu sehen ist, dass die Bedienperson gerade das Feld 21 mit einer landwirtschaftlichen Arbeitsmaschine und einem Pflug (hier nicht dargestellt) bearbeitet, wobei die Pflugfurchen 22 mit der Arbeitsbreite A zueinander verlaufen. Weiterhin ist zu sehen, dass die Datenbrille 3 über die Datenschnittstellen 37, 71 mit einer Steuerungseinheit 7 der Arbeitsmaschine verbunden ist. Dadurch können beispielsweise Betriebsparameter der Arbeitsmaschine an die Datenbrille 3 übermittelt werden.
  • Die Datenbrille 3 weist die Projektionseinheit 31 und den teilweise transparenten Bereich 32 auf. Dieser ist hier im Bereich des rechten Auges der Bedienperson angeordnet, kann jedoch auch vor dem linken Auge oder beiden Augen verlaufen. Im Bereich 32 kann die Bedienperson direkt auf das Feld 21 ähnlich wie durch die transparenten Bereiche 33 sehen. Gleichzeitig können im Bereich 32 mittels der Produktionseinheit 31 Informationen 6265 eingeblendet werden.
  • Zur Erfassung der landwirtschaftlichen Arbeitsumgebung 21 verfügt die Datenbrille 3 über eine Kamera 34. Hierdurch können die bereits gepflückten Pflugfurchen 22 erfasst werden und daraus beispielsweise die Arbeitsbreite A automatisch ermittelt werden.
  • Darüber hinaus wird mit der Kamera 34 und dem Lagesensor 36 die Lage der Datenbrille 3 gegenüber der Arbeitsumgebung 21 ermittelt. Zusammen bilden beide das Lageerkennungssystem. Der Lagesensor 36 ist hier mit Beschleunigungssensoren ausgebildet und erfasst damit Bewegung der Datenbrille 3 um alle drei Raumachsen. Dadurch ist es möglich, die Lage der Datenbrille 3 gegenüber der Arbeitsumgebung 21 zu ermitteln und die damit verknüpften Informationen 62, 65 im teilweise transparenten Bereich 32 an der vorgesehenen Position einzublenden.
  • Weiterhin ist zu sehen, dass die Datenbrille 3 mit einem Mikrofon 38 und einem Kopfhörer 35 ausgebildet ist. Damit ist es möglich, dass die Bedienperson mit einer weiteren Person Kontakt aufnimmt und beispielsweise Anweisungen zur Bearbeitung des Feldes 21 erhält. Ferner kann die Bedienperson an einer Schulung zum Pflügen des Feldes 21 teilnehmen, wobei der Lehrer über die Kamera 34 ein Bild des Feldes 21 erhält und der Bedienperson über den Kopfhörer 35 entsprechende Anweisungen zur Bearbeitung mitteilen kann. Außerdem kann die Bedienperson über das Mikrofon 38 mit dem Lehrer sprechen.
  • Die Datenbrille 3 ist mit einer Bluetooth-Datenschnittstelle 37 ausgestattet. Diese ist per Funk mit einer entsprechenden Bluetooth-Datenschnittstelle 71 der Steuerungseinheit 7 für die Arbeitsmaschine verbunden. Dadurch ist es möglich, dass digitale Daten zwischen der Datenbrille 3 und der Steuerungseinheit 7 ausgetauscht werden, wie beispielsweise Betriebsparameter der Arbeitsmaschine. Weiterhin ist die Steuerungseinheit 7 über eine UMTS-Mobilfunkschnittstelle 72 mit dem Internet verbunden. Hierüber ist es möglich, dass das Assistenzsystem 1 über das Internet mit einer Datenbank, einer Server Anwendung und/oder einer weiteren Person in Verbindung steht.
  • Darüber hinaus verfügt die Datenbrille 3 über eine Datenaufbereitungseinheit 39, in der sämtliche Daten zum Betrieb der Datenbrille 3 verarbeitet werden. Zu den Daten zählen Kamerabilder der Kamera 34, Audiodaten des Mikrofons 38 und des Kopfhörers 35, Lagedaten des Lagesensors 36, Datenströme von/zu der Datenschnittstelle 37 und/oder Steuerdaten an den Projektor 31. Die Datenaufbereitungseinheit 39 ist mit einem Mikroprozessor und einem Speicher ausgebildet.
  • Insgesamt wird das Assistenzsystem 1 wie folgt eingesetzt: Die Bedienperson setzt die Datenbrille 3 ähnlich einer normalen Brille auf und beginnt mit der Feldbearbeitung. Dabei werden auf dem Feld 21 die Pflugfurchen 22 im Abstand A erzeugt. Der Bedienperson werden über die Datenbrille 3 (mobile Anzeigeeinheit) die Informationen 6265 im Sinne einer angereicherten Realität überlagert mit dem direkten Blick auf die Arbeitsumgebung 21 angezeigt.
  • Der Pfeil 64 zeigt dabei die Geschwindigkeit auf der Skala 63 an. Beispielsweise ist die Soll-Geschwindigkeit dann erreicht, wenn sich der Pfeil 64 in der Mitte der Skala 63 befindet. Darüber erhält die Bedienperson eine Rückmeldung, ob die Arbeitsmaschine zu schnell oder zu langsam fährt.
  • Weiterhin zeigt der Pfeil 62 entlang der virtuellen Pflugfurche 65 die noch zu pflügende Furche im Voraus an. Fährt die Bedienperson der virtuellen Furche 65 nach, so befindet sich der Pfeil 62 genau auf der virtuellen Furche 65. Weicht der vorausberechnete Fahrweg der Arbeitsmaschine davon ab, so wird der Pfeil 62 entsprechend gegenüber der virtuellen Furche 65 so verdreht, dass die Bedienperson auf eine Korrektur der Lenkbewegung hingewiesen wird.
  • Durch das Assistenzsystem 1 in der 1 ist eine besonders einfache Bedienerführung möglich, wobei auch komplexe Informationen angezeigt werden können.
  • In der 2 ist eine zweite Ausführungsform des Assistenzsystems 1 mit einem Tabletcomputer 5 dargestellt. Zu sehen ist die Arbeitsmaschine 4 mit dem Führerstand 41. Der Führerstand 41 ist hier die landwirtschaftliche Arbeitsumgebung. Zu sehen ist, dass der Führerstand 41 das Armaturenbrett 42 mit dem Bildschirm 43, den Anzeigeelemente 44 und den Schaltern 45 aufweist. Weiterhin ist das Lenkrad 46 zu sehen, mit dem die Bedienperson entsprechende Steuerbewegung der Arbeitsmaschine 4 durchführen kann.
  • Weiterhin ist zu sehen, dass die Bedienperson gerade mit ihrer Hand 11 den Tabletcomputer 5 hält, um Anweisungen zur Bedienung des Führerstands 41 von einem Supportmitarbeiter zu erhalten.
  • Zu sehen ist, dass der Tabletcomputer 5 einen berührungsempfindlichen Bildschirm 51 aufweist. Darauf ist gerade das Kamerabild 61 eines Ausschnitts des Armaturenbretts 52 dargestellt. Weiterhin ist zu sehen, dass die Bedienungsinformationen 6668 mit dem Kamerabild 61 überlagert angezeigt werden.
  • Der Tabletcomputer weist hierzu auf der Rückseite eine Kamera 53 auf, die dazu ausgebildet ist, einen Bereich der Arbeitsumgebung 41 hinter dem Tabletcomputer 5 als Kamerabild 61 zu erfassen.
  • Weiterhin umfasst der Tabletcomputer 5 eine Recheneinheit mit einem darauf ausgeführten Computerprogrammprodukt auf, mit dem die Bildinformationen der Kamera 53 ausgewertet werden. Dabei werden nun automatisch die Anzeigeelemente 44 und die Schalter 45 im Bild erkannt. Dadurch ist es möglich, dass den Anzeigeelementen 44 und den Schaltern 45 automatisch die Informationen 66, 67 zugeordnet werden. Darüber hinaus ist es möglich, abhängig vom Kamerabild 61 den Informationstext 68 einzublenden.
  • Darüber hinaus verfügt der Tabletcomputer 5 einen Knopf 52 um zu einem Startbildschirm umzuschalten. Mit dem Mikrofon 55 und dem Lautsprecher 54 sowie der Datenschnittstelle 56 (WLAN- und UMTS-Datenschnittstelle) kann die Bedienperson Kontakt mit einem Schulungsleiter oder Servicetechniker via Internet aufnehmen. Denkbar ist hier auch ein Video-Chat. Dadurch ist der Tabletcomputer 5 besonders flexibel einsetzbar.
  • Das Assistenzsystem 1 wird wie folgt eingesetzt: Der Tabletcomputer 5 wird mit der Kamera 53 auf das Armaturenbrett 52 gerichtet. Das Assistenzsystem 1 erkennt nun durch eine automatisch ablaufende Bildverarbeitung im Kamerabild 61 die Anzeigeelemente 44 und die Schalter 45. Diese Informationen werden nun im Sinne einer angereicherten Realität überlagert mit dem Führerstand 41 auf dem Bildschirm 51 angezeigt. Dabei werden im Informationstext 68 entsprechende Anweisungen zur Bedienung der Arbeitsmaschine 4 angezeigt, wobei die Pfeile 66 und 67 korreliert mit den Anzeigeelementen 44 und dem Schalter 45 angezeigt werden. Bewegt nun die Bedienperson den Tablettcomputer 5 gegenüber dem Armaturenbrett 42, so werden die Pfeile 66, 67 automatisch mit dem Kamerabild 61 verschoben. Dadurch können auch komplexe Informationen ergonomisch und besonders einfach ablesbar vom Assistenzsystem 1 angezeigt werden.
  • Es versteht sich, dass die Datenbrille 3 in 1 ebenfalls für eine Anwendung im Führerstand 41 der Arbeitsmaschine 4 wie in 2 beschrieben einsetzbar ist. Ebenso ist denkbar, dass der Tabletcomputer 5 aus der 2 auf die Szenerie 2 der 1 gerichtet wird und der Bedienperson Informationen zur Bearbeitung des Feldes 21 angezeigt werden. Insgesamt sind die Assistenzsystem 1 gemäß der ersten und zweiten Ausführungsform breit einsetzbar. Denkbar sind hier Planungs- und/oder Managementaufgaben, Bereitstellung von Betriebsparametern, Steuerungs- und Bedienaufgaben für die Arbeitsmaschine 4, Anfragen bei einem Helpdesk und/oder Schulungen.
  • Es versteht sich, dass in den zuvor beschriebenen Ausführungsbeispielen genannte Merkmale nicht auf diese speziellen Kombinationen beschränkt sind und auch in beliebigen anderen Kombinationen möglich sind.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 1674324 A1 [0002]

Claims (12)

  1. Assistenzsystem (1) für eine landwirtschaftliche Arbeitsmaschine (4) zur Unterstützung einer Bedienperson in einer landwirtschaftlichen Arbeitsumgebung (21, 41), beispielsweise ein Feld (21) und/oder ein Führerstand (41) der Arbeitsmaschine (4), dadurch gekennzeichnet, dass das Assistenzsystem (1) eine mobile Anzeigeeinheit (3, 5) umfasst, die dazu ausgebildet ist, der Bedienperson Informationen (6168) überlagert mit der landwirtschaftlichen Arbeitsumgebung (21, 41) im Sinne einer angereicherten Realität (augumented reality) anzuzeigen.
  2. Assistenzsystem (1) nach Anspruch 1, wobei die mobile Anzeigeeinheit eine Datenbrille (3) ist.
  3. Assistenzsystem (1) nach Anspruch 2, wobei die Datenbrille (3) eine Projektionseinheit (31) und wenigstens einen teilweise transparenten Bereich (32) aufweist, durch den die Arbeitsumgebung (21) direkt sichtbar ist und über den die Informationen (6165) mit der Projektionseinheit (31) einblendbar sind.
  4. Assistenzsystem (1) nach Anspruch 1, wobei die mobile Anzeigeeinheit ein Tabletcomputer (5) oder ein Mobiltelefon ist.
  5. Assistenzsystem (1) nach wenigstens einem der vorangegangenen Ansprüche, wobei das Assistenzsystem (1) mit einer Kamera (34, 53) und/oder mit einem 3D-Sensor zur Erfassung der landwirtschaftlichen Arbeitsumgebung (21, 41) ausgebildet ist.
  6. Assistenzsystem (1) nach wenigstens einem der vorangegangenen Ansprüche, wobei das Assistenzsystem (1) dazu ausgebildet ist, Merkmale der landwirtschaftlichen Arbeitsumgebung in einem Kamerabild (61) und/oder in 3D-Daten zu erkennen und die Informationen (6168) damit zu verknüpfen.
  7. Assistenzsystem (1) nach wenigstens einem der vorangegangenen Ansprüche, wobei das Assistenzsystem (1) mit einem Lageerkennungssystem (34, 36, 53) zur Lageermittlung der mobilen Anzeigeeinheit (3, 5) gegenüber der landwirtschaftlichen Arbeitsumgebung (21, 41) ausgebildet ist.
  8. Assistenzsystem (1) nach Anspruch 7, wobei das Lageerkennungssystem eine Kamera (34, 53), einen Lagesensor (36) und/oder ein Ortungssystem (GPS-System) umfasst.
  9. Assistenzsystem (1) nach wenigstens einem der vorangegangenen Ansprüche, wobei das Assistenzsystem (1) ein Mikrofon (38, 55), einen Kopfhörer (35) und/oder einen Lautsprecher (54) umfasst.
  10. Assistenzsystem (1) nach wenigstens einem der vorangegangenen Ansprüche, wobei das Assistenzsystem (1) über wenigstens eine Datenschnittstelle (37, 56, 71) mit einer Datenbank, einem Planungs- und/oder Managementsystem, einer Steuerungseinheit der landwirtschaftlichen Arbeitsmaschine (4), einem Helpdesk und/oder einem Schulungssystem verbindbar ist.
  11. Assistenzsystem (1) nach Anspruch 10, wobei mit der Datenschnittstelle (37, 56) eine Verbindung über ein Datennetz wie z.B. das Internet aufbaubar ist.
  12. Verfahren zur Unterstützung einer Bedienperson bei der Bedienung einer landwirtschaftlichen Arbeitsmaschine (4) in einer landwirtschaftlichen Arbeitsumgebung (21, 41), dadurch gekennzeichnet, dass der Bedienperson mit einer mobilen Anzeigeeinheit (3, 5) eines Assistenzsystems (1) Informationen überlagert mit der landwirtschaftlichen Arbeitsumgebung (21, 41) im Sinne einer angereicherten Realität (augumented reality) angezeigt werden.
DE102014103195.4A 2014-03-11 2014-03-11 Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson Withdrawn DE102014103195A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102014103195.4A DE102014103195A1 (de) 2014-03-11 2014-03-11 Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson
PCT/EP2015/054336 WO2015135786A1 (de) 2014-03-11 2015-03-03 Assistenzsystem für eine landwirtschaftliche arbeitsmaschine und verfahren zur unterstützung einer bedienperson
EP15707627.4A EP3117261A1 (de) 2014-03-11 2015-03-03 Assistenzsystem für eine landwirtschaftliche arbeitsmaschine und verfahren zur unterstützung einer bedienperson

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014103195.4A DE102014103195A1 (de) 2014-03-11 2014-03-11 Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson

Publications (1)

Publication Number Publication Date
DE102014103195A1 true DE102014103195A1 (de) 2015-09-17

Family

ID=52598755

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014103195.4A Withdrawn DE102014103195A1 (de) 2014-03-11 2014-03-11 Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson

Country Status (3)

Country Link
EP (1) EP3117261A1 (de)
DE (1) DE102014103195A1 (de)
WO (1) WO2015135786A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3089493A1 (de) 2015-04-10 2016-11-02 PÖTTINGER Landtechnik GmbH Landwirtschaftliches arbeitsgerät
EP3796135A1 (de) 2019-09-20 2021-03-24 365FarmNet Group KGaA mbh & Co KG Verfahren zur unterstützung eines benutzers bei einer landwirtschaftlichen tätigkeit
DE102021203631A1 (de) 2021-04-13 2022-10-13 Gixel GmbH Brillen-Anzeige-System zum Anzeigen eines virtuellen Bildes in einem Sichtfeld eines Nutzers mittels einer zeilenförmigen Bildschirmeinheit
EP4079129A1 (de) * 2021-04-14 2022-10-26 Deere & Company Verfahren zur wahrnehmung einer erweiterten realität für ein landwirtschaftliches nutzfahrzeug
DE102021127668A1 (de) 2021-10-25 2023-04-27 Horsch Leeb Application Systems Gmbh Tragbare Vorrichtung und computerimplementiertes Verfahren zur Anzeige von Informationen zu einer Maschinenkomponente einer landwirtschaftlichen Maschine aus einem Nachschlagewerk

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203910B3 (de) * 2018-03-14 2019-06-13 Audi Ag Fahrerassistenzsystem sowie Verfahren für ein Kraftfahrzeug zum Anzeigen einer erweiterten Realität
US20220189329A1 (en) * 2019-03-07 2022-06-16 3D2Cut Sa System and method for assisting with the pruning of plants

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1674324A1 (de) 2004-12-22 2006-06-28 CLAAS Selbstfahrende Erntemaschinen GmbH Landwirtschaftliche Arbeitsmaschine

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4555725A (en) * 1983-08-24 1985-11-26 Deutz-Allis Corporation Agricultural implement steering guidance system and method
US5751576A (en) * 1995-12-18 1998-05-12 Ag-Chem Equipment Co., Inc. Animated map display method for computer-controlled agricultural product application equipment
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
DE102013106128A1 (de) * 2012-07-16 2014-06-12 Claas Selbstfahrende Erntemaschinen Gmbh Landwirtschaftliche Arbeitsmaschine mit zumindest einer Steuerungseinrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1674324A1 (de) 2004-12-22 2006-06-28 CLAAS Selbstfahrende Erntemaschinen GmbH Landwirtschaftliche Arbeitsmaschine

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3089493A1 (de) 2015-04-10 2016-11-02 PÖTTINGER Landtechnik GmbH Landwirtschaftliches arbeitsgerät
EP3796135A1 (de) 2019-09-20 2021-03-24 365FarmNet Group KGaA mbh & Co KG Verfahren zur unterstützung eines benutzers bei einer landwirtschaftlichen tätigkeit
US11145009B2 (en) 2019-09-20 2021-10-12 365FarmNet Group KGaA mbH & Co. KG Method for supporting a user in an agricultural activity
DE102021203631A1 (de) 2021-04-13 2022-10-13 Gixel GmbH Brillen-Anzeige-System zum Anzeigen eines virtuellen Bildes in einem Sichtfeld eines Nutzers mittels einer zeilenförmigen Bildschirmeinheit
EP4079129A1 (de) * 2021-04-14 2022-10-26 Deere & Company Verfahren zur wahrnehmung einer erweiterten realität für ein landwirtschaftliches nutzfahrzeug
DE102021127668A1 (de) 2021-10-25 2023-04-27 Horsch Leeb Application Systems Gmbh Tragbare Vorrichtung und computerimplementiertes Verfahren zur Anzeige von Informationen zu einer Maschinenkomponente einer landwirtschaftlichen Maschine aus einem Nachschlagewerk

Also Published As

Publication number Publication date
EP3117261A1 (de) 2017-01-18
WO2015135786A1 (de) 2015-09-17

Similar Documents

Publication Publication Date Title
DE102014103195A1 (de) Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson
EP3394708B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
DE102015006612B4 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
DE102016215199A1 (de) Virtuelle Head-up-Anzeige-Anwendung für eine Arbeitsmaschine
DE102014009697A1 (de) Verfahren zum Betreiben eines mobilen Virtual-Reality-Systems in einem Kraftfahrzeug und mobiles Virtual-Reality-System
DE102014006732B4 (de) Bildüberlagerung von virtuellen Objekten in ein Kamerabild
DE102014009303B4 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
EP1701233A2 (de) Generierung virtueller Welten auf Basis einer realen Umgebung
DE102014213285B4 (de) Kopfrichtungsabhängige Anzeige von Inhalten auf einer Datenbrille
WO2019016406A1 (de) Verfahren zur führung von bewegungsabläufen sowie trainingsvorrichtung zur führung von bewegungsabläufen
DE102017106098A1 (de) Dynamisch farbangepasste visuelle überlagerungen für augmented-reality-systeme
DE102014009299A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
EP3434087B1 (de) Verfahren zum unterstützen eines maschinenbedieners beim einstellen einer landwirtschaftlichen bodenbearbeitungsmaschine
DE102019129884A1 (de) 3d-kombinationsinstrument und verfahren zum kalibrieren desselben
WO2016184972A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
WO2019228780A1 (de) Konzept für die steuerung einer anzeige eines mobilen augmented-reality-gerätes
DE102017114450B4 (de) Vorrichtung und Verfahren zum Abbilden von Bereichen
EP3967538A1 (de) Verfahren zur darstellung eines virtuellen elements
EP3568737B1 (de) Verfahren zum betreiben eines anzeigesystems mit einer datenbrille in einem kraftfahrzeug
DE102019112189A1 (de) Verfahren und Vorrichtung zur Anzeige eines Informationsobjektes in einer Augmented-Reality-Datenbrille
WO2019007934A1 (de) Anordnung und verfahren zur kommunikation mittels zweier visueller ausgabegeräte
DE102016225267B4 (de) Datenbrille und Verfahren zum Betreiben einer Datenbrille
DE102013215483B4 (de) Anzeigesystem, Visualisierungsverfahren für ein Fahrzeug und computerlesbares Speichermedium zur Implementierung des Verfahrens
DE102015012892B4 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102014009304A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille

Legal Events

Date Code Title Description
R120 Application withdrawn or ip right abandoned