DE102020200396A1

DE102020200396A1 - Maschinensteuerung mit biometrischer erkennung

Info

Publication number: DE102020200396A1
Application number: DE102020200396.3A
Authority: DE
Inventors: Joshua C. Heitsman; Reginald M. Bindl; Keith N. Chaston; Michael G. Kean; John M. Hageman; Mark J. Cherney; Sean P. West
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2019-01-15
Filing date: 2020-01-14
Publication date: 2020-07-16
Also published as: CN111435440A; US20200223312A1; US20200223311A1; US11161410B2; US10723226B1; BR102020000713A2

Abstract

[00158] Ein Mustererkennungssystem empfängt ein von einer Bilderfassungsvorrichtung aufgenommenes Bild eines Bedieners und der Bediener wird identifiziert. Basierend auf dem identifizierten Bediener wird auf die Bedienerinformationen zugegriffen und ein Steuersignal wird erzeugt, um eine mobile Maschine basierend auf den Bedienerinformationen zu steuern.

Description

GEBIET DER BESCHREIBUNG
Die vorliegende Beschreibung bezieht sich auf mobile Baumaschinen und andere mobile Arbeitsmaschinen. Insbesondere bezieht sich die vorliegende Beschreibung auf das Erfassen eines Bildes eines Bedieners oder das Erfassen eines anderen biometrischen Merkmals eines Bedieners und das Steuern der mobilen Arbeitsmaschine auf Grundlage des erfassten Bildes oder eines anderen erfassten biometrischen Merkmals.
HINTERGRUND
Es gibt eine Vielzahl verschiedener Arten von mobilen Arbeitsmaschinen (oder mobilen Maschinen). Zu diesen Arbeitsmaschinen gehören unter anderem Maschinen für die Baubranche, Landwirtschaft, Forstwirtschaft und Rasenpflege.
Es ist nicht ungewöhnlich, dass solche Maschinen auf einer Arbeitsstelle (z. B. einer Baustelle, einem Forstgelände usw.) eingesetzt und von einer Reihe verschiedener Bediener an demselben Standort bedient werden. Ebenso ist es nicht ungewöhnlich, dass die verschiedenen Bediener unterschiedliche Kenntnisse in der Bedienung der Maschinen haben.
Die obenstehende Erläuterung dient lediglich als allgemeine Hintergrundinformation und soll nicht als Hilfe bei der Bestimmung des Umfangs des beanspruchten Gegenstands verwendet werden.
KURZDARSTELLUNG
Ein Mustererkennungssystem empfängt ein von einer Bilderfassungsvorrichtung erfasstes Bild eines Bedieners und der Bediener wird identifiziert. Basierend auf dem identifizierten Bediener wird auf die Bedienerinformationen zugegriffen und ein Steuersignal wird erzeugt, um eine mobile Maschine basierend auf den Bedienerinformationen zu steuern.
Diese Zusammenfassung dient der Vorstellung einer Auswahl von Konzepten in vereinfachter Form, die nachfolgend in dem Abschnitt der ausführlichen Beschreibung erläutert werden. Diese Zusammenfassung ist weder dazu bestimmt, wesentliche Merkmale oder grundlegende Funktionen des beanspruchten Gegenstands zu identifizieren, noch soll sie als Hilfe bei der Bestimmung des Umfangs des beanspruchten Gegenstandes verwendet werden. Der beanspruchte Gegenstand ist nicht auf Implementierungen beschränkt, die im Abschnitt Hintergrund aufgeführte Nachteile ganz oder teilweise beseitigen.
Figurenliste

1 ist ein Blockdiagramm eines Beispiels für eine Architektur einer mobilen Maschine.
2A ist ein Blockdiagramm, das ein Beispiel für ein Authentifizierungssystem detaillierter darstellt.
2B ist ein Blockdiagramm, das ein Beispiel für ein Maschinen-/Bedienerüberwachungssystem detaillierter darstellt.
2C ist ein Blockdiagramm, das ein Beispiel für ein Steuersystem ausführlicher darstellt.
Die 3A und 3B (hierin gemeinsam als 3 bezeichnet) zeigen ein Beispiel für den Betrieb einer mobilen Maschine auf Grundlage eines erfassten Bildes.
4 ist ein Ablaufdiagramm, das ein Beispiel für den Betrieb eines Maschinen-/Bedienerüberwachungssystems und Steuersystems zeigt.
5 ist ein Blockdiagramm, das verschiedene Beispiele für die in 1 veranschaulichten Architektur zeigt, die in einer Remote-Serverarchitektur eingesetzt wird.
Die 6-8 zeigen Beispiele für Mobilgeräte, die in den Architekturen verwendet werden können, die in den vorhergehenden Figuren gezeigt wurden.
9 zeigt ein Blockdiagramm eines Beispiels einer Computerumgebung, die in den Architekturen verwendet werden kann, die in den vorherigen Figuren gezeigt wurden.

AUSFÜHRLICHE BESCHREIBUNG
1 ist ein Blockdiagramm, das ein Beispiel einer Architektur einer mobilen Maschine 100 zeigt. Die Architektur 100 beinhaltet veranschaulichend die Bilderfassungsvorrichtung 102, das Bildverarbeitungssystem 104 und die mobile Maschine 106. 1 zeigt auch, dass ein Bediener 108 Bedienereingaben bereitstellen kann, um die mobile Maschine 106 zu bedienen. Dies kann direkt, über ein Netzwerk oder auf eine andere Weise erfolgen. Die mobile Maschine 106 kann zum Beispiel eine Baumaschine sein, wie etwa ein Grader, ein Knicklader, eine Vielzahl von verschiedenen Arten von Muldenkippern oder anderen Ladern, ein Bagger usw. Bei einer landwirtschaftlichen Maschine kann es sich um einen Mähdrescher, einen Traktor oder eine Vielzahl anderer Bepflanzungs-, Bodenbearbeitungs-, Anwendungs- oder anderer Maschinen handeln. Wenn es sich um eine Forstmaschine handelt, kann sie beispielsweise einen Skidder, einen Knickarmlader, einen Fäller-Bündler oder andere Maschinen beinhalten. Dies sind nur Beispiele.
Kurz gesagt und zum Zwecke der Übersicht erfasst die Bilderfassungsvorrichtung 102 veranschaulichend ein Bild des Bedieners 108 (wie etwa ein Gesichtsbild, einen Netzhautscan oder andere biometrische oder Bildinformationen). Das Bildverarbeitungssystem 104 verarbeitet das Bild und kann eine Reihe von Vorgängen durchführen. Es kann Authentifizierungsinformationen identifizieren, die dem Bediener 108 entsprechen, und diese Informationen verwenden, um verschiedene Arten von Funktionen auf der mobilen Maschine 106 freizuschalten. Es kann diese Informationen auch verwenden, um Einstellungen auf der mobilen Maschine 106 festzulegen und die mobile Maschine 106 anderweitig zu steuern.
In ähnlicher Weise kann das Bildverarbeitungssystem 104 weiterhin Bilder des Bedieners 108 empfangen und eine Überwachung einer oder beider Maschinen 106 und des Bedieners 108 durchführen. Beispielsweise kann es in dem Bild identifizieren, ob der Bediener 108 unaufmerksam ist (wie etwa durch Ablenkung durch das Mobilgerät des Bedieners, Ermüdung usw.). Auf Grundlage dieser fortgesetzten Überwachung kann das Bildverarbeitungssystem 104 eine Eingabe an die mobile Maschine 106 bereitstellen, um die mobile Maschine 106 auf Grundlage dieser Informationen zu steuern.
Es wird auch angemerkt, dass die verschiedenen Gegenstände in 1 sich an einer Vielzahl von unterschiedlichen Orten befinden können. Es kann beispielsweise sein, dass sich der Bediener 108 in der Fahrerkabine der mobilen Maschine 106 aufhält und die mobile Maschine 106 von dort aus bedient. In einem anderen Beispiel kann es sein, dass sich der Bediener 108 an einer Remote-Steuerstation befindet (von denen eine in 5 unten gezeigt ist), wobei der Bediener 108 Eingaben an die Remote-Steuerstation bereitstellt. Die Remote-Steuerstation kann diese Steuereingaben dann über ein Netzwerk (wie etwa ein Weitverkehrsnetzwerk) oder anderweitig an die mobile Maschine 106 kommunizieren. In ähnlicher Weise kann sich die Bilderfassungsvorrichtung 102 auf einem Mobilgerät oder einer anderen Vorrichtung befinden, die vom Bediener 108 getragen wird. In einem weiteren Beispiel kann sich die Bilderfassungsvorrichtung 102 auf der mobilen Maschine 106 oder an einer Remote-Steuerstation befinden, die von dem Bediener 108 verwendet wird, um die mobile Maschine 106 zu steuern. Wenn sich die Bilderfassungsvorrichtung 102 auf der mobilen Maschine 106 befindet, kann es sich um eine Kamera handeln, die angeordnet ist, um ein Bild des Bedieners 108 aufzunehmen, wenn sich der Bediener 108 der Fahrerkabine nähert. Es kann sich um eine andere bereits vorhandene Kamera handeln (wie etwa eine Rückfahrkamera, eine Seitenkamera usw.). In diesem Fall kann es sein, dass der Bediener 108 angewiesen wird, an einer bestimmten Stelle relativ zu der Maschine 106 zu stehen, damit das Bild erfasst werden kann.
Das Bildverarbeitungssystem 104 kann sich auch an einer Vielzahl unterschiedlicher Orten befinden. Beispielsweise kann es sich auf einem Mobilgerät befinden, das vom Bediener 108 getragen wird. Es kann sich an einer Remote-Steuerstation befinden, die der Bediener 108 verwendet, um die Maschine 106 remote zu steuern. Das Bildverarbeitungssystem 104 kann sich auch auf der mobilen Maschine 106 selbst befinden, oder es kann sich auf einem Remote-System befinden (wie etwa ein System, das sich in einer Cloud-Architektur oder einer anderen Remote-Serverarchitektur oder anderswo befindet).
Bevor der Betrieb der Architektur 100 detaillierter beschrieben wird, wird zunächst eine kurze Beschreibung einiger Elemente der Architektur 100 und deren Betrieb bereitgestellt. In dem dargestellten Beispiel in 1 kann die Bilderfassungsvorrichtung 102 aus einer Vielzahl von verschiedenen Vorrichtungen bestehen, die verwendet werden können, um ein Bild zur Verarbeitung zu erfassen. Beispielsweise kann es sich um eine Kamera, einen Netzhautscanner oder eine beliebige andere Bilderfassungsvorrichtung handeln, die Informationen erfassen kann, die zur Verarbeitung verwendet werden, wie hierin beschrieben. Das in dem Beispiel in 1 gezeigte Bildverarbeitungssystem 104 beinhaltet Prozessoren oder Server 109, ein Mustererkennungssystem 110, ein Authentifizierungssystem 112, einen Datenspeicher 114 (der selbst Bedienerinformationen 116 beinhaltet und andere Elemente 118 beinhalten kann), ein Maschinen-/Bedienerüberwachungssystem 120 und es kann eine Vielzahl anderer Elemente 122 beinhalten. Die mobile Maschine 106 kann einen oder mehrere Prozessoren 124, einen Datenspeicher 126, ein Bedienerschnittstellensystem 128, ein Steuersystem 130, einen oder mehrere Sensoren 132, steuerbare Teilsysteme 134 und eine Vielzahl anderer Maschinenfunktionalitäten 136 beinhalten. Steuerbare Teilsysteme 134 können solche Dinge wie ein Antriebsteilsystem 138, ein Lenkungsteilsystem 140, ein Kommunikationsteilsystem 141, Automatisierungsteilsysteme (z. B. Planiersteuerung usw.) 142 beinhalten, und sie können eine Vielzahl anderer steuerbarer Teilsysteme 144 beinhalten.
Das Bedienerschnittstellensystem 128 erzeugt veranschaulichend Bedienerschnittstellen und beinhaltet Bedienerschnittstellenmechanismen zur Interaktion mit dem Bediener 108. Wenn sich der Bediener 108 in der Fahrerkabine der mobilen Maschine 106 befindet, kann das Bedienerschnittstellensystem Bedienerschnittstellen erzeugen, die visuell, akustisch, haptisch usw. sind. Die Bedienereingabemechanismen können solche Dinge wie etwa Hebel, Tasten, Gestänge, Lenkräder, Pedale, Joysticks usw. beinhalten. Außerdem können die Bedienereingabemechanismen, wenn das Benutzerschnittstellensystem 128 einen berührungsempfindlichen Anzeigebildschirm (oder einen anderen Anzeigebildschirm) beinhaltet, solche Dinge wie etwa Symbole, Links usw. beinhalten, die mit einer Berührungsgeste, mit einer Point-and-Click-Vorrichtung oder auf andere Weise betätigt werden können. Wenn das Bedienerschnittstellensystem 128 ferner Spracherkennungskomponenten beinhaltet, können die Bedienereingabemechanismen ein Mikrofon und eine entsprechende Spracherkennungslogik beinhalten, die verwendet werden kann, um Befehle oder andere Spracheingaben zu erkennen, die durch den Bediener 108 bereitgestellt werden.
Wenn der Bediener 108 außerdem die mobile Maschine 106 über eine Remote-Steuerstation remote steuert, interagiert die Remote-Steuerstation veranschaulichend mit dem Bedienerschnittstellensystem 128, um die Steuervorgänge durchzuführen. In einem weiteren Beispiel kann die Remote-Steuerstation mit dem Steuersystem 130 oder mit anderen Elementen kommunizieren.
Die Sensoren 132 können aus einer Vielzahl verschiedener Arten von Sensoren bestehen. Zum Beispiel können sie Positionssensoren (wie etwa einen GPS-Empfänger), einen Bodengeschwindigkeitssensor, einen Orientierungs- oder anderen Stellungssensor, verschiedene Arten von Motor- und Stellgliedsensoren und eine Vielzahl von verschiedenen Arten von Maschinensensoren, Leistungssensoren, Umgebungssensoren und andere Sensoren beinhalten.
Das Steuersystem 130 empfängt veranschaulichend Bedienereingaben vom Bediener 108 und von Sensoren 132 und kann auch Eingaben vom Bildverarbeitungssystem 104 empfangen. Wiederum erzeugt es Steuersignale und legt diese Steuersignale an steuerbare Teilsysteme 134 an, um diese steuerbaren Teilsysteme auf Grundlage der Eingaben des Bedieners oder anderer Eingaben und/oder der Eingaben von Sensoren 132 zu steuern. Die steuerbaren Teilsysteme 134 können ein Antriebsteilsystem 138 beinhalten, das selbst einen Motor oder eine andere Leistungsquelle beinhalten kann, die verwendet wird, um Bodeneingriffselemente (z. B. Ketten, Räder usw.) an der mobilen Maschine 106 über ein Getriebe oder direkt anzutreiben, um eine Bewegung der mobilen Maschine 106 anzutreiben. Die steuerbaren Teilsysteme 134 können auch ein Lenkungsteilsystem 140 beinhalten, das Lenkungsstellglieder beinhaltet, die zum Lenken der mobilen Maschine 106 verwendet werden. Sie können Automatisierungsteilsysteme 142 beinhalten, die aktiviert werden können, um verschiedene Arten von Automatisierung auf der mobilen Maschine 106 durchzuführen. Diese Automatisierungsteilsysteme können Dinge wie Geschwindigkeitsregelung, automatisierte Lenkungssteuerung, automatisierte Planiersteuerung und eine Vielzahl anderer Dinge beinhalten.
Das Mustererkennungssystem 110 empfängt in dem Bildverarbeitungssystem 104 veranschaulichend ein Bild von der Bilderfassungsvorrichtung 102. Es identifiziert ein oder mehrere verschiedene Muster in diesem Bild, so dass die Muster mit Bedieneridentitäten korreliert werden können, um den Bediener 108 auf Grundlage des erkannten Musters zu identifizieren. Wenn das Bild zum Beispiel ein Gesichtsbild des Bedieners 108 ist, dann beinhaltet das Mustererkennungssystem 110 veranschaulichend eine Gesichtserkennungslogik, die Gesichtsmerkmale des Bedieners 108 auf Grundlage des Gesichtsbildes identifiziert. Wenn das Bild ein Netzhautscanbild ist, identifiziert das Mustererkennungssystem 110 die Netzhautmerkmale des Bedieners 108 auf Grundlage des Netzhautscans. Das Mustererkennungssystem 110 kann ein beliebiges anderes gewünschtes Mustererkennungssystem sein, das Muster in dem erfassten Bild erkennt. Die Muster können verwendet werden, um den Bediener 108 oder andere Merkmale des Bedieners 108 (wie etwa seine Aufmerksamkeit, Ermüdungsgrad usw.) zu identifizieren. Einige davon werden im Folgenden ausführlicher beschrieben.
Sobald der Bediener 108 identifiziert ist oder die Merkmale des Bedieners identifiziert sind, werden diese Informationen dem Authentifizierungssystem 112 und dem Maschinen-/Bedienerüberwachungssystem 120 bereitgestellt. Zum Beispiel kann das Authentifizierungssystem 112 die durch das Mustererkennungssystem 110 bereitgestellten Merkmale analysieren und den Bediener 108 auf Grundlage dieser Analyse identifizieren. Das Authentifizierungssystem 112 kann auch eine Vielzahl verschiedener Arten der Verarbeitung auf Grundlage dieser Informationen durchführen. Beispielsweise kann es bestimmen, ob dieser bestimmte Bediener 108 berechtigt ist, die mobile Maschine 106 zu bedienen. Falls nicht, kann es ein Steuersignal erzeugen, das der mobilen Maschine 106 bereitgestellt wird, das dies angibt. Wiederum kann das Steuersystem 130 an der mobilen Maschine 106 die Fahrerkabine, das Antriebsteilsystem 138, das Lenkungsteilsystem 140 oder andere Teilsysteme verriegeln, sodass die mobile Maschine 106 nicht betriebsbereit ist.
Dabei greift das Authentifizierungssystem 112 veranschaulichend auf Bedienerinformationen 116 zu, die dem identifizierten Bediener 108 entsprechen. Es kann beispielsweise sein, dass Bedienerinformationen 116 zuvor generiert und in den Datenspeicher 114 heruntergeladen (oder hochgeladen) wurden. Diese Informationen können die verschiedenen Maschinen angeben, zu deren Betrieb der Bediener 108 autorisiert ist, die besondere Funktionalität an diesen Maschinen, zu deren Betrieb der Bediener 108 autorisiert ist, das Geschicklichkeitsniveau des Bedieners 108, die aufgezeichnete Produktivität des Bedieners 108, die bevorzugten Maschineneinstellungen für den Bediener 108 (wie etwa die bevorzugte Stellgliedempfindlichkeitsstufe, die bevorzugte Sitzposition, Steuereinstellungen, Maschineneinstellungen usw.).
Selbst unter der Annahme, dass das Authentifizierungssystem 112 authentifiziert, dass der Bediener 108 eine Berechtigung zum Bedienen der mobilen Maschine 106 hat, kann es sein, dass das Authentifizierungssystem 112 auch andere Bedingungen identifiziert, unter denen der Bediener 108 die Maschine 106 bedienen kann. Wenn der Bediener 108 zum Beispiel ein relativ unerfahrener Bediener ist, kann der Bediener 108 autorisiert sein, nur bestimmte Funktionen an der Maschine 106 zu betreiben oder die Maschine 106 mit einem bestimmten Empfindlichkeitsgrad oder mit einer vordefinierten Höchstgeschwindigkeit usw. zu betreiben. In diesem Fall stellt das System 112 eine Ausgabe an die mobile Maschine 106 bereit, die von dem Steuersystem 130 verwendet wird, um die gewünschten Steuervorgänge durchzuführen. Beispielsweise kann das Steuersystem 130 nur die autorisierte Funktionalität (zu deren Verwendung der Bediener 108 autorisiert ist) freigeben, es kann den Empfindlichkeitsgrad oder die maximale Betriebsgeschwindigkeit entsprechend einstellen, es kann bestimmte Automatisierungsteilsysteme 142 einschalten oder es kann andere gewünschte Vorgänge durchführen.
Das Maschinen-/Bedienerüberwachungssystem 120 kann auch konfiguriert werden, um eine kontinuierliche Überwachung der Maschine 106 und des Bedieners 108 durchzuführen, auch nachdem der Bediener 108 authentifiziert wurde. Es kann beispielsweise sein, dass das System 120 die Bilderfassungsvorrichtung 102 steuert, um während des Betriebs intermittierend zusätzliche Bilder des Bedieners 108 zu erfassen. Sie kann dann eine Verarbeitung an diesen Bildern durchführen, um unterschiedliche Merkmale des Bedieners 108 zu identifizieren. Diese Merkmale können solche Dinge, wie etwa die Blickrichtung des Bedieners 108, die Aufmerksamkeit des Bedieners 108 (z. B. ob der Bediener 108 durch die Verwendung eines Mobilgeräts abgelenkt wird, nicht in eine geeignete Richtung schaut usw.), der Ermüdungsgrad des Bedieners 108 oder andere Elemente, von denen einige im Folgenden ausführlicher beschrieben werden, beinhalten.
2A ist ein Blockdiagramm, das ein Beispiel für ein Authentifizierungssystem 112 detaillierter darstellt. In dem dargestellten Beispiel in 2A beinhaltet das Authentifizierungssystem 112 veranschaulichend die Musteranalyselogik 150, die Bedieneridentifizierungslogik 152, die Datenspeicherzugriffslogik 154, die Authentifizierungsausgabegeneratorlogik 156 und es kann eine Vielzahl anderer Elemente 158 beinhalten. Die Musteranalyselogik 150 empfängt veranschaulichend das Muster und die Merkmale, die vom Mustererkennungssystem 110 erkannt wurden, und kann sie mit anderen Mustern oder Merkmalen (die im Datenspeicher 114 oder anderswo gespeichert sein können) vergleichen. Die Bedieneridentifizierungslogik 152 bestimmt, ob das Muster mit anderen Mustern übereinstimmt, um den Bediener 108 zu identifizieren. Beispielsweise kann es mehrere gespeicherte Muster oder Merkmale von Mustern geben, die unterschiedlichen Bedienern entsprechen. Durch Vergleichen des erkannten Musters (oder der Merkmale des erkannten Musters) mit den gespeicherten Mustern kann der bestimmte Bediener 108, von dem das Bild erfasst wurde, durch die Bedieneridentifizierungslogik 152 identifiziert werden.
Sobald die Identität des Bedieners 108 bekannt ist, greift der Datenspeicherzugriffslogik 154 veranschaulichend auf die Bedienerinformationen 116 für diesen Bediener zu. Die Informationen können eine Vielzahl verschiedener Arten von Informationen, wie etwa Berechtigungen oder autorisierte Funktionen für den Bediener, Bedienereinstellungen in Bezug auf verschiedene Einstellungen, Steuereinstellungen oder Maschineneinstellungen, die automatisch auf Grundlage der Identität des Bedieners 108 generiert werden, oder andere Elemente beinhalten.
Die Authentifizierungsausgabegeneratorlogik 156 erzeugt dann eine Ausgabe, welche die Bedienerinformationen 116 anzeigt. Bei der Ausgabe kann es sich beispielsweise um eine Steuerausgabe handeln, die dem Steuersystem 130 in der mobilen Maschine 106 bereitgestellt wird, um verschiedene Teilsysteme 134 auf Grundlage der Bedienerinformationen 116, die dem Bediener 108 entsprechen, zu steuern. Die Ausgabe kann die Bedienerinformation selbst sein, die von dem Steuersystem 130 weiterverarbeitet werden kann, um Steuersignale zu erzeugen, oder sie kann andere Formen annehmen.
2B ist ein Blockdiagramm, das ein Beispiel für ein Maschinen-/Bedienerüberwachungssystem 120 detaillierter darstellt. In dem dargestellten Beispiel in 2B beinhaltet das Maschinen-/Bedienerüberwachungssystem 120 veranschaulichend die Bedienerpositionslogik 160, die Bedienerermüdungslogik 162, die Bedieneraufmerksamkeitslogik 164, die Blickverfolgungslogik 166, die Vorgangswiederholungslogik 168, die Maschinenbetriebslogik 170, die Maschinenpositions-/Konfigurationslogik 172, die Produktivitätserfassungslogik 174 und kann eine Vielzahl anderer Elemente 176 beinhalten. Die Bedienerpositionslogik 160 identifiziert veranschaulichend eine Position des Bedieners 108 relativ zur Fahrerkabine der Maschine 106 auf Grundlage eines erfassten Bildes. Beispielsweise kann sie überprüfen, ob der Bediener mit angelegtem Sicherheitsgurt auf dem Sitz sitzt, ob der Bediener die mobile Maschine verlässt, außerhalb der mobilen Maschine steht usw. Dies kann verwendet werden, um zu bestimmen, welche Funktionen der mobilen Maschine 106 freigegeben oder außer Betrieb gesetzt werden sollen.
Die Bedienerermüdungslogik 162 identifiziert veranschaulichend einen Ermüdungsgrad des Bedieners basierend auf den erfassten Bildern. Beispielsweise kann sie zählen, wie oft der Bediener in einem bestimmten Zeitraum mit den Augen blinzelt. Sie kann anhand der Bewegung in der Kopfposition des Bedieners bestimmen, ob der Bediener einschläft oder kurz davor ist, einzuschlafen. Sie kann Müdigkeit auch auf andere Weise identifizieren.
Die Bedieneraufmerksamkeitslogik 164 identifiziert veranschaulichend, wohin der Bediener seine Aufmerksamkeit richtet. Beispielsweise kann es sein, dass die Logik 164 konfiguriert ist, zu identifizieren, wann der Bediener in eine geeignete Richtung blickt, wenn der spezifische Maschinenbetrieb ausgeführt wird. Sie kann identifizieren, ob der Bediener abgelenkt ist, weil er auf ein Mobilgerät schaut, oder ob er aus einem anderen Grund abgelenkt ist.
Die Blickverfolgungslogik 166 verfolgt veranschaulichend die Bewegung der Augen des Bedieners 108, um zu bestimmen, wo der Bediener 108 hinschaut, und kann auch Gesten des Bedieners 108 identifizieren. Dies kann beispielsweise bei der Anzeige eines Diagnose-Fehlercodes (DTC) oder einer anderen Warnmeldung nützlich sein. Wenn die Verfolgungslogik 166 bestimmt, dass die Augen des Bedieners die angezeigte Nachricht gesehen haben oder dass der Bediener nach dem Betrachten des DTC oder der Warnmeldung eine bestimmte Geste (wie etwa ein Kopfnicken) bereitgestellt hat, kann die Nachricht von der Anzeige verworfen oder die Anzeige kann anderweitig modifiziert werden. Dies ist nur ein Beispiel.
Die Vorgangswiederholungslogik 168 bestimmt, wann der Bediener einen wiederholten Vorgang durchführt. Wenn es sich bei der mobilen Maschine 106 beispielsweise um eine landwirtschaftliche Maschine handelt, kann es sein, dass der Bediener eine Vorgewende-Wende durchführt. Diese Art von Vorgang kann beinhalten, dass der Bediener ein Bodeneingriffsgerät aus dem Boden hebt, das Fahrzeug verlangsamt, das Fahrzeug dreht und acht Reihen in die eine oder eine andere Richtung bewegt, dann das Bodeneingriffsgerät absenkt und die Maschinengeschwindigkeit erhöht. Die Vorgangswiederholungslogik 168 identifiziert veranschaulichend, wann dies geschieht, so dass die Steuereingaben des Bedieners aufgezeichnet und automatisch wiederholt werden können (oder für das Steuersystem 130 wiedergegeben werden), wenn der Vorgang das nächste Mal durchgeführt werden soll.
Die Maschinenbetriebslogik 170 verwendet das Bild, um eine bestimmte Art von Arbeit zu identifizieren, die die Maschine ausführt. Beispielsweise kann es sein, dass der Bediener 108 die Maschine 106 verwendet, um einen nicht autorisierten Vorgang durchzuführen. Es kann beispielsweise sein, dass ein Grader verwendet wird, um Beton oder einen Gehweg zu entfernen. Dies kann beispielsweise festgestellt werden, wenn sich das von der Vorrichtung erfasste Bild außerhalb eines Bereichs nahe der Maschine befindet. Diese Informationen können verwendet werden, um das Kommunikationsteilsystem 141 zu steuern, um auf eine andere Weise eine Warnung an einen Manager zu senden.
Die Maschinenpositions-/Konfigurationslogik 172 identifiziert veranschaulichend Merkmale der Maschinenposition oder -konfiguration auf Grundlage des erfassten Bildes. Beispielsweise kann ein Bild eines Bedieners oder einer Fahrerkabine analysiert werden, um zu bestimmen, ob die Tür zur Fahrerkabine offen oder geschlossen ist. Sie kann auch die Position oder Konfiguration anderer Elemente auf der Maschine identifizieren. Diese Informationen können auch zur Steuerung der Maschine 106 verwendet werden.
Die Produktivitätserfassungslogik 174 erfasst beispielhaft Produktivitätsinformationen, während die Maschine 106 von diesem Bediener betrieben wird. Wenn die Maschine 106 beispielsweise ein Lader ist, können Gewichts- und/oder Volumensensoren 132 an der Maschine vorhanden sein, um die Materialmenge zu erfassen, die mit jeder Ladung bewegt wird (in Bezug auf Gewicht und/oder Volumen). Es können auch Sensoren 132 vorhanden sein, um die Anzahl der bewegten Ladungen zu zählen. In diesem Fall kann die Produktivität des identifizierten Bedieners bestimmt werden, indem Sensoreingaben von den Sensoren 132 empfangen und die Erfassungslogik 174 verwendet wird, um die Produktivitätsmetriken für den Bediener 108 zu erfassen und zu aggregieren. Sie können dann mit beliebigen anderen Informationen für den Bediener 108 aggregiert werden, da die Maschine weiß, dass es der Bediener 108 ist, der die Maschine bedient.
Es versteht sich, dass das Maschinen-/Bedienerüberwachungssystem 120 eine Vielzahl anderer Elemente 176 beinhalten kann. Die hier beschriebenen dienen nur als Beispiel.
2C ist ein Blockdiagramm, das ein Beispiel für ein Steuersystem 130 an der Maschine 106 zeigt. In dem dargestellten Beispiel in 2C beinhaltet das Steuersystem 130 veranschaulichend die Maschinenautomatisierungssteuerlogik 180, die Antriebs-/Lenkungssteuerlogik 182, die Empfindlichkeitssteuerlogik 184, die Aufzeichnungs-/Wiedergabesteuerlogik 186, die Warnsteuerlogik 188, die Warn-/Kommunikationssystemsteuerlogik 190, die Maschineneinstellungssteuerlogik 192 und kann eine Vielzahl anderer Elemente 194 beinhalten. Die Maschineneinstellungssteuerlogik 192 selbst kann die Sitzpositionslogik 196, die Temperaturlogik 198, die Tastenzuordnungslogik 200, die Funklogik 202, die Ventillogik 204 und die Steuerlogik 206 sowie die anderen Elemente 208 beinhalten.
Die Maschinenautomatisierungssteuerlogik 180 empfängt veranschaulichend ein Signal vom Bildverarbeitungssystem 104 und kann Automatisierungsteilsysteme 142 steuern. Wenn der Bediener beispielsweise ein relativ unerfahrener Bediener ist, kann die Logik 180 die Geschwindigkeitssteuerung, Lenkungssteuerung, Planiersteuerung oder andere Automatisierungssysteme einschalten, um den Bediener zu unterstützen. Wenn der Bediener relativ erfahren ist, werden diese Automatisierungsteilsysteme möglicherweise nicht automatisch eingeschaltet, sondern die Entscheidung, welche Teilsysteme verwendet werden sollen, kann dem Bediener überlassen bleiben. Dies ist nur ein Beispiel.
Die Antriebs-/Lenkungssteuerlogik 182 steuert veranschaulichend das Antriebs- bzw. Lenkungsteilsteuersystem 138 bzw. 140 auf Grundlage von Informationen von dem Bildverarbeitungssystem 104. Wenn beispielsweise die Bedienermüdungslogik 162 eine Ausgabe erzeugt, die angibt, dass der Bediener einschläft oder eingeschlafen ist, kann die Antriebs-/Lenkungssteuerlogik 182 ein Steuersignal erzeugen, um das Antriebssystem zu steuern, um die Bewegung der Maschine 106 zu stoppen. Wenn die Aufmerksamkeitslogik 164 eine Ausgabe erzeugt, die anzeigt, dass der Bediener unaufmerksam (oder abgelenkt) ist, kann die Logik 182 ein Steuersignal erzeugen, das das Lenkungsteilsystem 140 steuert, um automatisch einen gewünschten Kurs zu lenken und das Antriebsteilsystem 138 zu steuern, um das Fahrzeug zu verlangsamen, bis der Bediener nicht länger unaufmerksam oder abgelenkt ist.
Die Empfindlichkeitssteuerlogik 184 kann ein Steuersignal erzeugen, um die Empfindlichkeitseinstellungen verschiedener Stellglieder an der Maschine 106 zu steuern. Wenn zum Beispiel die Maschine unter Verwendung einer Joystick-Eingabe gesteuert wird, kann die Empfindlichkeit des Joysticks relativ hoch (oder auf einem relativ hohen Empfindlichkeitsgrad) eingestellt werden, wenn der Bediener ein relativ erfahrener Bediener ist. Wenn der Bediener jedoch unerfahren oder abgelenkt ist oder ein anderer Grund vorliegt, kann die Empfindlichkeitssteuerlogik 184 ein Steuersignal erzeugen, um die Empfindlichkeit des Joysticks automatisch zu verringern. Dies sind nur Beispiele und die Empfindlichkeit einer Vielzahl anderer Stellglieder und Bedienereingabemechanismen kann auf unterschiedlichste Weise gesteuert werden.
Die Maschineneinstellungssteuerlogik 192 kann Steuersignale erzeugen, um eine Vielzahl von unterschiedlichen Maschineneinstellungen auf Grundlage der durch das Bildverarbeitungssystem 104 erzeugten Informationen zu steuern oder einzustellen. Beispielsweise kann das Authentifizierungssystem 112 einen Hinweis auf die bevorzugten Einstellungen für den identifizierten Bediener 108 oder die zulässigen Einstellungen für diesen Bediener bereitstellen. In diesem Fall kann die Sitzpositionslogik 196 die Sitzposition in der Fahrerkabine der Maschine 106 auf Grundlage der Bedienerpräferenz auf eine vordefinierte Position einstellen. Die Temperaturlogik 198 kann das Heiz- und Kühlteilsystem in der Maschine 106 steuern, um eine gewünschte Temperatur einzustellen, die von dem Bediener 108 bevorzugt und durch die Bedienerinformationen 116 angegeben wird.
Es kann auch sein, dass Benutzereingabetasten in der Maschine 106 verschiedenen Funktionen zugeordnet werden können. In diesem Fall kann es sein, dass der Bediener 108 eine bevorzugte Tastenzuordnung bereitgestellt hat, die die verschiedenen Tasten verschiedenen Funktionen zuordnet, oder dass die Zuordnung aufgezeichnet und (als Bedienerinformation 146) durch das Steuersystem 130 gespeichert worden sein kann, als der Bediener 108 die Zuordnung das letzte Mal festgelegt hat. Die Tastenzuordnungslogik 200 kann somit die Tasten diesen Funktionen auf Grundlage der Bedienerinformationen 116, die dem identifizierten Bediener 108 entsprechen, vorab zuordnen.
Die Funklogik 202 kann die Funktasten bestimmten Stationen zuweisen und den Funk auf eine gewünschte Station abstimmen, und die Ventillogik 204 kann elektrohydraulische Ventileinstellungen oder andere Ventileinstellungen auf Grundlage der Identität des Bedieners steuern.
Die Steuerlogik 206 kann eine Vielzahl von verschiedenen Steuereinstellungen an der Maschine 106 auf Grundlage der Identität des Bedieners 108 und der diesem Bediener entsprechenden Bedienerinformationen 116 einstellen. An einer landwirtschaftlichen Erntemaschine kann sie beispielsweise automatisch die Einstellung der Rotordrehzahl, die Einstellung der Sieb- und Häckselöffnung, die Einstellung der Rotordrehzahl, die Einstellung der Maschinendrehzahl und eine Vielzahl anderer Einstellungen vornehmen.
Die Aufzeichnungs-/Wiedergabesteuerlogik 186 kann eine Angabe von dem Maschinen-/Bedienerüberwachungssystem 120 empfangen, die angibt, dass die Maschine im Begriff ist, einen sich wiederholenden Vorgang durchzuführen. In diesem Fall, wenn der sich wiederholende Vorgang aufgezeichnet werden soll, kann die Aufzeichnungs-/Wiedergabesteuerlogik 186 die Bedienereingaben aufzeichnen (unter Verwendung von Bedienereingabesensoren an den verschiedenen Bedienereingabemechanismen oder auf andere Weise). Die aufgezeichneten Informationen können identifiziert und im Datenspeicher 126 oder an einem anderen Ort gespeichert werden.
Die Logik 186 erkennt, wenn der sich wiederholende Vorgang wiedergegeben werden soll und kann Steuersignale erzeugen, um diese Informationen aus dem Datenspeicher 126 (oder aus einem anderen Datenspeicher) abzurufen und kann Steuersignale erzeugen, um die verschiedenen steuerbaren Teilsysteme 134 zu steuern, um somit den gespeicherten, sich wiederholenden Vorgang zu wiederholen.
Die Warnsteuerlogik 188 steuert veranschaulichend die verschiedenen Warn- und Diagnose-Fehlercodenachrichten, die für den Bediener 108 angezeigt oder anderweitig eingeblendet werden können. Beispielsweise kann ein Fehlercode angezeigt werden, der darauf hinweist, dass die Maschine in Kürze gewartet werden muss. Die Warnsteuerlogik 188 kann eine Eingabe von der Blickverfolgungslogik 166 empfangen, die angibt, dass der Bediener die Warnung gesehen und eine Geste ausgeführt hat (wie etwa Nicken mit dem Kopf usw.), die angibt, dass er die Warnung gesehen hat. In diesem Fall kann die Warnung von der Anzeige (oder einem anderen Bedienerschnittstellenmechanismus) entfernt werden, ohne dass der Bediener 108 seine Hände von den anderen Bedienelementen nehmen muss.
Die Warn-/Kommunikationssystemsteuerlogik 190 kann eine Warnung erzeugen und an einen Manager oder ein anderes Remote-System übermitteln. Wenn die Maschinenbetriebslogik 170 zum Beispiel identifiziert, dass die Maschine einen Vorgang durchführt, der nicht autorisiert ist, kann die Logik 190 eine Warnung erzeugen, die dies angibt, und kann auch das Kommunikationsteilsystem 141 steuern, um diese Warnung an ein Remote-System zu kommunizieren.
Dies sind nur Beispiele dafür, wie das Steuersystem 130 verwendet werden kann. Andere Elemente 194 können auch eine Vielzahl anderer Steuersignale erzeugen.
Die 3A und 3B (hierin gemeinsam als 3 bezeichnet) zeigen ein Ablaufdiagramm, das ein Beispiel für den Betrieb der in 1 dargestellten Architektur 100 (und die verschiedenen Elemente, die in den 2A-2C dargestellt sind) beim Erfassen eines oder mehrerer Bilder unter Verwendung der Bilderfassungsvorrichtung 102, Verarbeiten dieser Bilder mit dem Bildverarbeitungssystem 104 und Steuern der mobilen Maschine 106 auf Grundlage der verarbeiteten Bilder dargestellt. Das Bildverarbeitungssystem 104 greift zunächst auf die Bilderfassungsvorrichtung 102 zu, um sie zu steuern, damit ein Bild des Bedieners 108 erfasst wird. Sie kann dies automatisch tun, oder sie kann den Bediener 108 anweisen, die Bilderfassungsvorrichtung 102 zu bedienen, um ein Bild zu erfassen und an das Bildverarbeitungssystem 104 zu senden. Die Bilderfassungsvorrichtung 102 kann auf andere Weise und auch durch andere Komponenten gesteuert werden. Der Zugriff auf die Bilderfassungsvorrichtung 102 wird durch Block 220 im Ablaufdiagramm von 3 angezeigt. Es wird darauf hingewiesen, dass sich die Bilderfassungsvorrichtung 102 auf einem Mobilgerät befinden kann, wie durch Block 222 angezeigt, auf der Maschine 106, wie durch Block 224 angezeigt, auf einer Fernsteuerstation oder einem Remote-Steuersystem, wie durch Block 226 angezeigt, oder auf einer anderen Vorrichtung, wie durch Block 228 angezeigt.
Die Bilderfassungsvorrichtung 102 führt dann eine bedienerbezogene Bilderfassung durch, um ein bedienerbezogenes Bild zu erfassen. Dies wird durch Block 230 angezeigt. Beispielsweise kann sie eine Gesichtsbilderfassung durchführen, die ein Gesichtsbild des Bedieners 108 erfasst. Dies wird durch Block 232 angezeigt. Sie kann einen Netzhautscan durchführen, der ein Netzhautbild erfasst, wie durch Block 234 angezeigt. Sie kann andere biometrische Daten in anderen bedienerbezogenen Bildern erfassen, wie durch Block 236 angezeigt. Sie kann auch eine Vielzahl anderer Arten von Bildern erfassen, was durch Block 238 angezeigt wird.
Das Bild wird dann am Mustererkennungssystem 110 empfangen. Das Bild kann von der Bilderfassungsvorrichtung 110 gesendet oder von dem Mustererkennungssystem 102 abgerufen werden, oder es kann auf andere Weise empfangen werden. Das Empfangen des erfassten Bildes am Mustererkennungssystem 110 wird durch Block 240 im Ablaufdiagramm von 3 angezeigt. Wie oben erörtert, kann sich das Mustererkennungssystem 110 (und tatsächlich das Bildverarbeitungssystem 104) auf einem Mobilgerät befinden, wie durch Block 242 angezeigt. Es kann sich in der Cloud oder in einem anderen Remote-Rechensystem befinden, wie durch Block 244 angezeigt. Es kann sich auf der mobilen Maschine 106 befinden, wie durch Block 246 angezeigt, oder an anderen Orten (wie etwa einer Remote-Steuerstation oder einem anderen Ort), wie durch Block 248 angezeigt.
Das Mustererkennungssystem 110 führt dann eine Mustererkennung durch, um Merkmale des Bildes zu identifizieren. Dies wird durch den Block 250 im Flussdiagramm von 3 angezeigt. Wenn das Bild beispielsweise ein Gesichtsbild ist, kann es Muster oder andere Merkmale in diesem Bild identifizieren. Wenn es sich um einen Netzhautscan handelt, kann es auch Merkmale dieses Bildes identifizieren.
Die erkannten Merkmale werden dann dem Authentifizierungssystem 112 bereitgestellt, das auf Bedienerauthentifizierungsaufzeichnungen zugreift (die sich im Datenspeicher 114 oder anderswo befinden können), um den Bediener zu identifizieren. Dies wird durch Block 252 angezeigt. Die Musteranalyselogik 150 kann die Mustermerkmale identifizieren und die Bedieneridentifizierungslogik 152 kann diese Merkmale mit Bedienerdaten vergleichen, um den bestimmten Bediener zu identifizieren. Dies wird durch Blöcke 254 und 256 im Ablaufdiagramm von 3 angezeigt. Der Bediener 108 kann auf andere Weise auf Grundlage der Musterinformationen identifiziert werden, die in dem Bild erkannt werden, was durch Block 258 angezeigt wird.
Die Datenspeicherzugriffslogik 154 (im Authentifizierungssystem 112) greift dann auf Bedienerinformationen 116 im Datenspeicher 114 zu, und die Authentifizierungsausgabegeneratorlogik 156 erzeugt basierend auf diesen Informationen eine Authentifizierungsausgabe. Dies wird durch Block 260 im Ablaufdiagramm von 3 angezeigt. Die Ausgabe kann Bedienerinformationen 116 angeben, oder es kann sich um Steuerausgaben handeln, die aus diesen Informationen abgeleitet werden. Beispielsweise kann die Ausgabe Berechtigungen identifizieren, die diesem Bediener 108 gewährt werden, was die bestimmte Funktionalität auf der Maschine 106 angeben kann, die freigegeben werden sollte. Das Erzeugen einer Ausgabe, die Bedienerberechtigungen angibt, wird durch Block 262 angezeigt. Der Ausgang kann die Maschineneinstellungen identifizieren oder Steuersignale enthalten, die zur Einstellung dieser Maschineneinstellungen verwendet werden. Dies wird durch Block 264 angezeigt. Das Authentifizierungssystem kann Warnungs- oder Aktualisierungsinformationen für diesen Bediener erhalten und ausgeben, wie durch Block 266 angezeigt. Beispielsweise können die Aktualisierungsinformationen die bisherige Leistung des Bedieners auf dieser bestimmten Maschine anzeigen. Es kann einen Vergleich der Leistung des Bedieners (in Bezug auf die Produktivität) im Vergleich zu anderen Bedienern anzeigen. Es kann eine Angabe ausgeben, wie der Bediener in Bezug auf Sicherheit, Geschwindigkeit, Effizienz oder eine Vielzahl anderer Metriken arbeitet.
Die Authentifizierungsausgabe auf Grundlage der Bedienerinformationen 116 (oder Authentifizierungsaufzeichnungen oder anderer Daten in diesen Informationen) kann auch auf eine Vielzahl anderer Arten erzeugt werden. Dies wird durch Block 268 angezeigt.
Das Steuersystem 130 erzeugt dann Steuersignale, um die Maschine 106 auf Grundlage der Ausgabe von dem Authentifizierungssystem 112 zu steuern. Dies wird durch Block 270 im Ablaufdiagramm von 3 angezeigt. Zum Beispiel kann eine beliebige der vorstehend beschriebenen Logik in Bezug auf 2C Steuersignale erzeugen, um die Maschine 106 auf die entsprechende Weise zu steuern. Einige Beispiele beinhalten das Steuern der mobilen Maschine 106 zur Freigabe autorisierter Funktionen oder autorisierter Teilsysteme 134. Dies wird durch Block 272 angezeigt. Die Maschineneinstellungssteuerlogik 192 kann Steuersignale erzeugen, um Maschineneinstellungen festzulegen, wie durch Block 274 angezeigt. Die Warnsteuerlogik 188 kann Steuersignale erzeugen, um Warnungen und Aktualisierungen zu erzeugen, wie durch Block 276 angezeigt. Das Steuersystem 130 kann eine Vielzahl anderer Steuersignale erzeugen, um die mobile Maschine 106 auf Grundlage der Ausgabe von dem Authentifizierungssystem 112 zu steuern. Dies wird durch Block 278 im Ablaufdiagramm von 3 angezeigt.
Das Steuersystem 130 wendet dann diese Steuersignale auf die steuerbaren Teilsysteme 134 an, um die steuerbaren Teilsysteme 134 unter Verwendung dieser Steuersignale zu steuern. Dies wird durch Block 280 angezeigt.
Es kann auch sein, dass das Maschinen-/Bedienerüberwachungssystem 120 bereitgestellt und konfiguriert ist, um eine kontinuierliche Überwachung des Bedieners 108 während des Maschinenbetriebs durchzuführen. Ist dies der Fall, wird, wie durch Block 282 angezeigt, die Überwachung durch das System 120 fortgesetzt. Dies wird durch Block 284 angezeigt, und ein Beispiel hierfür wird im Folgenden in Bezug auf 4 angezeigt. Der Vorgang wird auf diese Weise so lange fortgesetzt, bis der Vorgang abgeschlossen ist. Dies wird durch Block 286 im Ablaufdiagramm von 3 angezeigt.
4 ist ein Ablaufdiagramm, das ein Beispiel für den Betrieb des Maschinen-/Bedienerüberwachungssystems 120 bei der Erzeugung von Informationen veranschaulicht, die verwendet werden, um die mobile Maschine 106 auf Grundlage des fortgesetzten Betriebs der Maschine 106 durch den Bediener 108 zu steuern. Die Bilderfassungsvorrichtung 102 erfasst zusätzliche Bilder des Bedieners 108, um diese Art der Überwachung durchzuführen. Dies wird durch Block 288 angezeigt. Die Bilder können intermittierend oder periodisch oder nach anderen zeitabhängigen Kriterien erfasst werden. In einem weiteren Beispiel können sie auf Grundlage anderer Kriterien erfasst werden, wie etwa einer Änderung der physischen Position des Bedieners, einer Änderung der Leistungs- oder Steuereingaben an der Maschine 106 oder auf andere Weise.
Sobald die zusätzlichen Bilder erfasst wurden, führt das Mustererkennungssystem 110 erneut eine Bildverarbeitung durch, um Bediener-/Maschinenmerkmale auf Grundlage der Bilder zu identifizieren. Dies wird durch Block 290 angezeigt. Beispielsweise kann das System 110 Ausgaben erzeugen, die von der Bedienerpositionslogik 160 verwendet werden, um die Position des Bedieners 108 zu identifizieren (wie etwa, ob der Bediener auf dem Sitz sitzt usw.). Dies wird durch Block 292 angezeigt.
Die Ausgaben des Mustererkennungssystems 110 können es der Bedienerermüdungslogik 162 ermöglichen, einen Ermüdungsgrad des Bedieners zu bestimmen. Wenn zum Beispiel der Kopf des Bedieners gebeugt ist, oder wenn der Bediener häufig blinkt oder seine Augen für längere Zeiträume geschlossen hat oder sich nicht mehr bewegt hat (was anzeigt, dass der Bediener möglicherweise schläft, kann dies einen Hinweis auf den Ermüdungsgrad des Bedieners liefern. Das Identifizieren der Ermüdung des Bedieners auf Grundlage des Bildes wird durch Block 294 angezeigt.
Die Ausgabe des Systems 110 kann ermöglichen, dass die Bedieneraufmerksamkeitslogik 164 eine Ausgabe erzeugt, die die Bedieneraufmerksamkeit anzeigt. Dies kann auf Grundlage einer Analyse, wohin sich der Blick des Bedieners richtet (relativ dazu, wohin er schauen soll), oder auf andere Weise erzeugt werden. Das Erzeugen einer Ausgabe, die indikativ für die Aufmerksamkeit des Bedieners ist, wird durch Block 296 angezeigt.
Die Ausgaben vom System 110 können es der Blickverfolgungslogik 166 ermöglichen, den Blick des Bedieners 108 zu verfolgen. Dies kann ein Hinweis darauf sein, wohin der Bediener blickt, ob er bestimmte Warnungen, Diagnosefehlercodes usw. gesehen hat. Das Identifizieren der Blickrichtung des Bedieners wird durch Block 298 angezeigt. Die Ausgaben können eine Vorgangswiederholungslogik 168 ermöglichen, um zu bestimmen, dass der Bediener 108 im Begriff ist, einen wiederholten Vorgang durchzuführen oder diesen gerade durchführt. Dies wurde oben erörtert und das Erkennen dieser Merkmale wird durch Block 300 angezeigt. Die Ausgaben können Informationen bereitstellen, die es der Maschinenbetriebslogik 170 ermöglichen, den bestimmten Maschinenbetrieb, der durchgeführt wird, zu identifizieren. Zum Beispiel kann ein Bild der Umgebung um die Maschine 106 aufgenommen werden, um unter anderem die Art der Oberfläche zu identifizieren, auf der die Maschine arbeitet. Das Identifizieren von Merkmalen, die die Art des Maschinenbetriebs angeben, wird durch Block 302 angezeigt. Die Informationen können es der Maschinenpositions-/Konfigurationslogik 172 ermöglichen, die Position der Maschine zu bestimmen (z. B. ob eine Tür offen ist oder andere Dinge). Dies wird durch Block 304 angezeigt. Die Informationen können von einer anderen Überwachungslogik verwendet werden, um Bediener- oder Maschinenmerkmale auch auf eine Vielzahl anderer Arten zu identifizieren, was durch Block 306 angezeigt wird.
Das Maschinen-/Bedienerüberwachungssystem 120 erzeugt dann ein Ausgangssignal, das die durch die verschiedenen Logikelemente im Maschinen-/Bedienerüberwachungssystem 120 identifizierten Überwachungsinformationen anzeigt. Das Erzeugen des Ausgangssignals wird durch Block 308 im Ablaufdiagramm von 4 angezeigt.
Das Überwachungssystemausgangssignal kann der mobilen Maschine 106 auf verschiedene Weise bereitgestellt werden. Beispielsweise kann es als Eingabe für das Steuersystem 130 vorgesehen sein. Unabhängig davon, wie es von der Maschine 106 empfangen wird, verwendet das Steuersystem 130 es veranschaulichend, um Steuersysteme zu generieren, die verwendet werden können, um eines oder mehrere der steuerbaren Teilsysteme 134 auf Grundlage des Monitorsystemausgangssignals zu steuern. Dies wird durch Block 310 im Flussdiagramm von 4 angezeigt.
Beispielsweise kann die Maschinenautomatisierungssteuerlogik 180 Automatisierungsteilsysteme 142 steuern, um die verschiedenen Automatisierungsstufen zu steuern, die an der Maschine 106 aktiviert werden. Einige Beispiele dafür wurden oben erörtert und es wird durch Block 312 im Ablaufdiagramm von 4 angezeigt.
Die Antriebs-/Lenkungssteuerlogik 182 kann die Antriebs- und Lenkungsteilsysteme steuern, um die Maschine zu verlangsamen oder anzuhalten oder die Lenkung der Maschine zu steuern oder sie auf andere Weise zu steuern. Dies wird durch Block 314 angezeigt.
Die Empfindlichkeitssteuerlogik 184 kann ein Steuersignal erzeugen, um die Empfindlichkeit der verschiedenen Teilsysteme einzustellen. Wie oben erörtert, kann dies auf Grundlage des Erfahrungsniveaus des Bedieners auf der Grundlage aktuell identifizierter Bedienermerkmale (wie etwa Ermüdung, Ablenkung usw.) erfolgen. Das Steuern der Empfindlichkeit wird durch Block 316 im Ablaufdiagramm von 4 angezeigt.
Die Maschineneinstellungssteuerlogik 192 kann Steuersignale erzeugen, um verschiedene Einstellungen an der Maschine 106 zu steuern. Beispielsweise kann es automatisch die Sitzposition, die Funkstation, die Ventileinstellungen, die Kabinentemperatur, die Tastenzuordnung oder andere Steuereinstellungen steuern. Das Steuern der Maschineneinstellungen wird durch Block 318 angezeigt.
Die Aufzeichnungs-/Wiedergabesteuerlogik 186 kann Steuersignale erzeugen, um einen sich wiederholenden Vorgang aufzuzeichnen oder wiederzugeben. Beispielsweise kann sie die Bedienereingaben aufzeichnen, wenn der Bediener im Begriff ist, einen sich wiederholenden Vorgang durchzuführen, und sie kann diese Eingaben automatisch wiedergeben, um die Maschine 106 automatisch zu steuern, um die sich wiederholenden Vorgänge durchzuführen, wenn diese benötigt werden. Das Erzeugen von Steuersignalen zum Aufzeichnen und Wiedergeben sich wiederholender Vorgänge wird durch Block 320 angezeigt.
Die Warnsteuerlogik 188 kann Steuersignale erzeugen, um Diagnosefehlercodewarnungen auf Grundlage einer Bedienerbestätigung oder anderer Merkmale zu steuern. Wenn das System 120 zum Beispiel eine Ausgabe sendet, die angibt, dass der Bediener eine Warnmeldung gesehen und verworfen hat (wie etwa unter Verwendung einer Kopfgeste), kann die Warnsteuerlogik 188 die Benutzerschnittstellenanzeige steuern, um diese Warnung zu verwerfen. Dies wird durch Block 322 angezeigt.
Die Warn-/Kommunikationssystemsteuerlogik 190 kann auch Steuersignale erzeugen, um eine Warnung zu erzeugen (z. B. dass die Maschine 106 unsachgemäß verwendet wird) und diese Warnung an ein Remote-System (wie etwa das System eines Managers oder anderswo) senden. Das Steuern des Warn- und Kommunikationsteilsystems 141 wird durch Block 324 im Ablaufdiagramm von 4 angezeigt. Steuersignale können auf Grundlage einer Ausgabe von dem Maschinen-/Bedienerüberwachungssystem 120 auf eine Vielzahl anderer Arten erzeugt werden, um eine Vielzahl anderer steuerbarer Teilsysteme zu steuern. Dies wird durch Block 326 angezeigt.
Außerdem erkennt die Produktivitätserfassungslogik 174 in einem Beispiel Produktivitätssensordaten für diesen bestimmten Bediener/Betrieb. Wenn der Bediener 108 zum Beispiel durch das Authentifizierungssystem 112 identifiziert wurde, können Produktivitätsmetriken für diesen Bediener auf verschiedene Weise erfasst und aggregiert werden. Sie können mit einer relativ feinen Granularität erfasst werden (z. B. eine Menge an Material, die pro Grabvorgang bewegt wird) oder sie können aggregiert und auf einer weniger granularen Ebene erzeugt werden (z. B. die Menge an Material, die pro Gallone Brennstoff bewegt wird, die für diesen Bediener für diese Schicht verwendet wird). Das Erkennen von Produktivitätssensordaten für diesen Bediener und/oder diesen Betrieb wird durch Block 328 angezeigt. Das Durchführen von Aggregationen oder anderen Verarbeitungen dieser Informationen wird durch Block 330 angezeigt. An einem bestimmten Punkt kann das Maschinen-/Bedienerüberwachungssystem 120 die Produktivitätsinformationen entweder auf dem Datenspeicher 114, dem Datenspeicher 126 oder einem Remote-Datenspeicher speichern. Dies wird durch Block 332 angezeigt.
Diese Art der Überwachung kann durch das Maschinen-/Bedienerüberwachungssystem 120 durchgeführt werden, bis der aktuelle Betrieb abgeschlossen ist, das System ausgeschaltet ist oder andere Kriterien erfüllt sind. Das Fortsetzen des Betriebs auf diese Weise wird durch Block 334 im Ablaufdiagramm von 4 dargestellt.
In der vorliegenden Diskussion wurden Prozessoren und Server erwähnt. In einer Ausführungsform umfassen die Prozessoren und Server Computerprozessoren mit zugehörigem Speicher und Zeitsteuerungsschaltungen, die nicht separat gezeigt sind. Sie sind funktionale Teile der Systeme oder Vorrichtungen, zu denen sie gehören, und werden von diesen aktiviert und ermöglichen die Funktionalität der anderen Komponenten oder Elemente in diesen Systemen.
Außerdem wurden eine Reihe von Anzeigen der Benutzerschnittstelle erörtert. Sie können mehrere verschiedene Formen annehmen und können mehrere verschiedene benutzergesteuerte Eingabemechanismen darauf aufweisen. Beispielsweise können die vom Benutzer aktivierbaren Eingabemechanismen Textfelder, Kontrollkästchen, Symbole, Links, Dropdown-Menüs, Suchfelder usw. sein. Sie können auch auf unterschiedlichste Weise betätigt werden. Sie können beispielsweise mit einer Point-and-Click-Vorrichtung (z. B. Trackball oder Maus) betätigt werden. Sie können über Hardwaretasten, Schalter, einen Joystick oder eine Tastatur, Daumenschalter oder Daumenpads usw. betätigt werden. Sie können auch über eine virtuelle Tastatur oder andere virtuelle Stellglieder betätigt werden. Wenn der Bildschirm, auf dem sie angezeigt werden, ein berührungsempfindlicher Bildschirm ist, können sie außerdem mit Berührungsgesten betätigt werden. Wenn die Vorrichtung, die sie anzeigt, über Spracherkennungskomponenten verfügt, können sie auch über Sprachbefehle gesteuert werden.
Eine Reihe von Datenspeichern wurde ebenfalls erörtert. Es wird darauf hingewiesen, dass sie jeweils in mehrere Datenspeicher unterteilt werden können. Alle können lokal für die auf sie zugreifenden Systeme sein, alle können entfernt sein, oder einige können lokal sein, während andere entfernt sind. Alle diese Konfigurationen sind hierin vorgesehen.
Außerdem zeigen die Figuren eine Reihe von Blöcken mit Funktionen, die jedem Block zugeordnet sind. Es wird darauf hingewiesen, dass weniger Blöcke verwendet werden können, so dass die Funktionalität von weniger Komponenten übernommen wird. Außerdem können mehr Blöcke verwendet werden, wobei die Funktionalität auf mehrere Komponenten verteilt ist.
5 ist ein Blockdiagramm der Architektur 100, dargestellt in 1, mit der Ausnahme, dass sie mit Elementen in einer Remote-Serverarchitektur 500 kommuniziert. In einem Beispiel kann die Remote-Serverarchitektur 500 Rechen-, Software-, Datenzugriffs- und Speicherdienste bereitstellen, die keine Kenntnisse des Endbenutzers über den physischen Standort oder die Konfiguration des Systems erfordern, das die Dienste bereitstellt. In verschiedenen Beispielen können Remote-Server die Dienste über ein Weitverkehrsnetzwerk, wie etwa das Internet, unter Verwendung geeigneter Protokolle bereitstellen. So können beispielsweise entfernte Server Anwendungen über ein Weitverkehrsnetzwerk bereitstellen und über einen Webbrowser oder eine andere Computerkomponente darauf zugreifen. Software oder Komponenten, die in 1 gezeigt sind, sowie die zugehörigen Daten können auf Servern an einem Remote-Standort gespeichert werden. Die Computerressourcen in einer Remote-Serverumgebung können an einem Remote-Standort des Rechenzentrums konsolidiert oder verteilt werden. Remote-Server-Infrastrukturen können Dienste über gemeinsam genutzte Rechenzentren bereitstellen, obwohl sie für den Benutzer als ein einziger Zugangspunkt erscheinen. Somit können die hierin beschriebenen Komponenten und Funktionen von einem Remote-Server an einem Remote-Standort über eine Remote-Server-Architektur bereitgestellt werden. Alternativ können sie von einem herkömmlichen Server bereitgestellt werden, oder sie können direkt auf Endgeräten oder auf andere Weise installiert werden.
In dem dargestellten Beispiel in 5 sind einige Elemente ähnlich zu den in 1 gezeigten und sie sind ähnlich nummeriert. 5 zeigt insbesondere, dass sich die Bilderfassungsvorrichtung 102 und das Bildverarbeitungssystem 104 an einer Vielzahl von verschiedenen Orten befinden können, wie etwa auf einem Mobilgerät 504, an einem Remote-Arbeitsplatz 506, auf der Maschine 106, in der Cloud 502 oder anderswo. Daher greift die mobile Maschine 106 über den Remote-Serverstandort 502 auf diese Systeme zu.
5 veranschaulicht darüber hinaus ein weiteres Beispiel für eine Remote-Serverarchitektur. 5 zeigt, dass auch in Betracht gezogen wird, dass sich einige Elemente von 1 an dem Remote-Serverstandort 502 angeordnet sind, während andere dort nicht angeordnet sind. So kann beispielsweise der Datenspeicher 114 oder das Mustererkennungssystem 110 an einem von Standort 502 getrennten Standort angeordnet sein und es kann über den Remote-Server an Standort 502 darauf zugegriffen werden. Unabhängig davon, wo sie sich befinden, können die Elemente 106, 504 und/oder 506 über ein Netzwerk (entweder ein Weitverkehrsnetzwerk oder ein lokales Netzwerk) direkt auf sie zugreifen, sie können an einem Remote-Standort von einem Dienst gehostet, sie können als Dienst bereitgestellt oder auf sie kann von einem Verbindungsdienst zugegriffen werden, der sich an einem Remote-Standort befindet. Außerdem können die Daten an nahezu jedem Ort gespeichert und zeitweise von Interessenten abgerufen oder an diese weitergeleitet werden. So können beispielsweise physikalische Träger anstelle oder zusätzlich zu elektromagnetischen Strahlungsträgern verwendet werden. In einem solchen Beispiel, in dem die Netzabdeckung schlecht oder nicht vorhanden ist, kann eine andere mobile Maschine (beispielsweise ein Tankwagen) über ein automatisches System zur Informationserfassung verfügen. Wenn sich die Maschine 106 zum Betanken in der Nähe des Tankwagens befindet, erfasst das System die Informationen automatisch von der Maschine 106 über eine beliebige drahtlose Ad-hoc-Verbindung. Die gesammelten Informationen können dann an das Hauptnetz weitergeleitet werden, wenn der Tankwagen einen Ort erreicht, an dem es eine Mobilfunkabdeckung (oder eine andere drahtlose Abdeckung) gibt. So kann beispielsweise der Tankwagen in einen überdachten Ort einfahren, wenn er zum Betanken anderer Maschinen fährt oder wenn er sich an einem Haupttanklager befindet. Alle diese Architekturen werden hierin betrachtet. Darüber hinaus können die Informationen auf der Maschine 106 gespeichert werden, bis die Maschine 106 einen Bereich mit Netzabdeckung erreicht. Die Maschine 106 selbst kann dann die Informationen an das Hauptnetzwerk senden.
Es wird auch darauf hingewiesen, dass die Elemente von 1, oder Teile davon, auf einer Vielzahl von unterschiedlichen Geräten angeordnet werden können. Einige dieser Vorrichtungen beinhalten Server, Desktop-Computer, Laptops, Tablet-Computer oder andere mobile Geräte, wie etwa Palmtop-Computer, Mobiltelefone, Smartphones, Multimedia-Player, persönliche digitale Assistenten usw.
6 ist ein vereinfachtes Blockdiagramm eines veranschaulichenden Beispiels einer tragbaren oder mobilen Computervorrichtung, die als tragbare Vorrichtung 16 eines Benutzers oder Kunden verwendet werden kann, in der das vorliegende System (oder Teile davon) eingesetzt werden kann. So kann beispielsweise ein Mobilgerät in der Fahrerkabine der Maschine 106 eingesetzt werden, um die Informationen zu empfangen, zu erzeugen, zu verarbeiten oder anzuzeigen. Die 7-8 sind Beispiele für tragbare oder mobile Geräte.
6 stellt ein allgemeines Blockdiagramm der Komponenten eines Endgeräts 16 bereit, die einige der in 1 dargestellten Komponenten ausführen kann, die mit ihnen interagieren, oder beides. In der Vorrichtung 16 ist eine Kommunikationsverbindung 13 vorgesehen, die es der tragbaren Vorrichtung ermöglicht, mit anderen Computervorrichtungen zu kommunizieren, und in einigen Beispielen einen Kanal zum automatischen Empfangen von Informationen, beispielsweise durch Scannen, vorsieht. Beispiele für Kommunikationsverbindungen 13 beinhalten das Zulassen der Kommunikation über ein oder mehrere Kommunikationsprotokolle, wie etwa drahtlose Dienste, die verwendet werden, um einen zellularen Zugang zu einem Netzwerk zu ermöglichen, sowie Protokolle, die lokale drahtlose Verbindungen zu Netzwerken bereitstellen.
In anderen Beispielen können Anwendungen auf einer entfernbaren „Secure Digital“-(SD-)Karte empfangen werden, die mit einer Schnittstelle 15 verbunden ist. Die Schnittstelle 15 und die Kommunikationsverbindungen 13 kommunizieren mit einem Prozessor 17 (der auch die Prozessoren aus den vorhergehenden FIG verkörpern kann) über einen Bus 19, der ebenfalls mit dem Speicher 21 und den Ein-/Ausgabekomponenten (E/A) 23 sowie dem Taktgeber 25 und dem Ortungssystem 27 verbunden ist.
E/A-Komponenten 23 sind in einem Beispiel vorgesehen, um Ein- und Ausgabeoperationen zu erleichtern. E/A-Komponenten 23 für verschiedene Beispiele der Vorrichtung 16 können Eingabekomponenten, wie etwa Tasten, Tastsensoren, optische Sensoren, Mikrofone, Touchscreens, Näherungssensoren, Beschleunigungssensoren, Orientierungssensoren, und Ausgabekomponenten, wie etwa eine Anzeigevorrichtung, ein Lautsprecher und/oder ein Druckeranschluss beinhalten. Es können auch andere E/A-Komponenten 23 verwendet werden.
Der Taktgeber 25 umfasst veranschaulichend eine Echtzeituhrkomponente, die eine Uhrzeit und ein Datum ausgibt. Dieser kann auch, veranschaulichend, Timing-Funktionen für Prozessor 17 bereitstellen.
Das Ortungssystem 27 beinhaltet veranschaulichend eine Komponente, die eine aktuelle geografische Position der Vorrichtung 16 ausgibt. Dies kann beispielsweise einen globalen Positionierungssystem-(GPS-)Empfänger, ein LORAN-System, ein Koppelnavigationssystem, ein zellulares Triangulationssystems oder ein anderes Positionierungssystems beinhalten. Es kann beispielsweise auch eine Karten- oder Navigationssoftware beinhalten, die gewünschte Karten, Navigationsrouten und andere geografische Funktionen erzeugt.
Der Speicher 21 speichert das Betriebssystem 29, die Netzwerkeinstellungen 31, die Anwendungen 33, die Anwendungskonfigurationseinstellungen 35, den Datenspeicher 37, die Kommunikationstreiber 39 und die Kommunikationskonfigurationseinstellungen 41. Der Speicher 21 kann alle Arten von greifbaren flüchtigen und nichtflüchtigen computerlesbaren Speichervorrichtungen beinhalten. Er kann auch Computerspeichermedien beinhalten (siehe unten). Der Speicher 21 speichert computerlesbare Anweisungen, die, wenn sie von Prozessor 17 ausgeführt werden, den Prozessor veranlassen, computerimplementierte Schritte oder Funktionen gemäß den Anweisungen auszuführen. Der Prozessor 17 kann von anderen Komponenten aktiviert werden, um auch deren Funktionalität zu verbessern.
7 zeigt ein Beispiel, bei dem die Vorrichtung 16 ein Tablet-Computer 600 ist. In 7 wird der Computer 600 mit dem Bildschirm 602 der Benutzerschnittstelle dargestellt. Der Bildschirm 602 kann ein Touchscreen oder eine stiftfähige Schnittstelle sein, die Eingaben von einem Stift oder Stylus empfängt. Er kann auch eine virtuelle Bildschirmtastatur verwenden. Natürlich kann es auch über einen geeigneten Befestigungsmechanismus, wie etwa eine drahtlose Verbindung oder einen USB-Anschluss, an eine Tastatur oder eine andere Benutzereingabevorrichtung angeschlossen werden. Der Computer 600 kann auch illustrativ Spracheingaben empfangen.
8 zeigt, dass die Vorrichtung ein Smartphone 71 sein kann. Das Smartphone 71 verfügt über ein berührungsempfindliches Display 73, das Symbole oder Grafiken oder andere Benutzereingabemechanismen 75 anzeigt. Die Mechanismen 75 können von einem Benutzer verwendet werden, um Anwendungen auszuführen, Anrufe zu tätigen, Datenübertragungsvorgänge durchzuführen usw. Im Allgemeinen ist das Smartphone 71 auf einem mobilen Betriebssystem aufgebaut und bietet eine fortschrittlichere Rechenleistung und Konnektivität als ein Funktionstelefon.
Es ist zu beachten, dass andere Formen der Vorrichtung 16 möglich sind.
9 ist ein Beispiel für eine Computerumgebung, in der Elemente von 1, oder Teile davon, (zum Beispiel) eingesetzt werden können. Unter Bezugnahme auf 9 beinhaltet ein Beispielsystem zur Implementierung einiger Ausführungsformen eine Rechenvorrichtung in Form eines Computers 810. Die Komponenten des Computers 810 können, ohne hierauf beschränkt zu sein, eine Verarbeitungseinheit 820 (die einen Prozessor oder Server aus den vorstehenden FIGUREN beinhalten kann), einen Systemspeicher 830 und einen Systembus 821 umfassen, die verschiedene Systemkomponenten einschließlich des Systemspeichers mit der Verarbeitungseinheit 820 koppeln. Der Systembus 821 kann eine von mehreren Arten von Busstrukturen sein, einschließlich eines Speicherbusses oder einer Speichersteuerung, eines Peripheriebusses und eines lokalen Busses mit einer Vielzahl von Busarchitekturen. Speicher und Programme, die in Bezug auf 1 beschrieben sind, können in den entsprechenden Teilen von 9 gezeigten Ausrichtung.
Der Computer 810 beinhaltet typischerweise mehrere computerlesbare Medien. Computerlesbare Medien können alle verfügbaren Medien sein, auf die der Computer 810 zugreifen kann, und umfassen sowohl flüchtige als auch nichtflüchtige Medien, Wechselmedien und nicht entfernbare Medien. Computerlesbare Medien können beispielsweise Computerspeichermedien und Kommunikationsmedien umfassen. Computerspeichermedien unterscheiden sich von einem modulierten Datensignal oder einer Trägerwelle und beinhalten diese nicht. Dazu gehören Hardware-Speichermedien mit flüchtigen und nichtflüchtigen, entfernbaren und nicht entfernbaren Medien, die in einem beliebigen Verfahren oder einer Technologie für die Speicherung von Informationen, wie etwa computerlesbaren Befehlen, Datenstrukturen, Programmmodulen oder anderen Daten, implementiert sind. Rechenspeichermedien umfassen, aber sie sind nicht beschränkt auf RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologie, CD-ROM, Digitalversatile-Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, -bänder, -plattenspeicher oder andere magnetische Speichergeräte oder jedes andere Medium, das verwendet werden kann, um die gewünschte Information zu speichern, auf die über den Rechner 810 zugegriffen werden kann. Kommunikationsmedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten in einem Transportmechanismus enthalten und umfassen alle Informationslieferungsmedien. Der Begriff „angepasstes Datensignal“ bezeichnet ein Signal, für das ein oder mehrere seiner Merkmale so festgelegt oder geändert sind, dass Informationen in dem Signal codiert sind.
Der Systemspeicher 830 beinhaltet Computerspeichermedien in Form von flüchtigen und/oder nichtflüchtigen Speichern, wie etwa Festspeicher (ROM, Read Only Memory) 831 und Arbeitsspeicher (RAM, Random Access Memory) 832. Ein grundlegendes Ein-/Ausgabesystem 833 (BIOS), das die grundlegenden Programme enthält, die helfen, Informationen zwischen den Elementen innerhalb des Computers 810 zu übertragen, wie etwa beim Starten, wird typischerweise im ROM 831 gespeichert. RAM 832 enthält typischerweise Daten- und/oder Programmmodule, die für die Verarbeitungseinheit 820 unmittelbar zugänglich sind und/oder derzeit betrieben werden. Beispielhaft und nicht einschränkend veranschaulicht 9 das Betriebssystem 834, die Anwendungsprogramme 835, weitere Programmmodule 836 und Programmdaten 837.
Der Computer 810 kann auch andere entfernbare/nicht-entfernbare flüchtige/nicht-flüchtige Computerspeichermedien beinhalten. Beispielhaft veranschaulicht 9 ein Festplattenlaufwerk 841, das von nicht entfernbaren, nicht-flüchtigen magnetischen Medien, einem optischen Plattenlaufwerk 855 und einer nicht-flüchtigen optischen Platte 856 liest oder darauf schreibt. Das Festplattenlaufwerk 841 ist typischerweise über eine nicht entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 840, mit dem Systembus 821 verbunden, und das optische Plattenlaufwerk 855 sind typischerweise über eine entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 850, mit dem Systembus 821 verbunden.
Alternativ oder zusätzlich kann die hierin beschriebene Funktionalität mindestens teilweise durch eine oder mehrere Hardware-Logikkomponenten ausgeführt werden. Zu den veranschaulichenden Arten von Hardware-Logikkomponenten, die verwendet werden können, gehören beispielsweise feldprogrammierbare Gate-Arrays (FPGAs), Applikations-spezifische integrierte Schaltungen (z. B. ASICs), Applikations-spezifische Standardprodukte (z. B. ASSPs), System-on-a-Chip-Systeme (SOCs), „Complex Programmable Logic Devices“ (CPLDs) usw.
Die Laufwerke und die zugehörigen Computerspeichermedien, die obenstehend erörtert und in 9 dargestellt sind, ermöglichen dem Computer 810 die Speicherung von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und sonstigen Daten. In 9 ist beispielsweise das Festplattenlaufwerk 841 als Speicher für das Betriebssystem 844, die Anwendungsprogramme 845, die anderen Programmmodule 846 und die Programmdaten 847 veranschaulicht. Es sei angemerkt, dass diese Komponenten entweder gleich oder verschieden von dem Betriebssystem 834, den Anwendungsprogrammen 835, den anderen Programmmodulen 836 und den Programmdaten 837 sein können.
Ein Benutzer kann Befehle und Informationen in den Computer 810 über Eingabevorrichtungen, wie etwa eine Tastatur 862, ein Mikrofon 863 und eine Zeigevorrichtung 861, wie etwa eine Maus, einen Trackball oder ein Touchpad, eingeben. Andere Eingabevorrichtungen (nicht dargestellt) können einen Joystick, ein Gamepad, eine Satellitenschüssel, einen Scanner oder dergleichen beinhalten. Diese und andere Eingabevorrichtungen sind oft über eine Benutzereingabeschnittstelle 860 mit der Verarbeitungseinheit 820 verbunden, die mit dem Systembus gekoppelt ist, aber auch über andere Schnittstellen- und Busstrukturen verbunden sein kann. Eine optische Anzeige 891 oder eine andere Art von Anzeigevorrichtung ist ebenfalls über eine Schnittstelle, wie etwa eine Videoschnittstelle 890, mit dem Systembus 821 verbunden. Zusätzlich zum Monitor können Computer auch andere periphere Ausgabevorrichtungen, wie etwa die Lautsprecher 897 und den Drucker 896 beinhalten, die über eine Ausgabeperipherieschnittstelle 895 verbunden werden können.
Der Computer 810 wird in einer Netzwerkumgebung über logische Verbindungen (wie etwa LAN oder WAN) zu einem oder mehreren entfernten Computern, wie etwa einem entfernten Computer 880, betrieben.
Wenn der Computer 810 in einer LAN-Netzwerkumgebung verwendet wird, ist er über eine Netzwerkschnittstelle oder einen Adapter 870 mit dem LAN 871 verbunden. Wenn der Computer 810 in einer WAN-Netzwerkumgebung verwendet wird, umfasst er typischerweise ein Modem 872 oder andere Mittel zum Herstellen von Verbindungen über das WAN 873, zum Beispiel das Internet. In einer vernetzten Umgebung können Programmmodule auf einer externen Speichervorrichtung gespeichert werden. 9 veranschaulicht beispielsweise, dass sich entfernte Anwendungsprogramme 885 auf dem entfernten Computer 880 befinden können.
Es sei auch darauf hingewiesen, dass die verschiedenen hier beschriebenen Beispiele auf unterschiedliche Weise kombiniert werden können. Das heißt, Teile einer oder mehrerer Ausführungsformen können mit Teilen einer oder mehrerer anderer Ausführungsformen kombiniert werden. All dies wird hier in Betracht gezogen.
Beispiel 1 ist eine mobile Arbeitsmaschine, umfassend:

ein steuerbares Teilsystem;
ein Mustererkennungssystem, das Bilddaten empfängt, die ein von einer Bilderfassungsvorrichtung erfasstes Bild eines Bedieners anzeigen;
ein Authentifizierungssystem, das ein Merkmal des Bedieners auf Grundlage der Bilddaten identifiziert;
Authentifizierungsausgabegeneratorlogik, die eine Authentifizierungssystemausgabe erzeugt, die Steuerdaten anzeigt, basierend auf dem identifizierten Merkmal des Bedieners; und
ein Steuersystem, das ein Steuersignal erzeugt, um das steuerbare Teilsystem auf Grundlage der Steuerdaten zu steuern.

Beispiel 2 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem blockierbare Maschinenfunktionalitäten beinhaltet und wobei das Authentifizierungssystem Folgendes umfasst:

eine Datenspeicherzugriffslogik, die konfiguriert ist, um auf einen Datenspeicher zuzugreifen, um einen Satz von Berechtigungen zu erhalten, die dem Bediener entsprechen, basierend auf dem identifizierten Merkmal des Bedieners.

Beispiel 3 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Steuersystem konfiguriert ist, um das Steuersignal zu erzeugen, um die Maschinenfunktionalität auf dem steuerbaren Teilsystem auf Grundlage des Satzes von Berechtigungen freizugeben.
Beispiel 4 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem ein Automatisierungsteilsystem beinhaltet, das aktiviert wird, um einen automatisierten Steuervorgang durchzuführen, und wobei das Steuersystem konfiguriert ist, um das Steuersignal zu erzeugen, um die Aktivierung des Automatisierungsteilsystems auf Grundlage des Merkmals des Bedieners zu steuern.
Beispiel 5 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem steuerbare Maschineneinstellungen beinhaltet und wobei das Steuersystem Folgendes umfasst:

eine Maschineneinstellungssteuerlogik, die konfiguriert ist, um ein Steuersignal zu erzeugen, um die steuerbaren Maschineneinstellungen auf Grundlage des Merkmals des Bedieners einzustellen.

Beispiel 6 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem einen Satz zuordenbarer Tasten beinhaltet, die verschiedenen Funktionen zuordenbar sind, wobei die Maschineneinstellungssteuerlogik Folgendes umfasst:

eine Tastenzuordnungslogik, die konfiguriert ist, um ein Steuersignal zu erzeugen, um die Funktionszuordnung zu den zuordenbaren Tasten auf Grundlage des Merkmals des Bedieners automatisch zu steuern.

Beispiel 7 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem einen Bedienereingabemechanismus mit einer Empfindlichkeitseinstellung beinhaltet, wobei das Steuersystem Folgendes umfasst:

eine Empfindlichkeitssteuerlogik, die konfiguriert ist, um ein Empfindlichkeitseinstellsteuersignal zu erzeugen, um die Empfindlichkeitseinstellung des Bedienereingabemechanismus automatisch auf eine Empfindlichkeit basierend auf dem Merkmal des Bedieners einzustellen.

Beispiel 8 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Mustererkennungssystem konfiguriert ist, um Bilddaten von einer Vielzahl von Bildern des Bedieners zu empfangen, die während des Betriebs der mobilen Arbeitsmaschine von einer Bilderfassungsvorrichtung erfasst wurden und ferner umfassend:

ein Maschinen-/Bedienerüberwachungssystem, das konfiguriert ist, um eine leistungsbezogene Qualität des Bedieners auf Grundlage der Bilddaten aus der Vielzahl von Bildern zu überwachen.

Beispiel 9 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Maschinen-/Bedienerüberwachungssystem Folgendes umfasst:

eine Bedieneraufmerksamkeitslogik, die konfiguriert ist, um einen Bedieneraufmerksamkeitswert zu erzeugen, der eine Bedieneraufmerksamkeit anzeigt, wobei das Steuersystem das Steuersignal erzeugt, um das steuerbare Teilsystem auf Grundlage des Bedieneraufmerksamkeitswerts zu steuern.

Beispiel 10 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Maschinen-/Bedienerüberwachungssystem Folgendes umfasst:

eine Bedienerermüdungslogik, die konfiguriert ist, um einen Bedienerermüdungswert zu erzeugen, der eine Bedienerermüdung anzeigt, wobei das Steuersystem das Steuersignal erzeugt, um das steuerbare Teilsystem auf Grundlage des Bedienerermüdungswerts zu steuern.

Beispiel 11 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Maschinen-/Bedienerüberwachungssystem Folgendes umfasst:

eine Bedienergestenlogik, die konfiguriert ist, um ein Bedienergestensignal zu erzeugen, das eine Bedienergeste anzeigt, wobei das Steuersystem das Steuersignal erzeugt, um das steuerbare Subsystem auf Grundlage des Bedienergestensignals zu steuern.

Beispiel 12 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Maschinen-/Bedienerüberwachungssystem Folgendes umfasst:

eine Produktivitätserfassungslogik, die konfiguriert ist, um eine Bedienerproduktivitätsvariable zu erfassen, die die Bedienerproduktivität angibt, und ein Bedienerproduktivitätssignal zu erzeugen, das die Bedienerproduktivität angibt, wobei das Steuersystem ein Kommunikationssystem steuert, um das Bedienerproduktivitätssignal an ein Remote-System zu übermitteln.

Beispiel 13 ist ein computerimplementiertes Verfahren zum Steuern einer mobilen Arbeitsmaschine, umfassend:

das Empfangen von Bilddaten, die ein Bild eines Bedieners angeben, das von einer Bilderfassungsvorrichtung erfasst wurde;
das Identifizieren eines Merkmals des Bedieners auf Grundlage der Bilddaten;
das Erzeugen einer Authentifizierungssystemausgabe, die Steuerdaten anzeigt, basierend auf dem identifizierten Merkmal des Bedieners; und
das Erzeugen eines Steuersignals, um ein steuerbares Teilsystem auf der mobilen Arbeitsmaschine auf Grundlage der Steuerdaten zu steuern.

Beispiel 14 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem blockierbare Maschinenfunktionalitäten beinhaltet und wobei das Erzeugen der Authentifizierungssystemausgabe Folgendes umfasst:

den Zugriff auf einen Datenspeicher, um einen Satz von Berechtigungen zu erhalten, die dem Bediener entsprechen, basierend auf dem identifizierten Merkmal des Bedieners.

Beispiel 15 ist das computerimplementierte Verfahren eines oder aller vorstehenden Beispiele, wobei das Erzeugen des Steuersignals Folgendes umfasst:

das Erzeugen des Steuersignals zur Freigabe der Maschinenfunktionalität auf dem steuerbaren Teilsystem auf Grundlage des Satzes von Berechtigungen.

Beispiel 16 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem ein Automatisierungsteilsystem beinhaltet, das aktiviert wird, um einen automatisierten Steuervorgang durchzuführen, und wobei das Erzeugen des Steuersignals das Erzeugen des Steuersignals umfasst, um die Aktivierung des Automatisierungsteilsystems auf Grundlage des Merkmals des Bedieners zu steuern.
Beispiel 17 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das steuerbare Teilsystem steuerbare Maschineneinstellungen beinhaltet und wobei das Erzeugen des Steuersignals Folgendes umfasst:

das Erzeugen eines Steuersignals, um die steuerbaren Maschineneinstellungen auf Grundlage des Merkmals des Bedieners einzustellen.

Beispiel 18 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das Empfangen von Bilddaten das Empfangen von Bilddaten von einer Vielzahl von Bildern des Bedieners umfasst, die von einer Bilderfassungsvorrichtung während des Betriebs der mobilen Arbeitsmaschine erfasst werden und ferner umfassend:

das Überwachen einer leistungsbezogenen Qualität des Bedieners auf Grundlage der Bilddaten aus der Vielzahl von Bildern, und wobei das Erzeugen des Steuersignals das Erzeugen des Steuersignals auf Grundlage der leistungsbezogenen Qualität umfasst.

Beispiel 19 ist ein Steuersystem einer mobilen Arbeitsmaschine, umfassend:

ein Mustererkennungssystem, das Bilddaten empfängt, die ein Bild eines Bedieners einer mobilen Arbeitsmaschine angeben, erfasst durch eine Bilderfassungsvorrichtung;
ein Authentifizierungssystem, das ein Merkmal des Bedieners auf Grundlage der Bilddaten identifiziert;
Authentifizierungsausgabegeneratorlogik, die eine Authentifizierungssystemausgabe erzeugt, die Steuerdaten anzeigt, basierend auf dem identifizierten Merkmal des Bedieners; und
ein Steuersystem, das ein Steuersignal erzeugt, um ein steuerbares Teilsystem auf der mobilen Arbeitsmaschine auf Grundlage der Steuerdaten zu steuern.

Beispiel 20 ist das Steuersystem einer mobilen Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Mustererkennungssystem konfiguriert ist, um Bilddaten von einer Vielzahl von Bildern des Bedieners zu empfangen, die während des Betriebs der mobilen Arbeitsmaschine von einer Bilderfassungsvorrichtung erfasst werden und ferner umfassend:

ein Maschinen-/Bedienerüberwachungssystem, das konfiguriert ist, um eine leistungsbezogene Qualität des Bedieners auf Grundlage der Bilddaten von der Vielzahl von Bildern zu überwachen, wobei das Steuersystem konfiguriert ist, um das Steuersignal zu erzeugen, um ein steuerbares Teilsystem auf Grundlage der leistungsbezogenen Qualität zu steuern.

Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die vorstehend beschriebenen spezifischen Merkmale und Handlungen als exemplarische Formen der Umsetzung der Ansprüche offengelegt.

Claims

Mobile Arbeitsmaschine (106), umfassend: ein steuerbares Teilsystem (134); ein Mustererkennungssystem (110), das Bilddaten empfängt, die ein von einer Bilderfassungsvorrichtung (102) erfasstes Bild eines Bedieners (108) anzeigen; ein Authentifizierungssystem (112), das ein Merkmal des Bedieners (108) auf Grundlage der Bilddaten identifiziert; Authentifizierungsausgabegeneratorlogik (156), die eine Authentifizierungssystemausgabe erzeugt, die Steuerdaten anzeigt, basierend auf dem identifizierten Merkmal des Bedieners (108); und ein Steuersystem (130), das ein Steuersignal erzeugt, um das steuerbare Teilsystem (134) auf Grundlage der Steuerdaten zu steuern.
Mobile Arbeitsmaschine nach Anspruch 1, wobei das steuerbare Teilsystem blockierbare Maschinenfunktionalitäten beinhaltet und wobei das Authentifizierungssystem Folgendes umfasst: eine Datenspeicherzugriffslogik, die konfiguriert ist, um auf einen Datenspeicher zuzugreifen, um einen Satz von Berechtigungen zu erhalten, die dem Bediener entsprechen, basierend auf dem identifizierten Merkmal des Bedieners.
Mobile Arbeitsmaschine nach Anspruch 2, wobei das Steuersystem konfiguriert ist, um das Steuersignal zu erzeugen, um die Maschinenfunktionalität auf dem steuerbaren Teilsystem auf der Grundlage des Satzes von Berechtigungen freizugeben.
Mobile Arbeitsmaschine nach Anspruch 1, wobei das steuerbare Teilsystem ein Automatisierungsteilsystem umfasst, das aktiviert wird, um einen automatisierten Steuervorgang durchzuführen, und wobei das Steuersystem konfiguriert ist, um das Steuersignal zu erzeugen, um die Aktivierung des Automatisierungsteilsystems auf Grundlage des Merkmals des Bedieners zu steuern.
Mobile Arbeitsmaschine nach Anspruch 1, wobei das steuerbare Teilsystem steuerbare Maschineneinstellungen beinhaltet und wobei das Steuersystem Folgendes umfasst: eine Maschineneinstellungssteuerlogik, die konfiguriert ist, um ein Steuersignal zu erzeugen, um die steuerbaren Maschineneinstellungen auf Grundlage des Merkmals des Bedieners einzustellen.
Mobile Arbeitsmaschine nach Anspruch 5, wobei das steuerbare Teilsystem einen Satz zuordenbarer Tasten beinhaltet, die verschiedenen Funktionen zuordenbar sind, wobei die Maschineneinstellungssteuerlogik Folgendes umfasst: eine Tastenzuordnungslogik, die konfiguriert ist, um ein Steuersignal zu erzeugen, um die Funktionszuordnung zu den zuordenbaren Tasten auf Grundlage des Merkmals des Bedieners automatisch zu steuern.
Mobile Arbeitsmaschine nach Anspruch 1, wobei das steuerbare Teilsystem einen Bedienereingabemechanismus mit einer Empfindlichkeitseinstellung beinhaltet, wobei das Steuersystem Folgendes umfasst: eine Empfindlichkeitssteuerlogik, die konfiguriert ist, um ein Empfindlichkeitseinstellsteuersignal zu erzeugen, um die Empfindlichkeitseinstellung des Bedienereingabemechanismus automatisch auf eine Empfindlichkeit basierend auf dem Merkmal des Bedieners einzustellen.
Mobile Arbeitsmaschine nach Anspruch 1, wobei das Mustererkennungssystem konfiguriert ist, um Bilddaten von einer Vielzahl von Bildern des Bedieners zu empfangen, die während des Betriebs der mobilen Arbeitsmaschine von einer Bilderfassungsvorrichtung erfasst wurden und ferner umfassend: ein Maschinen-/Bedienerüberwachungssystem, das konfiguriert ist, um eine leistungsbezogene Qualität des Bedieners auf Grundlage der Bilddaten aus der Vielzahl von Bildern zu überwachen.
Mobile Arbeitsmaschine nach Anspruch 8, wobei das Maschinen-Bedienerüberwachungssystem Folgendes umfasst: eine Bedieneraufmerksamkeitslogik, die konfiguriert ist, um einen Bedieneraufmerksamkeitswert zu erzeugen, der eine Bedieneraufmerksamkeit anzeigt, wobei das Steuersystem das Steuersignal erzeugt, um das steuerbare Teilsystem auf Grundlage des Bedieneraufmerksamkeitswerts zu steuern.
Mobile Arbeitsmaschine nach Anspruch 8, wobei das Maschinen-/Bedienerüberwachungssystem Folgendes umfasst: eine Bedienerermüdungslogik, die konfiguriert ist, um einen Bedienerermüdungswert zu erzeugen, der eine Bedienerermüdung anzeigt, wobei das Steuersystem das Steuersignal erzeugt, um das steuerbare Teilsystem auf Grundlage des Bedienerermüdungswerts zu steuern.
Mobile Arbeitsmaschine nach Anspruch 8, wobei das Maschinen-/Bedienerüberwachungssystem Folgendes umfasst: eine Bedienergestenlogik, die konfiguriert ist, um ein Bedienergestensignal zu erzeugen, das eine Bedienergeste anzeigt, wobei das Steuersystem das Steuersignal erzeugt, um das steuerbare Subsystem auf Grundlage des Bedienergestensignals zu steuern.
Mobile Arbeitsmaschine nach Anspruch 8, wobei das Maschinen-/Bedienerüberwachungssystem Folgendes umfasst: eine Produktivitätserfassungslogik, die konfiguriert ist, um eine Bedienerproduktivitätsvariable zu erfassen, die die Bedienerproduktivität angibt, und ein Bedienerproduktivitätssignal zu erzeugen, das die Bedienerproduktivität angibt, wobei das Steuersystem ein Kommunikationssystem steuert, um das Bedienerproduktivitätssignal an ein Remote-System zu übermitteln.
Computerimplementiertes Verfahren zum Steuern einer mobilen Arbeitsmaschine (106), umfassend: das Empfangen von Bilddaten, die ein Bild eines Bedieners (108) angeben, das von einer Bilderfassungsvorrichtung (102) erfasst wurde; das Identifizieren eines Merkmals des Bedieners (108) auf Grundlage der Bilddaten; das Erzeugen einer Authentifizierungssystemausgabe, die Steuerdaten anzeigt, basierend auf dem identifizierten Merkmal des Bedieners (108); und das Erzeugen eines Steuersignals, um ein steuerbares Teilsystem (134) auf der mobilen Arbeitsmaschine (106) auf Grundlage der Steuerdaten zu steuern.
Computerimplementiertes Verfahren nach Anspruch 13, wobei das steuerbare Teilsystem blockierbare Maschinenfunktionalitäten beinhaltet und wobei das Erzeugen der Authentifizierungssystemausgabe Folgendes umfasst: den Zugriff auf einen Datenspeicher, um einen Satz von Berechtigungen zu erhalten, die dem Bediener entsprechen, basierend auf dem identifizierten Merkmal des Bedieners.
Steuersystem (100) einer mobilen Arbeitsmaschine, umfassend: ein Mustererkennungssystem (110), das Bilddaten empfängt, die ein Bild eines Bedieners (108) einer mobilen Arbeitsmaschine (106) angeben, erfasst durch eine Bilderfassungsvorrichtung (102); ein Authentifizierungssystem (112), das ein Merkmal des Bedieners (108) auf Grundlage der Bilddaten identifiziert; Authentifizierungsausgabegeneratorlogik (156), die eine Authentifizierungssystemausgabe erzeugt, die Steuerdaten anzeigt, basierend auf dem identifizierten Merkmal des Bedieners (108); und ein Steuersystem (130), das ein Steuersignal erzeugt, um ein steuerbares Teilsystem (134) auf der mobilen Arbeitsmaschine (106) auf Grundlage der Steuerdaten zu steuern.