DE102020211939A1

DE102020211939A1 - Objektidentifizierung in einer mobilen arbeitsmaschine

Info

Publication number: DE102020211939A1
Application number: DE102020211939.2A
Authority: DE
Inventors: Noel W. Anderson
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2019-10-24
Filing date: 2020-09-23
Publication date: 2021-04-29
Also published as: US11557151B2; US20210124913A1

Abstract

Ein Objektidentifikationssystem einer mobilen Arbeitsmaschine empfängt ein Objekterkennungssensorsignal von einem Objekterkennungssensor zusammen mit einem Umgebungssensorsignal von einem Umgebungssensor. Ein Objektidentifikationssystem erzeugt eine erste Objektidentifizierung auf Grundlage des Objekterkennungssensorsignals und des Umgebungssensorsignals. Das Objektverhalten wird analysiert, um festzustellen, ob das Objektverhalten mit der Objektidentifizierung in Anbetracht der Umgebung konsistent ist. Wenn eine Anomalie erkannt wird, was bedeutet, dass das Objektverhalten angesichts der Umgebung nicht mit der Objektidentifizierung übereinstimmt, wird ein sekundäres Objektidentifikationssystem aufgerufen, um eine weitere Objektidentifizierung auf Grundlage des Objekterkennungssensorsignals und des Umgebungssensorsignals durchzuführen. Ein Steuersignalgenerator kann Steuersignale erzeugen, um ein steuerbares Teilsystem der mobilen Arbeitsmaschine auf Grundlage der Objektidentifizierung oder der sekundären Objektidentifizierung zu steuern.

Description

GEBIET DER BESCHREIBUNG
Die vorliegende Beschreibung bezieht sich auf die Objektidentifizierung. Insbesondere bezieht sich die vorliegende Beschreibung auf die Objektidentifizierung in einer mobilen Arbeitsmaschine.
HINTERGRUND
Es gibt eine Vielzahl verschiedener Arten von mobilen Arbeitsmaschinen. Zu diesen Maschinen können unter anderem Maschinen für die Landwirtschaft, Baubranche, Forstwirtschaft oder Rasenpflege gehören.
Diese Arten von mobilen Arbeitsmaschinen arbeiten oft in Umgebungen, in denen Objekte angetroffen werden können. Zum Beispiel ist es nicht ungewöhnlich, dass eine mobile Arbeitsmaschine auf eine Vielzahl verschiedener Arten von Objekten trifft, wenn sie über eine Baustelle, eine landwirtschaftliche Arbeitsstelle oder bewaldete Arbeitsstelle fährt. Einige dieser Objekte stellen keine Gefahr für den auszuführenden Vorgang oder andere Personen (Menschen, Tiere usw.) in der Nähe der Arbeitsmaschine dar. Allerdings können einige Objekte, wenn sie angetroffen werden, problematisch sein.
So haben einige aktuelle Systeme versucht, Objektidentifizierung durchzuführen, sodass Objekte, die von einer mobilen Arbeitsmaschine angetroffen werden, identifiziert werden können. In solchen Systemen kann, sobald das Objekt identifiziert ist, die Identifizierung des Objekts für den Bediener der Maschine angezeigt werden, sodass geeignete Maßnahmen ergriffen werden können.
Die obenstehende Erläuterung dient lediglich als allgemeine Hintergrundinformation und soll nicht als Hilfe bei der Bestimmung des Umfangs des beanspruchten Gegenstands verwendet werden.
KU RZDARSTELLU NG
Ein Objektidentifikationssystem einer mobilen Arbeitsmaschine empfängt ein Objekterkennungssensorsignal von einem Objekterkennungssensor zusammen mit einem Umgebungssensorsignal von einem Umgebungssensor. Ein Objektidentifikationssystem erzeugt eine erste Objektidentifizierung auf Grundlage des Objekterkennungssensorsignals und des Umgebungssensorsignals. Das Objektverhalten wird analysiert, um festzustellen, ob das Objektverhalten mit der Objektidentifizierung in Anbetracht der Umgebung konsistent ist. Wenn eine Anomalie erkannt wird, was bedeutet, dass das Objektverhalten angesichts der Umgebung nicht mit der Objektidentifizierung übereinstimmt, wird ein sekundäres Objektidentifikationssystem aufgerufen, um eine weitere Objektidentifizierung auf Grundlage des Objekterkennungssensorsignals und des Umgebungssensorsignals durchzuführen. Ein Steuersignalgenerator kann Steuersignale erzeugen, um ein steuerbares Teilsystem der mobilen Arbeitsmaschine auf Grundlage der Objektidentifizierung oder der sekundären Objektidentifizierung zu steuern.
Diese Zusammenfassung dient der Vorstellung einer Auswahl von Konzepten in vereinfachter Form, die nachfolgend in dem Abschnitt der ausführlichen Beschreibung erläutert werden. Diese Zusammenfassung ist weder dazu bestimmt, wesentliche Merkmale oder grundlegende Funktionen des beanspruchten Gegenstands zu identifizieren, noch soll sie als Hilfe bei der Bestimmung des Umfangs des beanspruchten Gegenstandes verwendet werden. Der beanspruchte Gegenstand ist nicht auf Implementierungen beschränkt, die im Abschnitt Hintergrund aufgeführte Nachteile ganz oder teilweise beseitigen.
Figurenliste

1 ist eine bildliche Darstellung, die eine mobile Arbeitsmaschine zeigt, die auf ein Objekt trifft.
2 ist ein Blockdiagramm, das ein Beispiel für eine mobile Arbeitsmaschine näher zeigt.
Die 3A und 3B (hierin gemeinsam als 3 bezeichnet) zeigen ein Ablaufdiagramm als ein Beispiel für den Betrieb der mobilen Arbeitsmaschine in 2 beim Identifizieren eines Objekts und Durchführen einer Aktion auf Grundlage des identifizierten Objekts.
4 ist ein Blockdiagramm, das ein Beispiel für die in 1 und 2 veranschaulichte mobile Arbeitsmaschine zeigt, die in einer Remote-Serverarchitektur eingesetzt wird.
Die 5-7 zeigen Beispiele für Mobilgeräte, die in den Architekturen, die in den vorhergehenden Figuren gezeigt wurden, verwendet werden können.
8 zeigt ein Blockdiagramm eines Beispiels einer Computerumgebung, die in den Architekturen verwendet werden kann, die in den vorherigen Figuren gezeigt wurden.

AUSFÜHRLICHE BESCHREIBUNG
Wie bereits vorstehend erörtert, ist es nicht ungewöhnlich, dass mobile Arbeitsmaschinen auf Objekte treffen. Daher haben einige Systeme versucht, Objektidentifizierung in einer mobilen Arbeitsmaschine durchzuführen, um Objekte zu identifizieren, die angetroffen werden. Dies kann aus einer Reihe von Gründen sehr schwierig sein, wie beispielsweise Verwirrung, die auftritt, wenn sich mehrere Objekte in unmittelbarer Nähe zueinander befinden. Beispielsweise kann ein Objektidentifikationssystem ein Objekt als Plastiktüte identifizieren. Diese würde normalerweise einer mobilen Arbeitsmaschine keine Schwierigkeiten bereiten. Tatsächlich kann das Objekt jedoch ein Mensch sein, der ein Fahrrad schiebt, wobei Plastiktüten am Lenker hängen. Sollte eine mobile Arbeitsmaschine mit dem Objekt in Berührung kommen, so kann das sehr problematisch werden.
In einem anderen Beispiel kann sich ein Tier, wie etwa ein Hase, in der Mitte einer Fahrbahn befinden, auf der sich eine mobile Arbeitsmaschine bewegt. Ein Objektidentifikationssystem kann den Hasen leicht als ein relativ kleines Hindernis (z. B. einen Schmutzhügel usw.) auf der Fahrbahn identifizieren und somit davon ausgehen, dass die mobile Arbeitsmaschine leicht darüber fahren kann. Tatsächlich hat sich jedoch herausgestellt, dass Hasen eine reflexive Reaktion zeigen, wenn ein Fahrzeug über sie fährt. Sie springen nach oben, berühren und beschädigen oft die Unterseite des Fahrzeugs.
Ein weiteres Problem besteht darin, Objekte anhand von Erkennungskriterien falsch zu identifizieren. Wenn zum Beispiel ein Objektidentifikationssystem eine optische Objekterkennungsart aufweist, kann es ein Objekt als Mensch identifizieren. Tatsächlich kann das Objekt jedoch eine Fotografie eines Menschen auf einem Bus oder einem anderen größeren Fahrzeug sein.
Dies sind nur einige Beispiele von Fällen, in denen ein Objektidentifikationssystem leicht ein Objekt falsch identifizieren kann. Die Fehlidentifikation kann relativ schwerwiegende Folgen haben, je nachdem, wie die mobile Arbeitsmaschine bei der fehlerhaften Objektidentifizierung gesteuert wird.
Somit fährt die vorliegende Beschreibung in Bezug auf ein Objektidentifikationssystem fort, das ein Objekterkennungssensorsignal von einem Sensor empfängt, der ein Objekt erfasst. Es empfängt auch ein Umgebungssensorsignal, das eine Eigenschaft der Umgebung anzeigt. Ein Objektidentifikationsklassifizierer identifiziert das Objekt basierend auf dem Objekterkennungssensorsignal. Ein Objektverhaltensanalysesystem analysiert das Verhalten des Objekts, um festzustellen, ob es mit der Objektidentifizierung in seiner Umgebung übereinstimmt, was durch das Umgebungssensorsignal angezeigt wird. Ein Objektidentifikationsanomalie-Erkennungssystem erkennt aufgrund seines Verhaltens relativ zu den Umgebungsbedingungen, ob es sich bei der Objektidentifizierung um eine Anomalie handelt. Wenn ja, erzeugt es ein Aktionssignal, um eine Aktion auf Grundlage der identifizierten Anomalie durchzuführen. Beispielsweise kann es ein sekundäres Objektidentifikationssystem steuern, um eine andere Art von Objektidentifizierung durchzuführen. Es kann eine Ausgabe an einen Steuersignalgenerator bereitstellen, der Steuersignale erzeugt, um die mobile Arbeitsmaschine zu steuern. Es kann ein Ausgangssignal bereitstellen, um ein Kommunikationssystem zu steuern, um mit einem Remote-Benutzer zu kommunizieren, oder um ein Benutzerschnittstellensystem zu steuern, um eine Warnung an einen Fahrzeugführer zu senden. Dies sind nur Beispiele.
Ein Beispiel kann hilfreich sein. Angenommen, das anfängliche Objektidentifikationssystem identifiziert das Objekt als Plastiktüte. Angenommen, das Objektverhaltensanalysesystem bestimmt auch, dass sich das erkannte Objekt (z. B. die Plastiktüte) gegen den Wind bewegt (wie durch das Umgebungssensorsignal angezeigt). Dies würde darauf hinweisen, dass die ursprüngliche Objektidentifizierung (z. B. eine Plastiktüte) anomal ist, da sich die Plastiktüte unter den Umgebungsbedingungen nicht konsistent verhält. In ähnlicher Weise kann das Verhaltensanalysesystem angesichts des obigen Beispiels, in dem eine Person erkannt wurde, identifizieren, dass sich die Person mit 40 Meilen pro Stunde bewegt hat. Dies würde auf eine anomale Erkennung aufgrund der Bewegungsgeschwindigkeit hinweisen. In beiden Fällen kann das sekundäre Objektidentifikationssystem aufgerufen werden, um das Objekt ordnungsgemäß zu identifizieren (als Person, die ein Fahrrad mit einer Plastiktüte am Lenker schiebt und als Bild einer Person auf einem anderen Fahrzeug). Auch dies sind nur Beispiele.
1 ist eine bildliche Darstellung, die eine mobile Arbeitsmaschine (wie etwa einen Muldenkipper) 100 zeigt, die sich entlang eines Pfads oder einer Fahrbahn 102 in der durch Pfeil 104 angezeigten Richtung bewegt. 1 zeigt auch, dass sich ein Objekt 106 auf dem Fahrweg der Maschine 100 befindet und sich in die durch Pfeil 108 angegebene Richtung bewegt. 1 zeigt ferner, dass der Wind in der Umgebung in die durch Pfeil 110 angegebene Richtung weht. Somit kann, wie nachfolgend beschrieben wird, ein Objektidentifikationssystem an der Maschine 100 das Objekt 106 und die durch den Pfeil 110 angegebene Windrichtung (und - geschwindigkeit) erkennen. Es kann eine anfängliche Objektidentifizierung des Objekts 106 vornehmen und bestimmen, ob sie mit den Umgebungseigenschaften (z. B. der Windrichtung) übereinstimmt. Falls nicht, kann es eine Anomalie erkennen und verschiedene Maßnahmen ergreifen. Wenn das Objekterkennungssystem an der Maschine 100 zum Beispiel das Objekt 106 als eine Plastiktüte identifiziert, dann bestimmt das Objektverhaltensanalysesystem, dass es sich in die durch Pfeil 108 angegebene Richtung bewegt. Ein Objektidentifikationsanomalie-Erkennungssystem bestimmt, dass dies anomal ist, da sich die „Plastiktüte“ 106 in eine Richtung bewegt, die der Windrichtung 110 entgegengesetzt ist. Daher kann ein sekundäres Objektidentifikationssystem aufgerufen werden, der Bediener der Maschine 100 kann alarmiert werden, die Geschwindigkeit der Maschine 100 kann reduziert werden, oder es kann eine Vielzahl anderer Aktionen durchgeführt werden.
2 ist ein Blockdiagramm, das ein Beispiel für eine mobile Arbeitsmaschine 100 näher zeigt. 2 zeigt, dass der Bediener 112 mit der mobilen Arbeitsmaschine 100 interagieren kann. In ähnlicher Weise zeigt 2, dass die mobile Arbeitsmaschine 100 über das Netzwerk 118 mit einem oder mehreren Remote-Computersystemen 114 (die Remote-Benutzer 116 haben können) kommunizieren kann. Somit kann das Netzwerk 118 ein Weitverkehrsnetzwerk, ein lokales Netzwerk, ein Nahfeldkommunikationsnetzwerk, ein Mobilfunkkommunikationsnetzwerk oder ein beliebiges aus einer Vielzahl anderer Netzwerke oder Kombinationen von Netzwerken sein.
2 zeigt, dass in einem Beispiel die mobile Arbeitsmaschine 100 einen oder mehrere Objekterkennungssensoren 120, Umgebungssensoren 122, einen oder mehrere Prozessoren oder Server 124, eine Signalkonditionierungslogik 126, einen Objektidentifikationsklassifizierer 128, ein Objektverhaltensanalysesystem 130 (das einen Bewegungsanalysator 132, einen Positionsanalysator 134 und eine Vielzahl anderer Eigenschaftsanalysatoren 136 beinhalten kann), ein Objektidentifikationsanomalie-Erkennungssystem 138, ein sekundäres Objektidentifikationssystem 140, einen Steuersignalgenerator 142, ein oder mehrere steuerbare Teilsysteme 144, Bedienerschnittstellenmechanismen 146, ein Kommunikationssystem 148 und eine Vielzahl anderer Elemente und/oder Funktionen 150 der mobilen Maschine beinhalten kann.
Das Objektidentifikationsanomalie-Erkennungssystem 138 kann den Objekt-/Verhaltens-/Umgebungsanalysator 152, das Aktionsverarbeitungssystem 154, den Anomaliemetrikgenerator 156, den Aktionssignalgenerator 157 und andere Elemente 158 beinhalten. Das Aktionsverarbeitungssystem 154 selbst kann den Aktionsauslösedetektor 160 beinhalten, der selbst den Schwellenwertidentifizierer 162, die Schwellenwertvergleichslogik 164 und andere Elemente 166 beinhalten kann. Das Aktionsverarbeitungssystem 154 kann auch den Aktionsidentifizierer 168 und andere Elemente 170 beinhalten. Die steuerbaren Teilsysteme 144 können etwa ein Antriebs-Teilsystem 172, ein Lenkungs-Teilsystem 174, einen Datenspeicher 176 und eine Vielzahl anderer steuerbarer Teilsysteme 178 beinhalten.
Bevor der gesamte Betrieb der mobilen Maschine 100 beschrieben wird, erfolgt zunächst eine kurze Beschreibung einiger Elemente der mobilen Maschine 100 und deren Betrieb. Die Objekterkennungssensoren 120 können an der mobilen Arbeitsmaschine 100 eingesetzt werden und eine Vielzahl unterschiedlicher Arten von Sensoren beinhalten. Sie können beispielsweise optische Sensoren, wie etwa eine Kamera, Stereokameras oder strukturierte Lichtsensoren beinhalten. Sie können andere Sensoren wie etwa LIDAR, Radar, Ultraschallsensoren usw. beinhalten.
Die Umgebungssensoren 122 können auch eine Vielzahl verschiedener Arten von Sensoren beinhalten. Sie können beispielsweise einen Lufttemperatursensor, einen Bodentemperatursensor, einen Windgeschwindigkeitssensor, einen Windrichtungssensor, einen Niederschlagssensor, einen Positionssensor (der eine Position oder einen Standort in lokalen oder globalen Koordinaten bereitstellt und auch eine Ausrichtung, eine Höhe usw. bereitstellen kann) beinhalten. Die Sensoren 120 und 122 erzeugen Sensorsignale, die die Variablen angeben, die sie erfassen.
Die Signalkonditionierungslogik 126 kann die Sensorsignale empfangen und eine Signalaufbereitung an ihnen durchführen. Zum Beispiel kann die Signalkonditionierungslogik 126 Verstärkung, Filterung, Normalisierung, Linearisierung und eine Vielzahl verschiedener Arten von Signalkonditionierung durchführen.
Die Bedienerschnittstellenmechanismen 146 können eine Vielzahl verschiedener Arten von Mechanismen umfassen, mit denen der Bediener 112 interagieren kann, um die mobile Arbeitsmaschine 100 zu steuern und zu manipulieren. Daher können die Mechanismen 146 ein Lenkrad, Joysticks, Pedale, Hebel, Gestänge, Tasten usw. beinhalten. Darüber hinaus können die Mechanismen 146, soweit Spracherkennung und Sprachsynthese bereitgestellt werden, ein Mikrofon und einen Lautsprecher beinhalten. Die Mechanismen 146 können eine Vielzahl visueller Mechanismen beinhalten, wie etwa einen Anzeigebildschirm, der berührungsempfindlich sein kann, wobei er in diesem Fall Berührungsgesten verarbeiten kann. Der Anzeigebildschirm kann betätigbare Elemente anzeigen, die durch den Bediener 112 unter Verwendung einer Point-and-Click-Vorrichtung oder anderer Mechanismen betätigt werden können. Die Bedienerschnittstellenmechanismen 146 können unter anderem auch andere visuelle Elemente (z. B. Lichter oder andere visuelle Elemente), Audiomechanismen und/oder haptische Mechanismen umfassen.
Das Kommunikationssystem 148 ist veranschaulichend konfiguriert, um die Kommunikation zwischen den verschiedenen Elementen der mobilen Arbeitsmaschine 100 (z. B. über einen CAN-Bus, eine drahtlose Verbindung usw.) und auch die Kommunikation zwischen Elementen der mobilen Arbeitsmaschine 100 und dem Remote-Computersystem 114 über das Netzwerk 118 zu erleichtern. Daher kann das Kommunikationssystem 148 auf Grundlage der verschiedenen Arten von Kommunikation, denen es dient, variieren.
Der Objektidentifikationsklassifizierer 128 kann zum Beispiel ein neuronales Netzwerk, ein regelbasiertes System, ein Bildverarbeitungssystem oder eine Vielzahl anderer Klassifizierer sein, die die aufbereiteten Sensorsignale (oder davon abgeleitete Werte) empfangen und eine Objektidentifikationsausgabe erzeugen können, die eine Objektidentifizierung anzeigt, die diesen Eingaben entspricht.
Das Objektverhaltensanalysesystem 130 kann Objekterkennungssensorsignale des Sensors 120 analysieren, um Eigenschaften des Verhaltens des Objekts zu identifizieren, das identifiziert wurde. Beispielsweise kann der Bewegungsanalysator 132 eine Sequenz von Bildern oder anderen Sensorsignalen erhalten und die Position des Objekts in jedem dieser Bilder analysieren, um einen Bewegungsvektor zu identifizieren, der dem Objekt entspricht. Durch Kenntnis der Zeitspanne zwischen den Objekten kann der Bewegungsanalysator 132 zusätzlich zu der Richtung, in der es sich bewegt, auch die Geschwindigkeit des Objekts identifizieren.
Der Positionsanalysator 134 kann die Sensorsignale analysieren, um auch eine Vielzahl unterschiedlicher Eigenschaften des Objekts zu identifizieren. Beispielsweise kann er identifizieren, ob das Objekt ein terrestrisches Objekt ist (das sich auf dem Boden befindet), ob es sich in der Luft befindet, und in Verbindung mit der Ausgabe von dem Bewegungsanalysator 132 kann er identifizieren, ob das Objekt fällt, schwebt, in eine bestimmte Richtung (z. B. gegen den Wind) getrieben wird usw. Er kann auch bestimmen, ob sich das Objekt in der Nähe der Maschine 100 oder anderweitig befindet.
Die Verhaltensmerkmale und/oder Umgebungsdaten können als „Objektanomalien“ bezeichnet werden. Das Objektidentifikationsanomalie-Erkennungssystem 138 empfängt die Objektidentifizierung vom Klassifizierer 128, die Umgebungsdaten von Umgebungssensoren 122 und/oder die Verhaltensmerkmale des Objekts, die vom Objektverhaltensanalysesystem 130 ausgegeben werden (z. B. die Objektidentifizierung und die Objektanomaliedaten). Es erzeugt dann eine Ausgabe, die ein Maß dafür angibt, ob die Objektidentifizierung anomal (z. B. fehlerhaft) ist, indem es bestimmt, ob die Objektanomaliedaten mit der Objektidentifizierung übereinstimmen (z. B. ob die Objektidentifizierung mit den Verhaltensmerkmalen übereinstimmt, angesichts der Umgebung, die durch die Umgebungssensorsignale angegeben wird, die durch die Umgebungssensoren 122 erzeugt werden). Der Objekt-/Verhaltens-/Umgebungsanalysator 152 analysiert das Verhalten des Objekts unter Berücksichtigung seiner Identifizierung und unter Berücksichtigung seiner Umgebung, um zu bestimmen, ob das Verhalten des Objekts mit dem, als das es identifiziert wurde, und seiner Umgebung übereinstimmt. Der Anomaliemetrikgenerator 156 erzeugt eine Metrik, die diese Konsistenz angibt (und somit angibt, ob die Objektidentifizierung anomal ist).
Wenn zum Beispiel der Objektidentifikationsklassifizierer 128 das Objekt als eine Plastiktüte identifiziert hat, aber das Objektverhaltensanalysesystem 130 bestimmt hat, dass sich das Objekt gegen den Wind bewegt, erzeugt der Analysator 152 eine Ausgabe, die angibt, dass dies inkonsistent ist. Der Anomaliemetrikgenerator 156 erzeugt eine Anomaliemetrik, die den Grad dieser Inkonsistenz bewertet. Er kann beispielsweise eine Wahrscheinlichkeitsmetrik ausgeben, die die Wahrscheinlichkeit angibt, dass die Objektidentifizierung anomal ist. Er kann eine Wahrscheinlichkeitsmetrik ausgeben, die die Wahrscheinlichkeit angibt, dass sie anomal ist usw.
Einige Beispiele können hilfreich sein. Angenommen, das Objekt wurde als Ball identifiziert und das Objektverhaltensanalysesystem 130 bestimmt, dass es bergab rollt (oder sich anderweitig bewegt). In diesem Fall ist die Objektidentifizierung sehr wahrscheinlich keine Anomalie, und die Anomaliemetrik wird dies anzeigen. Wenn das Objekt jedoch durch den Klassifizierer 128 als eine Person identifiziert wurde, das Objektverhaltensanalysesystem 130 jedoch bestimmt hat, dass sich das Objekt mit 60 Meilen pro Stunde bewegt, dann ist die Objektidentifizierung sehr wahrscheinlich anomal, und die Anomaliemetrik wird dies anzeigen. Wenn als weiteres Beispiel der Klassifizierer 128 das Objekt als Gürteltier identifiziert hat, aber Umgebungssensorsignale 122 (die ein Positionssignal beinhalten können) angegeben haben, dass sich die mobile Arbeitsmaschine 100 in Minnesota befindet, dann ist die Objektidentifizierung auch sehr wahrscheinlich anomal, und die Anomaliemetrik wird dies anzeigen.
Das Aktionsverarbeitungssystem 154 bestimmt dann, ob die durch den Generator 156 erzeugte Anomaliemetrik eine Aktion hervorrufen sollte. Dies kann durch einen Vergleich der Anomaliemetrik mit einem Schwellenwert erfolgen. Der Schwellenwert kann statisch sein, indem er für alle identifizierten Objekte unter allen Bedingungen gleich ist, oder er kann dynamisch sein. Wenn beispielsweise die Folge der erwarteten Fahrzeugreaktion auf die Objektidentifizierung relativ schwerwiegend ist, kann es eine geringere Anomaliewahrscheinlichkeit erfordern, um eine Aktion auszulösen. In ähnlicher Weise kann es eine Bibliothek von identifizierbaren Objekten geben, und jedes Objekt kann seinen eigenen anomalen metrischen Schwellenwert aufweisen.
Genauer gesagt, kann der anomale metrische Schwellenwert in einem Beispiel auf Grundlage der erwarteten Fahrzeugreaktion auf das identifizierte Objekt ausgewählt werden. Wenn beispielsweise das Objekt als Plastiktüte identifiziert wird, kann die erwartete Fahrzeugreaktion dazu führen, dass der Vorgang nicht geändert wird, sondern stattdessen über die Plastiktüte gefahren wird. Wenn das Objekt jedoch falsch identifiziert wurde (z. B. ist das tatsächliche Objekt eine Person, die eine Plastiktüte hält), können die Folgen der erwarteten Fahrzeugreaktion katastrophal sein. Wenn also die Folgen der erwarteten Fahrzeugreaktion relativ schwerwiegend sind, kann der anomale metrische Schwellenwert so ausgewählt werden, dass er relativ niedrig ist. Dies sind nur einige Beispiele dafür, wie der anomale Metrik-Schwellenwert gewählt werden kann. Der Schwellenwertidentifizierer 162 identifiziert (oder wählt) den Schwellenwert, und kann dies auf eine dieser Arten oder auf andere Weise tun.
Die Schwellenwertvergleichslogik 164 vergleicht die Anomaliemetrik, die durch den Generator 156 erzeugt wird, mit dem Schwellenwert, der durch den Schwellenwertidentifizierer 162 ausgewählt wird, um zu bestimmen, ob er den Schwellenwert erreicht. Falls ja, gibt sie ein Auslösesignal aus, das anzeigt, dass eine Aktion ausgelöst wurde. Der Aktionsidentifizierer 168 identifiziert die jeweilige zu ergreifende Aktion und kommuniziert dies dem Aktionssignalgenerator 157. Der Aktionssignalgenerator 157 erzeugt ein Aktionssignal auf Grundlage der bestimmten durchzuführenden Aktion. Es kann beispielsweise sein, dass eine zu ergreifende Aktion darin besteht, das sekundäre Objektidentifikationssystem 140 aufzurufen. Während der Klassifizierer 128 ein Klassifizierer auf Basis eines neuronalen Netzwerks sein kann, ist das sekundäre Objektidentifikationssystem 140 möglicherweise ein regelbasierter Objektidentifizierer ist. Er verwendet somit einen anderen Algorithmus oder Mechanismus, durch den das erkannte Objekt identifiziert wird, als der Objektidentifikationsklassifizierer 128. Wenn er aufgerufen wird, kann er eine Objektidentifikationsausgabe an das Objektidentifikationsanomalie-Erkennungssystem 138 bereitstellen, das wiederum bestimmt, ob das Verhalten des Objekts anzeigen würde, dass die Objektidentifikationsausgabe durch das System 140 anomal ist. In einem weiteren Beispiel kann der Objektidentifikationsklassifizierer 128 eine „Rangliste“ von Möglichkeiten für Objektidentifizierungen bereitstellen. Wenn festgestellt wird, dass das oberste Element auf der Liste anomal ist, kann das nächste Element auf der Liste ausgewählt und die Anomalieanalyse wiederholt werden. Zum Beispiel kann ein Objekt zuerst mit Konfidenzniveaus als Gürteltier 0,85, Opossum 0,83 und Schildkröte 0,68 durch den Objektidentifikationsklassifizierer 128 identifiziert werden. Der Standortanalysator 134 zeigt an, dass sich das Objekt in Minnesota befindet. In Minnesota gibt es keine Gürteltiere. Die Identifikation des Objekts erweist sich somit als anomal. Das Aktionsverarbeitungssystem 154 wählt den nächsten Kandidaten auf der Liste zur Überprüfung aus. In Minnesota gibt es Opossums. Das Aktionsverarbeitungssystem 154 ergreift dann eine Aktion auf Grundlage dieser Objektidentifizierung.
In einem weiteren Beispiel kann das erste Objektidentifikationssystem 128 ein relativ kleines, weniger komplexes, aber schnelleres System sein. Das sekundäre Objektidentifikationssystem 140 kann ein leistungsstärkeres (bzw. sogar Remote-) System sein, das eine höhere Genauigkeit, aber vielleicht auch eine höhere Latenz aufweist. In einem solchen Szenario können beide Systeme 128 und 140 neuronale Netze oder regelbasierte Systeme oder andere Systeme sein, weisen jedoch unterschiedliche Komplexität und Genauigkeit auf.
Ferner können die Systeme 128 und 140 in einem anderen Beispiel ähnliche Systeme sein, aber mit anderen Daten arbeiten. Beispielsweise kann das Objekt teilweise durch Vegetation verdeckt sein, wenn es durch das System 128 identifiziert wird, kann aber weniger verdeckt sein, wenn es durch das System 140 identifiziert wird. Analog und anhand eines realen Beispiels dachte die Ehefrau des Erfinders vor kurzem, dass sie zwei Mäuseschwänze unter der Spüle sah (die erste Objektidentifizierung). Der Erfinder wurde gebeten, eine Zweitmeinung abzugeben. Die Bewegungsanalyse ergab, dass sich die Schwänze nicht bewegten, und es schien kein Platz für die entsprechenden Mäuse unter dem Objekt zu sein. Somit wurde die erste Objektidentifizierung basierend auf Verhaltens- und Umgebungsdaten abgelehnt. Betrachtete man die Objekte aus einem anderen Winkel, erschienen sie breiter als ein Mäuseschwanz, so wurden sie als Grashalme identifiziert, die am Boden einer hohen Dose klebten (die zweite Objektidentifizierung). Nach dem Entfernen der Objekte unter der Spüle, um die Sichtbarkeit zu verbessern, und dem Sondieren der Objekte mit einer Messlatte wurde auch die zweite Objektidentifizierung verworfen, und die Objekte wurden als zwei Enden eines kaputten Gummibandes identifiziert, das um die Dose gelegt war (die dritte Objektidentifizierung).
Auf die gleiche Weise kann dasselbe Objektidentifikationssystem 128 mit den neuen Daten eine nachfolgende Objektidentifizierung bereitstellen, die genauer ist, wenn sich die Ansicht des Objekts ändert oder wenn neue Daten über das Objekt erhalten werden.
Die durch den Aktionsidentifizierer 168 identifizierte Aktion kann darin bestehen, das Fahrzeug 100 automatisch auf eine bestimmte Weise zu steuern (wie etwa es anzuhalten) usw. In diesem Fall stellt der Aktionssignalgenerator 157 dem Steuersignalgenerator 142 eine Ausgabe bereit, die dies anzeigt. Der Steuersignalgenerator 142 erzeugt Steuersignale, um eines oder mehrere der steuerbaren Teilsysteme 144 (oder andere Elemente) zu steuern, um die identifizierte Aktion durchzuführen. Es kann beispielsweise sein, dass die Maschine 100 gesteuert werden soll, um schnell anzuhalten oder um das Objekt herum zu lenken. In diesem Fall erzeugt der Steuersignalgenerator 142 Steuersignale, um das Antriebssystem 172 zu steuern, um das Fahrzeug und/oder das Lenkungs-Teilsystem 174 anzuhalten oder zu verlangsamen und um das Objekt herum zu lenken. Dies sind nur Beispiele.
Es kann sein, dass die identifizierte Aktion darin besteht, Informationen (eine Warnung oder andere Informationen) an den Bediener 112 zu senden. In diesem Fall stellt der Aktionssignalgenerator 157 eine Ausgabe bereit, die dies den Bedienerschnittstellenmechanismen 146 anzeigt, sodass sie die gewünschte Ausgabe erzeugen können. Die Aktion kann auch darin bestehen, Informationen an ein Remote-Computersystem 114 zu übermitteln, wobei in diesem Fall der Aktionssignalgenerator 178 ein Aktionssignal erzeugt, das dies angibt, und es dem Kommunikationssystem 148 bereitstellt, sodass die gewünschten Informationen an das entfernte Computersystem 114 übermittelt werden können.
Die 3A und 3B (hierin gemeinsam als 3 bezeichnet) veranschaulichen ein Ablaufdiagramm, das ein Beispiel für den Betrieb der mobilen Arbeitsmaschine 100 beim Erkennen eines Objekts, Identifizieren desselben, Bestimmen, ob die Identifizierung anomal ist, und Ergreifen geeigneter Maßnahmen zeigt. Es wird zunächst angenommen, dass die mobile Arbeitsmaschine 100 in Betrieb ist und ein Objekterkennungssystem aufweist, wie es in Bezug auf 2 beschrieben ist. Dies wird durch Block 190 im Ablaufdiagramm von 3 angezeigt. Objekterkennungssensoren 120 erzeugen dann ein Sensorsignal, das Objektdaten beinhaltet, die das erkannte Objekt anzeigen. Empfangen von Objektdaten von einem Objekterkennungssensor 120 wird durch Block 192 im Ablaufdiagramm von 3 angezeigt. Wie oben erörtert, können die Sensoren 120 optische oder andere Sensoren sein, wie etwa eine oder mehrere Kameras, Stereokameras, strukturierte Lichtsensoren, LIDAR, Radar, Ultraschallsensoren usw. Dies wird durch Block 194 angezeigt. Die Objektdaten können auf andere Weise generiert werden, auch durch andere Sensoren, was durch Block 196 angezeigt wird.
Die Sensorsignale können aufbereitet und dem Objektidentifikationsklassifizierer 128 bereitgestellt werden. Der Klassifizierer 128 führt eine Objektidentifizierung auf Grundlage der Objektdaten in den Sensorsignalen durch, um eine Objektidentifizierung zu erzeugen, die das Objekt angibt, das durch den Klassifizierer 128 identifiziert wurde. Dies wird durch Block 198 im Ablaufdiagramm von 3 angezeigt. Der Objektidentifikationsklassifizierer 128 kann aus einer Vielzahl verschiedener Klassifizierer bestehen. Es kann sich um ein neuronales Netzwerk 200, ein regelbasiertes System 202, ein Bildverarbeitungssystem 204 oder eine Vielzahl anderer Klassifizierer 206 handeln.
Das Objektverhaltensanalysesystem 130 identifiziert dann Objektverhaltensmerkmale basierend auf den Objektdaten. Dies wird durch Block 208 angezeigt. Der Bewegungsanalysator 132 kann einen Bewegungsvektor durch Analysieren einer Sequenz von Objektpositionen, die durch die Objektdaten angegeben sind, oder anderweitig identifizieren. Das Identifizieren eines Bewegungsvektors wird durch Block 210 angezeigt.
Der Positionsanalysator 134 kann die Position des Objekts analysieren, etwa ob es sich um ein am Boden befindliches, in der Luft befindliches, fallendes, gleitendes, angetriebenes oder anderweitig getriebenes Objekt usw. handelt. Dies wird durch Block 212 angezeigt. Der Analysator 134 kann auch bestimmen, ob das sich Objekt in einem bestimmten Umkreis der mobilen Arbeitsmaschine 100 befindet. Dies wird durch Block 214 angezeigt. Das Objektverhaltensanalysesystem 130 kann eine Vielzahl anderer Verhaltensmerkmale des identifizierten Objekts identifizieren. Dies wird durch Block 216 im Ablaufdiagramm von 3 angezeigt.
Die Umgebungssensoren 122 erzeugen auch Umgebungssensorsignale, die Umgebungseigenschaften angeben, die erfasst werden. Die Umgebungsdaten, die durch diese Sensorsignale angezeigt werden, können für einen bestimmten Bereich, in dem das Objekt identifiziert wurde, oder auf andere Weise erzeugt werden. Das Empfangen von Umgebungsdaten für einen Objektbereich, der dem Objekt entspricht, von Umgebungssensoren 122 wird durch Block 218 im Ablaufdiagramm von 3 angezeigt. Die Umgebungsdaten können etwa Lufttemperatur 220, Bodentemperatur 222, Windgeschwindigkeit und -richtung 224, Position (innerhalb eines lokalen und/oder globalen Koordinatensystems) 226 und eine Vielzahl anderer Umgebungsdaten beinhalten, wie durch Block 228 angezeigt.
Das Objektidentifikationsanomalie-Erkennungssystem 138 erzeugt dann eine Anomaliemetrik, die angibt, ob die Objektidentifizierung wahrscheinlich anomal ist. Dies kann auf der Objektidentifizierung, den Objektverhaltensmerkmalen und den Umgebungsdaten basieren. Das Bestimmen der Anomaliemetrik wird durch Block 230 im Ablaufdiagramm von 3 angezeigt. Die Metrik ist beispielhaft ein Maß dafür, ob die Objektidentifizierung anomal ist. Daher kann es sich um eine Wahrscheinlichkeit einer Anomalie handeln, wie durch Block 232 angezeigt, eine Wahrscheinlichkeit einer Anomalie, wie durch Block 234 angezeigt, oder um eine Vielzahl anderer Maßnahmen, wie durch Block 236 angezeigt.
Wie oben erörtert, bestimmt der Objekt-/Verhaltens-/Umgebungsanalysator 152, um die Metrik zu erzeugen, ob die Objektidentifizierung angesichts der Umgebung mit den Verhaltensmerkmalen des Objekts übereinstimmt. Eine Ausgabe, die dies angibt, wird dem Anomaliemetrikgenerator 156 bereitgestellt, der die Anomaliemetrik erzeugt.
Das Aktionsverarbeitungssystem 154 bestimmt dann auf Grundlage der Anomaliemetrik, ob eine Aktion durchzuführen ist. Dies wird durch Block 238 im Ablaufdiagramm von 3 angezeigt. Der Aktionsauslösedetektor 160 bestimmt dies und kann dies auf Grundlage eines Vergleichs der Anomaliemetrik mit einem Anomaliemetrikschwellenwert tun. Dies wird durch Block 240 angezeigt. Wie oben erörtert, kann der Schwellenwert ein statischer Schwellenwert sein, wie durch Block 242 angezeigt, oder er kann ein dynamischer Schwellenwert sein, wie durch Block 244 angezeigt. Wenn es sich um einen dynamischen Schwellenwert handelt, kann er durch den Schwellenwertidentifizierer 162 auf unterschiedlichste Weise dynamisch identifiziert werden. Der dynamische Schwellenwert kann auf Grundlage von Folgen der erwarteten Fahrzeugreaktion identifiziert werden. Er kann anhand des Ausmaßes identifiziert werden, in dem die Objektidentifizierung anomal erscheint. Er kann anhand des jeweils identifizierten Objekts usw. identifiziert werden. Gleichermaßen kann der Schwellenwertidentifizierer 162 verschiedene Schwellenwerte auf Grundlage dessen identifizieren, ob die Objektidentifizierung wahrscheinlich ein Fehlalarm (positiv oder negativ) ist. Dies wird durch Block 246 im Flussdiagramm von 3 angezeigt. Das Bestimmen, ob eine Aktion durchgeführt werden soll, kann auch auf eine Vielzahl anderer Arten erfolgen, was durch Block 248 angezeigt wird.
Wenn eine Aktion auszuführen ist, wie durch Block 250 angezeigt, identifiziert der Aktionsidentifizierer 168 die bestimmte auszuführende Aktion, und der Aktionssignalgenerator 157 erzeugt ein Aktionssignal, sodass die Aktion durch die mobile Arbeitsmaschine 100 ausgeführt wird. Das Identifizieren und Durchführen der Aktion wird durch Block 252 im Flussdiagramm von 3 angezeigt. Wie vorstehend erörtert, kann die Aktion darin bestehen, eine Objektidentifizierung mit dem sekundären Objektidentifikationssystem 140 einzuleiten. Dies wird durch Block 254 angezeigt. Die Aktion kann darin bestehen, Bedienerschnittstellenmechanismen 146 zu steuern, um eine Warnung für einen lokalen Bediener 112 zu erzeugen, oder das Kommunikationssystem 148 zu steuern, um eine Warnung oder andere Informationen für den Remote-Benutzer 116 zu erzeugen. Dies wird durch Block 256 angezeigt. Die Aktion kann darin bestehen, Daten im Datenspeicher 176 zu speichern, die das Objekt angeben, das identifiziert wurde, wann und wo es identifiziert wurde, die Anomaliemetrik, die Grundlage für die Anomaliemetrik usw. Das Speichern von Daten wird durch Block 258 angezeigt. Die Aktion kann auch darin bestehen, Maschinensteuersignale zu erzeugen, um die mobile Arbeitsmaschine 100 zu steuern. In diesem Fall wird eine Ausgabe, die dies anzeigt, dem Steuersignalgenerator 142 bereitgestellt, der die Steuersignale erzeugt. Beispielsweise kann diese verwendet werden, um die Geschwindigkeit der mobilen Arbeitsmaschine 100 durch Steuern des Antriebs-Teilsystems 172 zu steuern. Die Lenkung der mobilen Arbeitsmaschine 100 kann gesteuert werden, indem das Lenkungs-Teilsystem 174 gesteuert wird. Das Erzeugen von Steuersignalen an die Steuermaschine 100 wird durch Block 260 im Ablaufdiagramm von 3 angezeigt. Es kann auch eine Vielzahl anderer Aktionen durchgeführt werden. Dies wird durch Block 262 angezeigt.
Dabei können verschiedene Beispiele hilfreich sein. Die zu ergreifenden Maßnahmen können je nach identifiziertem Objekt sehr unterschiedlich sein. Selbst wenn das Objekt beispielsweise als Tier identifiziert wird, kann die Aktion je nach Art des identifizierten Tieres stark variieren. Beispielsweise laufen Erdhörnchen relativ schnell über die Straße. Daher kann die Aktion darin bestehen, das Fahrzeug 100 zu verlangsamen, um dem Tier Zeit zu geben, die Straße zu überqueren. Wie bereits erwähnt, springen Hasen nach oben in das Fahrzeug. Daher kann die Aktion darin bestehen, das Fahrzeug zu verlangsamen, das Fahrzeug anzuhalten oder um das Objekt herum zu lenken. Opossums stellen sich tot. Daher kann die Aktion darin bestehen, das Fahrzeug so zu steuern, dass es ohne Radkontakt über das Opossum fährt. Ausgewachsene Rehe springen oft vor Fahrzeuge. Daher kann die Maschine 100, wenn ein Reh identifiziert wird, auf eine Weise gesteuert werden, wie etwa, um zu verlangsamen oder anzuhalten, bis das Reh in sicherem Abstand ist, und dann langsam weiterzufahren, selbst wenn es scheint, dass der Bereich um die Maschine 100 frei ist. Wenn es mehrere Rehe gibt, kann die Aktion auf dem Standort dieser Rehe basieren. Wenn sie die Straße überqueren, kann die Aktion verlangsamt oder gestoppt werden. Wenn sie sich am Straßenrand befinden und sich von der Straße weg bewegen, kann es sein, dass die Aktion etwas verlangsamt, aber trotzdem weitergefahren wird. In ähnlicher Weise neigen junge Rehkitze dazu, sich auf den Boden zu legen und unten zu bleiben. Daher kann die Aktion darin bestehen, ohne Radkontakt über das junge Reh zu fahren. Außerdem ist beachten, dass junge Rehkitze nur zu bestimmten Zeiten des Jahres zu sehen sind. Dies kann vom Objektidentifikationsanomalie-Erkennungssystem 138 verwendet werden, um die Anomaliemetrik zu erzeugen. Dies sind nur Beispiele.
In der vorliegenden Diskussion wurden Prozessoren und Server erwähnt. In einem Beispiel beinhalten die Prozessoren und Server Computerprozessoren mit zugehörigem Speicher und Zeitschaltungen, die nicht separat dargestellt werden. Sie sind funktionale Teile der Systeme oder Vorrichtungen, zu denen sie gehören und durch die sie aktiviert werden, und erleichtern die Funktionalität der anderen Komponenten oder Elemente in diesen Systemen.
Außerdem wurden eine Reihe von Anzeigen der Benutzerschnittstelle erörtert. Sie können mehrere verschiedene Formen annehmen und können mehrere verschiedene benutzergesteuerte Eingabemechanismen darauf aufweisen. Beispielsweise können die vom Benutzer aktivierbaren Eingabemechanismen Textfelder, Kontrollkästchen, Symbole, Links, Dropdown-Menüs, Suchfelder usw. sein. Sie können auch auf unterschiedlichste Weise betätigt werden. Sie können beispielsweise mit einer Point-and-Click-Vorrichtung (z. B. Trackball oder Maus) betätigt werden. Sie können über Hardwaretasten, Schalter, einen Joystick oder eine Tastatur, Daumenschalter oder Daumenpads usw. betätigt werden. Sie können auch über eine virtuelle Tastatur oder andere virtuelle Aktuatoren betätigt werden. Wenn der Bildschirm, auf dem sie angezeigt werden, ein berührungsempfindlicher Bildschirm ist, können sie außerdem mit Berührungsgesten betätigt werden. Wenn das Gerät, das sie anzeigt, über Spracherkennungskomponenten verfügt, können sie auch über Sprachbefehle gesteuert werden.
Eine Reihe von Datenspeichern wurde ebenfalls erörtert. Es wird darauf hingewiesen, dass sie jeweils in mehrere Datenspeicher unterteilt werden können. Alle können lokal für die auf sie zugreifenden Systeme sein, alle können entfernt sein, oder einige können lokal sein, während andere entfernt sind. Alle diese Konfigurationen sind hierin vorgesehen.
Außerdem zeigen die Figuren eine Reihe von Blöcken mit Funktionen, die jedem Block zugeordnet sind. Es wird darauf hingewiesen, dass weniger Blöcke verwendet werden können, so dass die Funktionalität von weniger Komponenten übernommen wird. Es können auch mehr Blöcke mit der auf mehrere Komponenten verteilten Funktionalität verwendet werden.
Es ist zu beachten, dass die vorstehende Erläuterung eine Vielzahl unterschiedlicher Systeme, Komponenten und/oder Logiken beschrieben hat. Es versteht sich, dass solche Systeme, Komponenten und/oder Logik aus Hardwareelementen (wie etwa Prozessoren und zugehörigem Speicher oder anderen Verarbeitungskomponenten, von denen einige im Folgenden beschrieben werden) bestehen können, die die mit diesen Systemen, Komponenten und/oder Logik verbundenen Funktionen ausführen. Darüber hinaus können die Systeme, Komponenten und/oder Logiken aus Software bestehen, die in einen Speicher geladen werden und anschließend von einem Prozessor oder Server oder einer anderen Rechnerkomponente ausgeführt werden, wie unten beschrieben. Die Systeme, Komponenten und/oder Logiken können auch aus verschiedenen Kombinationen von Hardware, Software, Firmware usw. bestehen, von denen einige Beispiele nachfolgend beschrieben werden. Dies sind nur einige Beispiele für unterschiedliche Strukturen, die zur Bildung der oben beschriebenen Systeme, Komponenten und/oder Logik verwendet werden können. Es können auch andere Strukturen verwendet werden.
4 ist ein Blockdiagramm der Maschine 100, dargestellt in 1 und 2, mit der Ausnahme, dass sie mit Elementen in einer Remote-Serverarchitektur 500 kommuniziert. In einem Beispiel kann die Remote-Serverarchitektur 500 Rechen-, Software-, Datenzugriffs- und Speicherdienste bereitstellen, die keine Kenntnisse des Endbenutzers über den physischen Standort oder die Konfiguration des Systems erfordern, das die Dienste bereitstellt. In verschiedenen Beispielen können Remote-Server die Dienste über ein Weitverkehrsnetzwerk, wie etwa das Internet, unter Verwendung geeigneter Protokolle bereitstellen. So können beispielsweise Remote-Serveranwendungen über ein Weitverkehrsnetzwerk bereitstellen und über einen Webbrowser oder eine andere Computerkomponente darauf zugreifen. Software oder Komponenten, die in 2 dargestellt sind, sowie die entsprechenden Daten können auf Servern an einem entfernten Standort gespeichert werden. Die Computerressourcen in einer entfernten Serverumgebung können an einem entfernten Standort des Rechenzentrums konsolidiert oder verteilt werden. Remote-Server-Infrastrukturen können Dienste über gemeinsam genutzte Rechenzentren bereitstellen, obwohl sie für den Benutzer als ein einziger Zugangspunkt erscheinen. Somit können die hierin beschriebenen Komponenten und Funktionen von einem Remote-Server an einem Remote-Standort über eine Remote-ServerArchitektur bereitgestellt werden. Alternativ können sie von einem herkömmlichen Server bereitgestellt werden, oder sie können direkt auf Endgeräten oder auf andere Weise installiert werden.
In dem dargestellten Beispiel in 4 sind einige Elemente den in 2 dargestellten Elementen ähnlich und ähnlich nummeriert. 4 zeigt insbesondere, dass sich die Remote-Computersysteme 114 und der Speicher 176 an einem Remote-Serverstandort 502 befinden können. Daher greift die Maschine 100 über den Remote-Serverstandort 502 auf diese Systeme zu. Der Remote-Benutzer 116 kann die Vorrichtung 504 verwenden, um auf diese Systeme zuzugreifen.
Unabhängig davon, wo sie sich befinden, kann direkt auf sie von der Arbeitsmaschine 100 über ein Netzwerk (entweder ein Weitverkehrsnetzwerk oder ein lokales Netzwerk) zugegriffen werden, können sie an einem Remote-Standort von einem Dienst gehostet werden, oder können sie als Dienst bereitgestellt oder von einem Verbindungsdienst zugegriffen werden, der sich an einem Remote-Standort befindet. Alle diese Architekturen werden hierin betrachtet.
Es wird auch darauf hingewiesen, dass die Elemente von 1 und 2 oder Teile davon auf einer Vielzahl von unterschiedlichen Vorrichtungen angeordnet werden können. Einige dieser Vorrichtungen beinhalten Server, Desktop-Computer, Laptops, Tablet-Computer oder andere mobile Geräte, wie etwa Palmtop-Computer, Mobiltelefone, Smartphones, Multimedia-Player, persönliche digitale Assistenten usw.
5 ist ein vereinfachtes Blockdiagramm eines veranschaulichenden Beispiels einer tragbaren oder mobilen Computervorrichtung, die als tragbare Vorrichtung 16 eines Benutzers oder Kunden verwendet werden kann, in dem das vorliegende System (oder Teile davon) eingesetzt werden kann. So kann beispielsweise ein mobiles Gerät in der Fahrerkabine der Maschine 100 eingesetzt werden, um die oben erörterten Informationen zu erzeugen, zu verarbeiten oder anzuzeigen. Die 6-7 sind Beispiele für tragbare oder mobile Vorrichtungen.
5 stellt ein allgemeines Blockdiagramm der Komponenten einer Client-Vorrichtung 16 bereit, die einige der in 2 dargestellten Komponenten ausführen kann, die mit ihnen interagieren, oder beides. In der Vorrichtung 16 ist eine Kommunikationsverbindung 13 vorgesehen, die es der tragbaren Vorrichtung ermöglicht, mit anderen Computervorrichtungen zu kommunizieren, und in einigen Beispielen einen Kanal zum automatischen Empfangen von Informationen, beispielsweise durch Scannen, vorsieht. Beispiele für Kommunikationsverbindungen 13 beinhalten das Zulassen der Kommunikation über ein oder mehrere Kommunikationsprotokolle, wie etwa drahtlose Dienste, die verwendet werden, um einen zellularen Zugang zu einem Netzwerk zu ermöglichen, sowie Protokolle, die lokale drahtlose Verbindungen zu Netzwerken bereitstellen.
In anderen Beispielen können Anwendungen auf einer entfernbaren „Secure Digital“-(SD-)Karte empfangen werden, die mit einer Schnittstelle 15 verbunden ist. Die Schnittstelle 15 und die Kommunikationsverbindungen 13 kommunizieren mit einem Prozessor 17 (der auch die Prozessoren oder Server aus den vorherigen FIG. verkörpern kann) über einen Bus 19, der ebenfalls mit dem Speicher 21 und den Ein-/Ausgabekomponenten (E/A) 23 sowie dem Taktgeber 25 und dem Ortungssystem 27 verbunden ist.
E/A-Komponenten 23 sind in einem Beispiel vorgesehen, um Ein- und Ausgabeoperationen zu erleichtern. E/A-Komponenten 23 für verschiedene Beispiele des Endgeräts 16 können Eingabekomponenten, wie etwa Tasten, Tastsensoren, optische Sensoren, Mikrofone, Touchscreens, Näherungssensoren, Beschleunigungssensoren, Orientierungssensoren, und Ausgabekomponenten, wie etwa eine Anzeigevorrichtung, ein Lautsprecher und/oder ein Druckeranschluss beinhalten. Es können auch andere E/A-Komponenten 23 verwendet werden.
Der Taktgeber 25 umfasst veranschaulichend eine Echtzeituhrkomponente, die eine Uhrzeit und ein Datum ausgibt. Dieser kann auch, veranschaulichend, Timing-Funktionen für Prozessor 17 bereitstellen.
Das Ortungssystem 27 beinhaltet veranschaulichend eine Komponente, die eine aktuelle geografische Position des Endgeräts 16 ausgibt. Dies kann beispielsweise einen globalen Positionierungssystem-(GPS-)Empfänger, ein LORAN-System, ein Koppelnavigationssystem, ein zellulares Triangulationssystems oder ein anderes Positionierungssystems beinhalten. Es kann beispielsweise auch eine Karten- oder Navigationssoftware beinhalten, die gewünschte Karten, Navigationsrouten und andere geografische Funktionen generiert.
Der Speicher 21 speichert das Betriebssystem 29, die Netzwerkeinstellungen 31, die Anwendungen 33, die Anwendungskonfigurationseinstellungen 35, den Datenspeicher 37, die Kommunikationstreiber 39 und die Kommunikationskonfigurationseinstellungen 41. Der Speicher 21 kann alle Arten von greifbaren flüchtigen und nichtflüchtigen computerlesbaren Speichergeräte beinhalten. Er kann auch Computerspeichermedien beinhalten (siehe unten). Der Speicher 21 speichert computerlesbare Anweisungen, die, wenn sie von Prozessor 17 ausgeführt werden, den Prozessor veranlassen, computerimplementierte Schritte oder Funktionen gemäß den Anweisungen auszuführen. Der Prozessor 17 kann von anderen Komponenten aktiviert werden, um auch deren Funktionalität zu verbessern.
6 zeigt ein Beispiel, bei dem die Vorrichtung 16 ein Tablet-Computer 600 ist. In 6 wird der Computer 600 mit dem Bildschirm 602 der Benutzerschnittstelle dargestellt. Der Bildschirm 602 kann ein Touchscreen oder eine stiftfähige Schnittstelle sein, die Eingaben von einem Stift oder Stylus empfängt. Er kann auch eine virtuelle Bildschirmtastatur verwenden. Natürlich kann es auch über einen geeigneten Befestigungsmechanismus, wie etwa eine drahtlose Verbindung oder einen USB-Anschluss, an eine Tastatur oder eine andere Benutzereingabevorrichtung angeschlossen werden. Der Computer 600 kann auch illustrativ Spracheingaben empfangen.
7 zeigt, dass die Vorrichtung ein Smartphone 71 sein kann. Das Smartphone 71 verfügt über ein berührungsempfindliches Display 73, das Symbole oder Grafiken oder andere Benutzereingabemechanismen 75 anzeigt. Die Mechanismen 75 können von einem Benutzer verwendet werden, um Anwendungen auszuführen, Anrufe zu tätigen, Datenübertragungsvorgänge durchzuführen usw. Im Allgemeinen ist das Smartphone 71 auf einem mobilen Betriebssystem aufgebaut und bietet eine fortschrittlichere Rechenleistung und Konnektivität als ein Funktionstelefon.
Es ist zu beachten, dass andere Formen des Endgeräts 16 möglich sind.
8 ist ein Beispiel für eine Computerumgebung, in der Elemente von 2, oder Teile davon, (zum Beispiel) eingesetzt werden können. Unter Bezugnahme auf 8 beinhaltet ein Beispielsystem zur Implementierung einiger Ausführungsformen eine Rechenvorrichtung in Form eines Computers 810, der programmiert ist, um wie oben erörtert zu arbeiten. Komponenten des Computers 810 können, ohne darauf beschränkt zu sein, eine Verarbeitungseinheit 820 (die Prozessor 108 umfassen kann), einen Systemspeicher 830 und einen Systembus 821 beinhalten, der verschiedene Systemkomponenten, einschließlich des Systemspeichers, mit der Verarbeitungseinheit 820 koppelt. Der Systembus 821 kann eine von mehreren Arten von Busstrukturen sein, einschließlich eines Speicherbusses oder einer Speichersteuerung, eines Peripheriebusses und eines lokalen Busses mit einer Vielzahl von Busarchitekturen. Speicher und Programme, die in Bezug auf 2 beschrieben werden, können in entsprechenden Teilen von 8 beschrieben oder ist anderweitig damit verbunden sind.
Der Computer 810 beinhaltet typischerweise mehrere computerlesbare Medien. Computerlesbare Medien können alle verfügbaren Medien sein, auf die der Computer 810 zugreifen kann, und umfassen sowohl flüchtige als auch nichtflüchtige Medien, Wechselmedien und nicht entfernbare Medien. Computerlesbare Medien können beispielsweise Computerspeichermedien und Kommunikationsmedien umfassen. Computerspeichermedien unterscheiden sich von einem modulierten Datensignal oder einer Trägerwelle und beinhalten diese nicht. Dazu gehören Hardware-Speichermedien mit flüchtigen und nichtflüchtigen, entfernbaren und nicht entfernbaren Medien, die in einem beliebigen Verfahren oder einer Technologie für die Speicherung von Informationen, wie etwa computerlesbaren Befehlen, Datenstrukturen, Programmmodulen oder anderen Daten, implementiert sind. Rechenspeichermedien umfassen, aber sie sind nicht beschränkt auf RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologie, CD-ROM, Digitalversatile-Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, -bänder, -plattenspeicher oder andere magnetische Speichergeräte oder jedes andere Medium, das verwendet werden kann, um die gewünschte Information zu speichern, auf die über den Computer 810 zugegriffen werden kann. Kommunikationsmedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten in einem Transportmechanismus enthalten und umfassen alle Informationslieferungsmedien. Der Begriff „angepasstes Datensignal“ bezeichnet ein Signal, für das ein oder mehrere seiner Merkmale so festgelegt oder geändert sind, dass Informationen in dem Signal codiert sind.
Der Systemspeicher 830 beinhaltet Computerspeichermedien in Form von flüchtigen und/oder nichtflüchtigen Speichern, wie etwa Festspeicher (ROM, Read Only Memory) 831 und Arbeitsspeicher (RAM, Random Access Memory) 832. Ein grundlegendes Ein-/Ausgabesystem 833 (BIOS), das die grundlegenden Programme enthält, die helfen, Informationen zwischen den Elementen innerhalb des Computers 810 zu übertragen, wie etwa beim Starten, wird typischerweise im ROM 831 gespeichert. RAM 832 enthält typischerweise Daten- und/oder Programmmodule, die für die Verarbeitungseinheit 820 unmittelbar zugänglich sind und/oder derzeit betrieben werden. Beispielsweise und nicht als Einschränkung veranschaulicht 8 das Betriebssystem 834, die Anwendungsprogramme 835, andere Programmmodule 836 und Programmdaten 837.
Der Computer 810 kann auch andere entfernbare/nicht entfernbare flüchtige/nichtflüchtige Computerspeichermedien beinhalten. Beispielsweise wird in 10 ein Festplattenlaufwerk 841 nur beispielhaft veranschaulicht, das von nicht entfernbaren, nichtflüchtigen magnetischen Medien, einem optischen Plattenlaufwerk 855 und einer nichtflüchtigen optischen Platte 856 liest oder darauf schreibt. Das Festplattenlaufwerk 841 ist typischerweise über eine nicht-entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 840, mit dem Systembus 821 verbunden, und das optische Plattenlaufwerk 855 sind typischerweise über eine entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 850, mit dem Systembus 821 verbunden.
Alternativ oder zusätzlich kann die hierin beschriebene Funktionalität mindestens teilweise durch eine oder mehrere Hardware-Logikkomponenten ausgeführt werden. Zu den veranschaulichenden Arten von Hardware-Logikkomponenten, die verwendet werden können, gehören beispielsweise feldprogrammierbare Gate-Arrays (FPGAs), Applikations-spezifische integrierte Schaltungen (z. B. ASICs), Applikations-spezifische Standardprodukte (z. B. ASSPs), System-on-a-Chip-Systeme (SOCs), „Complex Programmable Logic Devices“ (CPLDs) usw.
Die Laufwerke und die dazugehörigen Computerspeichermedien, die vorstehend erläutert und in 8 dargestellt sind, ermöglichen dem Computer 810 die Speicherung computerlesbarer Anweisungen, Datenstrukturen, Programmmodulen und sonstiger Daten. In 8 ist beispielsweise das Festplattenlaufwerk 841 als Speicher für das Betriebssystem 844, die Anwendungsprogramme 845, die anderen Programmmodule 846 und die Programmdaten 847 veranschaulicht. Es ist zu beachten, dass diese Komponenten entweder gleich oder verschieden vom Betriebssystem 834, den Anwendungsprogrammen 835, anderen Programmmodulen 836 und den Programmdaten 837 sein können.
Ein Benutzer kann Befehle und Informationen in den Computer 810 über Eingabegeräte, wie etwa eine Tastatur 862, ein Mikrofon 863 und ein Zeigegerät 861, wie etwa eine Maus, einen Trackball oder ein Touchpad, eingeben. Andere Eingabegeräte (nicht dargestellt) können einen Joystick, ein Gamepad, eine Satellitenschüssel, einen Scanner oder dergleichen beinhalten. Diese und andere Eingabegeräte sind oft über eine Benutzereingabeschnittstelle 860 mit der Verarbeitungseinheit 820 verbunden, die mit dem Systembus gekoppelt ist, aber auch über andere Schnittstellen- und Busstrukturen verbunden sein kann. Eine optische Anzeige 891 oder eine andere Art von Anzeigegerät ist ebenfalls über eine Schnittstelle, wie etwa eine Videoschnittstelle 890, mit dem Systembus 821 verbunden. Zusätzlich zum Monitor können Computer auch andere periphere Ausgabevorrichtungen, wie etwa die Lautsprecher 897 und den Drucker 896 beinhalten, die über eine Ausgabeperipherieschnittstelle 895 verbunden werden können.
Der Computer 810 wird in einer Netzwerkumgebung über logische Verbindungen (wie etwa CAN, LAN oder WAN) zu einem oder mehreren entfernten Computern, wie etwa einem entfernten Computer 880, betrieben.
Bei Verwendung in einer LAN-Netzwerkumgebung ist der Computer 810 über eine Netzwerkschnittstelle oder einen Adapter 870 mit dem LAN 871 verbunden. Bei Verwendung in einer WAN-Netzwerkumgebung beinhaltet der Computer 810 typischerweise ein Modem 872 oder andere Mittel zum Aufbauen einer Kommunikation über das WAN 873, wie etwa das Internet. In einer vernetzten Umgebung können Programmmodule auf einer externen Speichervorrichtung gespeichert werden. 8 veranschaulicht beispielsweise, dass sich diese Remote-Anwendungsprogramme 885 auf einem Remote-Computer 880 befinden können.
Es sei auch darauf hingewiesen, dass die verschiedenen hier beschriebenen Beispiele auf unterschiedliche Weise kombiniert werden können. Das heißt, Teile einer oder mehrerer Ausführungsformen können mit Teilen einer oder mehrerer anderer Ausführungsformen kombiniert werden. All dies wird hier in Betracht gezogen.
Beispiel 1 ist eine mobile Arbeitsmaschine, umfassend:

ein erstes Objektidentifikationssystem, das Objektdaten empfängt, die ein von einem Objekterkennungssensor erkanntes Objekt anzeigen, und eine erste Objektidentifizierung erzeugt, die das Objekt anzeigt, basierend auf den Objektdaten;
ein Objektverhaltensanalysesystem, das einen Satz von Objektverhaltensmerkmalen erzeugt, die ein Verhalten des Objekts anzeigen, basierend auf den Objektdaten;
ein Objektidentifikationsanomalie-Erkennungssystem, das die Objektdaten und Objektanomaliedaten empfängt und eine Anomaliemetrik erzeugt, die basierend auf der ersten Objektidentifizierung und den Objektanomaliedaten angibt, ob die erste Objektidentifizierung anomal ist;
ein sekundäres Objektidentifikationssystem, das Objekte anders als das erste Objektidentifikationssystem identifiziert und das die Objektdaten empfängt und basierend auf den Objektdaten eine zweite Objektidentifizierung erzeugt, die das Objekt angibt; und
einen Aktionssignalgenerator, der ein Aktionssignal erzeugt, um das zweite Objektidentifikationssystem auf Grundlage der Anomaliemetrik aufzurufen.

Beispiel 2 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei die Objektanomaliedaten mindestens einen Satz von Verhaltensmerkmalen oder Umgebungsdaten umfassen, die ein erfasstes Umgebungsmerkmal angeben.
Beispiel 3 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele und umfasst ferner:

ein steuerbares Teilsystem, wobei der Aktionssignalgenerator das Aktionssignal erzeugt, um das steuerbare Teilsystem auf Grundlage der ersten Objektidentifizierung und der Anomaliemetrik zu steuern.

Beispiel 4 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Objektidentifikationsanomalie-Erkennungssystem Folgendes umfasst:

einen Objekt-/Verhaltens-/Umgebungsanalysator, der bestimmt, ob die Verhaltenseigenschaften mit der ersten Objektidentifizierung inkonsistent sind, angesichts der erfassten Umgebungseigenschaft, und ein Verhaltensanalyseergebnis erzeugt, das die Bestimmung anzeigt.

Beispiel 5 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Objektidentifikationsanomalie-Erkennungssystem Folgendes umfasst:

einen Anomaliemetrikgenerator, der konfiguriert ist, um die Anomaliemetrik auf Grundlage des Verhaltensanalyseergebnisses zu erzeugen.

Beispiel 6 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Objektidentifikationsanomalie-Erkennungssystem Folgendes umfasst:

ein Aktionsverarbeitungssystem, das auf Grundlage der Anomaliemetrik bestimmt, ob eine Aktion durchzuführen ist.

Beispiel 7 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Aktionsverarbeitungssystem Folgendes umfasst:

Schwellenwertvergleichslogik, die konfiguriert ist, um die Anomaliemetrik mit einem Anomalieschwellenwert zu vergleichen, um zu bestimmen, ob eine Aktion durchgeführt werden soll; und
einen Aktionsidentifizierer, der dazu konfiguriert ist, die durchzuführende Aktion zu identifizieren, wenn die Schwellenwertvergleichslogik bestimmt, dass eine Aktion durchgeführt werden soll.

Beispiel 8 ist die mobile Arbeitsmaschine eines oder aller vorherigen Beispiele, wobei das Aktionsverarbeitungssystem ferner Folgendes umfasst:

Einen Schwellenwertidentifizierer, der konfiguriert ist, um den Anomalieschwellenwert zu identifizieren.

Beispiel 9 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei die erste Objektidentifizierung eine entsprechende erwartete Maschinenreaktion aufweist und wobei der Schwellenwertidentifizierer den Anomalieschwellenwert auf Grundlage der erwarteten Maschinenreaktion identifiziert, die der ersten Objektidentifizierung entspricht.
Beispiel 10 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Objektverhaltensanalysesystem Folgendes umfasst:

einen Bewegungsanalysator, der konfiguriert ist, um Bewegungseigenschaften des identifizierten Objekts basierend auf den Objektdaten zu identifizieren.

Beispiel 11 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Objektverhaltensanalysesystem Folgendes umfasst:

einen Positionsanalysator, der konfiguriert ist, um Positionsmerkmale des identifizierten Objekts basierend auf den Objektdaten zu identifizieren.

Beispiel 12 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das erste Objektidentifikationssystem oder das zweite Objektidentifikationssystem einen auf einem neuronalen Netzwerk basierenden Klassifizierer umfasst und wobei das erste Objektidentifikationssystem oder das zweite Objektidentifikationssystem einen auf Regeln basierenden Klassifizierer umfasst.
Beispiel 13 ist ein computerimplementiertes Verfahren zum Steuern einer mobilen Arbeitsmaschine, umfassend:

Empfangen von Objektdaten, die ein Objekt angeben, das von einem Objekterkennungssensor erkannt wurde;
Erzeugen einer ersten Objektidentifizierung, die das Objekt anzeigt, basierend auf den Objektdaten, unter Verwendung eines ersten Objektidentifikationssystems;
Erhalten von Objektanomaliedaten, die angeben, ob die erste Objektidentifizierung anomal ist;
Erzeugen einer Anomaliemetrik, die anzeigt, ob die erste Objektidentifizierung anomal ist, basierend auf der ersten Objektidentifizierung und den Objektanomaliedaten; und
wenn die Anomaliemetrik anzeigt, dass die erste Objektidentifizierung anomal ist, Erzeugen einer zweiten Objektidentifizierung, die das Objekt anzeigt, basierend auf den Objektdaten unter Verwendung eines zweiten Objektidentifikationssystems, das Objekte anders als das erste Objektidentifikationssystem identifiziert.

Beispiel 14 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das Erhalten von Objektanomaliedaten mindestens eines der Folgenden umfasst:

Erzeugen eines Satzes von Objektverhaltensmerkmalen, die ein Verhalten des Objekts anzeigen, basierend auf den Objektdaten; oder
Empfangen von Umgebungsdaten, die ein erfasstes Umgebungsmerkmal anzeigen.

Beispiel 15 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei die mobile Arbeitsmaschine ein steuerbares Teilsystem beinhaltet und ferner Folgendes umfasst:

Erzeugen eines Aktionssignals, um das steuerbare Teilsystem auf Grundlage der ersten Objektidentifizierung oder der zweiten Objektidentifizierung zu steuern.

Beispiel 16 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das Erzeugen einer Anomaliemetrik Folgendes umfasst:

Bestimmen, ob die Verhaltensmerkmale angesichts der erfassten Umgebungseigenschaft mit der ersten Objektidentifizierung inkonsistent sind;
Erzeugen eines Verhaltensanalyseergebnisses, das die Bestimmung anzeigt; und
Erzeugen der Anomaliemetrik basierend auf dem Verhaltensanalyseergebnis.

Beispiel 17 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das Erzeugen der zweiten Objektidentifizierung Folgendes umfasst:

Vergleichen der Anomaliemetrik mit einem Anomalieschwellenwert, um zu bestimmen, ob die zweite Objektidentifizierung erzeugt werden soll; und
wenn ja, Steuern des zweiten Objektidentifikationssystems, um die zweite Objektidentifizierung zu erzeugen.

Beispiel 18 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei die erste Objektidentifizierung eine entsprechende erwartete Maschinenreaktion aufweist und wobei das Vergleichen der Anomaliemetrik mit einem Anomalieschwellenwert Folgendes umfasst:

Identifizieren des Anomalieschwellenwerts auf Grundlage der erwarteten Maschinenreaktion, die der ersten Objektidentifizierung entspricht.

Beispiel 19 ist das computerimplementierte Verfahren eines oder aller vorhergehenden Beispiele, wobei das Erzeugen eines Satzes von Verhaltenseigenschaften mindestens eines der Folgenden umfasst:

Identifizieren von Bewegungsmerkmalen des identifizierten Objekts basierend auf den Objektdaten; und
Identifizieren von Positionsmerkmalen des identifizierten Objekts basierend auf den Objektdaten.

Beispiel 20 ist ein Steuersystem zum Steuern einer mobilen Arbeitsmaschine, wobei das Steuersystem Folgendes umfasst:

einen oder mehrere Prozessoren; und
Speicher, der Anweisungen speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren dazu veranlassen, Schritte auszuführen, die Folgendes umfassen:
Erzeugen einer ersten Objektidentifizierung, die ein Objekt angibt basierend auf Objektdaten, die von einem Objekterkennungssensor bereitgestellt werden, unter Verwendung eines ersten Objektidentifikationssystems;
Erzeugen eines Satzes von Objektverhaltensmerkmalen, die ein Verhalten des Objekts anzeigen, basierend auf den Objektdaten;
Erzeugen einer Anomaliemetrik, die anzeigt, ob die erste Objektidentifizierung anomal ist, auf Grundlage der ersten Objektidentifizierung, des Satzes von Verhaltensmerkmalen und Umgebungsdaten, die ein erfasstes Umgebungsmerkmal anzeigen; und
wenn die Anomaliemetrik anzeigt, dass die erste Objektidentifizierung anomal ist, dann Erzeugen einer zweiten Objektidentifizierung, die das Objekt anzeigt, basierend auf den Objektdaten unter Verwendung eines zweiten Objektidentifikationssystems, das Objekte unter Verwendung eines Objektidentifikationsalgorithmus identifiziert, der sich von einem Objektidentifikationsalgorithmus unterscheidet, der von dem ersten Objektidentifikationssystem verwendet wird.
Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die vorstehend beschriebenen spezifischen Merkmale und Handlungen als exemplarische Formen der Umsetzung der Ansprüche offengelegt.

Claims

Mobile Arbeitsmaschine (100), umfassend: ein erstes Objektidentifikationssystem (128), das Objektdaten empfängt, die ein von einem Objekterkennungssensor (120) erkanntes Objekt anzeigen, und eine erste Objektidentifizierung erzeugt, die das Objekt anzeigt, basierend auf den Objektdaten; ein Objektverhaltensanalysesystem (130), das einen Satz von Objektverhaltensmerkmalen erzeugt, die ein Verhalten des Objekts anzeigen, basierend auf den Objektdaten; ein Objektidentifikationsanomalie-Erkennungssystem (138), das die Objektdaten und Objektanomaliedaten empfängt und eine Anomaliemetrik erzeugt, die basierend auf der ersten Objektidentifizierung und den Objektanomaliedaten angibt, ob die erste Objektidentifizierung anomal ist; ein sekundäres Objektidentifikationssystem (140), das Objekte anders als das erste Objektidentifikationssystem (128) identifiziert und das die Objektdaten empfängt und basierend auf den Objektdaten eine zweite Objektidentifizierung erzeugt, die das Objekt angibt; und einen Aktionssignalgenerator (157), der ein Aktionssignal erzeugt, um das zweite Objektidentifikationssystem (140) auf Grundlage der Anomaliemetrik aufzurufen.
Mobile Arbeitsmaschine (100) nach Anspruch 1, wobei die Objektanomaliedaten mindestens eines aus dem Satz von Verhaltensmerkmalen oder Umgebungsdaten umfassen, die ein erfasstes Umgebungsmerkmal angeben.
Mobile Arbeitsmaschine (100) nach Anspruch 2 und ferner umfassend: ein steuerbares Teilsystem, wobei der Aktionssignalgenerator (157) das Aktionssignal erzeugt, um das steuerbare Teilsystem auf Grundlage der ersten Objektidentifizierung und der Anomaliemetrik zu steuern.
Mobile Arbeitsmaschine (100) nach Anspruch 2 oder 3, wobei das Objektidentifikationsanomalie-Erkennungssystem (138) Folgendes umfasst: einen Objekt-/Verhaltens-/Umgebungsanalysator, der bestimmt, ob die Verhaltenseigenschaften mit der ersten Objektidentifizierung inkonsistent sind, angesichts der erfassten Umgebungseigenschaft, und ein Verhaltensanalyseergebnis erzeugt, das die Bestimmung anzeigt.
Mobile Arbeitsmaschine (100) nach Anspruch 4, wobei das Objektidentifikationsanomalie-Erkennungssystem (138) Folgendes umfasst: einen Anomaliemetrikgenerator, der konfiguriert ist, um die Anomaliemetrik auf Grundlage des Verhaltensanalyseergebnisses zu erzeugen.
Mobile Arbeitsmaschine (100) nach Anspruch 5, wobei das Objektidentifikationsanomalie-Erkennungssystem (138) Folgendes umfasst: ein Aktionsverarbeitungssystem, das auf Grundlage der Anomaliemetrik bestimmt, ob eine Aktion durchzuführen ist.
Mobile Arbeitsmaschine (100) nach Anspruch 6, wobei das Aktionsverarbeitungssystem Folgendes umfasst: Schwellenwertvergleichslogik, die konfiguriert ist, um die Anomaliemetrik mit einem Anomalieschwellenwert zu vergleichen, um zu bestimmen, ob eine Aktion durchgeführt werden soll; und einen Aktionsidentifizierer, der dazu konfiguriert ist, die durchzuführende Aktion zu identifizieren, wenn die Schwellenwertvergleichslogik bestimmt, dass eine Aktion durchgeführt werden soll.
Mobile Arbeitsmaschine (100) nach Anspruch 7, wobei das Aktionsverarbeitungssystem ferner Folgendes umfasst: einen Schwellenwertidentifizierer, der konfiguriert ist, um den Anomalieschwellenwert zu identifizieren.
Mobile Arbeitsmaschine (100) nach Anspruch 8, wobei die erste Objektidentifizierung eine entsprechende erwartete Maschinenreaktion aufweist und wobei der Schwellenwertidentifizierer den Anomalieschwellenwert auf Grundlage der erwarteten Maschinenreaktion identifiziert, die der ersten Objektidentifizierung entspricht.
Mobile Arbeitsmaschine (100) nach einem der Ansprüche 2 bis 9, wobei das Objektverhaltensanalysesystem (130) Folgendes umfasst: einen Bewegungsanalysator, der konfiguriert ist, um Bewegungseigenschaften des identifizierten Objekts basierend auf den Objektdaten zu identifizieren.
Mobile Arbeitsmaschine (100) nach einem der Ansprüche 2 bis 10, wobei das Objektverhaltensanalysesystem (130) Folgendes umfasst: einen Positionsanalysator, der konfiguriert ist, um Positionsmerkmale des identifizierten Objekts basierend auf den Objektdaten zu identifizieren.
Mobile Arbeitsmaschine (100) nach einem der Ansprüche 2 bis 11, wobei das erste Objektidentifikationssystem (128) oder das zweite Objektidentifikationssystem (140) einen auf einem neuronalen Netzwerk basierenden Klassifizierer umfasst und wobei das erste Objektidentifikationssystem (128) oder das zweite Objektidentifikationssystem (140) einen regelbasierten Klassifizierer umfasst.
Computerimplementiertes Verfahren zum Steuern einer mobilen Arbeitsmaschine (100), umfassend: Empfangen von Objektdaten, die ein Objekt angeben, das von einem Objekterkennungssensor (120) erkannt wurde; Erzeugen einer ersten Objektidentifizierung, die das Objekt anzeigt, basierend auf den Objektdaten, unter Verwendung eines ersten Objektidentifikationssystems (128); Erhalten von Objektanomaliedaten, die angeben, ob die erste Objektidentifizierung anomal ist; Erzeugen einer Anomaliemetrik, die anzeigt, ob die erste Objektidentifizierung anomal ist, basierend auf der ersten Objektidentifizierung und den Objektanomaliedaten; und wenn die Anomaliemetrik anzeigt, dass die erste Objektidentifizierung anomal ist, Erzeugen einer zweiten Objektidentifizierung, die das Objekt anzeigt, basierend auf den Objektdaten unter Verwendung eines zweiten Objektidentifikationssystems (140), das Objekte anders als das erste Objektidentifikationssystem (128) identifiziert.
Computerimplementiertes Verfahren nach Anspruch 13, wobei das Erhalten von Objektanomaliedaten mindestens eines der Folgenden umfasst: Erzeugen eines Satzes von Objektverhaltensmerkmalen, die ein Verhalten des Objekts anzeigen, basierend auf den Objektdaten; oder Empfangen von Umgebungsdaten, die ein erfasstes Umgebungsmerkmal anzeigen.
Steuersystem zum Steuern einer mobilen Arbeitsmaschine (100), wobei das Steuersystem Folgendes umfasst: einen oder mehrere Prozessoren (124); und Speicher, der Anweisungen speichert, die, wenn sie von dem einen oder den mehreren Prozessoren (124) ausgeführt werden, den einen oder die mehreren Prozessoren (124) dazu veranlassen, Schritte auszuführen, die Folgendes umfassen: Erzeugen einer ersten Objektidentifizierung, die ein Objekt angibt basierend auf Objektdaten, die von einem Objekterkennungssensor (120) bereitgestellt werden, unter Verwendung eines ersten Objektidentifikationssystems (128); Erzeugen eines Satzes von Objektverhaltensmerkmalen, die ein Verhalten des Objekts anzeigen, basierend auf den Objektdaten; Erzeugen einer Anomaliemetrik, die anzeigt, ob die erste Objektidentifizierung anomal ist, auf Grundlage der ersten Objektidentifizierung, des Satzes von Verhaltensmerkmalen und Umgebungsdaten, die ein erfasstes Umgebungsmerkmal anzeigen; und wenn die Anomaliemetrik anzeigt, dass die erste Objektidentifizierung anomal ist, dann Erzeugen einer zweiten Objektidentifizierung, die das Objekt anzeigt, basierend auf den Objektdaten unter Verwendung eines zweiten Objektidentifikationssystems (140), das Objekte unter Verwendung eines Objektidentifikationsalgorithmus identifiziert, der sich von einem Objektidentifikationsalgorithmus unterscheidet, der von dem ersten Objektidentifikationssystem (128) verwendet wird.