DE102022114915A1

DE102022114915A1 - Diversifiziertes imitationslernen für automatisierte maschinen

Info

Publication number: DE102022114915A1
Application number: DE102022114915.3A
Authority: DE
Inventors: Rita H. Wouhaybi; Atul Hatalkar; Hassnaa Moustafa; Siew Wen Chin; Sangeeta Manepalli
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2021-06-25
Filing date: 2022-06-14
Publication date: 2022-12-29
Also published as: CN115526446A; US20210319367A1

Abstract

Hier werden Systeme und Verfahren für diversifiziertes Imitationslernen für automatisierte Maschinen vorgestellt. Bei einem Ausführungsbeispiel erhält ein Prozessprofilierungssystem Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten. Das Prozessprofilierungssystem clustert die Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformancekriterien. Das Prozessprofilierungssystem führt ferner, auf der Grundlage der geclusterten Sensordaten, eines oder beide aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen durch. Das Prozessprofilierungssystem wählt für eine oder mehrere entsprechende automatisierte Maschinen ein oder mehrere Prozessprofile aus der Mehrzahl der Prozessprofile aus, und das Prozessprofilierungssystem konfiguriert die eine oder mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.

Description

TECHNISCHES GEBIET
Ausführungsbeispiele der vorliegenden Offenbarung beziehen sich auf die Automatisierung und das maschinelle Lernen, und insbesondere auf Systeme und Verfahren für diversifiziertes Imitationslernen für automatisierte Maschinen.
HINTERGRUND
In der modernen Welt von heute ist das Vorliegen von Rechenvorrichtungen (umfassend Kommunikationsvorrichtungen) bereits nahezu allgegenwärtig und ständig zunehmend. In vielen Wirtschaftszweigen, wie beispielsweise der Herstellung, wird ein Typ einer elektromechanischen Rechenvorrichtung, bekannt als ein Roboter (oder eine automatisierte Maschine), verwendet - oder es werden mehrere Roboter verwendet -, um verschiedene Prozesse zur Bewältigung verschiedener Aufgaben durchzuführen. Die Verwendung von Robotern in der Herstellung ist häufig das Ergebnis eines oder mehrerer Faktoren, wie beispielsweise der zunehmenden Verfügbarkeit und sinkenden Kosten von Rechenvorrichtungen, des Wettbewerbsdrucks, des Arbeitskräftemangels und/oder von dergleichen.
Figurenliste
Ein detaillierteres Verständnis kann sich aus der folgenden Beschreibung ergeben, die beispielhalber in Verbindung mit den folgenden Zeichnungen präsentiert wird, in denen gleiche Bezugszahlen in den Zeichnungen in Verbindung mit gleichen Elementen verwendet werden.

1 stellt einen Beispiel-Kommunikationskontext dar, innerhalb dessen mindestens ein Ausführungsbeispiel eingesetzt, durchgeführt und/oder dergleichen werden kann.
2 stellt ein Beispiel-Informationsflussdiagramm gemäß mindestens einem Ausführungsbeispiel dar.
3 stellt ein Beispiel-Menschliches-Verhalten-Profilierungs-Diagramm gemäß mindestens einem Ausführungsbeispiel dar.
4 stellt eine Beispiel-Prozess-Abbildung gemäß mindestens einem Ausführungsbeispiel dar.
5 stellt ein Beispiel-Verfahren gemäß mindestens einem Ausführungsbeispiel dar.
6 bildet ein Beispiel-Computersystem gemäß mindestens einem Ausführungsbeispiel ab.
7 bildet eine Beispiel-Softwarearchitektur ab, die auf dem Beispiel-Computersystem von 6 ausgeführt werden könnte, gemäß mindestens einem Ausführungsbeispiel.

DETAILLIERTE BESCHREIBUNG
In vielen Fällen wird eine große Anzahl (z. B. ~500 oder ~1.000, als Beispiele) von Robotern in einer gegebenen Herstellungsanlage eingesetzt. In einigen Fällen kann ein gegebener Roboter ein ganzes Produkt herstellen. In anderen Fällen kann eine Reihe von Robotern in fließbandartiger Weise angeordnet sein, wobei jeder Roboter einen spezifischen Prozess (z. B. einen Teilprozess eines Gesamtherstellungsprozesses) durchführt, um eine spezifische Aufgabe zu bewältigen (z. B. eine Teilaufgabe, bei der die Gesamtaufgabe die Herstellung des gegebenen Produkts sein kann). Solche Teilprozesse könnten Beispiele wie ein gemeinsames Anordnen und Aneinander-Befestigen mehrerer Teile, das Aufbringen einer Rostschutzschicht auf ein Teil oder eine Anordnung von Teilen, das Lackieren eines Teils oder einer Anordnung von Teilen usw. umfassen. Darüber hinaus wird ausdrücklich darauf hingewiesen, dass die Herstellung in der vorliegenden Offenbarung als ein Beispielkontext verwendet wird. Ausführungsbeispiele der vorliegenden Offenbarung können in Verbindung mit verschiedenen anderen Kontexten anstelle von oder zusätzlich zu der Herstellung verwendet werden. Einige andere Beispiele sind Paketzustellung, Baugewerbe, Reinigung, Abfallbeseitigung, Sortierung von Wertstoffen, Einzelhandel, Krankenhäuser, andere Gesundheitseinrichtungen, Lebensmittelzubereitung und/oder -verpackung, Versand, Sortierung, Lagerfunktionen usw.
Hier werden Systeme und Verfahren für diversifiziertes Imitationslernen für automatisierte Maschinen vorgestellt. Ein Ausführungsbeispiel nimmt die Form eines Prozessprofilierungssystems an, das Sensordaten erhält, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten. Das Prozessprofilierungssystem clustert die Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformancekriterien. Das Prozessprofilierungssystem führt, auf der Grundlage der geclusterten Sensordaten, eines oder beide aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen durch. Das Prozessprofilierungssystem wählt für eine oder mehrere entsprechende automatische Maschinen ein oder mehrere Prozessprofile aus der Mehrzahl von Prozessprofilen aus. Das Prozessprofilierungssystem konfiguriert den einen oder die mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.
Wie hierin beschrieben, haben eine oder mehrere Ausführungsbeispiele der vorliegenden Offenbarung die Form von Verfahren, die mehrere Operationen umfassen. Ein oder mehrere andere Ausführungsbeispiele haben die Form von Systemen, die mindestens einen Hardware-Prozessor umfassen und die auch mindestens ein oder mehrere nichtflüchtige computerlesbare Speicherungsmedien umfassen, die Anweisungen enthalten, die, wenn sie von dem mindestens einen Hardware-Prozessor ausgeführt werden, den mindestens einen Hardware-Prozessor veranlassen, mehrere Operationen durchzuführen (die in einigen Ausführungsbeispiele Operationen entsprechen und in anderen Ausführungsbeispielen nicht Operationen entsprechen, die in einem hierin offenbarten Verfahrensausführungsbeispiel durchgeführt werden). Noch ein oder mehrere andere Ausführungsbeispiele haben die Form eines oder mehrerer nichtflüchtiger computerlesbarer Speicherungsmedien (CRM; computer-readable storage media), die Anweisungen enthalten, die, wenn sie von mindestens einem Hardware-Prozessor ausgeführt werden, den mindestens einen Hardware-Prozessor veranlassen, mehrere Operationen durchzuführen (die in ähnlicher Weise in einigen Ausführungsbeispiele Operationen entsprechen und in anderen Ausführungsbeispielen nicht Operationen entsprechen, die in einem hierin offenbarten Verfahrensausführungsbeispiel durchgeführt werden, und/oder Operationen, die von einem hierin offenbarten Systemausführungsbeispiel durchgeführt werden).
Darüber hinaus wird hier eine Anzahl von Variationen und Permutationen von Ausführungsbeispielen beschrieben, und es wird ausdrücklich darauf hingewiesen, dass irgendeine Variation oder Permutation, die in dieser Offenbarung beschrieben wird, in Bezug auf irgendeine Art von Ausführungsbeispiel implementiert werden kann. Zum Beispiel könnte eine Variation oder Permutation, die in dieser Offenbarung in erster Linie in Verbindung mit einem Verfahrensausführungsbeispiel beschrieben wird, genauso gut oder stattdessen in Verbindung mit einem Systemausführungsbeispiel und/oder einem CRM-Ausführungsbeispiel implementiert werden. Darüber hinaus ist diese Flexibilität und Queranwendbarkeit der Ausführungsbeispiele trotz irgendeiner leicht unterschiedlichen Sprache (z. B. Prozesse, Verfahren, Methodologien, Schritte, Operationen, Funktionen und/oder dergleichen) gegeben, die zur Beschreibung und/oder Charakterisierung solcher Ausführungsbeispiele und/oder von irgendeinem oder mehreren Elementen davon verwendet wird.
1 zeigt einen beispielhaften Kommunikationskontext 100, der ein beispielhaftes Prozessprofilierungssystem 102 in Übereinstimmung mit mindestens einem Ausführungsbeispiel umfasst. Der Kommunikationskontext 100 wird als Beispiel und nicht als Einschränkung bereitgestellt, da ein Kommunikationskontext in Verbindung mit einer gegebenen Implementierung unterschiedliche Anzahlen, Arten und/oder Anordnungen von Vorrichtungen, Systemen und/oder dergleichen aufweisen könnte. Darüber hinaus, auch wenn der Kommunikationskontext 100 hier als auf Herstellungsumgebungen bezogen beschrieben wird, ist die vorliegende Offenbarung in ihrer Anwendbarkeit nicht auf solche Umgebungen beschränkt, da Ausführungsbeispiele der vorliegenden Offenbarung auf viele unterschiedliche Arten von Situationen, Kontexten, Umgebungen und/oder dergleichen angewendet werden könnten.
Der Kommunikationskontext 100 umfasst ein Prozessprofilierungssystem 102, das Sensordaten 104 von einem oder mehreren Sensoren 106 (beispielhaft dargestellt durch ein Videokamera-Symbol) empfängt. Die Sensoren 106 könnten Bilder, Video, Audio, Temperatur, Bewegung (z.B. von einer oder mehreren tragbaren Vorrichtungen) und/oder irgendeine andere Art von Sensordaten erfassen, die für ein gegebenes Ausführungsbeispiel als geeignet erachtet werden. Die Sensoren 106 werden als Beobachter von Personen 108 dargestellt - die hier manchmal auch als menschliche Subjekte, menschliche Bediener (human operators), menschliche Arbeitskräfte und dergleichen bezeichnet werden -, die eine oder mehrere betriebene Maschinen 116 betreiben, um ein Beispielprodukt 120 zu erzeugen oder zu bearbeiten.
Ein oder mehrere der Sensoren 106 könnten einer einzelnen Person 108 zugeordnet sein (z.B. diese beobachten), und irgendeiner oder mehrere der Sensoren 106 könnten mehr als einer der Personen 108 zugeordnet sein (z.B. diese beobachten). Darüber hinaus können unterschiedliche Implementierungen unterschiedliche Kombinationen von Sensoren 106 aufweisen, abhängig von den Besonderheiten jedes Anwendungsfalls. Zusätzlich soll die Darstellung der Sensoren 106 mit einem einzelnen Kamerasymbol in 1 nicht implizieren, dass die Sensordaten 104 vom Prozessprofilierungssystem von einer einzelnen Quelle (z. B. einem einzelnen Knoten mit einem oder mehreren Sensoren) empfangen werden. In irgendeiner Implementierung können die Sensordaten 104 durch das Prozessprofilierungssystem 102 von irgendeiner Anzahl von Knoten, Systemen von Knoten und/oder dergleichen empfangen werden.
Der Kommunikationskontext 100 umfasst auch einen oder mehrere Roboter 118, die ebenfalls so ausgebildet sind, dass sie das Produkt 120 erzeugen oder mit ihm interagieren. In einigen Ausführungsbeispielen können ein oder mehrere Roboter eher eine Dienstleistung erbringen, anstatt ein Produkt zu erzeugen oder mit ihm zu interagieren. Einige Roboter können beides tun und/oder eine oder mehrere andere Funktionen durchführen. Obwohl sie in 1 separat dargestellt sind, können dieselben Maschinen in vielen Ausführungsbeispielen entweder von einem oder mehreren menschlichen Bedienern oder durch automatische Steuerung betrieben werden. Das Prozessprofilierungssystem 102 kommuniziert mit den Robotern 118 und behält auch ein oder mehrere auf Imitationslernen basierende Prozessprofile 122 bei. Das Prozessprofilierungssystem 102 kann mit einem Netzwerk verbunden sein und ist beispielhaft als mit einem Netzwerk 112 verbunden dargestellt, das wiederum mit einer Beispiel-Rechenvorrichtung 110 und einer Beispiel-Datenbank 114 verbunden ist. Einige der in 1 dargestellten Einheiten werden nachfolgend näher erörtert.
Im Allgemeinen ist das Imitationslernen eine wichtige Technik in Kontexten, in denen Pläne gemacht und/oder ausgeführt werden, um eine oder mehrere automatisierte Maschinen (z. B. Roboter) anstelle von oder neben menschlichen Arbeitskräften arbeiten zu lassen. Als eine Technik sammelt das Imitationslernen große Mengen an Daten für eine Aufgabenerledigung unter Verwendung mehrerer Sensoren, umfassend Video. Die Sensordaten 104 können dann verwendet werden, um einen Prozess (zur Bewältigung einer Aufgabe) in eine Reihe von Teilprozessen zu unterteilen, auf deren Nachahmung ein Roboter trainiert werden kann. Diese Technik ist sehr leistungsfähig, da eine Person in vielen Fällen diese Aufgaben, Prozesse, Teilprozesse und dergleichen nicht explizit definieren muss, was eine Automatisierung des Lernens und eine Skalierung über mehrere reale Kontexte ermöglicht.
Ein Nachteil des Imitationslernens in aktuellen Implementierungen besteht darin, dass es nicht unterscheidet, von wem es lernt, und nicht in der Lage ist, die unterschiedlichen Stile unterschiedlicher menschlicher Arbeitskräfte und wie sich diese unterschiedlichen Stile auf das Endergebnis auswirken könnten zu verstehen. Im Kontext mit einem industriellen Prozess wie dem Schweißen kann eine erste menschliche Arbeitskraft beispielsweise sehr auf die Qualität ihres Ergebnisses fokussiert sein und sich dementsprechend Zeit nehmen, um sicherzustellen, dass jede Operation und jede Schweißanwendung das Beste ist, was sie angesichts des Materials und/oder anderer Faktoren erreichen kann. Eine zweite menschliche Arbeitskraft ist jedoch möglicherweise nicht so sehr darauf bedacht, die höchstmögliche Qualität zu erreichen, und zieht es stattdessen vor, am Rande mit einem Ausgang, der „gut genug“ ist, zu arbeiten. Diese zweite menschliche Arbeitskraft kann in einer gegebenen Zeitperiode in der Lage sein, mehr Operationen durchführen (z. B. mehr Produkte zu produzieren) als die erste menschliche Arbeitskraft. Anders ausgedrückt, die erste menschliche Arbeitskraft legt den Schwerpunkt auf Qualität, während die zweite menschliche Arbeitskraft den Schwerpunkt auf Ertrag legt.
In aktuellen Implementierungen, die das Imitationslernen zum Trainieren von Robotern nutzen, werden die gesammelten Daten über alle beobachteten Arbeitskräfte normiert, und es wird ein einzelnes Profil erzeugt, das z. B. die Elemente widerspiegelt, die allen oder den meisten Beobachtungen gemeinsam sind. So kann eine aktuelle Implementierung zu einem Prozessprofil führen, bei dem Qualität nicht vor Ertrag, Ertrag nicht vor Qualität steht, oder irgendetwas anderes. Das sich daraus ergebende Prozessprofil spiegelt somit nicht wirklich die Realität wider, sondern hat stattdessen irgendwelche Nuancen verloren, die zwischen unterschiedlichen Arten von Arbeitskräften vorhanden sein könnten. Mit nur einem einzelnen Prozessprofil stehen z. B. den Fabrikbetreibern keine Kompromisse zur Verfügung.
In verschiedenen Ausführungsbeispielen der vorliegenden Offenbarung werden menschliche Bediener beobachtet und gruppiert (geclustert), auf der Grundlage mehrerer Parameter. Diese Gruppen werden verwendet, um unterschiedliche eine der auf Imitationslernen basierenden Prozessprofile 122 zu erstellen. Diese Profile können dann auf der Grundlage eines erwünschten Gesamtergebnisses ein- und ausgeschaltet werden (z. B. könnte ein erstes Profil für eine erste Zeitperiode und dann ein zweites Profil für eine zweite Zeitperiode verwendet werden, usw.). Beispielsweise kann eine Fabrik so ausgebildet werden, dass sie für bestimmte Teile oder Tage in einem Modus mit hoher Qualität (und erhöhter Zeit) arbeitet und dann an anderen Tagen oder Teilen der Operation in einen Modus mit hohem Ertrag (bei akzeptabler Qualität) umgeschaltet wird. Und es ließen sich sicherlich noch zahlreiche weitere Beispiele anführen.
In den Ausführungsbeispielen der vorliegenden Offenbarung werden unterschiedliche Modi von Betriebsmaschinen unterschieden. Solche Unterschiede werden in mindestens einem Ausführungsbeispiel verwendet, um mehrere unterschiedliche Prozessprofile zu erzeugen, die jeweils mehrere unterschiedliche Arten der Durchführung eines bestimmten Prozesses, eines Teils eines bestimmten Prozesses (z. B. eines Teilprozesses) und dergleichen darstellen. Die sich daraus ergebende Diversifizierung zwischen verschiedenen unterschiedlichen einen der auf Imitationslernen basierenden Prozessprofilen 122 für den Einsatz z. B. in einer Fabrik ermöglicht eine größere Flexibilität in Bezug auf das Ergebnis und den Durchsatz der Fabrik.
In mindestens einem Ausführungsbeispiel wird ein Satz von Metadaten, jedem einer Mehrzahl von menschlichen Bedienern zugeordnet, zusammengestellt und diese Metadaten können Ergebnisdaten umfassen, die das Gesamtergebnis der von diesem menschlichen Bediener durchgeführten Operationen charakterisieren. In einigen Ausführungsbeispielen werden die Operationen jedes einer Mehrzahl von menschlichen Bedienern in Verbindung mit zwei oder mehr Teilprozessen unterteilt, die in Bezug auf einen „übergeordneten“ Prozess definiert wurden. Die gesammelten Metadaten werden in mindestens einem Ausführungsbeispiel verwendet, um die beobachteten menschlichen Bediener nach ähnlichen Charakteristika (z. B. Ergebnissen) zu gruppieren, und diese Gruppierungen werden wiederum verwendet, um Prozessprofile zu erzeugen, die für jede Gruppierung spezifisch sind. So können Metadaten, die einer Gruppe von Arbeitskräften zugeordnet sind, die sehr sorgfältig und nicht so schnell sind, gemeinsam gruppiert und zur Erzeugung eines Prozessprofils „sorgfältige, qualitativ hochwertige Arbeit“ verwendet werden. In ähnlicher Weise können Metadaten, die einer unterschiedlichen Gruppe von Arbeitskräften zugeordnet werden, die vielleicht weniger sorgfältig sind, aber eine höhere Produktionsrate aufweisen, gemeinsam gruppiert und zur Erzeugung eines Prozessprofils „schnell, ausreichende Qualität“ verwendet werden. Und so weiter.
Ein Fabrikbetreiber kann dann in der Lage sein, zu verschiedenen unterschiedlichen Zeiten aus verschiedenen unterschiedlichen Gründen zu wählen, welches dieser zwei Profile implementiert werden soll. Darüber hinaus kann der Fabrikbetreiber ein oder mehrere Hybridprofile zusammensetzen, indem er (i) ein oder mehrere Teilprofile aus dem Prozessprofil „sorgfältige, qualitativ hochwertige Arbeit“ für die Verwendung für einen oder mehrere bestimmte Teilprozesse und (ii) ein oder mehrere Teilprofile aus dem Prozessprofil „schnell, ausreichende Qualität“ für die Verwendung für einen oder mehrere andere Teilprozesse verwendet. Und selbstverständlich lässt sich dieses Konzept auf irgendeine Anzahl von Prozessprofilen ausweiten, von denen jedes irgendeine geeignete Anzahl von Teilprofilen für Teilprozesse usw. aufweisen könnte. Mit den Ausführungsbeispielen der vorliegenden Offenbarung kann der Fabrikbetreiber zum Beispiel in übertragenem Sinne verschiedene Knöpfe (z. B. Qualität vs. Ertrag) auf unterschiedliche Weise drehen, um unterschiedliche Kompromisse zu schließen, die für verschiedene unterschiedliche Situationen für angemessen gehalten werden.
Menschliche Bediener können in Übereinstimmung mit verschiedenen unterschiedlichen Ausführungsbeispielen auf der Grundlage von Faktoren wie Zeit pro Produkt, Anzahl der über einen gegebenen Zeitraum hergestellten Produkte, einer oder mehreren Qualitätsbewertungen und/oder dergleichen geclustert werden. Darüber hinaus können Daten auf irgendeiner erwünschten Komplexitätsebene (z. B. Nachführung der Art des Materials, Zeit, die für jeden von mehreren Teilprozessen verstrichen ist, Menge an verschwendetem Material und/oder dergleichen) und auf irgendeiner erwünschten Granularitätsebene (level of granularity) erfasst werden. Was die Granularität betrifft, dies bezieht sich darauf, wie fein ein gegebener Prozess logisch in Komponenten-Teilprozesse unterteilt ist, wie viele Qualitätssteuerungsstufen oder -bewertungen möglich sind, auf welche Einheitsmengen (z. B. Gewichte) verschwendetes Material gerundet wird, und so weiter.
Generell könnte irgendeine der Vorrichtungen, Systeme und dergleichen, die in 1 und/oder in irgendeiner der anderen Figuren dargestellt sind, eine ähnliche Architektur aufweisen, wie sie nachfolgend in Verbindung mit dem Beispiel-Computersystem 600 von 6 beschrieben ist, und könnte Software enthalten und ausführen, die eine ähnliche Architektur aufweist, wie sie nachfolgend in Verbindung mit der Beispiel-Softwarearchitektur 702 von 7 beschrieben ist. Darüber hinaus könnte irgendeine der in 1 und/oder in irgendeiner der anderen Figuren dargestellten Kommunikationsverknüpfungen eine oder mehrere verdrahtete Kommunikationsverknüpfungen (z. B. Ethernet, Faseroptik, universeller serieller Bus (USB; Universal Serial Bus) und/oder dergleichen) und/oder eine oder mehrere drahtlose Kommunikationsverknüpfungen (z. B. Wi-Fi, LTE, NFC, Bluetooth, Bluetooth Niedrigenergie (Bluetooth Low Energy) und/oder dergleichen) sein oder umfassen. Irgendeine oder mehrere der Kommunikationsverknüpfungen könnte ein oder mehrere Zwischenvorrichtungen wie beispielsweise einen oder mehrere Router, Brücken, Server, Zugangspunkte, Basisstationen und/oder dergleichen umfassen. Zusätzlich könnte irgendeine Kommunikationsverknüpfung ein oder mehrere VPNs und/oder andere Tunnel-Typ-Verbindungen umfassen.
2 zeigt ein Beispiel für ein Informationsflussdiagramm 200 gemäß mindestens einem Ausführungsbeispiel. Das Informationsflussdiagramm 200 umfasst ein erwünschtes Betriebsergebnis 202, das durch einen Prozessprofilmanager 204 empfangen wird, der ein ausgewähltes Prozessprofil 206 an eine Prozessprofildatenbank 208 überträgt. Aus der Prozessprofildatenbank 208 werden roboterspezifische Prozessprofile 210 an einen oder mehrere Roboter 212 übertragen. In der Entscheidungsbox 216 wird bestimmt, ob ein erwartetes Ergebnis erreicht wurde. Wenn ja, kehrt die Steuerung zum Prozessprofilmanager 204 zurück. Wenn nicht, wird die Steuerung an eine Gedriftete-Daten-Erfassung-Funktion (drifted-data-capture function) 218 weitergegeben. Von dort aus wird eine Cluster-Aktualisierung 222 von der Gedriftete-Daten-Erfassung-Funktion 218 an eine Menschliches-Profil-Clusterung-Funktion 224 übertragen. Die Gedriftete-Daten-Erfassung-Funktion 218 gibt auch auf gedrifteten Daten basierende Profil-Auswahl/Anpassung- 220 Daten an den Prozessprofilmanager 204 weiter.
Die Menschliches-Profil-Clusterung-Funktion 224 nimmt auch Eingaben von einer Menschliches-Verhalten-Clusterung-Funktion 226 und Betriebsmaschinendaten 242, die aus einer oder mehreren Betriebsmaschinen 240 erfasst werden. Die Menschliches-Verhalten-Clusterung-Funktion 226 gibt eine Menschliches-Verhalten-Clusterung-Ausgabe 244 an die Menschliches-Profil-Clusterung-Funktion 224 aus und nimmt als Eingabe gesammelte Menschliches-Verhalten-Daten 228, wie von Sensoren wie beispielsweise einem Bilderfassungssystem 232, einem Audioerfassungssystem 234, einem RF-Sender 236, einer tragbaren Vorrichtung 238 und/oder dergleichen gesammelt. Diese Sensoren 106 können eine oder mehrere der Personen 302 bei der Durchführung der zugeordneten Prozesse beobachten.
Bei verschiedenen unterschiedlichen Ausführungsbeispielen sind einer oder mehrere der folgenden Aspekte bereitgestellt:

Training: Wenn manuelle Bediener beobachtet werden, um Imitationslernmodelle zu erstellen/zu trainieren, kann ein Satz von Metadaten erfasst werden, umfassend die Zeit für die Erledigung, durch den Prozess erzeugte Fehler, den Qualitätssteuerungsausgang (falls verfügbar), die Gleichartigkeit mit anderen Arbeitskräftemodellen und/oder dergleichen.

Clusterung: Bei mindestens einem Ausführungsbeispiel werden diese Modelle analysiert, um zu identifizieren, wie ähnlich sie sind. Die Gleichartigkeit könnte zum Beispiel daran gemessen werden, wie sehr sich die Gewichte ändern, wenn die Daten von einer anderen Arbeitskraft verwendet werden. Andere Messungen der Gleichartigkeit sind möglich. Auf der Grundlage dieser Gleichartigkeit werden die Modelle geclustert.
Einsatz: Während einer Ausführungsphase kann ein Fabrikbetreiber (oder ein automatisiertes System) einen Satz von erwünschten Betriebsergebnissen festlegen. Ein Profilmanageragent kann Roboterprofile auswählen, um die Gesamtbetriebsnachfrage zu erfüllen. Es ist möglich, dass unterschiedlichen Robotern, die alle dieselbe Gesamtaufgabe durchführen, unterschiedliche Profile gegeben werden, um ein Gesamtziel für den Produktionsausgang zu erreichen.
Abstimmung: Wenn die Modelle im Laufe der Zeit verwendet werden, können zusätzliche Metadaten wie Qualität, Geschwindigkeit und/oder andere Betriebsparameter erfasst werden. Diese Metadaten können dann verwendet werden, um die Profildaten weiter abzustimmen/zu optimieren.
Umtrainieren: Wenn die Performance von Robotern bei Verwendung des Satzes der zuvor gelernten Profile durchweg die Ziel-Betriebsparameter verfehlt, dann kann die Trainingsphase erneut eingeleitet werden, um die Profile neu zu erlernen. Das Umtrainieren kann verwendet werden, um alle gelernten Profile zu aktualisieren, oder es kann ein teilweises Neulernen verwendet werden.
Ein menschliches Profil kann sowohl durch Lernen vom menschlichen Verhalten als auch durch Lernen von einer Maschine, die vom Menschen verwendet wird (oder von irgendetwas in der Umgebung, das das Ergebnis/die resultierende Arbeit für das menschliche Verhalten nachführen kann), erstellt werden. Wird eine Fabrik als Beispiel genommen, können die Betriebsmaschine(n) Informationen über die Aufgabenerledigungszeit, irgendeinen resultierenden Fehler und die Qualität der Arbeit usw. bereitstellen, die wiederum die Performance des menschlichen Bedieners widerspiegeln können.
Eine Prozessprofildatenbank 208 kann als der Modellserver verwendet werden, den jeder Roboter auf der Grundlage der Profilübereinstimmung verwenden kann.
Eine Rückkopplungsschleife kann an die Prozessprofildatenbank 208 bereitgestellt werden, um widerzuspiegeln, wie effektiv, genau und/oder dergleichen ein Trainingsmodell während eines oder mehrerer Durchläufe war, was wiederum zur Aktualisierung eines oder mehrerer Modelle/Profile verwendet werden kann.
Verarbeitung natürlicher Sprache (NLP; Natural Language Processing): um mehr über die Aufgabe aus irgendwelchen Wortausdrücken, die die menschliche Arbeitskraft sagen kann, zu lernen. Wenn die menschliche Arbeitskraft beispielsweise etwas sagt, das Unzufriedenheit zeigt, kann dies anzeigen, dass die Aufgabe nicht einfach ist oder der aktuelle Arbeitsstil nicht mit den Aufgabenanforderungen übereinstimmt.
3 zeigt ein Beispiel-Menschliches-Verhalten-Profilierungs-Diagramm 300 gemäß mindestens einem Ausführungsbeispiel. Wie nachfolgend erörtert wird, umfasst das Menschliches-Verhalten-Profilierungs-Diagramm 300 eine Menschliches-Verhalten-Clusterung-Funktion 226, eine Person 302, ein Intelligenter-Beobachter-System 304 und eine Menschliches-Verhalten-Analysen 306.
3 stellt Beispiele für Menschliches-Verhalten-Profilierung und -Clusterung unter Berücksichtigung nicht nur der Arbeits-Betriebsaktionen von menschlichen Arbeitskräften, sondern auch, bei mindestens einem Ausführungsbeispiel, von menschlichen Ausdrücken in Bezug auf die Aufgabe, die bewältigt wird, Ausdrücken im Allgemeinen, die zum Beispiel Müdigkeit ausdrücken können, bereit.
Bei mindestens einem Ausführungsbeispiel werden zur Ermöglichung der Menschliches-Verhalten-Profilierung intelligente Analysen über das Intelligenter-Beobachter-System 304 erzeugt, das den menschlichen Bediener/Arbeitskraft beobachtet, um aus den Reaktionen des menschlichen Bedieners während der Arbeit über die Aufgabe lernen zu können und dies zu einem Menschliches-Verhalten-Profil hinzuzufügen. Dafür kann, bei mindestens einem Ausführungsbeispiel, eine Edge-Plattform mit verschiedenen Erfassungsfähigkeiten (Kameras, Audio-/Akustiksensoren, Temperatur usw.) eingesetzt werden, um einen logischen Beobachter zu betreiben. Der logische Beobachter kann eine oder mehrere der folgenden Beispielfunktionen durchführen:

Ausdrucksanalyse: um zu erfahren, ob eine menschliche Arbeitskraft Schmerzen hat oder irgendwelche Schwierigkeiten zeigt. Zeigt das Gesicht der menschlichen Arbeitskraft beispielsweise Anzeichen von Härte oder Überraschung, kann dies anzeigen, dass die Aufgabe von mehr Sorgfalt profitieren könnte.
Audioanalyse: um etwas über irgendwelche Vorfälle zu erfahren, die einer menschlichen Arbeitskraft während einer Arbeitsaufgabe passieren können. Wenn die menschliche Arbeitskraft zum Beispiel Schmerztöne von sich gibt, kann dies den Grad der Gefährlichkeit einer Aufgabe widerspiegeln.
Temperaturdetektion: um mehr über die Auswirkung der Umgebung auf die Gesundheit der menschlichen Arbeitskraft zu erfahren. Wenn sich beispielsweise die Temperatur der menschlichen Arbeitskraft während der durchgehenden Arbeit an dem Ort, an dem die Aufgabe bewältigt wird, verändert, kann dies anzeigen, dass diese Art von Aufgabe im Laufe der Zeit Wärme erzeugt und sich nicht nur auf den menschlichen Bediener, sondern auch auf automatisierte Maschinen (z. B. Roboter) auswirken kann, die durch Imitation lernen (und beispielsweise spezielle Kühlmechanismen von Vorteil sein können).
Szenenfilterung: Filtern eines oder mehrerer und vielleicht in einigen Fällen aller Teile der Szene, die für das Imitationstraining nicht hilfreich sind und die automatisierten Maschinen ablenken können. Wenn zum Beispiel eine menschliche Arbeitskraft gähnt oder die Arme ausstreckt, um sich zu entspannen, kann dies als außerhalb des Kontexts gelernt und kann aus der Szene gefiltert werden.

Bei mindestens einem Ausführungsbeispiel wird die Privatsphäre der menschlichen Arbeitskräfte berücksichtigt. Das Intelligenter-Beobachter-System 304 kann Privatsphäremaßnahmen beispielsweise durch ein verschwommenes Anzeigen eines Gesichts einer menschlichen Arbeitskraft und/oder eines Namensschilds (z. B., wenn dies von einer menschlichen Arbeitskraft erwünscht oder gefordert wird) einschließen. Bei einigen Ausführungsbeispielen wird zumindest ein gewisses Maß an Steuerung an eine menschliche Arbeitskraft, verwendet als Lernbeispiel (learning sample), bereitgestellt. Eine menschliche Arbeitskraft kann beispielsweise „mit der Hand winken“ oder eine andere Geste machen, um die Szenenberücksichtigung in irgendeinem Moment zu stoppen, wie beispielsweise, um die Privatsphäre in irgendeiner Situation zu wahren, die man nicht gemeinschaftlich verwenden möchte. Bei mindestens einem Ausführungsbeispiel lernt das Intelligenter-Beobachter-System 304, Gesten zu erkennen, um in der Lage zu sein, eine oder mehrere von einer menschlichen Arbeitskraft angeforderte Aktionen ausführen zu können. Die Multimodal-Verarbeitungsfähigkeiten über die vorangehend genannten Fähigkeiten können in unterschiedlichen Kombinationen verwendet werden, um alle möglichen Arten von Profilen zu erzeugen, die das Imitationslernen auf breiter Ebene unterstützen können.
Das Imitationslernen kann auch dem überwachten Lernen (supervised learning) und dem bestärkenden Lernen wie folgt zugeordnet werden. Überwachtes Imitationslernen kann für ein Standard-(z. B. sich selten verändernde) Arbeitsumgebung verwendet werden. Wenn automatisierte Maschinen in einer Umgebung mit geringer Variationsmöglichkeit in der Umgebung und/oder den Aufgaben eingesetzt werden, dann kann die Profilierung, die exakt (oder am besten) mit der Umgebung sowie der Aufgabenart übereinstimmt, für das Imitationslernen ausgewählt werden. Bestärkendes Imitationslernen kann für unvorhersehbare Umgebungen und weniger standardisierte Aufgaben genutzt werden. Wenn ein oder mehrere automatisierte Maschinen in einer Umgebung eingesetzt werden sollen, die für Variation anfällig ist (z. B. Umgebung im Freien im Bergbau, in der Gasindustrie, in einer Fabrik usw.), und für Aufgaben, die häufig variieren, kann ein möglichst nahes Profil gewählt werden. Auf der Grundlage der Ergebnisse können iterativ andere Profile ausgewählt werden.
4 zeigt ein Beispiel für eine Prozess-Abbildung, die im Allgemeinen zeigt, dass ein gegebener Gesamtprozess 402 einen Prozess A 404, einen Prozess B 406, bis zu einem Prozess N 408 (d. h. irgendeine Anzahl von Prozessen) umfassen könnte. Es wird darauf hingewiesen, dass in dieser Offenbarung ein Prozess als ein „Prozess“ bezeichnet wird, auch wenn dieser Prozess ein Teilprozess eines anderen Prozesses ist. In dem dargestellten Beispiel umfasst der Prozess A 404 einen Prozess A(1) 410, einen Prozess A(2) 412, einen Prozess A(3) 414, einen Prozess A(4) 416 und einen Prozess A(5) 418, wobei letzterer einen Prozess A(5)(a) 420 und einen Prozess A(5)(b) 422 umfasst. Darüber hinaus umfasst der Prozess B 406 einen Prozess B(1) 424 bis zu einem Prozess B(N) 426 (d. h. irgendeine Anzahl von Prozessen), und der Prozess N 408 umfasst irgendeine Anzahl von einem oder mehreren Prozessen, die als Prozess N(1) bezeichnet werden... N(M) 428.
5 zeigt ein Verfahren 500, das von einem Rechensystem wie dem Prozessprofilierungssystem 102 oder dem Prozessprofilmanager 204 durchgeführt werden kann, als Beispiele. Im Allgemeinen kann das Verfahren 500 von irgendeiner einen oder irgendeiner Kombination von Rechenvorrichtungen durchgeführt werden, die in geeigneter Weise programmiert sind, um die hierin beschriebenen Operationen durchzuführen. Beispielhalber wird das Verfahren 500 nachfolgend als vom Prozessprofilierungssystem 102 durchgeführt beschrieben.
Bei Operation 510 erhält das Prozessprofilierungssystem 102 Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten. Die Mehrzahl von Sensoren kann einen oder mehrere aus einem Videosensor, einem Audiosensor, einem Drahtlose-Kommunikation-Sensor und einem Sensor, der einer tragbaren Vorrichtung (z. B. einer tragbaren Vorrichtung, die von einem der mindestens einen menschlichen Subjekte getragen wird) zugeordnet ist, umfassen. Mindestens einer der ein oder mehreren Prozesse kann einen Teilprozess umfassen.
Bei Operation 504 clustert das Prozessprofilierungssystem die Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformancekriterien. Das Clustern der Sensordaten auf der Grundlage des Satzes von einem oder mehreren Prozessperformancekriterien kann das Clustern von auf menschlichen Subjekten basierenden Sätzen von Sensordaten umfassen, wobei jeder auf menschlichen Subjekten basierende Satz von Sensordaten einem menschlichen Subjekt des einen oder der mehreren menschlichen Subjekte entspricht. Das Clustern der auf menschlichen Subjekten basierenden Sätze von Sensordaten kann die Durchführung mehrerer unterschiedlicher Clusterungen der auf menschlichen Subjekten basierenden Sätze von Sensordaten umfassen, wobei jede der mehreren unterschiedlichen Clusterungen unterschiedliche Sätze der Prozessperformancekriterien verwendet. Die Prozessperformancekriterien können mindestens eine Qualitätsmetrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist. Die Prozessperformancekriterien können mindestens eine zeitbasierte Metrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist
Bei mindestens einem Ausführungsbeispiel können eine oder mehrere Qualitätsmetriken und/oder eine oder mehrere zeitbasierte Metriken für eine gegebene Implementierung zumindest teilweise auf der Grundlage einer Art von Anwendung, Anwendungsfall usw., die von dieser Implementierung repräsentiert wird, ausgewählt werden. Ein Beispiel hierfür ist, dass unterschiedliche Implementierungen unterschiedlichen Spezifikationen (z. B. Anforderungen) in Bezug auf die Bildqualität und/oder allgemeiner im Hinblick auf ein Auflösungsniveau für irgendeine gegebene Metrik zugeordnet sein könnten.
Bei Operation 506 führt das Prozessprofilierungssystem 102, auf der Grundlage mindestens der geclusterten Sensordaten, eines oder beide aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen durch.
Bei Operation 508 wählt das Prozessprofilierungssystem 102 für eine oder mehrere entsprechende automatische Maschinen ein oder mehrere Prozessprofile aus der Mehrzahl von Prozessprofilen aus. Dies kann die Auswahl eines ersten Prozessprofils für eine erste eine der automatisierten Maschinen und die Auswahl eines zweiten, unterschiedlichen Prozessprofils für eine zweite eine der automatisierten Maschinen umfassen.
Bei Operation 510 konfiguriert das Prozessprofilierungssystem 102 den einen oder die mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten. Das kann ein Übertragen von Anweisungen an die entsprechenden automatisierten Maschinen umfassen.
6 zeigt ein Beispiel-Computersystem 600, innerhalb dessen Anweisungen 602 (z. B. Software, Firmware, ein Programm, eine Anwendung, ein Applet, eine App, ein Skript, ein Makro und/oder ein anderer ausführbarer Code) ausgeführt werden können, um das Computersystem 600 zu veranlassen, irgendeine oder mehrere der hierin erörterten Methodologien durchzuführen. Bei mindestens einem Ausführungsbeispiel veranlasst die Ausführung der Anweisungen 602 das Computersystem 600, eines oder mehrere der hierin beschriebenen Verfahren durchzuführen. Bei mindestens einem Ausführungsbeispiel transformieren die Anweisungen 602 ein allgemeines, nicht programmiertes Computersystem in ein bestimmtes Computersystem 600, das so programmiert ist, dass es die beschriebenen und dargestellten Funktionen ausführt. Das Computersystem 600 kann als eine eigenständige Vorrichtung arbeiten oder kann an und/oder mit ein oder mehrere(n) andere(n) Vorrichtungen, Maschinen, Systeme(n) und/oder dergleichen gekoppelt (z.B. vernetzt) sein. In einem vernetzten Einsatz kann das Computersystem 600 in der Funktion eines Servers und/oder eines Klienten in einer oder mehreren Server-Klienten-Beziehungen und/oder als ein oder mehrere Peers in einer Peer-zu-Peer- (oder verteilten) Netzwerkumgebung arbeiten.
Das Computersystem 600 kann eines oder mehrere aus jedem der Folgenden sein oder umfassen, ist aber nicht darauf beschränkt: ein(e) Server-Computer oder -Vorrichtung, ein(e) Klienten-Computer oder -Vorrichtung, ein Personalcomputer (PC; Personal Computer), ein Tablet, ein Laptop, ein Netbook, eine Set-Top-Box (STB; set-top box), ein persönlicher digitaler Assistent (PDA; personal digital assistant), ein Unterhaltungsmediensystem, ein Mobiltelefon, ein Smartphone, ein mobiles Gerät, eine getragene Vorrichtung (z. B. eine Smartwatch), eine Smart-Home-Vorrichtung (z. B. ein intelligentes Gerät), eine andere intelligente Vorrichtung (z. B. eine Internet-of-Things-(IOT-) Vorrichtung), ein Web-Gerät, ein Netzwerk-Router, ein Netzwerk-Schalter, eine Netzwerk-Brücke und/oder irgendeine andere Maschine, die in der Lage ist, die Anweisungen 602, die die vom Computersystem 600 auszuführenden Aktionen spezifizieren, sequentiell oder anderweitig auszuführen. Und obwohl nur ein einzelnes Computersystem 600 dargestellt ist, könnte es genauso gut eine Sammlung von Computersystemen geben, die individuell oder gemeinsam die Anweisungen 602 ausführen, um irgendeine oder mehrere der hierin erörterten Methodologien durchzuführen.
Wie in 6 dargestellt, kann das Computersystem 600 Prozessoren 604, Speicher 606 und I/O-Komponenten 608 umfassen, die so ausgebildet sein können, dass sie über einen Bus 610 miteinander kommunizieren. Bei einem Ausführungsbeispiel können die Prozessoren 604 (z.B. eine zentrale Verarbeitungseinheit (CPU; central processing unit), ein Prozessor mit reduziertem Befehlssatz (RISC; Reduced Instruction Set Computing), ein Prozessor mit komplexem Befehlssatz (CISC; Complex Instruction Set Computing), eine Grafikverarbeitungseinheit (GPU; graphics processing unit), ein digitaler Signalprozessor (DSP; digital signal processor), eine anwendungsspezifische integrierte Schaltung (ASIC; application-specific integrated circuit), eine integrierte Radiofrequenzschaltung (RFIC; radio-frequency integrated circuit), ein anderer Prozessor und/oder irgendeine geeignete Kombination davon) beispielsweise einen Prozessor 612 und einen Prozessor 614 umfassen, die die Anweisungen 602 ausführen. Der Begriff „Prozessor“ ist vorgesehen, um Multikern-Prozessoren zu umfassen, die zwei oder mehr unabhängige Prozessoren (manchmal als „Kerne“ bezeichnet) umfassen können, die Anweisungen gleichzeitig ausführen können. Obwohl 6 mehrere Prozessoren 604 zeigt, kann das Computersystem 600 einen einzelnen Prozessor mit einem einzelnen Kern, einen einzelnen Prozessor mit mehreren Kernen (z. B. einen Multikern-Prozessor), mehrere Prozessoren mit einem einzelnen Kern, mehrere Prozessoren mit mehreren Kernen oder irgendeine Kombination davon umfassen.
Der in 6 dargestellte Speicher 606 umfasst einen Hauptspeicher 616, einen statischen Speicher 618 und eine Speicherungseinheit 620, auf die die Prozessoren 604 jeweils über den Bus 610 zugreifen können. Der Speicher 606, der statische Speicher 618 und/oder die Speicherungseinheit 620 können die Anweisungen 602 speichern, die zur Durchführung irgendeiner oder mehrerer der hierin beschriebenen Methodologien oder Funktionen ausführbar sind. Die Anweisungen 602 können sich auch oder stattdessen ganz oder teilweise innerhalb des Hauptspeichers 616, innerhalb des statischen Speichers 618, innerhalb eines maschinenlesbaren Mediums 622 innerhalb der Speicherungseinheit 620, innerhalb mindestens eines der Prozessoren 604 (z. B. innerhalb eines Cache-Speichers eines gegebenen einen der Prozessoren 604) und/oder innerhalb irgendeiner geeigneten Kombination davon befinden, während sie vom Computersystem 600 ausgeführt werden. Bei mindestens einem Ausführungsbeispiel umfasst das maschinenlesbare Medium 622 ein oder mehrere nichtflüchtige computerlesbare Speicherungsmedien.
Darüber hinaus können, auch wie in 6 dargestellt, die I/O-Komponenten 608 eine Vielzahl von Komponenten umfassen, um Eingaben zu empfangen, Ausgaben zu erzeugen und/oder bereitzustellen, Informationen zu übertragen, Informationen auszutauschen, Messungen zu erfassen und/oder dergleichen. Die spezifischen I/O-Komponenten 608, die in einer bestimmten Instanz des Computersystems 600 umfasst sind, werden von der Art der Maschine abhängen. Beispielsweise können tragbare Maschinen wie Mobiltelefone eine Berührungseingabevorrichtung oder andere derartige Eingabemechanismen umfassen, während eine Kopfloser-Server-Maschine (headless server machine) möglicherweise keine solche Berührungseingabevorrichtung umfasst. Darüber hinaus können die I/O-Komponenten 608 viele andere Komponenten umfassen, die in 6 nicht dargestellt sind.
Bei verschiedenen Ausführungsbeispielen können die I/O-Komponenten 608 Eingangskomponenten 632 und Ausgangskomponenten 634 umfassen. Die Eingangskomponenten 632 können alphanumerische Eingangskomponenten (z. B. eine Tastatur, einen Berührungsbildschirm, ausgebildet für den Empfang alphanumerischer Eingaben, eine fotooptische Tastatur und/oder andere alphanumerische Eingangskomponenten), auf Zeigen basierende Eingangskomponenten (z. B. eine Maus, ein Tastfeld, eine Rollkugel, ein Joystick, ein Bewegungssensor und/oder eine oder mehrere andere auf Zeigen basierende Eingangskomponenten), taktile Eingangskomponenten (z. B. eine physische Taste, ein Berührungsbildschirm, der auf den Ort und/oder die Kraft von Berührungen oder Berührungsgesten reagiert, und/oder eine oder mehrere andere taktile Eingangskomponenten), Audio-Eingangskomponenten (z. B. ein Mikrofon) und/oder dergleichen umfassen. Die Ausgangskomponenten 634 können visuelle Komponenten (z. B. eine Anzeige wie ein Plasmaanzeigefeld (PDP; plasma display panel), eine Leuchtdioden- (LED; light emitting diode) Anzeige, eine Flüssigkristallanzeige (LCD; liquid crystal display), einen Projektor und/oder eine Kathodenstrahlröhre (CRT; cathode ray tube)), akustische Komponenten (z. B. Lautsprecher), haptische Komponenten (z. B. einen Vibrationsmotor, Widerstandsmechanismen), andere Signalgeneratoren und so weiter umfassen.
Bei weiteren Ausführungsbeispielen können die PO-Komponenten 608 beispielsweise biometrische Komponenten 636, Bewegungskomponenten 638, Umgebungskomponenten 640 und/oder Positionskomponenten 642, aus einer Vielzahl möglicher Komponenten, umfassen. Als Beispiele können die biometrischen Komponenten 636 Komponenten zum Detektieren von Ausdrücken (z. B. Handausdrücken, Gesichtsausdrücken, stimmlichen Ausdrücken, Körpergesten, Augennachführung und/oder dergleichen), Messen von Biosignalen (z. B. Blutdruck, Herzfrequenz, Körpertemperatur, Schweiß, Gehirnwellen und/oder dergleichen), Identifizieren einer Person (z. B. durch Stimmidentifizierung, Netzhautidentifizierung, Gesichtsidentifizierung, Fingerabdruckidentifizierung, elektroenzephalogrammbasierte Identifizierung und/oder dergleichen) usw. umfassen. Die Bewegungskomponenten 638 können Beschleunigungs-Erfassungs-Komponenten (z. B. einen Beschleunigungssensor), Gravitations-Erfassungs-Komponenten, Rotations-Erfassungs-Komponenten (z. B. ein Gyroskop) und/oder dergleichen umfassen.
Die Umgebungskomponenten 640 können beispielsweise Beleuchtungs-Erfassungs-Komponenten (z. B. ein Fotometer), Temperatur-Erfassungs-Komponenten (z. B. ein oder mehrere Thermometer), Feuchtigkeits-Erfassungs-Komponenten, Druck-Erfassungs-Komponenten (z. B. ein Barometer), Akustik-Erfassungs-Komponenten (z. B. ein oder mehrere Mikrofone), Nähe-Erfassungs-Komponenten (z. B. Infrarotsensoren, Millimeter- (mm-) Wellenradar) zum Detektieren von Objekten in der Nähe), Gas-Erfassungs-Komponenten (z. B. Gasdetektionssensoren zum Detektieren von Konzentrationen gefährlicher Gase aus Sicherheitsgründen und/oder zur Messung von Schadstoffen in der Atmosphäre) und/oder andere Komponenten, die Anzeigen, Messungen, Signale und/oder dergleichen bereitstellen können, die einer umgebenden physischen Umgebung entsprechen, umfassen. Die Positionskomponenten 642 können Orts-Erfassungs-Komponenten (z. B. einen Globales-Navigationssatellitensystem- (GNSS-; Global Navigation Satellite System) Empfänger wie einen Globales-Positionierungssystem- (GPS-) Empfänger), Höhen-Erfassungs- Komponenten (z. B. Altimeter und/oder Barometer, die den Luftdruck detektieren, aus dem die Höhe abgeleitet werden kann), Orientierungs-Erfassungs-Komponenten (z. B. Magnetometer) und/oder dergleichen umfassen.
Die Kommunikation kann unter Verwendung einer Vielzahl von Technologien implementiert werden. Die I/O-Komponenten 608 können ferner Kommunikationskomponenten 644 umfassen, die wirksam sind, um das Computersystem 600 über eine Kopplung 628 und/oder eine Kopplung 630, jeweils, mit einem oder mehreren Netzwerken 624 und/oder einer oder mehreren Vorrichtungen 626 kommunikativ zu koppeln. Die Kommunikationskomponenten 644 können beispielsweise eine Netzwerkschnittstellenkomponente oder eine andere geeignete Vorrichtung zur Herstellung einer Schnittstelle mit einem gegebenen Netzwerk 624 umfassen. Bei weiteren Beispielen können die Kommunikationskomponenten 644 verdrahtete Kommunikationskomponenten, drahtlose Kommunikationskomponenten, Zelluläre-Kommunikation-Komponenten, Nahfeldkommunikations-(NFC-; Near Field Communication) Komponenten, Bluetooth- (z.B. Bluetooth Niedrigenergie) Komponenten, Wi-Fi-Komponenten und/oder andere Kommunikationskomponenten umfassen, um die Kommunikation über eine oder mehrere andere Modalitäten bereitzustellen. Die Vorrichtungen 626 können eine oder mehrere andere Maschinen und/oder irgendwelche aus einer Vielzahl von Peripherievorrichtungen (z. B. eine Peripherievorrichtung, die über eine Universeller-serieller-Bus- (USB-) Verbindung gekoppelt ist) umfassen.
Darüber hinaus können die Kommunikationskomponenten 644 Identifizierer detektieren oder Komponenten umfassen, die wirksam sind, Identifizierer zu detektieren. Die Kommunikationskomponenten 644 können zum Beispiel Radiofrequenz-Identifikations- (RFID-; radio frequency identification) Tag-Lesekomponenten, NFC-Smart-Tag-Detektionskomponenten, Optische-Leser-Komponenten (z. B. einen optischen Sensor zum Detektieren von eindimensionalen Strichcodes wie Universeller-Produktcode- (UPC-; Universal Product Code) Strichcodes, mehrdimensionalen Strichcodes wie Quick-Response- (QR-) Codes, Aztec-Codes, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra Code, UCC RSS-2D-Strichcodes und/oder anderen optischen Codes) und/oder Akustische-Detektion-Komponenten (z. B. Mikrofone zum Identifizieren von mit Tags versehenen Audiosignalen) umfassen. Darüber hinaus kann eine Vielzahl von Informationen über die Kommunikationskomponenten 644 abgeleitet werden, wie z. B. der Standort über IP-Geolokation, der Standort über Wi-Fi-Signal-Triangulation, der Standort über die Detektion eines NFC-Beacon-Signals, das einen bestimmten Standort anzeigen kann, und/oder dergleichen.
Einer oder mehrere der verschiedenen Speicher (z. B. der Speicher 606, der Hauptspeicher 616, der statische Speicher 618 und/oder der (z. B. Cache-)Speicher eines oder mehrerer der Prozessoren 604) und/oder die Speicherungseinheit 620 können einen oder mehrere Sätze von Anweisungen (z. B. Software) und/oder Datenstrukturen, die eine oder mehrere der hierin beschriebenen Methodologien oder Funktionen verkörpern oder von diesen verwendet werden, speichern. Diese Anweisungen (z. B. die Anweisungen 602) veranlassen bei Ausführung durch einen oder mehrere der Prozessoren 604 die Durchführung verschiedener Operationen zum Implementieren verschiedener Ausführungsbeispiele der vorliegenden Offenbarung.
Die Anweisungen 602 können über ein oder mehrere Netzwerke 624 unter Verwendung eines Übertragungsmediums, über eine Netzwerkschnittstellenvorrichtung (z. B. eine in den Kommunikationskomponenten 644 umfasste Netzwerkschnittstellenkomponente) und unter Verwendung irgendeines aus einer Anzahl von Übertragungsprotokollen (z. B. des Session Initiation Protocol (SIP), des Hypertext-Übertragungsprotokolls (HTTP; HyperText Transfer Protocol) und/oder von dergleichen) übertragen oder empfangen werden. Ähnlich können die Anweisungen 602 unter Verwendung eines Übertragungsmediums über die Kopplung 630 (z. B. eine Peer-zu-Peer-Kopplung) an ein oder mehrere Vorrichtungen 626 übertragen oder empfangen werden. Bei einigen Ausführungsbeispielen können IoT-Vorrichtungen unter Verwendung von Message-Queuing-Telemetry-Transport- (MQTT-) Nachrichtenübermittlung kommunizieren, was relativ kompakter und effizienter sein kann.
7 ist ein Diagramm 700, das eine Beispiel-Softwarearchitektur 702 zeigt, die auf irgendeiner oder mehreren der hierin beschriebenen Vorrichtungen installiert werden kann. Die Softwarearchitektur 702 könnte beispielsweise auf irgendeiner Vorrichtung oder einem System installiert werden, das ähnlich wie das Computersystem 600 von 6 angeordnet ist. Die Softwarearchitektur 702 kann von Hardware wie beispielsweise einer Maschine 704 unterstützt werden, die Prozessoren 706, Speicher 708 und I/O-Komponenten 710 umfassen kann. Bei diesem Beispiel kann die Softwarearchitektur 702 als ein Stapel von Schichten konzipiert werden, wobei jede Schicht eine bestimmte Funktionalität bereitstellt. Die Softwarearchitektur 702 kann Schichten wie ein Betriebssystem 712, Bibliotheken 714, Frameworks 716 und Anwendungen 718 umfassen. Betrieblich, unter Verwendung einer oder mehrerer Anwendungsprogrammierschnittstellen (APIs; application programming interfaces), können die Anwendungen 718 API-Aufrufe 720 über den Software-Stapel aufrufen und als Reaktion auf die API-Aufrufe 720 Nachrichten 722 empfangen.
Bei mindestens einem Ausführungsbeispiel verwaltet das Betriebssystem 712 Hardwareressourcen und stellt gemeinsame Dienste bereit. Das Betriebssystem 712 kann zum Beispiel einen Kernel 724, Dienste 726 und Treiber 728 umfassen. Der Kernel 724 kann als Abstraktionsschicht zwischen der Hardware und den anderen Softwareschichten fungieren. Der Kernel 724 kann beispielsweise Speichermanagement, Prozessormanagement (z. B. Zeitplanung), Komponentenmanagement, Netzwerk und/oder Sicherheitseinstellungen, in einigen Fällen neben einer oder mehreren anderen Funktionalitäten, bereitstellen. Die Dienste 726 können andere gemeinsame Dienste für die anderen Softwareschichten bereitstellen. Die Treiber 728 können für die Steuerung der darunterliegenden Hardware zuständig sein oder eine Schnittstelle zu ihr bilden. Die Treiber 728 können beispielsweise Anzeigetreiber, Kameratreiber, Bluetooth- oder Bluetooth-Niedrigenergie-Treiber, Flash-Speicher-Treiber, Serielle-Kommunikation-Treiber (z. B. USB-Treiber), Wi-Fi-Treiber, Audiotreiber, Leistungsmanagementtreiber und/oder dergleichen umfassen.
Die Bibliotheken 714 können eine gemeinsame Infrastruktur auf niedriger Ebene (low-level common infrastructure) bereitstellen, die von den Anwendungen 718 verwendet wird. Die Bibliotheken 714 können Systembibliotheken 730 (z. B. eine C-Standard-Bibliothek) umfassen, die Funktionen wie beispielsweise Speicherzuweisungsfunktionen, Zeichenkettenmanipulationsfunktionen (string-manipulation functions), mathematische Funktionen und/oder dergleichen bereitstellen können. Darüber hinaus können die Bibliotheken 714 API-Bibliotheken 732 wie beispielsweise Medienbibliotheken (z.B Bibliotheken zur Unterstützung der Präsentation und/oder Manipulation verschiedener Medienformate wie Moving Picture Experts Group-4 (MPEG4), Advanced Video Coding (H.264 oder AVC), Moving Picture Experts Group Layer-3 (MP3), Advanced Audio Coding (AAC), Adaptive Multi-Rate (AMR) audio codec, Joint Photographic Experts Group (JPEG oder JPG), Portable Network Graphics (PNG) und/oder dergleichen), Grafikbibliotheken (z. B., ein OpenGL-Framework zum zweidimensionalen (2D) und dreidimensionalen (3D) Wiedergeben von grafischen Inhalten auf einer Anzeige), Datenbankbibliotheken (z. B. SQLite zur Bereitstellung verschiedener Relationale-Datenbank-Funktionen), Webbibliotheken (z. B. WebKit zur Bereitstellung von Web-Browsing-Funktionen) und/oder dergleichen umfassen. Die Bibliotheken 714 können auch eine Vielzahl anderer Bibliotheken 734 umfassen, um den Anwendungen 718 viele andere APIs bereitzustellen.
Die Frameworks 716 können eine gemeinsame Hohe-Ebene-Infrastruktur (high-level common infrastructure) bereitstellen, die von den Anwendungen 718 genutzt werden kann. So können die Frameworks 716 beispielsweise verschiedene Grafische-Benutzerschnittstelle- (GUI; graphical-u-ser-interface) Funktionen, Hohe-Ebene-Ressourcenmanagement (high-level resource management), Hohe-Ebene-Standortdienste (high-level location services) und/oder dergleichen bereitstellen. Die Frameworks 716 können ein breites Spektrum anderer APIs bereitstellen, die von den Anwendungen 718 verwendet werden können, von denen einige spezifisch für ein bestimmtes Betriebssystem oder eine Plattform sein können.
Als ausschließlich repräsentative Beispiele können die Anwendungen 718 eine Heimanwendung (home application) 736, eine Kontaktanwendung 738, eine Browseranwendung 740, eine Buchleseanwendung 742, eine Standortanwendung 744, eine Medienanwendung 746, eine Nachrichtenübermittlungsanwendung 748, eine Spieleanwendung 750 und/oder ein breites Sortiment anderer Anwendungen umfassen, die in 7 allgemein als Drittanbieteranwendung (third-party application) 752 dargestellt sind. Bei den Anwendungen 718 kann es sich um Programme handeln, die in den Programmen definierte Funktionen ausführen. Verschiedene Programmiersprachen können eingesetzt werden, um eine oder mehrere der Anwendungen 718 zu erstellen, die auf unterschiedliche Weise strukturiert sind, wie objektorientierte Programmiersprachen (z. B. Objective-C, Java, C++ usw.), prozedurale Programmiersprachen (z. B. C, Assemblersprache usw.) und/oder dergleichen. Bei einem spezifischen Beispiel könnte die Drittanbieteranwendung 752 (z. B. eine Anwendung, die unter Verwendung des ANDROID™- oder IOS™-Softwareentwicklungskits (SDK; software development kit) von einer anderen Entität als dem Anbieter der bestimmten Plattform entwickelt wurde) eine mobile Software sein, die auf einem mobilen Betriebssystem wie beispielsweise IOS™, ANDROID™, WINDOWS® Phone und/oder dergleichen läuft. Darüber hinaus kann eine Drittanbieteranwendung 752 in der Lage sein, die vom Betriebssystem 712 bereitgestellten API-Aufrufe 720 aufzurufen, um die hierin beschriebene Funktionalität zu ermöglichen.
In Anbetracht der obigen Offenbarung werden nachfolgend verschiedene Beispiele von Ausführungsbeispielen listenartig aufgeführt. Es wird darauf hingewiesen, dass ein oder mehrere Merkmale eines Beispiels, isoliert oder in Kombination genommen, als innerhalb der Offenbarung dieser Anwendung betrachtet werden sollten.
Beispiel 1 ist ein Prozessprofilierungssystem umfassend mindestens einen Hardwareprozessor; und mindestens einen Speicher, in dem Anweisungen gespeichert sind, die bei Ausführung durch den mindestens einen Hardware-Prozessor das Prozessprofilierungssystem veranlassen zum: Erhalten von Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten; Clustern der Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformance-Kriterien; Durchführen, auf der Grundlage der geclusterten Sensordaten, eines oder beider aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen; Auswählen, für eine oder mehrere entsprechende automatische Maschinen, eines oder mehrerer Prozessprofile aus der Mehrzahl der Prozessprofile; und Ausbilden der einen oder mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.
Beispiel 2 ist das Prozessprofilierungssystem von Beispiel 1, wobei die Mehrzahl von Sensoren einen oder mehrere aus einem Videosensor, einem Audiosensor, einem drahtlosen Kommunikationssensor und einem mit einer tragbaren Vorrichtung verbundenen Sensor umfasst.
Beispiel 3 ist das Prozessprofilierungssystem von Beispiel 1-2, wobei die Anweisungen zum Clustern der Sensordaten auf der Grundlage des Satzes von einem oder mehreren Prozessperformancekriterien Anweisungen zum Clustern von auf menschlichen Subjekten basierenden Sätzen von Sensordaten umfassen, wobei jeder auf menschlichen Subjekten basierende Satz von Sensordaten einem menschlichen Subjekt des einen oder der mehreren menschlichen Subjekte entspricht.
Beispiel 4 ist das Prozessprofilierungssystem von Beispiel 3, wobei die Anweisungen zum Clustern der auf dem menschlichen Subjekt basierenden Sensordatensätze Anweisungen zur Durchführung mehrerer unterschiedlicher Clusterungen der auf dem menschlichen Subjekt basierenden Sensordatensätze umfassen, wobei jede der mehreren unterschiedlichen Clusterungen unterschiedliche Sätze der Prozessperformancekriterien verwendet.
Beispiel 5 ist das Prozessprofilierungssystem von einem der Beispiele 1 bis 4, wobei mindestens einer der ein oder mehreren Prozesse mindestens einen Teilprozess umfasst.
Beispiel 6 ist das Prozessprofilierungssystem von einem der Beispiele 1-5, wobei die Prozessperformancekriterien mindestens eine Qualitätsmetrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Beispiel 7 ist das Prozessprofilierungssystem von einem der Beispiele 1 bis 6, wobei die Prozessperformancekriterien mindestens eine zeitbasierte Metrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Beispiel 8 ist das Prozessprofilierungssystem von einem der Beispiele 1-7, wobei die Anweisungen zur Auswahl eines oder mehrerer Prozessprofile aus der Mehrzahl von Prozessprofilen für die eine oder die mehreren entsprechenden automatisierten Maschinen Anweisungen umfassen zum: Auswählen eines ersten Prozessprofils für eine erste der automatisierten Maschinen; und Auswählen eines zweiten, unterschiedlichen Prozessprofils für eine zweite der automatisierten Maschinen.
Beispiel 9 ist das Prozessprofilierungssystem von einem der Beispiele 1 bis 8, wobei die Anweisungen zur Konfiguration der einen oder mehreren entsprechenden automatisierten Maschinen für den Betrieb gemäß dem ausgewählten einen oder den mehreren Prozessprofilen Anweisungen zur Übertragung von Anweisungen an die entsprechenden automatisierten Maschinen umfassen.
Beispiel 10 ist mindestens ein nichtflüchtiges computerlesbares Speicherungsmedium, das Anweisungen enthält, die, wenn sie von mindestens einem Hardware-Prozessor eines Computersystems ausgeführt werden, das Computersystem veranlassen zum: Erhalten von Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten; Clustern der Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformance-Kriterien; Durchführen, auf der Grundlage der geclusterten Sensordaten, eines oder beider aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen; Auswählen, für eine oder mehrere entsprechende automatische Maschinen, eines oder mehrerer Prozessprofile aus der Mehrzahl der Prozessprofile; und Ausbilden der einen oder mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.
Beispiel 11 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von Beispiel 10, wobei die Mehrzahl von Sensoren einen oder mehrere aus einem Videosensor, einem Audiosensor, einem drahtlosen Kommunikationssensor und einem mit einer tragbaren Vorrichtung verbundenen Sensor umfasst
Beispiel 12 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von Beispiel 10 - 11, wobei die Anweisungen zum Clustern der Sensordaten auf der Grundlage des Satzes von einem oder mehreren Prozessperformancekriterien Anweisungen zum Clustern von auf menschlichen Subjekten basierenden Sätzen von Sensordaten umfassen, wobei jeder auf menschlichen Subjekten basierende Satz von Sensordaten einem menschlichen Subjekt des einen oder der mehreren menschlichen Subjekte entspricht.
Beispiel 13 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von Beispiel 12, wobei die Anweisungen zum Clustern der auf dem menschlichen Subjekt basierenden Sensordatensätze Anweisungen zur Durchführung mehrerer unterschiedlicher Clusterungen der auf dem menschlichen Subjekt basierenden Sensordatensätze umfassen, wobei jede der mehreren unterschiedlichen Clusterungen unterschiedliche Sätze der Prozessperformancekriterien verwendet.
Beispiel 14 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von Beispiel 10 - 13, wobei mindestens einer der ein oder mehreren Prozesse mindestens einen Teilprozess umfasst.
Beispiel 15 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von Beispiel 10-14, wobei die Prozessperformancekriterien mindestens eine Qualitätsmetrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Beispiel 16 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von Beispiel 10 - 15, wobei die Prozessperformancekriterien mindestens eine zeitbasierte Metrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Beispiel 17 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von Beispiel 10-16, wobei die Anweisungen zur Auswahl eines oder mehrerer Prozessprofile aus der Mehrzahl von Prozessprofilen für die eine oder die mehreren entsprechenden automatisierten Maschinen Anweisungen umfassen zum: Auswählen eines ersten Prozessprofils für eine erste der automatisierten Maschinen; und Auswählen eines zweiten, unterschiedlichen Prozessprofils für eine zweite der automatisierten Maschinen.
Beispiel 18 ist das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium von einem der Beispiele 10 bis 17, wobei die Anweisungen zur Konfiguration der einen oder mehreren entsprechenden automatisierten Maschinen für den Betrieb gemäß dem ausgewählten einen oder den mehreren Prozessprofilen Anweisungen zur Übertragung von Anweisungen an die entsprechenden automatisierten Maschinen umfassen.
Beispiel 19 ist ein Verfahren, ausgeführt durch ein Prozessprofilierungssystem durch Ausführen von Anweisungen auf mindestens einem Hardware-Prozessor, das Verfahren umfassend: Erhalten von Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten; Clustern der Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformance-Kriterien; Durchführen, auf der Grundlage der geclusterten Sensordaten, eines oder beider aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen; Auswählen, für eine oder mehrere entsprechende automatische Maschinen, eines oder mehrerer Prozessprofile aus der Mehrzahl der Prozessprofile; und Ausbilden der einen oder mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.
Beispiel 20 ist das Verfahren von Beispiel 19, wobei die Mehrzahl von Sensoren einen oder mehrere aus einem Videosensor, einem Audiosensor, einem drahtlosen Kommunikationssensor und einem mit einer tragbaren Vorrichtung verbundenen Sensor umfasst.
Beispiel 21 ist das Verfahren von Beispiel 19 - 20, wobei die Anweisungen zum Clustern der Sensordaten auf der Grundlage des Satzes von einem oder mehreren Prozessperformancekriterien Anweisungen zum Clustern von auf menschlichen Subjekten basierenden Sätzen von Sensordaten umfassen, wobei jeder auf menschlichen Subjekten basierende Satz von Sensordaten einem menschlichen Subjekt des einen oder der mehreren menschlichen Subjekte entspricht.
Beispiel 22 ist das Verfahren von einem der Beispiele 19 bis 21, wobei mindestens einer der ein oder mehreren Prozesse mindestens einen Teilprozess umfasst.
Beispiel 23 ist das Verfahren von einem der Beispiele 19-22, wobei die Prozessperformancekriterien mindestens eine Qualitätsmetrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Beispiel 24 ist das Verfahren von einem der Beispiele 19 bis 23, wobei die Prozessperformancekriterien mindestens eine zeitbasierte Metrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Beispiel 25 ist das Verfahren von einem der Beispiele 19-24, das Auswählen eines oder mehrerer Prozessprofile aus der Mehrzahl von Prozessprofilen für die eine oder die mehreren entsprechenden automatisierten Maschinen umfassend: Auswählen eines ersten Prozessprofils für eine erste der automatisierten Maschinen; und Auswählen eines zweiten, unterschiedlichen Prozessprofils für eine zweite der automatisierten Maschinen.
Um das Verständnis der Prinzipien der vorliegenden Offenbarung zu fördern, sind in den Zeichnungen verschiedene Ausführungsbeispiele dargestellt. Die hierin offenbarten Ausführungsbeispiele sind nicht dazu vorgesehen, einen Anspruch auf Vollständigkeit zu erfüllen oder die vorliegende Offenbarung auf die genauen Formen, die in der obigen detaillierten Beschreibung offenbart werden, zu beschränken. Vielmehr wurden die beschriebenen Ausführungsbeispiele so ausgewählt, dass andere Fachleute ihre Lehren nutzen können. Dementsprechend ist damit keine Einschränkung des Schutzbereichs der vorliegenden Offenbarung vorgesehen.
Gemäß der Verwendung in dieser Offenbarung, umfassend in den Ansprüchen, sind Ausdrücke der Form „mindestens eines von A und B“, „mindestens eines von A, B und C“ und dergleichen so zu verstehen, als ob die Formulierung „A und/oder B“, „A, B und/oder C“ und dergleichen anstelle des gesamten Ausdrucks verwendet worden wäre. Sofern in Verbindung mit einem bestimmten Fall nicht ausdrücklich anders angegeben, beschränkt sich diese Formulierungsweise in dieser Offenbarung nicht nur auf die Bedeutung „mindestens eines von A und mindestens eines von B“, „mindestens eines von A, mindestens eines von B und mindestens eines von C“ usw. Eher, wie hierin verwendet, deckt die Zwei-Elemente-Version jedes der Folgenden ab: ein oder mehrere von A und kein B, ein oder mehrere von B und kein A sowie ein oder mehrere von A und ein oder mehrere von B. Und ähnlich für die Drei-Elemente-Version und darüber hinaus. Ähnlich sind solche Ausdrücke zu verstehen, in denen „einer oder beide“, „einer oder mehrere“ und dergleichen anstelle von „mindestens einer“ verwendet wird, außer, wieder, es ist in Verbindung mit einem bestimmten Fall ausdrücklich anderweitig angegeben.
In irgendwelchen Fällen in dieser Offenbarung, umfassend in den Ansprüchen, in denen numerische Modifikatoren wie beispielsweise „erste“, „zweite“ und „dritte“ in Bezug auf Komponenten, Daten (z. B. Werte, Identifizierer, Parameter und/oder dergleichen) und/oder irgendwelche anderen Elemente verwendet werden, ist eine solche Verwendung solcher Modifikatoren nicht dazu vorgesehen, irgendeine spezifische oder erforderliche Reihenfolge der Elemente, auf die auf diese Weise Bezug genommen wird, zu bezeichnen oder zu diktieren. Vielmehr ist irgendeine Verwendung solcher Modifikatoren dazu vorgesehen, dem Leser zu helfen, die Elemente voneinander zu unterscheiden, und ist nicht so auszulegen, dass sie auf irgendeiner bestimmten Reihenfolge besteht oder irgendeine andere Bedeutung trägt, es sei denn, eine solche Reihenfolge oder andere Bedeutung wird hierin klar und bestätigend erläutert.
Darüber hinaus, im Einklang mit der Tatsache, dass die hierin beschriebenen Entitäten und Anordnungen, umfassend die in Verbindung mit den Zeichnungen dargestellten und beschriebenen Entitäten und Anordnungen, als Beispiele und nicht als Beschränkung präsentiert werden, können irgendwelche und alle Aussagen oder anderen Angaben darüber, was eine bestimmte Zeichnung „darstellt“, was ein bestimmtes Element oder eine Entität in einer bestimmten Zeichnung oder anderweitig erwähnt in dieser Offenbarung „ist“ oder „aufweist“, und irgendwelche und alle ähnlichen Aussagen, die nicht ausdrücklich durch eine Klausel wie beispielsweise „in mindestens einem Ausführungsbeispiel“ selbstqualifizierend sind, und die daher isoliert und aus dem Kontext gerissen als absolut und somit als eine Einschränkung aller Ausführungsbeispiele gelesen werden könnten, nur richtig als konstruktiv qualifiziert durch eine solche Klausel gelesen werden. Aus Gründen der Kürze und der Klarheit der Darstellung wird diese implizierte Qualifizierungsklausel in dieser Offenbarung nicht bis zum Überdruss wiederholt.
Darüber hinaus kann es in dieser Offenbarung bei einem oder mehreren Ausführungsbeispielen, Beispielen und/oder dergleichen der Fall sein, dass eine oder mehrere Komponenten von ein oder mehreren Vorrichtungen, Systemen und/oder dergleichen als Module bezeichnet werden, die verschiedene Funktionen ausüben (z. B. durchführen, ausführen und dergleichen). Im Hinblick auf irgendwelche derartigen Verwendungen in der vorliegenden Offenbarung umfasst ein Modul sowohl Hardware als auch Anweisungen. Die Hardware könnte einen oder mehrere Prozessoren, einen oder mehrere Mikroprozessoren, einen oder mehrere Mikrocontroller, einen oder mehrere Mikrochips, eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs), ein oder mehrere feldprogrammierbare Gate-Arrays (FPGAs; field programmable gate arrays), eine oder mehrere grafische Verarbeitungseinheiten (GPUs; graphical processing units), eine oder mehrere Tensorverarbeitungseinheiten (TPUs; tensor processing units) und/oder ein oder mehrere Vorrichtungen und/oder Komponenten irgendeiner anderen Art umfassen, die von Fachleuten für eine gegebene Implementierung als geeignet angesehen werden.
Bei mindestens einem Ausführungsbeispiel sind die Anweisungen für ein gegebenes Modul durch die Hardware für ein Ausführen von ein oder mehreren hierin beschriebenen Funktionen des Moduls ausführbar, und könnten Hardware- (z. B. fest verdrahtete) Anweisungen, Firmware-Anweisungen, Software-Anweisungen und/oder dergleichen umfassen, die in irgendeinem oder mehreren nichtflüchtigen computerlesbaren Speicherungsmedien gespeichert sind, die von Fachleuten als geeignet für eine gegebene Implementierung angesehen werden. Jedes solches nichtflüchtiges, computerlesbares Speicherungsmedium kann Speicher (z.B. Direktzugriffsspeicher (RAM; random access memory), Nur-Lese-Speicher (ROM; read-only memory), löschbare programmierbare Nur-Lese-Speicher (EPROM; erasable programmable read-only memory), elektrisch löschbare programmierbare Nur-Lese-Speicher (EEPROM, auch bekannt als E2PROM; electrically erasable programmable read-only memory), Flash-Speicher und/oder eine oder mehrere andere Arten von Speichern) und/oder eine oder mehrere andere Arten von nichtflüchtigen, computerlesbaren Speicherungsmedien sein oder umfassen. Ein Modul könnte als eine einzelne Komponente realisiert werden oder über mehrere Komponenten verteilt sein.

Claims

Ein Prozessprofilierungssystem, umfassend: mindestens einen Hardware-Prozessor, und mindestens einen Speicher, in dem Anweisungen gespeichert sind, die bei Ausführung durch den mindestens einen Hardware-Prozessor das Prozessprofilierungssystem veranlassen zum: Erhalten von Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten; Clustern der Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformance-Kriterien; Durchführen, auf der Grundlage der geclusterten Sensordaten, eines oder beider aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen; Auswählen, für eine oder mehrere entsprechende automatische Maschinen, eines oder mehrerer Prozessprofile aus der Mehrzahl der Prozessprofile; und Ausbilden der einen oder mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.
Das Prozessprofilierungssystem gemäß Anspruch 1, wobei die Mehrzahl von Sensoren einen oder mehrere aus einem Videosensor, einem Audiosensor, einem drahtlosen Kommunikationssensor und einem mit einer tragbaren Vorrichtung verbundenen Sensor umfasst.
Das Prozessprofilierungssystem gemäß Anspruch 1 oder Anspruch 2, wobei die Anweisungen zum Clustern der Sensordaten auf der Grundlage des Satzes von einem oder mehreren Prozessperformancekriterien Anweisungen zum Clustern von auf menschlichen Subjekten basierenden Sätzen von Sensordaten umfassen, wobei jeder auf menschlichen Subjekten basierende Satz von Sensordaten einem menschlichen Subjekt des einen oder der mehreren menschlichen Subjekte entspricht.
Das Prozessprofilierungssystem gemäß Anspruch 3, wobei die Anweisungen zum Clustern der auf dem menschlichen Subjekt basierenden Sensordatensätze Anweisungen zur Durchführung mehrerer unterschiedlicher Clusterungen der auf dem menschlichen Subjekt basierenden Sensordatensätze umfassen, wobei jede der mehreren unterschiedlichen Clusterungen unterschiedliche Sätze der Prozessperformancekriterien verwendet.
Das Prozessprofilierungssystem gemäß einem der Ansprüche 1 bis 4, wobei mindestens einer der ein oder mehreren Prozesse mindestens einen Teilprozess umfasst.
Das Prozessprofilierungssystem gemäß einem der Ansprüche 1-5, wobei die Prozessperformancekriterien mindestens eine Qualitätsmetrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Das Prozessprofilierungssystem gemäß einem der Ansprüche 1 bis 6, wobei die Prozessperformancekriterien mindestens eine zeitbasierte Metrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Das Prozessprofilierungssystem gemäß einem der Ansprüche 1 bis 7, wobei die Anweisungen zur Auswahl eines oder mehrerer Prozessprofile aus der Mehrzahl von Prozessprofilen für die eine oder die mehreren entsprechenden automatisierten Maschinen Anweisungen umfassen zum: Auswählen eines ersten Prozessprofils für eine erste der automatisierten Maschinen; und Auswählen eines zweiten, unterschiedlichen Prozessprofils für eine zweite der automatisierten Maschinen.
Das Prozessprofilierungssystem gemäß einem der Ansprüche 1 bis 8, wobei die Anweisungen zur Konfiguration der einen oder mehreren entsprechenden automatisierten Maschinen für den Betrieb gemäß dem ausgewählten einen oder den mehreren Prozessprofilen Anweisungen zur Übertragung von Anweisungen an die entsprechenden automatisierten Maschinen umfassen.
Mindestens ein nichtflüchtiges computerlesbares Speicherungsmedium, das Anweisungen enthält, die, wenn sie von mindestens einem Hardware-Prozessor eines Computersystems ausgeführt werden, das Computersystem veranlassen zum: Erhalten von Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten; Clustern der Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformance-Kriterien; Durchführen, auf der Grundlage der geclusterten Sensordaten, eines oder beider aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen; Auswählen, für eine oder mehrere entsprechende automatische Maschinen, eines oder mehrerer Prozessprofile aus der Mehrzahl der Prozessprofile; und Ausbilden der einen oder mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß Anspruch 10, wobei die Mehrzahl von Sensoren einen oder mehrere aus einem Videosensor, einem Audiosensor, einem drahtlosen Kommunikationssensor und einem mit einer tragbaren Vorrichtung verbundenen Sensor umfasst
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß Anspruch 10 oder Anspruch 11, wobei die Anweisungen zum Clustern der Sensordaten auf der Grundlage des Satzes von einem oder mehreren Prozessperformancekriterien Anweisungen zum Clustern von auf menschlichen Subjekten basierenden Sätzen von Sensordaten umfassen, wobei jeder auf menschlichen Subjekten basierende Satz von Sensordaten einem menschlichen Subjekt des einen oder der mehreren menschlichen Subjekte entspricht.
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß Anspruch 12, wobei die Anweisungen zum Clustern der auf dem menschlichen Subjekt basierenden Sensordatensätze Anweisungen zur Durchführung mehrerer unterschiedlicher Clusterungen der auf dem menschlichen Subjekt basierenden Sensordatensätze umfassen, wobei jede der mehreren unterschiedlichen Clusterungen unterschiedliche Sätze der Prozessperformancekriterien verwendet.
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß einem der Ansprüche 10 bis 13, wobei mindestens einer der ein oder mehreren Prozesse mindestens einen Teilprozess umfasst.
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß einem der Ansprüche 10-14, wobei die Prozessperformancekriterien mindestens eine Qualitätsmetrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß einem der Ansprüche 10 bis 15, wobei die Prozessperformancekriterien mindestens eine zeitbasierte Metrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß einem der Ansprüche 10 bis 16, wobei die Anweisungen zur Auswahl eines oder mehrerer Prozessprofile aus der Mehrzahl von Prozessprofilen für die eine oder die mehreren entsprechenden automatisierten Maschinen Anweisungen umfassen zum: Auswählen eines ersten Prozessprofils für eine erste der automatisierten Maschinen; und Auswählen eines zweiten, unterschiedlichen Prozessprofils für eine zweite der automatisierten Maschinen.
Das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium gemäß einem der Ansprüche 10 bis 17, wobei die Anweisungen zur Konfiguration der einen oder mehreren entsprechenden automatisierten Maschinen für den Betrieb gemäß dem ausgewählten einen oder den mehreren Prozessprofilen Anweisungen zur Übertragung von Anweisungen an die entsprechenden automatisierten Maschinen umfassen.
Ein Verfahren, das von einem Prozessprofilierungssystem durch Ausführen von Anweisungen auf mindestens einem Hardware-Prozessor durchgeführt wird, das Verfahren umfassend: Erhalten von Sensordaten, die von einer Mehrzahl von Sensoren erfasst werden, die so angeordnet sind, dass sie ein oder mehrere menschliche Subjekte bei der Durchführung eines oder mehrerer Prozesse zur Bewältigung einer oder mehrerer Aufgaben beobachten; Clustern der Sensordaten auf der Grundlage eines Satzes von einem oder mehreren Prozessperformance-Kriterien; Durchführen, auf der Grundlage der geclusterten Sensordaten, eines oder beider aus der Erzeugung und Aktualisierung eines oder mehrerer Prozessprofile in einer Mehrzahl von Prozessprofilen; Auswählen, für eine oder mehrere entsprechende automatische Maschinen, eines oder mehrerer Prozessprofile aus der Mehrzahl der Prozessprofile; und Ausbilden der einen oder mehreren entsprechenden automatisierten Maschinen so, dass sie gemäß dem ausgewählten einen oder mehreren Prozessprofilen arbeiten.
Das Verfahren gemäß Anspruch 19, wobei die Mehrzahl von Sensoren einen oder mehrere aus einem Videosensor, einem Audiosensor, einem drahtlosen Kommunikationssensor und einem mit einer tragbaren Vorrichtung verbundenen Sensor umfasst.
Das Verfahren gemäß Anspruch 19 oder Anspruch 20, wobei die Anweisungen zum Clustern der Sensordaten auf der Grundlage des Satzes von einem oder mehreren Prozessperformancekriterien Anweisungen zum Clustern von auf menschlichen Subjekten basierenden Sätzen von Sensordaten umfassen, wobei jeder auf menschlichen Subjekten basierende Satz von Sensordaten einem menschlichen Subjekt des einen oder der mehreren menschlichen Subjekte entspricht.
Das Verfahren gemäß einem der Ansprüche 19 bis 21, wobei mindestens einer der ein oder mehreren Prozesse mindestens einen Teilprozess umfasst.
Das Verfahren gemäß einem der Ansprüche 19-22, wobei die Prozessperformancekriterien mindestens eine Qualitätsmetrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Das Verfahren gemäß einem der Ansprüche 19 bis 23, wobei die Prozessperformancekriterien mindestens eine zeitbasierte Metrik umfassen, die der Performance mindestens eines der ein oder mehreren Prozesse zugeordnet ist.
Das Verfahren gemäß einem der Ansprüche 19 bis 24, das Auswählen eines oder mehrerer Prozessprofile aus der Mehrzahl von Prozessprofilen für die eine oder die mehreren entsprechenden automatisierten Maschinen umfassend: Auswählen eines ersten Prozessprofils für eine erste der automatisierten Maschinen; und Auswählen eines zweiten, unterschiedlichen Prozessprofils für eine zweite der automatisierten Maschinen.