DE112021006095T5

DE112021006095T5 - Arbeitsermittlungsvorrichtung, arbeitsermittlungsverfahren und arbeitsermittlungsprogramm

Info

Publication number: DE112021006095T5
Application number: DE112021006095.3T
Authority: DE
Inventors: Keishi Nishikawa; Takaya Taniguchi; Kenji Takii
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-01-28
Filing date: 2021-01-28
Publication date: 2023-08-31
Also published as: US20230326251A1; WO2022162844A1; JPWO2022162844A1; JP7254262B2; CN116745808A

Abstract

Eine Arbeitsermittlungsvorrichtung (200) umfasst eine Beobachtungsbereich-Ermittlungseinheit (220), eine Objekterkennungseinheit (210), eine Kontaktgrad-Berechnungseinheit (230) und eine Arbeitsermittlungseinheit (250). Die Beobachtungsbereich-Ermittlungseinheit (220) ermittelt einen Beobachtungsbereich, der ein Bereich ist, den ein Benutzer beobachtet, unter Verwendung von Informationen, die eine Sichtlinie des Benutzers anzeigen. Die Objekterkennungseinheit (210) erkennt aus einem Video, das ein Arbeitsobjekt, das der Benutzer benutzt, und mindestens ein Zielkandidatenobjekt zeigt, das ein Kandidat für ein Arbeitsziel des Benutzers ist, das Arbeitsobjekt und das mindestens eine Zielkandidatenobjekt. Die Kontaktgrad-Berechnungseinheit (230) berechnet einen Kontaktgrad, der den Grad des Kontakts zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt angibt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs. Die Arbeitsermittlungseinheit (250) ermittelt eine Arbeit des Benutzers auf der Grundlage des Arbeitsobjekts und des Kontaktgrads.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Arbeitsermittlungsvorrichtung, ein Arbeitsermittlungsverfahren und ein Arbeitsermittlungsprogramm.
Bisheriger Stand der Technik
Bei der Ausbildung am Arbeitsplatz (On-the-Job-Training, OJT) im Zusammenhang mit der Anlagenwartung besteht der Bedarf an einem Ausbildungssystem, das die OJT-Ausbildung ersetzt, um die Belastung der Aufsichtspersonen oder Ausbilder, die Kosten der Ausbildung usw. zu verringern. In dem Ausbildungssystem, das die OJT-Ausbildung in Bezug auf die Wartungsarbeiten ersetzt, ist es wünschenswert, einem Benutzer, der Wartungsarbeiten erlernt, nützliche Informationen über die von ihm ausgeführten Arbeiten zu liefern. Um dies zu erreichen, muss das Bildungssystem die vom Benutzer geleistete Arbeit ermitteln.
Patentliteratur 1 offenbart in einem Video aus der Ich-Perspektive eines Benutzers eine Technik zur Verbesserung der Erkennungsgenauigkeit des Verhaltens des Benutzers durch Erkennung eines Objekts von Interesse, dem der Benutzer seine Aufmerksamkeit schenkt, unter Verwendung eines Ziel-Objekt-Erfassungsergebnisses und einer Aufmerksamkeitskarte, und durch Durchführung einer Verhaltenserkennung auf der Grundlage einer Informationskombination des Objekts von Interesse und eines Objekts von Nicht-Interesse.
Referenzliste
Patentliteratur
Patentliteratur 1: JP 2015-011526 A
Kurzfassung der Erfindung
Technische Aufgabe
Ein in der Patentliteratur 1 offenbartes Verhaltenserkennungsverfahren hat das Problem, dass, wenn eine Vielzahl von Objekten innerhalb eines Blickwinkels des Videos des Benutzerblickpunkts erscheint, selbst wenn der Benutzer kein Verhalten ausführt, der Benutzer fälschlicherweise als ein bestimmtes Verhalten ausführend erkannt werden kann. In einem konkreten Beispiel kann nach diesem Verhaltenserkennungsverfahren, wenn das Video des Benutzerblickpunkts ein Arbeitsziel des Benutzers und ein Werkzeug zeigt, das der Benutzer bei der Arbeit verwendet, auch wenn der Benutzer das Werkzeug nicht benutzt, entschieden werden, dass der Benutzer die Arbeit ausführt.
Ein Ziel der vorliegenden Offenbarung ist es, die Genauigkeit der Schätzung der Arbeit eines Benutzers zu verbessern, indem der Kontakt zwischen einem Arbeitsobjekt und einem Zielkandidatenobjekt, das ein Kandidat für ein Arbeitsziel ist, erkannt wird.
Lösung der Aufgabe
Arbeitsermittlungsvorrichtung gemäß der vorliegenden Offenbarung umfasst:

eine Beobachtungsbereich-Ermittlungseinheit, um einen Beobachtungsbereich zu ermitteln, der ein Bereich ist, den ein Benutzer beobachtet, wobei Informationen verwendet werden, die eine Sichtlinie des Benutzers anzeigen;
eine Objekterkennungseinheit, um aus einem Video, das ein Arbeitsobjekt, das der Benutzer benutzt, und mindestens ein Zielkandidatenobjekt, das ein Kandidat für ein Arbeitsziel des Benutzers ist, zeigt, das Arbeitsobjekt und das mindestens eine Zielkandidatenobjekt zu erkennen;
eine Kontaktgrad-Berechnungseinheit, um einen Kontaktgrad zu berechnen, der einen Kontaktgrad zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt angibt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs; und
eine Arbeitsermittlungseinheit, um eine Arbeit des Benutzers auf der Grundlage des Arbeitsobjekts und des Kontaktgrads zu ermitteln.

Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Offenbarung findet eine Kontaktgrad-Berechnungseinheit einen Kontaktgrad, der einen Kontaktgrad zwischen einem Arbeitsobjekt und jedem Zielkandidatenobjekt angibt, das in mindestens einem Zielkandidatenobjekt enthalten ist, auf der Grundlage eines Bereichs, den ein Benutzer beobachtet, und eine Arbeitsermittlungseinheit schätzt die Arbeit eines Benutzers auf der Grundlage des Kontaktgrads. Daher kann gemäß der vorliegenden Offenbarung die Genauigkeit der Ermittlung der Arbeit des Benutzers verbessert werden, indem der Kontakt zwischen dem Arbeitsobjekt und dem Zielkandidatenobjekt, das ein Kandidat für das Arbeitsziel ist, erkannt wird.
Figurenliste

1 zeigt ein Beispiel für eine Softwarekonfiguration einer Arbeitsermittlungsvorrichtung 200 gemäß Ausführungsform 1.
2 zeigt ein Beispiel für die Hardwarekonfiguration der Arbeitsermittlungsvorrichtung 200 gemäß Ausführungsform 1.
3 ist ein Flussdiagramm zur Veranschaulichung des Betriebs der Arbeitsermittlungsvorrichtung 200 gemäß Ausführungsform 1.
4 ist eine Darstellung, die die Verarbeitung einer Kontaktgrad-Berechnungseinheit 230 gemäß Ausführungsform 1 erläutert.
5 ist ein Flussdiagramm, das die Betriebe der Kontaktgrad-Berechnungseinheit 230 gemäß Ausführungsform 1 veranschaulicht.
6 ist eine Darstellung, die die Verarbeitung der Kontaktgrad-Berechnungseinheit 230 gemäß Ausführungsform 1 erläutert.
7 ist eine Darstellung, die die Verarbeitung der Kontaktgrad-Berechnungseinheit 230 gemäß Ausführungsform 1 erläutert.
8 ist eine Darstellung, die die Verarbeitung der Kontaktgrad-Berechnungseinheit 230 gemäß Ausführungsform 1 erläutert.
9 zeigt ein spezifisches Beispiel für Lerndaten D1 gemäß Ausführungsform 1.
10 zeigt ein Beispiel für die Konfiguration einer Lernvorrichtung 400 gemäß Ausführungsform 1.
11 ist ein Flussdiagramm, das den Betrieb der Lernvorrichtung 400 gemäß Ausführungsform 1 veranschaulicht.
12 zeigt ein Beispiel für eine Softwarekonfiguration einer Arbeitsermittlungsvorrichtung 200 gemäß einer Modifikation von Ausführungsform 1.
13 ist ein Flussdiagramm, das die Arbeitsvorgänge der Arbeitsermittlungsvorrichtung 200 gemäß der Modifikation von Ausführungsform 1 veranschaulicht.
14 zeigt ein Beispiel für eine Hardwarekonfiguration einer Arbeitsermittlungsvorrichtung 200 gemäß einer Modifikation von Ausführungsform 1.

Beschreibung von Ausführungsformen
In der Beschreibung und den Zeichnungen der Ausführungsform werden gleiche und gleichwertige Elemente mit demselben Bezugszeichen bezeichnet. Die Beschreibung der Elemente, die mit demselben Bezugszeichen versehen sind, wird gegebenenfalls weggelassen oder vereinfacht. Pfeile in den Zeichnungen stellen hauptsächlich Datenflüsse oder Prozessabläufe dar. Der Begriff „Einheit“ kann auch durch „Schaltkreis“, „Stufe“, „Verfahren“, „Prozess“ oder „Schaltungen“ ersetzt werden.
Ausführungsform 1.
Die vorliegende Ausführungsform wird nachstehend unter Bezugnahme auf Zeichnungen detailliert beschrieben.
*** Beschreibung von Konfigurationen ***
1 zeigt ein Beispiel für die Konfiguration eines Arbeitsermittlungssystems 90 und ein Beispiel für die Softwarekonfiguration einer Arbeitsermittlungsvorrichtung 200. Das Arbeitsermittlungssystem 90 ist mit der Arbeitsermittlungsvorrichtung 200, einer Bildgebungsvorrichtung 300 und einer Sichtlinien-Messeinrichtung 350 ausgestattet. Ein schwarzer Punkt in 1 bedeutet, dass Linien, die den schwarzen Punkt berühren, miteinander verbunden sind. Wenn an einer Stelle, an der sich mehrere Linien kreuzen, kein schwarzer Punkt abgebildet ist, sind die betreffenden mehreren Linien nicht miteinander in Kontakt.
Die Bildgebungsvorrichtung 300 ist eine Vorrichtung, die fotografiert, wie ein Benutzer arbeitet, und sein spezifisches Beispiel ist eine Kamera. Der Benutzer ist ein Ziel der Schätzung durch das Arbeitsermittlungssystem 90, welche Arbeit er oder sie verrichtet. Manchmal kann es vorkommen, dass der Benutzer Arbeitsinhalte überprüft oder sich ausruht, anstatt zu arbeiten. Der Benutzer muss kein Mensch sein, sondern kann ein Roboter oder ähnliches sein. Die Bildgebungsvorrichtung 300 überträgt ein von der Bildgebungsvorrichtung 300 aufgenommenes Bild als Aufnahmebild an die Arbeitsermittlungsvorrichtung 200. Bei dem Aufnahmebild kann es sich um Videomaterial oder ein oder mehrere Bilder handeln. Das Aufnahmebild kann ein Rot-Grün-Blau (RGB)-Bild oder ein Tiefenbild sein oder beides enthalten. Die Bildgebungsvorrichtung 300 kann aus einer Vielzahl von Vorrichtungen bestehen.
Die Sichtlinien-Messeinrichtung 350 ist eine Einrichtung zur Messung der Sichtlinie des Benutzers. In einem konkreten Beispiel ist die Sichtlinien-Messeinrichtung 350 eine mit einer Kamera ausgestattete Einrichtung, die der Benutzer am Kopf trägt. Die Sichtlinien-Messeinrichtung 350 überträgt Sichtlinienmessinformationen an die Arbeitsermittlungsvorrichtung 200, die ein Ergebnis der Messung der Sichtlinie des Benutzers anzeigen. Die Sichtlinien-Messeinrichtung 350 kann eine Vielzahl von Einrichtungen umfassen.
Die Arbeitsermittlungsvorrichtung 200 muss nicht direkt mit mindestens einer der Bildgebungsvorrichtungen 300 und der Sichtlinien-Messeinrichtung 350 verbunden sein. Die Arbeitsermittlungsvorrichtung 200 kann an eine externe Aufzeichnungseinrichtung, wie z. B. einen Aufzeichner, angeschlossen werden, auf dem die Daten aufgezeichnet werden, die von der Bildgebungsvorrichtung 300 und/oder der Sichtlinien-Messeinrichtung 350 an die Arbeitsermittlungsvorrichtung 200 übertragen werden. Die Arbeitsermittlungsvorrichtung 200 kann Informationen empfangen, die aus den im Voraus in der entsprechenden Aufzeichnungseinrichtung aufgezeichneten Daten wiedergegeben werden.
Die Arbeitsermittlungsvorrichtung 200 ist mit einer Objekterkennungseinheit 210, einer Beobachtungsbereich-Ermittlungseinheit 220, einer Kontaktgrad-Berechnungseinheit 230, einer Arbeitsermittlungseinheit 250 und einer Ermittlungsergebnis-Speichereinheit 260 ausgestattet. Die Arbeitsermittlungsvorrichtung 200 ermittelt die Arbeit, die der Benutzer verrichtet, auf der Grundlage von Informationen aus der Bildgebungsvorrichtung 300 und der Sichtlinien-Messeinrichtung 350.
Die Objekterkennungseinheit 210 erkennt ein Objekt und ist mit einer Arbeitsobjekt-Erkennungseinheit 211 und einer Kandidatenobjekt-Erkennungseinheit 215 ausgestattet. Der Begriff „Objekt“ bezieht sich auf ein Zielkandidatenobjekt und ein Arbeitsobjekt. Das Zielkandidatenobjekt ist ein Kandidat für ein Objekt, das ein Arbeitsziel des Benutzers ist. Bei dem Arbeitsobjekt handelt es sich um einen Gegenstand, den der Benutzer bei der Arbeit verwendet, und sein spezifisches Beispiel ist eine Hand oder beide Hände des Benutzers und ein Werkzeug, das der Benutzer benutzt. Das Arbeitsobjekt kann aus mehreren Objekten bestehen, z. B. aus beiden Händen des Benutzers, aus einer Hand des Benutzers und einem Werkzeug oder ähnlichem. Die Objekterkennungseinheit 210 erkennt aus einem Video, das ein Arbeitsobjekt, das der Benutzer benutzt, und mindestens ein Zielkandidatenobjekt zeigt, das ein Kandidat für das Arbeitsziel des Benutzers ist, das Arbeitsobjekt und das mindestens eine Zielkandidatenobjekt. Manchmal sind ein Bild und ein Video gleichbedeutend.
Die Arbeitsobjekt-Erkennungseinheit 211 erkennt das Arbeitsobjekt. Die Arbeitsobjekt-Erfassungseinheit 211 ist mit einer Werkzeug-Erkennungseinheit 212 und einer Hand-Erkennungseinheit 213 ausgestattet.
Die Werkzeug-Erkennungseinheit 212 erkennt das Werkzeug, das der Benutzer benutzt, anhand des Aufnahmebildes.
Die Hand-Erkennungseinheit 213 erkennt eine Hand des Benutzers auf der Grundlage des Aufnahmebildes.
Die Kandidatenobjekt-Erkennungseinheit 215 erkennt ein Zielkandidatenobjekt. Die Kandidatenobjekt-Erkennungseinheit 215 wird auch als Zielobjekt-Erkennungseinheit bezeichnet.
Die Beobachtungsbereich-Ermittlungseinheit 220 ermittelt einen Beobachtungsbereich unter Verwendung von Informationen, die von der Sichtlinien-Messeinrichtung 350 gemessen werden und eine Sichtlinie des Benutzers anzeigen. Der Beobachtungsbereich ist ein Bereich, der der Benutzer beobachtet. Der Beobachtungsbereich kann eine zweidimensionale Verteilung mit beliebiger Form sein, eine Verteilung, die einen Maximalwert an einer Blickpunktposition hat und die im Voraus festgelegt wird, oder eine Wärmekarte, die mit Hilfe von Zeitreihendaten berechnet wird, in denen die Blickpunktposition aufgezeichnet ist. Die Blickpunktposition ist eine Position, die durch die Sichtlinienmessdaten angegeben wird und die eine Position des Blickpunkts des Benutzers ist. Die Beobachtungsbereich-Ermittlungseinheit 220 kann den Beobachtungsbereich unter Verwendung von Zeitreihendaten ermitteln, die die Position des Blickpunkts des Benutzers angeben. Der Beobachtungsbereich kann ein Bereich sein, der in Abhängigkeit von der Entfernung zwischen der Position jedes Zielkandidatenobjekts und der Blickpunktposition bestimmt wird. In einem konkreten Beispiel befinden sich innerhalb des relevanten Bereichs die Position jedes Zielkandidatenobjekts und die Blickpunktposition innerhalb eines festen Bereichs.
Die Kontaktgrad-Berechnungseinheit 230 berechnet einen Kontaktgrad, der den Grad des Kontakts zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt angibt, das in mindestens einem Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs. Die Kontaktgrad-Berechnungseinheit 230 wird auch als Berechnungseinheit eines Beziehungswertes einer Zielobjektposition innerhalb eines Beobachtungsbereichs bezeichnet. Die Kontaktgrad-Berechnungseinheit 230 kann eine Gewichtung für jedes Zielkandidatenobjekt, das in mindestens einem Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs berechnen und den Kontaktgrad unter Verwendung der berechneten Gewichtung ermitteln. Die Kontaktgrad-Berechnungseinheit 230 kann den Kontaktgrad auf der Grundlage des Abstands zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt ermitteln, das in mindestens einem Zielkandidatenobjekt enthalten ist. Die Kontaktgrad-Berechnungseinheit 230 kann den Kontaktgrad auf der Grundlage der Anordnung des Arbeitsobjekts und der Anordnung jedes Zielkandidatenobjekts, das in mindestens einem Zielkandidatenobjekt enthalten ist, ermitteln. Die Kontaktgrad-Berechnungseinheit 230 kann den Kontaktgrad auf der Grundlage eines Bereichs ermitteln, in dem sich das Arbeitsobjekt und jedes Zielkandidatenobjekt, das in mindestens einem Zielkandidatenobjekt enthalten ist, überschneiden. Die Kontaktgrad-Berechnungseinheit 230 kann einen Kontaktgrad ermitteln, indem sie die Informationen über den Beobachtungsbereich, das Arbeitsobjekt und das Zielkandidatenobjekt in geeigneter Weise gewichtet.
Die Arbeitsermittlungseinheit 250 ermittelt die Arbeit des Benutzers auf der Grundlage einer Ausgabe von der Objekterkennungseinheit 210 und einer Ausgabe von der Kontaktgrad-Berechnungseinheit 230. Die Arbeitsermittlungseinheit 250 ermittelt die Arbeit des Benutzers auf der Grundlage des Arbeitsobjekts und des Kontaktgrads. Die Arbeitsermittlungseinheit 250 kann die Arbeit des Benutzers durch eine regelbasierte Ermittlungstechnik oder mit Hilfe eines Lernmodells schätzen.
Die Ermittlungsergebnis-Speichereinheit 260 speichert ein Ergebnis, das die Arbeitsermittlungseinheit 250 durch Ermittlung der Arbeit erhalten hat. Die Ermittlungsergebnis-Speichereinheit 260 wird auch als Arbeitsermittlungsergebnis-Speichereinheit bezeichnet und kann sich außerhalb der Arbeitsermittlungsvorrichtung 200 befinden.
2 zeigt ein Beispiel für die Hardwarekonfiguration der Arbeitsermittlungsvorrichtung 200. Die Arbeitsermittlungsvorrichtung 200 besteht aus einer Berechnungsmaschine 100, wie in 2 dargestellt. Die Berechnungsmaschine 100 besteht aus einer arithmetischen Einrichtung 101, einer Hauptspeichereinrichtung 102, einer Zusatzspeichervorrichtung 103, einer ersten Schnittstelle 104 und einer zweiten Schnittstelle 105 und wird auch als Computer bezeichnet. Die Arbeitsermittlungsvorrichtung 200 kann aus einer Vielzahl von Berechnungsmaschinen 100 gebildet werden.
Die arithmetische Einrichtung 101 ist eine integrierte Schaltung (IC), die arithmetische Berechnungen durchführt und die Hardware des Computers steuert. In einem konkreten Beispiel ist die arithmetische Einrichtung 101 eine zentrale Verarbeitungseinheit (CPU), ein digitaler Signalprozessor (DSP) oder eine Grafikverarbeitungseinheit (GPU). Die Arbeitsermittlungsvorrichtung 200 kann mit einer Vielzahl von arithmetischen Einrichtungen ausgestattet sein, die die arithmetische Einrichtung 101 ersetzen. Die mehreren arithmetischen Einrichtungen teilen sich die Aufgaben der arithmetischen Einrichtung 101.
Die Hauptspeichereinrichtung 102 ist eine Einrichtung, die Signale von der arithmetischen Einrichtung 101 vorübergehend speichert. In einem konkreten Beispiel ist die Hauptspeichereinrichtung 102 ein Direktzugriffsspeicher (RAM). Daten, die in der Hauptspeichereinrichtung 102 gespeichert sind, werden nach Bedarf in der Zusatzspeichervorrichtung 103 gesichert.
Die Zusatzspeichervorrichtung 103 ist eine Einrichtung, die Signale der arithmetischen Einrichtung 101 in einem Langzeitbereich speichert. In einem bestimmten Beispiel ist die Zusatzspeichervorrichtung 103 ein Nur-LeseSpeicher (ROM), ein Festplattenlaufwerk (HDD) oder ein Flash-Speicher. Daten, die in der Zusatzspeichervorrichtung 103 gespeichert sind, werden nach Bedarf in die Hauptspeichereinrichtung 102 geladen. Die Hauptspeichereinrichtung 102 und die Zusatzspeichervorrichtung 103 können zusammengebaut werden.
Die erste Schnittstelle 104 ist eine Vorrichtung, die Signale von der mit der Berechnungsmaschine 100 verbundenen Bildgebungsvorrichtung 300 empfängt. In einem konkreten Beispiel ist die erste Schnittstelle 104 ein USB-Anschluss (Universal Serial Bus) oder eine Kommunikationsvorrichtung wie ein Kommunikationschip und eine Netzwerkschnittstellenkarte (NIC).
Die zweite Schnittstelle 105 ist eine ähnliche Schnittstelle wie die erste Schnittstelle 104. Die zweite Schnittstelle 105 ist eine Einrichtung zum Empfangen von Signalen von der Sichtlinien-Messeinrichtung 350. Die erste Schnittstelle 104 und die zweite Schnittstelle 105 können einteilig sein.
In der Zusatzspeichervorrichtung 103 ist ein Arbeitsermittlungsprogramm gespeichert. Das Arbeitsermittlungsprogramm ist ein Programm, das den Computer veranlasst, Funktionen einzelner Einheiten der Arbeitsermittlungsvorrichtung 200 zu implementieren. Das Arbeitsermittlungsprogramm wird in die Hauptspeichereinrichtung 102 geladen und von der arithmetischen Einrichtung 101 ausgeführt. Die Funktionen der einzelnen Einheiten der Arbeitsermittlungsvorrichtung 200 werden durch Software implementiert.
Daten, die bei der Ausführung des Arbeitsermittlungsprogramms verwendet werden, Daten, die durch die Ausführung des Arbeitsermittlungsprogramms erhalten werden, usw. werden in einer Speichereinrichtung gespeichert. Die einzelnen Einheiten der Arbeitsermittlungsvorrichtung 200 nutzen die Speichereinrichtung entsprechend. In einem bestimmten Beispiel besteht die Speichereinrichtung aus mindestens einem der folgenden Elemente: der Hauptspeichereinrichtung 102, der Zusatzspeichervorrichtung 103, einem Register in der arithemetischen Einrichtung 101 und einem Cache-Speicher in der arithmetischen Einrichtung 101. Zu beachten ist, dass Daten und Informationen manchmal die gleiche Bedeutung haben. Die Speichereinrichtung kann unabhängig von der Berechnungsmaschine 100 sein. Die Ermittlungsergebnis-Speichereinheit 260 wird von der Speichereinrichtung gebildet. Die Funktionen der Hauptspeichereinrichtung 102 und der Zusatzspeichervorrichtung 103 können von einer anderen Speichereinrichtung übernommen werden.
Das Arbeitsermittlungsprogramm kann auf einem computerlesbaren, nichtflüchtigen Aufzeichnungsmedium gespeichert werden. In einem konkreten Beispiel ist das nichtflüchtige Aufzeichnungsmedium eine optische Platte oder ein Flash-Speicher. Das Arbeitsermittlungsprogramm kann in Form eines Programmprodukts bereitgestellt werden.
*** Beschreibung von Betrieben***
Ein Betriebsverfahren der Arbeitsermittlungsvorrichtung 200 entspricht einem Arbeitsermittlungsverfahren. Ein Programm, das die Betriebe der Arbeitsermittlungsvorrichtung 200 implementiert, entspricht dem Arbeitsermittlungsprogramm.
3 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Arbeitsermittlungsvorrichtung 200 zeigt. Die Betriebe der Arbeitsermittlungsvorrichtung 200 wird anhand von 3 beschrieben. Bei der Beschreibung dieses Flussdiagramms sei angenommen, dass das Aufnahmebild ein Arbeitsobjekt und ein oder mehrere Zielkandidatenobjekte zeigt.
(Schritt S101: Objekterkennungsprozess)
Die Objekterkennungseinheit 210 empfängt das Aufnahmebild von der Bildgebungsvorrichtung 300, erkennt das Arbeitsobjekt und das Zielkandidatenobjekt, die in dem empfangenen Aufnahmebild gezeigt werden, und findet Informationen, die jedem erkannten Zielkandidatenobjekt entsprechen. In einem bestimmten Beispiel enthalten die relevanten Informationen Informationen, die Folgendes anzeigen: Attributinformationen, die ein Attribut jedes Zielkandidatenobjekts angeben, und einen eingenommenen Bereich, der jedem Zielkandidatenobjekt entspricht. Der eingenommene Bereich ist ein Bereich, der einem Bereich entspricht, der von jedem Objekt im Aufnahmebild eingenommen ist. Der eingenommene Bereich kann ein rechteckiger Bereich sein, der jedes Objekt umschließt, oder eine Gruppe von Pixeln, die die Objekte anzeigen. Eine Technik der Objekterkennungseinheit 210 zur Erkennung des Zielkandidatenobjekts kann eine Technik sein, die einen an dem Zielkandidatenobjekt angebrachten Marker verwendet, oder eine auf maschinellem Lernen basierende Technik, die ein Modell verwendet, das im Voraus gelernt hat. Die Objekterkennungseinheit 210 findet auch einen eingenommen Bereich, der dem Arbeitsobjekt entspricht.
(Schritt S102: Beobachtungsbereich-Ermittlungprozess)
Die Beobachtungsbereich-Ermittlungseinheit 220 empfängt die Sichtlinienmessdaten von der Sichtlinien-Messeinrichtung 350 und ermittelt den Beobachtungsbereich unter Verwendung der durch die empfangenen Sichtlinienmessdaten angegebenen Blickpunktposition.
(Schritt S103: Kontaktgrad-Berechnungsprozess)
Die Kontaktgrad-Berechnungseinheit 230 berechnet einen Kontaktindex auf der Grundlage des Arbeitsobjekts und jedes Zielkandidatenobjekts, die von der Objekterkennungseinheit 210 erkannt werden, und des von der Beobachtungsbereich-Ermittlungseinheit 220 ermittelten Beobachtungsbereichs. Der Kontaktindex drückt den Kontaktgrad zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt durch Quantifizierung aus.
Die Kontaktgrad-Berechnungseinheit 230 berechnet den Kontaktindex auf der Grundlage von (1) Distanz, (2) Überlappungsbereich, (3) Distanz und Richtung 1, (4) Überlappungsbereich und Richtung und (5) Distanz und Richtung 2. Die Berechnung auf der Grundlage der Distanz bedeutet, dass die Kontaktgrad-Berechnungseinheit 230 einen Kontaktindex für jedes Zielkandidatenobjekt auf der Grundlage der Distanz zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt ermittelt. Die Berechnung auf der Grundlage des Überlappungsbereichs bedeutet, dass die Kontaktgrad-Berechnungseinheit 230 einen Kontaktindex für jedes Zielkandidatenobjekt auf der Grundlage der Größe eines Bereichs ermittelt, in dem sich ein eingenommener Bereich, der jedem Zielkandidatenobjekt entspricht, und ein eingenommener Bereich, der dem Arbeitsobjekt entspricht, überlappen. Berechnung auf der Basis der Richtung bedeutet, dass die Kontaktgrad-Berechnungseinheit 230 den jedem Zielkandidatenobjekt entsprechenden Kontaktindex auf der Grundlage einer Richtung des Arbeitsobjekts in Bezug auf das Zielkandidatenobjekt und einer Richtung des Arbeitsobjekts ermittelt. Die Kontaktgrad-Berechnungseinheit 230 kann den Kontaktindex auf der Grundlage der Distanz, des Überlappungsbereichs und der Richtung berechnen. Ein konkretes Beispiel für die Berechnung des Kontaktindexes wird im Folgenden beschrieben. Die Richtung des Arbeitsobjekts ist gleichbedeutend mit der Disposition des Arbeitsobjekts. Die Richtung des Arbeitsobjekts in Bezug auf das Zielkandidatenobjekt basiert auf der Disposition des Zielkandidatenobjekts und der Disposition des Arbeitsobjekts.
(1) Distanz
Es wird nun ein konkretes Beispiel beschrieben, in dem die Kontaktgrad-Berechnungseinheit 230 den Kontaktindex auf der Grundlage der Distanz ermittelt. Die Kontaktgrad-Berechnungseinheit 230 berechnet eine Punktzahl, die umso höher ist, je größer der Bereich ist, in dem sich ein eingenommener Bereich, der dem Zielkandidatenobjekt entspricht, und der Beobachtungsbereich überlappen, und je größer der Beobachtungsgrad für den überlappenden Beobachtungsbereich ist, und je näher das Arbeitsobjekt und das Zielkandidatenobjekt sind, und je größer der Wert der Punktzahl für das Zielkandidatenobjekt ist. Die Punktzahl drückt den Kontaktgrad aus.
4 zeigt schematisch ein spezielles Beispiel für die Verarbeitung der Kontaktgrad-Berechnungseinheit 230 unter Verwendung eines Sichtvideos. Das Sichtvideo ist ein Video, das zumindest einen Teil der Sicht des Benutzers zeigt. Ein Aufnahmebild kann das Sichtvideo sein. Die Beobachtungsbereich-Ermittlungseinheit 220, die Kontaktgrad-Berechnungseinheit 230 oder ähnliches kann ein Sichtvideo auf der Grundlage eines Aufnahmebildes erzeugen. Im Folgenden sei angenommen, dass die Kontaktgrad-Berechnungseinheit 230 die Verarbeitung auf der Grundlage eines Sichtvideos durchführt.
In 4 ist ein eingenommener Bereich A(i) (i = 1, 2, 3) ein eingenommener Bereich, der einem Zielkandidatenobjekt C(i) entspricht. Der eingenommene Bereich A(i) ist ein rechteckiger Bereich, der das Zielkandidatenobjekt C(i) umschließt. Ein Schwerpunkt go(i) ist ein Schwerpunkt des Zielkandidatenobjekts C(i). Das Arbeitsobjekt ist eine Hand, und ein Schwerpunkt u ist eine Position des Schwerpunkts der Hand. Es ist zu beachten, dass d(i) eine inverse Zahl eines Distanzwertes vom Schwerpunkt u zum Schwerpunkt go(i) ist.
5 zeigt ein Beispiel für einen Prozessablauf der Kontaktgrad-Berechnungseinheit 230. Die Verarbeitung der Kontaktgrad-Berechnungseinheit 230 wird nun unter Bezugnahme auf 5 beschrieben.
(Schritt S301)
Die Kontaktgrad-Berechnungseinheit 230 berechnet eine Gewichtung für jedes Zielkandidatenobjekt C(i) (i = 1, 2,....) unter Verwendung von Informationen, die einen Beobachtungsbereich G angeben.
In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 zunächst einen Überlappungsbereich Ov(i) (= A(i) n G) um jedes Zielkandidatenobjekt C(i). Der Überlappungsbereich Ov(i) bezeichnet einen Bereich, in dem sich der eingenommene Bereich A(i) und der Beobachtungsbereich G überlappen. Der Überlappungsbereich Ov(i) kann ein rechteckiger Bereich sein, der den Bereich umschließt, in dem sich der eingenommene Bereich A(i) und der Beobachtungsbereich G überlappen. Beide Bereiche sind nicht auf zweidimensionale Bereiche beschränkt, sondern können auch dreidimensionale Bereiche sein. Handelt es sich bei den beiden Bereichen um dreidimensionale Bereiche, entscheidet die Kontaktgrad-Berechnungseinheit 230 beim Auffinden des Überlappungsbereichs, ob sich die den einzelnen Bereichen entsprechenden Solids überlappen oder nicht. Im Folgenden sei angenommen, dass jedes Bereich zweidimensional ist und dass eine Funktion Gf eine Funktion ist, die den Beobachtungsgrad durch den Benutzer in jedem Pixel des Sichtvideos in dem Beobachtungsbereich G angibt. Das heißt, es wird angenommen, dass die Funktion Gf eine Funktion ist, die eine Beobachtungsverteilung angibt, und dass eine Funktion Gf(x, y) den Beobachtungsgrad durch den Benutzer in einem Pixel angibt, das einem Koordinatenpunkt (x, y) entspricht. In einem spezifischen Beispiel ist die Funktion Gf(x, y) eine Funktion, deren Funktionswert an einem Mittelpunkt des Beobachtungsbereichs G am höchsten ist. Der Funktionswert nimmt allmählich in Richtung eines Rands des Beobachtungsbereichs G ab. Wenn ein Bereich des Überlappungsbereichs Ov(i) 0 ist, muss die Verarbeitung eines folgenden Schritts nicht für ein Zielkandidatenobjekt C(i) ausgeführt werden, das dem Überlappungsbereich Ov(i) entspricht. Das heißt, in diesem Schritt kann die Kontaktgrad-Berechnungseinheit 230 die Zielkandidatenobjekte C(i) auf der Grundlage des Beobachtungsbereichs G eingrenzen.
Als nächstes berechnet die Kontaktgrad-Berechnungseinheit 230 eine Gewichtung W(i), das dem Zielkandidatenobjekt C(i) entspricht, wie in [Formel 1] angegeben. Die Gewichtung W(i) wird berechnet, indem ein Integralwert der Funktion Gf innerhalb des Überlappungsbereichs Ov(i) durch eine Anzahl von Pixeln innerhalb des Überlappungsbereichs Ov(i) dividiert wird. $W (i) = \sum_{(x, y) \in Ov (i)} Gf (x, y) / | Ov (i) |$
(Schritt S302)
Die Kontaktgrad-Berechnungseinheit 230 berechnet einen Wert, der die Distanz zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt entspricht.
In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 als einen der Distanz entsprechenden Wert eine inverse Zahl d(i) eines Distanzwertes, der die Distanz ausdrückt, wie in [Formel 2] angegeben. In diesem Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 eine Distanz zwischen dem Schwerpunkt u des Arbeitsobjekts und dem Schwerpunkt go(i) als Distanz zwischen dem Arbeitsobjekt und dem Zielkandidatenobjekt C(i) und berechnet die inverse Zahl d(i) des berechneten Distanzwertes. $d (i) = {‖ go (i) - u ‖}^{- 1}$
(Schritt S303)
Die Kontaktgrad-Berechnungseinheit 230 berechnet eine Punktzahl, die den Grad des Kontakts durch Quantifizierung ausdrückt.
In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 eine Punktzahl S(i) (= W(i) · d(i)), die dem Zielkandidatenobjekt C(i) entspricht, unter Verwendung der Gewichtung W(i) und des Kehrwerts d(i) des Distanzwertes. Die Punktzahl S(i) ist ein Index, der die Wahrscheinlichkeit angibt, dass das Zielkandidatenobjekt C(i) das Arbeitsziel des Benutzers ist. Je größer die Punktzahl S(i), desto wahrscheinlicher ist es, dass das Zielkandidatenobjekt C(i) das Arbeitsziel des Benutzers ist.
(Schritt S304)
Die Kontaktgrad-Berechnungseinheit 230 gibt Ausgabeinformationen einschließlich der erzielten Punktzahl aus. Die Kontaktgrad-Berechnungseinheit 230 kann die Zielkandidatenobjekte in absteigender Reihenfolge entsprechend den entsprechenden Punktzahlen S anordnen und jedes Zielkandidatenobjekt und eine jedem Zielkandidatenobjekt entsprechende Punktzahl verknüpfen und ausgeben. Die Kontaktgrad-Berechnungseinheit 230 kann nur Werte ausgeben, die gleich oder höher als ein vorgegebener Referenzwert sind.
Im Folgenden sei angenommen, dass die von der Kontaktgrad-Berechnungseinheit 230 ausgegebenen Informationen Attributinformationen des Zielkandidatenobjekts und eine dem Zielkandidatenobjekt entsprechende Punktzahl enthalten. Die Ausgabeinformationen können Informationen über den eingenommenen Bereich des Zielobjekts enthalten. In einem speziellen Beispiel handelt es sich bei den Informationen über den eingenommenen Bereich um Informationen, die einen Satz von Positionskoordinaten angeben, die den eingenommenen Bereich bilden.
In einem Fall, in dem die Kontaktgrad-Berechnungseinheit 230 einen Kontaktindex auf der Grundlage eines anderen Wertes als (1) Distanz ermittelt, ist ebenfalls ein spezifisches Beispiel für einen Prozessablauf in 5 dargestellt. Im Folgenden wird vor allem ein Unterschied zu dem in (1) Distanz genannten Prozessablauf beschrieben.
(2) Überlappungsbereich
Es wird nun ein konkretes Beispiel beschrieben, in dem die Kontaktgrad-Berechnungseinheit 230 den Kontaktindex auf der Grundlage des Überlappungsbereichs ermittelt. Die Kontaktgrad-Berechnungseinheit 230 berechnet die Punktzahl so, dass der Wert für das Zielkandidatenobjekt umso größer ist, je größer der Bereich ist, in dem sich ein eingenommener Bereich, der dem Zielkandidatenobjekt entspricht, und ein eingenommener Bereich, der dem Arbeitsobjekt entspricht, überlappen.
6 zeigt ein konkretes Beispiel für die Verarbeitung der Kontaktgrad-Berechnungseinheit 230. 6 ist ähnlich wie 4. Ein eingenommener Bereich U ist ein eingenommener Bereich, der der Hand entspricht, die ein Arbeitsobjekt ist.
(Schritt S301)
Die Kontaktgrad-Berechnungseinheit 230 berechnet einen eingenommenen Bereich A(i), der jedem Zielkandidatenobjekt C(i) entspricht.
(Schritt S302)
Die Kontaktgrad-Berechnungseinheit 230 berechnet die Größe eines Bereichs, in dem sich der eingenommene Bereich A(i) und der eingenommene Bereich U überlappen.
In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 ein Verhältnis A1(i) (= |A(i) n U|/|A(i)|) einer Fläche des Bereichs, in dem sich der eingenommene Bereich A(i) und der eingenommene Bereich U überlappen, zu einer Fläche des eingenommenem Bereichs A(i).
(Schritt S303)
Die Kontaktgrad-Berechnungseinheit 230 errechnet die Punktzahl.
In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 eine Punktzahl S(i) (= W(i) · A1(i)) auf der Grundlage des Anteils A1(i).
Die Kontaktgrad-Berechnungseinheit 230 kann den Anteil A1(i) auf der Grundlage eines Bereichs ((A(i) n G) n U) berechnen, in dem sich der eingenommene Bereich A(i), der Beobachtungsbereich G und der eingenommene Bereich U überlappen, anstatt auf der Grundlage eines Bereichs (A(i) nU), in dem sich der eingenommene Bereich A(i) und der eingenommene Bereich U überlappen.
(3) Distanz und Richtung 1
Ein konkretes Beispiel, bei dem die Kontaktgrad-Berechnungseinheit 230 den Kontaktindex auf der Grundlage von Distanz und Richtung ermittelt, wird im Folgenden beschrieben. Die Kontaktgrad-Berechnungseinheit 230 berechnet die Punktzahl mit einem in (1) Distanz genannten Merkmal, so dass der Wert der Punktzahl für das Zielkandidatenobjekt umso größer ist, je näher eine Richtung des Arbeitsobjekts in Bezug auf das Zielkandidatenobjekt und eine Richtung des Arbeitsobjekts liegt.
7 zeigt ein konkretes Beispiel für die Verarbeitung der Kontaktgrad-Berechnungseinheit 230. 7 ist ähnlich wie 4. Ein Vektor p_i gibt die Position des Zielkandidatenobjekts C(i) relativ zu einer Position des Arbeitsobjekts an. In einem konkreten Beispiel ist eine Richtung des Vektors p_i eine Richtung vom Schwerpunkt u als Startpunkt zum Schwerpunkt go(i) als Endpunkt. Ein Vektor h ist ein Einheitsvektor, der die Richtung des Arbeitsobjekts angibt. In einem speziellen Beispiel kann die Kontaktgrad-Berechnungseinheit 230 als Richtung des Vektors h eine Richtung eines ersten Eigenvektors behandeln, der durch Ausführen einer Hauptkomponentenanalyse an einem Bereich erhalten wird, der eine von der Hand-Erkennungseinheit 213 erkannte Hand des Benutzers anzeigt, oder eine Richtung, die durch Verwendung von Informationen erhalten wird, die eine Gelenkposition eines Fingers des Benutzers anzeigen, der von einem Aufnahmebild oder einem Sichtvideo erkannt wurde. Wenn das Arbeitsobjekt ein Werkzeug ist, kann die Kontaktgrad-Berechnungseinheit 230 die Richtung des Vektors h berechnen, indem sie eine Richtung des Werkzeugs verwendet, wenn der Benutzer das Werkzeug benutzt. Die Richtung des Werkzeugs wird im Voraus festgelegt.
(Schritt S301)
Die Kontaktgrad-Berechnungseinheit 230 führt den gleichen Prozess wie in Schritt S301 unter (1) Distanz aus.
(Schritt S302)
Die Kontaktgrad-Berechnungseinheit 230 berechnet einen Wert, der der Distanz entspricht, und einen Wert, der der Richtung entspricht.
In einem konkreten Beispiel berechnet zunächst die Kontaktgrad-Berechnungseinheit 230 den Wert, der der Distanz entspricht, auf die gleiche Weise wie in Schritt S302, der in (1) Distanz erwähnt wird.
Als Nächstes quantifiziert die Kontaktgrad-Berechnungseinheit 230 den Grad des Kontakts zwischen dem Zielkandidatenobjekt und dem Arbeitsobjekt, indem sie die Richtung des Arbeitsobjekts verwendet. In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 als Kontaktgrad ein inneres Produkt Δ, das die Differenz zwischen dem Vektor p und dem Vektor h angibt, wie in [Formel 3] angegeben. In diesem Beispiel ist der Wert eines inneren Produkts Δ(i), das den Grad der Berührung angibt, umso größer, je näher die Richtung des Arbeitsobjekts an einer Richtung liegt, die auf den Schwerpunkt des Zielkandidatenobjekts C(i) zeigt. Das innere Produkt Δ(i) gibt an, inwieweit das Arbeitsobjekt auf das Zielkandidatenobjekt C(i) ausgerichtet ist.
$Δ (i) = p_{i} \cdot h/ ‖ p_{i} ‖$
(Schritt S303)
Die Kontaktgrad-Berechnungseinheit 230 errechnet die Punktzahl.
In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 eine Punktzahl S(i) (= W(i) · f(d(i), Δ(i))) auf der Grundlage der Gewichtung W(i), eines Kehrwerts d(i) des Distanzwertes und des inneren Produkts Δ(i). Es ist zu beachten, dass die Funktion f eine Funktion ist, die Eingangsvariablen assoziiert, d. h. der Kehrwert d(i) des Distanzwertes und das innere Produkt Δ(i). Bei der Funktion f kann es sich um eine Funktion handeln, die die Eingabevariablen linear verknüpft, oder um eine Funktion, die die Eingabevariablen nichtlinear verknüpft.
(4) Überlappungsbereich und Richtung
Ein spezielles Beispiel, bei dem die Kontaktgrad-Berechnungseinheit 230 den Kontaktindex auf der Grundlage eines Überlappungsbereichs und einer Richtung ermittelt, wird im Folgenden beschrieben. Die Kontaktgrad-Berechnungseinheit 230 berechnet eine Punktzahl mit: einem Merkmal der Punktzahl, das in (2) Überlappungsbereich erwähnt wird; und einem Merkmal der Punktzahl, das auf der Grundlage einer Richtung berechnet wird, wie in (3) Distanz und Richtung erwähnt.
8 zeigt ein konkretes Beispiel für die Verarbeitung der Kontaktgrad-Berechnungseinheit 230. 8 ist ähnlich wie die 4, 6 und 7.
(Schritt S301)
Die Kontaktgrad-Berechnungseinheit 230 führt den gleichen Prozess wie in Schritt S301 unter (1) Distanz aus.
(Schritt S302)
Die Kontaktgrad-Berechnungseinheit 230 berechnet die Größe eines Überlappungsbereichs wie in Schritt S302 unter (2) Überlappungsbereich erwähnt. Die Kontaktgrad-Berechnungseinheit 230 quantifiziert den Grad des Kontaktes zwischen dem Zielkandidatenobjekt und dem Arbeitsobjekt, indem sie die Richtung des Arbeitsobjekts verwendet, wie in Schritt S302 unter (3) Distanz und Richtung erwähnt.
Im Folgenden sei angenommen, dass die Kontaktgrad-Berechnungseinheit 230 in Schritt S302 den Anteil A1(i) und das innere Produkt Δ(i) berechnet hat.
(Schritt S303)
Die Kontaktgrad-Berechnungseinheit 230 errechnet die Punktzahl.
In einem konkreten Beispiel berechnet die Kontaktgrad-Berechnungseinheit 230 eine Punktzahl S(i) (= W(i) · f(A1(i), Δ(i))) auf der Grundlage des Anteils A1(i) und des inneren Produkts Δ(i). Es ist zu beachten, dass die Funktion f dieselbe ist wie die oben beschriebene Funktion f.
(5) Distanz und Richtung 2
Die Kontaktgrad-Berechnungseinheit 230 kann einen mehrdimensionalen Vektor als Punktzahl ermitteln. In einem konkreten Beispiel ist die Punktzahl S(i) in Bezug auf das Objekt C(i) ein zweidimensionaler Vektor, der im Folgenden dargestellt wird. $S (i) = [W (C (i)), f (d (i), Δ (i))]$
Dabei drückt W(C(i)) eine Gewichtung durch den Beobachtungsbereich aus, und f(d(i), Δ(i)) drückt einen berechneten Wert aus, der eine Positionsbeziehung des Arbeitsobjekts in Bezug auf das Objekt C(i) darstellt. Die Kontaktgrad-Berechnungseinheit 230 kann W(C(i)) durch ein in (1) bis (4) beschriebenes Berechnungsverfahren oder durch eines der folgenden Berechnungsverfahren ermitteln. $W (C (i)) = | C (i) [x, y] - g (x, y) |$
Dabei drückt C(i)[x, y] die Position des Objekts C(i) und g(x, y) die Position des Blickpunkts aus. Das bedeutet, dass die mit dieser Formel ermittelte Gewichtung der Distanz zwischen der Position eines jeden Objekts und der Position des Blickpunkts entspricht.
(Schritt S104: Arbeitsermittlungsprozess)
Die Arbeitsermittlungseinheit 250 ermittelt die Arbeit, die der Benutzer verrichtet, unter Verwendung von Informationen, die von der Werkzeug-Erkennungseinheit 212 ausgegeben werden und ein Werkzeug anzeigen, oder von Informationen, die von der Hand-Erkennungseinheit 213 ausgegeben werden und eine Hand des Benutzers anzeigen, und unter Verwendung der Punktzahl, die von der Kontaktgrad-Berechnungseinheit 230 ausgegeben wird. In einem konkreten Beispiel ermittelt die Arbeitsermittlungseinheit 250 die Arbeit, die der Benutzer verrichtet, indem sie das eine oder das andere Verfahren verwendet: (i) eine regelbasierte Ermittlungstechnik und (ii) eine auf maschinellem Lernen basierende Ermittlungstechnik. Die einzelnen Techniken werden im Einzelnen beschrieben. Es sei angenommen, dass das Arbeitsobjekt eine Hand des Benutzers ist, dass ein Objekt A, ein Objekt B und ein Objekt C, die Zielkandidatenobjekte sind, eingegeben werden und dass die Punktzahl von Objekt A die größte ist.
(i) Regelbasierte Ermittlungstechnik
Es wird ein Fall untersucht, in dem Arbeitsetiketten, die Arbeiten bezeichnen, die Kombinationen von einzelnen Arbeitsobjekten und einzelnen Zielkandidatenobjekten entsprechen, im Voraus definiert werden. In diesem Fall kann die Arbeitsermittlungseinheit 250 die Arbeit des Benutzers ermitteln, indem sie nach einem Arbeitsetikett sucht, das einer Kombination aus der „Hand“ des Benutzers und dem „Objekt A“ entspricht.
Es wird ein Fall untersucht, in dem die relevanten Arbeitsetiketten nicht definiert sind und allen Kombinationen aus den eingegebenen Zielkandidatenobjekten und den Punktzahlen jeweils ein Arbeitsetikett zugewiesen wird. In diesem Fall kann die Arbeitsermittlungseinheit 250 die Arbeit ermitteln, indem sie alle eingegebenen Zielkandidatenobjekte und eine jedem Zielkandidatenobjekt entsprechende Punktzahl verwendet.
Wenn sowohl eine Hand als auch ein Werkzeug in einem Aufnahmebild erscheinen, kann die Arbeitsermittlungseinheit 250 entscheiden, dass das relevante Werkzeug ein Arbeitsobjekt ist und dass die relevante Hand mit hoher Wahrscheinlichkeit kein Arbeitsobjekt ist, und kann die Arbeit des Benutzers schätzen, indem sie nach einem Arbeitsetikett sucht, das einer Kombination aus dem relevanten Werkzeug und einem Zielkandidatenobjekt entspricht, mit dem das relevante Werkzeug in Kontakt ist.
(ii) Auf maschinellem Lernen basierende Ermittlungstechniken
Die Arbeitsermittlungseinheit 250 ermittelt die Arbeit des Benutzers, indem sie eine Kombination von Informationen über das Zielkandidatenobjekt, das auf dem Aufnahmebild erscheint, und eine Punktzahl, die dem Zielkandidatenobjekt entspricht, in eine gelernte Diskriminierungsmaschine eingibt, die durch statistisches maschinelles Lernen gelernt hat. Die Arbeitsermittlungseinheit 250 kann die in Patentschrift 1 beschriebene Verhaltenserkennungstechnik verwenden.
Die Arbeitsermittlungseinheit 250 findet als eine Merkmalsmenge Daten, in denen Informationen des Zielkandidatenobjekts und Informationen eines Arbeitsobjekts assoziiert sind, und ermittelt ein Etikett, das der Arbeit oder dem Verhalten entspricht, das der erhaltenen Merkmalsmenge entspricht, unter Verwendung eines gelernten Modells. In einem spezifischen Beispiel erzeugt die Arbeitsermittlungseinheit 250 Lerndaten D1, in denen eine Assoziierung durch eine Graphenstruktur oder ähnliches vorgenommen wurde, und gibt die erzeugten Lerndaten D1 in eine Diskriminierungsmaschine ein, die in der Lage ist, eine Graphenstruktur wie ein neuronales Graphen-Netzwerk und eine in einen Graphen eingebettete Struktur zu verarbeiten, und die ein Lernen in schematischem maschinellem Lernen durchgeführt hat, wodurch die Arbeit des Benutzers ermittelt wird.
9 zeigt ein spezifisches Beispiel für die mit Hilfe eines Graphen erzeugten Lerndaten D1. In diesem Beispiel ist ein Graphknoten ein Etikett, das ein Objekt bezeichnet. Ein Wert einer Kante zwischen einem Knoten, der ein Arbeitsobjekt ausdrückt, und einem Knoten, der ein Zielkandidatenobjekt ausdrückt, ist ein Wert einer Punktzahl, die von der Kontaktgrad-Berechnungseinheit 230 berechnet wird. Ein Wert eines Knotens zwischen Zielkandidatenobjekten ist ein beliebiger fester Wert c. Es ist zu beachten, dass der Knoten neben einer Kennzeichnung des Objekts auch Informationen über die Position des Objekts in einem Sichtvideo, Informationen über die Größe eines eingenommenen Bereichs in Bezug auf das Objekt usw. enthalten kann. Wenn eine Hand des Benutzers durch einen Knoten ausgedrückt wird, kann der Knoten Informationen über die Position und Richtung der Hand enthalten. Wenn Informationen über das Gelenk eines Fingers verfügbar sind, kann der Knoten Informationen über das Gelenk enthalten. Wird ein vom Benutzer verwendetes Werkzeug durch einen Knoten ausgedrückt, so kann der Knoten neben der Art des Werkzeugs auch Informationen über die Position, die Richtung und den belegten Bereich des Werkzeugs enthalten.
Wenn die Arbeitsermittlungsvorrichtung 200 Zeitreihendaten von der Bildgebungsvorrichtung 300 und der Sichtlinien-Messeinrichtung 350 erfasst, kann die Arbeitsermittlungseinheit 250 außerdem Daten unter Verwendung eines Erkennungsergebnisses eines Objekts, das den Daten jedes Zeitpunkts in den einzelnen Zeitreihendaten entspricht, oder unter Verwendung einer Positionsbeziehung der Objekte erzeugen und eine maschinelle Lerntechnik verwenden, bei der eine Reihenfolge der erzeugten Datenstücke in einer Zeitreihe berücksichtigt wird. In einem speziellen Beispiel kann die Arbeitsermittlungseinheit 250 ein temporales Faltungsnetzwerk verwenden.
Im Allgemeinen sind bei der Verwendung der auf maschinellem Lernen basierenden Ermittlungstechnik ein Prozess zur Sammlung von Lerndaten und ein Prozess zur Erstellung eines Lernmodells erforderlich. Bei den Lerndaten handelt es sich um Daten zum Lernen, die zur Erstellung des Lernmodells verwendet werden. 10 zeigt ein Beispiel für die Konfiguration einer Lernvorrichtung 400, das diese Prozesse ausführt. Die Lernvorrichtung 400 ist mit einer Lerndaten-Erfassungseinheit 410, einer Lernmodell-Erzeugungseinheit 420 und einer Lernmodell-Speichereinheit 430 ausgestattet. Die Lernmodell-Speichereinheit 430 kann sich außerhalb der Lernvorrichtung 400 befinden. Die Lernvorrichtung 400 kann mit der Arbeitsermittlungsvorrichtung 200 integriert werden. Die Hardwarekonfiguration der Lernvorrichtung 400 kann die gleiche sein wie die Hardwarekonfiguration der Berechnungsmaschine 100.
Die Lerndaten-Erfassungseinheit 410 erfasst die Lerndaten D1 als Lerndaten. Es sei angenommen, dass die Lerndaten D1 Daten sind, die in die Arbeitsermittlungseinheit 250 eingegeben werden können. Diese Daten umfassen Daten, die die Arbeitsermittlungseinheit 250 bei der Ermittlung der Arbeit des Benutzers verwenden kann.
Die Lernmodell-Erzeugungseinheit 420 konstruiert ein Lernmodell, das die von der Lerndaten-Erfassungseinheit 410 erfassten Daten verarbeiten kann, und erzeugt ein gelerntes Modell durch Ausführen von Lernen auf der Grundlage des konstruierten Lernmodells. Das Lernmodell wird auch als maschinelles Lernmodell bezeichnet.
Die Lernmodell-Speichereinheit 430 speichert das von der Lernmodell-Erzeugungseinheit 420 erzeugte Lernmodell.
11 zeigt ein Beispiel für den Ablauf eines Lernprozesses. Die Verarbeitung der Lernvorrichtung 400 wird anhand von 11 beschrieben.
(Schritt S501)
Die Lerndaten-Erfassungseinheit 410 erfasst als Lerndaten Daten, die in die Arbeitsermittlungseinheit 250 eingegeben werden können, und drückt die erfassten Lerndaten als Daten aus, die Folgendes angeben: Informationen, die ein Objekt angeben, das als Arbeitsziel dienen kann; Informationen, die ein Arbeitsobjekt angeben; und Informationen mit einem Format, das die Informationen, die das Objekt angeben, das als Arbeitsziel dienen kann, und die Informationen, die das Arbeitsobjekt angeben, verknüpft. Die Lerndaten enthalten mindestens eines der folgenden Elemente: Informationen, die einen Beobachtungsbereich angeben, und Informationen, die eine dem Objekt entsprechende Punktzahl angeben. In einem konkreten Beispiel kann die Lerndaten-Erfassungseinheit 410 bei der Verknüpfung einer Vielzahl von Informationen Daten verwenden, deren Elemente Werte sind, die eine Positionsbeziehung in Bezug auf die einzelnen Objekte ausdrücken, oder sie kann eine Graphenstruktur verwenden, wie in 9 dargestellt. Die Lerndaten-Erfassungseinheit 410 versieht die erzeugten Daten mit einem Etikett, das das Arbeitsverhalten ausdrückt.
(Schritt S502)
Die Lernmodell-Erzeugungseinheit 420 erzeugt das Lernmodell durch Verarbeitung der von der Lerndaten-Erfassungseinheit 410 erfassten Lerndaten.
In einem konkreten Beispiel wird ein Fall untersucht, in dem die Lerndaten eine Graphenstruktur aufweisen. In diesem Fall kann die Lerndaten-Erfassungseinheit 410 als Lernmodell ein maschinelles Lernmodell wie z.B. ein neuronales Graphennetz verwenden, das eine Graphenstruktur verarbeiten kann, oder sie kann ein Modell verwenden, das die Lerndaten unter Verwendung einer Grapheneinbettungstechnik vektorisieren kann und danach die vektorisierten Lerndaten verarbeiten kann. Bei der Durchführung von Lernvorgängen unter Berücksichtigung der Datenkorrelation zu einzelnen Zeitpunkten von Zeitreihendaten kann die Lernmodell-Erzeugungseinheit 420 in einem spezifischen Beispiel ein Modell wie ein temporales Faltungsnetzwerk verwenden.
(Schritt S503)
Die Lernmodell-Speichereinheit 430 speichert das Lernmodell, das von der Lernmodell-Erzeugungseinheit 420 erzeugt wurde und das den Lernprozess abgeschlossen hat.
(Schritt S105: Ermittlungsergebnis-Speicherprozess)
Die Ermittlungsergebnis-Speichereinheit 260 speichert eine Ausgabe der Arbeitsermittlungseinheit 250.
*** Beschreibung der Wirkung der Ausführungsform 1 ***
Wie oben beschrieben, werden bei der vorliegenden Ausführungsform die Kandidaten für das Arbeitsziel eingegrenzt, indem der Beobachtungsbereich des Benutzers zusätzlich zu den Kombinationen aus dem Arbeitsobjekt und den Zielkandidatenobjekten, die im Video aus dem Blickpunkt des Benutzers vorhanden sind, verwendet wird. Aus den in die engere Wahl gezogenen Kandidaten wird eine Punktzahl ermittelt, die einem Objekt entspricht, mit dem der Benutzer durch eine Hand oder ein Werkzeug in Kontakt ist. Die Arbeit des Benutzers wird auf der Grundlage der erzielten Punktzahl geschätzt. Insbesondere führt die Kontaktgrad-Berechnungseinheit 230 eine zweistufige Verarbeitung durch, bei der die Zielkandidatenobjekte auf der Grundlage des Beobachtungsbereichs G durch die Prozesse von Schritt S301 bis Schritt S304 eingegrenzt werden und anschließend ein Kontakt mit den eingegrenzten Kandidatenobjekten festgestellt wird. Daher kann gemäß der vorliegenden Ausführung auf diese Weise nicht nur die Arbeit, die der Benutzer verrichtet, mit einer relativ hohen Genauigkeit abgeschätzt werden, sondern es kann auch eine Verdeckung durch das Arbeitsobjekt verhindert werden. Daher kann gemäß der vorliegenden Ausführung die Robustheit gegenüber einer Ermittlung der Arbeit des Benutzers verbessert.
Wenn eine Vorrichtung, die gewartet und inspiziert werden soll, das Arbeitszielobjekt ist, liegen mehrere Inspektionsteile, die Arbeitszielkandidaten sind, oft nahe beieinander. Daher ist es schwierig, den Prüfaufwand für einen bestimmten Teil nur anhand einer Kombination von Objekten abzuschätzen. Gemäß der vorliegenden Ausführungsform werden die Zielkandidaten durch den Beobachtungsbereich eingegrenzt, und anschließend wird der Kontakt einer Hand oder eines Werkzeugs mit Zielkandidatenobjekten erkannt. Selbst wenn die Zielkandidatenobjekte nahe beieinander liegen, kann die Arbeit des Benutzers für ein Objekt, das das Ziel der Arbeit des Benutzers ist, mit einer relativ hohen Genauigkeit geschätzt werden.
*** Andere Konfigurationen ***
< Modifikation 1 >
Die Arbeitsermittlungseinheit 250 kann die Arbeit ermitteln, indem sie nicht nur die Punktzahl, sondern auch andere Informationen auswertet. In einem bestimmten Beispiel handelt es sich bei den anderen Informationen zumindest um Attributinformationen jedes Zielkandidatenobjekts oder um Attributinformationen des Arbeitsobjekts. Bei den Attributinformationen handelt es sich um mindestens eines der folgenden Merkmale: Objektpositionsinformationen, Maßstabsinformationen, Objektform und ein später zu beschreibender Erkennungssicherheitsfaktor.
Es wird ein Fall beschrieben, in dem es sich bei den anderen Informationen um Attributinformationen handelt. Die Lerndaten-Erfassungseinheit 410 erfasst als Lerndaten Informationen einschließlich Attributinformationen jedes Zielkandidatenobjekts und Attributinformationen des Arbeitsobjekts. Die Lernmodell-Erzeugungseinheit 420 erzeugt ein Lernmodell, indem sie die Lerndaten einschließlich der Attributinformationen jedes Zielkandidatenobjekts und die Attributinformationen des Arbeitsobjekts verarbeitet.
< Modifikation 2 >
Die Kontaktgrad-Berechnungseinheit 230 kann die Punktzahl auf der Grundlage des Kontaktgrades zwischen einem Teil des Benutzers, der nicht die Hand ist, und dem Zielobjekt berechnen.
< Modifikation 3 >
Die Kontaktgrad-Berechnungseinheit 230 kann die Punktzahl unter Berücksichtigung des Kontaktgrades zwischen dem Werkzeug und einer Hand des Benutzers berechnen.
Mit der vorliegenden Modifikation kann verhindert werden, dass die Arbeitsermittlungsvorrichtung 200 ein in einem Sichtvideo angezeigtes, aber ignoriertes Werkzeug fälschlicherweise als Werkzeug erkennt, das der Benutzer benutzt.
< Modifikation 4 >
Die Arbeitsermittlungseinheit 250 kann die Arbeit des Benutzers ermitteln, wenn der Benutzer mit einer Vielzahl von Arbeitsobjekten arbeitet.
Gemäß der vorliegenden Änderung kann die Arbeitsermittlungseinheit 250 die Arbeit des Benutzers angemessen ermitteln, auch wenn der Benutzer mit beiden Händen arbeitet.
< Modifikation 5 >
12 zeigt ein Konfigurationsbeispiel eines Arbeitsermittlungssystems 90 gemäß der vorliegenden Modifikation und ein Softwarekonfigurationsbeispiel einer Arbeitsermittlungsvorrichtung 200 gemäß der vorliegenden Modifikation. Im Folgenden wird vor allem ein Unterschied zwischen Ausführungsform 1 und der vorliegenden Änderung beschrieben.
Wie in 12 dargestellt, ist die Arbeitsermittlungsvorrichtung 200 mit einer Arbeitsverhalteninformationen-Berechnungseinheit 240 ausgestattet, zusätzlich zu den Bestandteilen, die der Arbeitsermittlungsvorrichtung 200 gemäß Ausführungsform 1 zur Verfügung gestellt werden.
Eine Objekterkennungseinheit 210 ermittelt einen Erkennungssicherheitsfaktor für jedes Zielkandidatenobjekt, das in mindestens einem Zielkandidatenobjekt enthalten ist. Der Erkennungssicherheitsfaktor ist ein Wert, der den Grad der Schätzgenauigkeit eines erkannten Zielkandidatenobjekts angibt. Je höher der Erkennungssicherheitsfaktor ist, desto genauer ist die Schätzung des Zielkandidatenobjekts, das dem Erkennungssicherheitsfaktor entspricht. In einem konkreten Beispiel ist der Erkennungssicherheitsfaktor eine Objektklassifizierungswahrscheinlichkeit, die mit einer allgemein verwendeten Objekterkennungstechnik wie einem SSD (Single Shot Multibox Detector) und einem schnelleren R-CNN (Convolutional Neural Network) berechnet wird.
Die Arbeitsverhalteninformationen-Berechnungseinheit 240 findet einen Aktualisierungssicherheitsfaktor, indem sie den Erkennungssicherheitsfaktor mit Hilfe eines Kontaktgrades aktualisiert. Die Arbeitsverhalteninformationen-Berechnungseinheit 240 wird auch als Zielobjektpunktzahl-Aktualisierungseinheit bezeichnet. Der Aktualisierungssicherheitsfaktor ist ein Index, der auf dem Kontaktgrad basiert.
Die Arbeitsermittlungseinheit 250 ermittelt die Arbeit des Benutzers auf der Grundlage einer Ausgabe von der Objekterkennungseinheit 210 und einer Ausgabe von der Arbeitsverhalteninformationen-Berechnungseinheit 240.
13 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Arbeitsermittlungsvorrichtung 200 zeigt. Die Betriebe der Arbeitsermittlungsvorrichtung 200 wird anhand von 13 beschrieben.
(Schritt S101: Objekterkennungsprozess)
Ein Verfahren dieses Schrittes ist das gleiche wie das Verfahren des Schrittes S101 gemäß Ausführungsform 1. Die Objekterkennungseinheit 210 findet jedoch Informationen, einschließlich des Erkennungssicherheitsfaktors, als Informationen zu jedem erkannten Zielkandidatenobjekt.
(Schritt S111: Arbeitsverhalteninformationen-Berechnungseinheitprozess)
Die Arbeitsverhalteninformationen-Berechnungseinheit 240 berechnet den Aktualisierungssicherheitsfaktor durch Aktualisieren des Erkennungssicherheitsfaktors, der von einer Kandidatenobjekt-Erkennungseinheit 215 ausgegeben wird und jedem Zielkandidatenobjekt entspricht, unter Verwendung einer Punktzahl, die von einer Kontaktgrad-Berechnungseinheit 230 ausgegeben wird und mit jedem Zielkandidatenobjekt verbunden ist, und gibt den berechneten Aktualisierungssicherheitsfaktor als Punktzahl aus.
Aufgrund des Prozesses dieses Schrittes kann die Arbeitsermittlungsvorrichtung 200 die Arbeit des Benutzers ermitteln, indem sie nicht nur den Grad des Kontakts des Benutzers mit einem Objekt berücksichtigt, das das Arbeitsziel ist, sondern auch den Erkennungssicherheitsfaktor, der von der Kandidatenobjekt-Erkennungseinheit 215 berechnet wird. Die Arbeitsverhalteninformationen-Berechnungseinheit 240 kann sowohl den Erkennungssicherheitsfaktor als auch die Punktzahl enthalten, die von der Kontaktgrad-Berechnungseinheit 230 berechnet und mit dem Zielkandidatenobjekt verknüpft wird. Bei der Berechnung des Aktualisierungssicherheitsfaktors kann die Arbeitsverhalteninformationen-Berechnungseinheit 240 mindestens die eine oder die andere der folgenden Informationen verwenden: Positionsinformationen jedes Objekts und Maßstabsinformationen jedes Objekts, oder sie kann andere Informationen zu jedem Objekt verwenden.
(Schritt S104: Arbeitsermittlungsprozess)
Ein Verfahren dieses Schrittes ist das gleiche wie das Verfahren des Schrittes S104 gemäß Ausführungsform 1. Die Arbeitsermittlungseinheit 250 verwendet jedoch die von der Arbeitsverhalteninformationen-Berechnungseinheit 240 ausgegebene Punktzahl anstelle der von der Kontaktgrad-Berechnungseinheit 230 ausgegebenen Punktzahl.
< Modifikation 6 >
14 zeigt ein Beispiel für die Hardwarekonfiguration einer Arbeitsermittlungsvorrichtung 200 gemäß der vorliegenden Modifikation.
Die Arbeitsermittlungsvorrichtung 200 ist mit einer Verarbeitungsschaltung 108 ausgestattet, der anstelle von mindestens einer arithmetischen Einrichtung 101, einer Hauptspeichereinrichtung 102 und einer Zusatzspeichervorrichtung 103 tritt, wie in 14 dargestellt.
Bei der Verarbeitungsschaltung 108 handelt es sich um Hardware, die zumindest einige der für die Arbeitsermittlungsvorrichtung 200 bereitgestellten Einheiten implementiert.
Bei der Verarbeitungsschaltung 108 kann es sich um dedizierte Hardware oder um einen Prozessor handeln, der ein in der Hauptspeichereinrichtung 102 gespeichertes Programm ausführt.
Handelt es sich bei der Verarbeitungsschaltung 108 um dedizierte Hardware, so ist die Verarbeitungsschaltung 108 in einem bestimmten Beispiel eine oder eine Kombination aus einer einzelnen Schaltung, einer zusammengesetzten Schaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC) und einem Field Programmable Gate Array (FPGA).
Die Arbeitsermittlungsvorrichtung 200 kann mit einer Vielzahl von Verarbeitungsschaltungen ausgestattet sein, die die Verarbeitungsschaltung 108 ersetzen. Die Vielzahl von Verarbeitungsschaltungen teilen sich die Funktionen der Verarbeitungsschaltung 108.
In der Arbeitsermittlungsvorrichtung 200 können einige Funktionen durch spezielle Hardware und die übrigen Funktionen durch Software oder Firmware implementiert werden.
In einem bestimmten Beispiel wird die Verarbeitungsschaltung 108 durch eine oder eine Kombination aus Hardware, Software und Firmware implementiert.
Die arithmetische Einrichtung 101, die Hauptspeichereinrichtung 102, die Zusatzspeichervorrichtung 103 und die Verarbeitungsschaltung 108 werden gemeinsam als „Verarbeitungsschaltungen“ bezeichnet. Das heißt, die Funktionen der funktionsbestimmenden Elemente der Arbeitsermittlungsvorrichtung 200 werden durch Verarbeitungsschaltungen realisiert. Diese Beschreibung der vorliegenden Modifikation gilt auch für die anderen in der vorliegenden Spezifikation beschriebenen Vorrichtungen.
*** Weitere Ausführungsformen ***
Ausführungsform 1 wurde bereits beschrieben. In der vorliegenden Ausführungsform kann eine Vielzahl von Teilen kombiniert werden. Alternativ kann die vorliegende Ausführungsform auch teilweise umgesetzt werden. Außerdem kann die vorliegende Ausführungsform nach Bedarf auf verschiedene Weise geändert werden. Die vorliegende Ausführungsform kann als Ganzes oder teilweise in beliebiger Kombination durchgeführt werden.
Die oben beschriebene Ausführungsform ist ein im Wesentlichen bevorzugtes Beispiel und soll die vorliegende Offenbarung, ein angewandtes Produkt der vorliegenden Offenbarung und einen Anwendungsbereich der vorliegenden Offenbarung nicht einschränken. Verfahren, die mit Hilfe eines Flussdiagramms usw. beschrieben werden, können nach Bedarf geändert werden.
Bezugszeichenliste

90: Arbeitsermittlungssystem;
100: Berechnungsmaschine;
101: arithmetische Einrichtung;
102: Hauptspeichereinrichtung;
103: Zusatzspeichervorrichtung;
104: erste Schnittstelle;
105: zweite Schnittstelle;
108: Verarbeitungsschaltung;
200: Arbeitsermittlungsvorrichtung;
210: Objekterkennungseinheit;
211: Arbeitsobjekt-Erkennungseinheit;
212: Werkzeug-Erkennungseinheit;
213: Hand-Erkennungseinheit;
215: Kandidatenobjekt-Erkennungseinheit;
220: Beobachtungsbereich-Ermittlungseinheit;
230: Kontaktgrad-Berechnungseinheit;
240: Arbeitsverhalteninformationen-Berechnungseinheit;
250: Arbeitsermittlungseinheit;
260: Ermittlungsergebnis-Speichereinheit;
300: Bildgebungsvorrichtung;
350: Sichtlinien-Messeinrichtung;
400: Lernvorrichtung;
410: Lerndaten-Erfassungseinheit;
420: Lernmodell-Erzeugungseinheit;
430: Lernmodell-Speichereinheit;
D1: Lerndaten.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015011526 A [0004]

Claims

Arbeitsermittlungsvorrichtung umfassend: eine Beobachtungsbereich-Ermittlungseinheit, um einen Beobachtungsbereich zu ermitteln, der ein Bereich ist, den ein Benutzer beobachtet, wobei Informationen verwendet werden, die eine Sichtlinie des Benutzers anzeigen; eine Objekterkennungseinheit, um aus einem Video, das ein Arbeitsobjekt, das der Benutzer benutzt, und mindestens ein Zielkandidatenobjekt, das ein Kandidat für ein Arbeitsziel des Benutzers ist, zeigt, das Arbeitsobjekt und das mindestens eine Zielkandidatenobjekt zu erkennen; eine Kontaktgrad-Berechnungseinheit, um einen Kontaktgrad zu berechnen, der einen Kontaktgrad zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt angibt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs; und eine Arbeitsermittlungseinheit, um eine Arbeit des Benutzers auf der Grundlage des Arbeitsobjekts und des Kontaktgrads zu ermitteln.
Arbeitsermittlungsvorrichtung nach Anspruch 1, wobei die Objekterkennungseinheit für jedes Zielkandidatenobjekt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, einen Erkennungssicherheitsfaktor ermittelt, der angibt, inwieweit das jeweilige Zielkandidatenobjekt als ein Arbeitsziel des Benutzers ermittelt wird, die Arbeitsermittlungsvorrichtung ferner umfassend eine Arbeitsverhalteninformationen-Berechnungseinheit, um einen Aktualisierungssicherheitsfaktor zu finden, indem der Erkennungssicherheitsfaktor unter Verwendung des Kontaktgrades aktualisiert wird, wobei die Arbeitsermittlungseinheit die Arbeit des Benutzers unter Verwendung des Aktualisierungssicherheitsfaktors ermittelt.
Arbeitsermittlungsvorrichtung nach Anspruch 2, wobei die Kontaktgrad-Berechnungseinheit ein Gewicht, das jedem Zielkandidatenobjekt entspricht, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs berechnet und den Kontaktgrad unter Verwendung des berechneten Gewichts ermittelt.
Arbeitsermittlungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Beobachtungsbereich-Ermittlungseinheit den Beobachtungsbereich unter Verwendung von Zeitreihendaten ermittelt, die eine Position eines Blickpunkts des Benutzers anzeigen.
Arbeitsermittlungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Kontaktgrad-Berechnungseinheit den Kontaktgrad auf der Grundlage eines Abstands zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, ermittelt.
Arbeitsermittlungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Kontaktgrad-Berechnungseinheit den Kontaktgrad auf der Grundlage der Anordnung des Arbeitsobjekts und der Anordnung jedes Zielkandidatenobjekts, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, ermittelt.
Arbeitsermittlungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Kontaktgrad-Berechnungseinheit den Kontaktgrad auf der Grundlage eines Bereichs ermittelt, in dem sich das Arbeitsobjekt und jedes Zielkandidatenobjekt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, überlappen.
Arbeitsermittlungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei das Arbeitsobjekt eine Hand des Benutzers oder ein Werkzeug ist, das der Benutzer benutzt.
Arbeitsermittlungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei die Arbeitsermittlungseinheit die Arbeit des Benutzers durch eine regelbasierte Ermittlungstechnik ermittelt.
Arbeitsermittlungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei die Arbeitsermittlungseinheit die Arbeit des Benutzers mit Hilfe eines Lernmodells ermittelt.
Arbeitsermittlungsverfahren umfassend: durch eine Beobachtungsbereich-Ermittlungseinheit, Ermitteln eines Beobachtungsbereichs, der ein Bereich ist, den ein Benutzer beobachtet, unter Verwendung von Informationen, die eine Sichtlinie des Benutzers anzeigen; durch eine Objekterkennungseinheit, Erkennen, aus einem Video, das ein Arbeitsobjekt, das der Benutzer benutzt, und mindestens ein Zielkandidatenobjekt, das ein Kandidat für ein Arbeitsziel des Benutzers ist, zeigt, des Arbeitsobjekts und des mindestens einen Zielkandidatenobjekts; durch eine Kontaktgrad-Berechnungseinheit, Berechnen eines Kontaktgrades, der einen Kontaktgrad zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt angibt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs; und durch eine Arbeitsermittlungseinheit, Ermitteln von Arbeit des Benutzers auf der Grundlage des Arbeitsobjekts und des Kontaktgrads.
Arbeitsermittlungsprogramm, das eine Arbeitsermittlungsvorrichtung, die ein Computer ist, veranlasst, auszuführen: ein Beobachtungsbereich-Ermittlungprozess zum Ermitteln eines Beobachtungsbereichs, der ein Bereich ist, den ein Benutzer beobachtet, unter Verwendung von Informationen, die eine Sichtlinie des Benutzers anzeigen; ein Objekterkennungsprozess zum Erkennen, aus einem Video, das ein Arbeitsobjekt, das der Benutzer benutzt, und mindestens ein Zielkandidatenobjekt zeigt, das ein Kandidat für ein Arbeitsziel des Benutzers ist, des Arbeitsobjekts und des mindestens einen Zielkandidatenobjekts; einen Kontaktgrad-Berechnungsprozess zum Berechnen eines Kontaktgrades, der einen Kontaktgrad zwischen dem Arbeitsobjekt und jedem Zielkandidatenobjekt angibt, das in dem mindestens einen Zielkandidatenobjekt enthalten ist, auf der Grundlage des Beobachtungsbereichs; und einen Arbeitsermittlungsprozess zum Ermitteln von Arbeit des Benutzers auf der Grundlage des Arbeitsobjekts und des Kontaktgrads.