DE112017008089B4

DE112017008089B4 - Vorrichtung zur Überwachung eines dreidimensionalen Raumes, Verfahren zur Überwachung eines dreidimensionalen Raumes und Programm zur Überwachung eines dreidimensionalen Raumes

Info

Publication number: DE112017008089B4
Application number: DE112017008089.4T
Authority: DE
Inventors: Yoshiyuki Kato
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-11-17
Filing date: 2017-11-17
Publication date: 2021-11-25
Anticipated expiration: 2037-11-18
Also published as: US20210073096A1; KR20200054327A; DE112017008089T5; CN111372735A; WO2019097676A1; JP6403920B1; KR102165967B1; JPWO2019097676A1; TWI691913B; TW201923610A

Abstract

Vorrichtung zur Überwachung eines dreidimensionalen Raumes, die einen Koexistenzraum, in dem sich ein erstes Überwachungsziel und ein zweites Überwachungsziel befinden, überwacht, umfassend:eine Lerneinheit, die durch maschinelles Lernen von Aktionsmustern des ersten Überwachungsziels und des zweiten Überwachungsziels aus chronologischen ersten, durch Messung erhaltenen Informationen über das erste Überwachungsziel und aus chronologischen zweiten, durch Messung erhaltenen Informationen über das zweite Überwachungsziel, die durch Vermessen des Koexistenzraums mit einer Sensoreinheit ermittelt werden, ein Lernergebnis erzeugt;eine Aktionsraumerzeugungseinheit, die einen virtuellen ersten Aktionsraum, in dem sich das erste Überwachungsziel befinden kann, auf Basis der ersten durch Messung erhaltenen Informationen erzeugt und die einen virtuellen zweiten Aktionsraum, in dem sich das zweite Überwachungsziel befinden kann, auf Basis der zweiten durch Messung erhaltenen Informationen erzeugt;eine Abstandsberechnungseinheit, die einen ersten Abstand vom ersten Überwachungsziel zum zweiten Aktionsraum und einen zweiten Abstand vom zweiten Überwachungsziel zum ersten Aktionsraum berechnet; undeine Kontaktvoraussagebeurteilungseinheit, die einen Abstandsschwellenwert auf Basis des Lernergebnisses der Lerneinheit bestimmt und eine Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel auf Basis des ersten Abstands, des zweiten Abstands und des Abstandsschwellenwerts voraussagt,wobei die Vorrichtung zur Überwachung eines dreidimensionalen Raumes auf Basis der Möglichkeit eines Kontakts einen Prozess ausführt.

Description

GEBIET DER TECHNIK
Die vorliegende Erfindung betrifft eine Vorrichtung zur Überwachung eines dreidimensionalen Raumes, ein Verfahren zur Überwachung eines dreidimensionalen Raumes und ein Programm zur Überwachung eines dreidimensionalen Raumes, in dem ein erstes Überwachungsziel und ein zweites Überwachungsziel existieren (im Folgenden auch als „Koexistenzraum“ bezeichnet).
TECHNISCHER HINTERGRUND
In den letzten Jahren wird es immer mehr üblich, dass ein Mensch (im Folgenden auch als „Arbeiter“ bezeichnet) und eine Maschine (im Folgenden auch als „Roboter“ bezeichnet) in einem Koexistenzraum in einer Fertigungsanlage oder dergleichen gemeinsam Arbeiten durchführen.
Die Druckschrift JP 2016 - 159 407 A (nachfolgend Patentdokument 1, s. beispielsweise Anspruch 1, Zusammenfassung, Absatz 0008 und 1 und 2) beschreibt eine Steuervorrichtung, welche durch Lernen erworbene Informationen speichert, die durch Lernen einer chronologischen Lage (z.B. von Positionskoordinaten) eines Arbeiters und eines Roboters ermittelt werden, und welche die Aktion des Roboters auf Basis einer aktuellen Lage des Arbeiters, einer aktuellen Lage des Roboters und der durch Lernen erworbenen Informationen steuert.
Die Druckschrift JP 2010 - 120 139 A (nachfolgend Patentdokument 2, s. beispielsweise Anspruch 1, Zusammenfassung und 1 bis 4) beschreibt eine Steuervorrichtung, die künftige Positionen eines Arbeiters und eines Roboters jeweils auf Basis aktueller Positionen und Bewegungsgeschwindigkeiten des Arbeiters und des Roboters voraussagt, die Möglichkeit eines Kontakts zwischen dem Arbeiter und dem Roboter auf Basis der künftigen Positionen beurteilt und einen Prozess gemäß einem Ergebnis der Beurteilung ausführt.
Die Druckschrift US 2015 / 0 131 896 A1 betrifft ein Sicherheitsüberwachungssystem für Mensch-Maschine-Symbiose, wobei eine Sicherheitsüberwachungseinheit für eine Mensch-Roboter-Interaktion eine Gestenverteilung auf der Grundlage von mindestens zwei räumlichen Gestenbildern und einem Sicherheitsabstand erzeugt.
Die Druckschrift US 2014 / 0 135 984 A1 bezieht sich auf ein Robotersystem, bei dem ein Roboter angewiesen wird, auf der Grundlage eines Arbeitsbereichs und einer Arbeitsgeschwindigkeit in Übereinstimmung mit einer Art von Arbeit und einer Arbeitserfahrung eines menschlichen Arbeiters zu arbeiten.
Die Druckschrift JP 2009- 226 057 A bezieht sich auf eine Arbeitsunfähigkeitsgrad-Management-Vorrichtung, die ein Warnsignal auf der Grundlage von Arbeiterprofilen erzeugt, um eine Fehlerauftretenswahrscheinlichkeit abzuleiten, die angibt, in welchen Situationen der biologischen Eigenschaften des Arbeiters und der Umgebung der Arbeiter dazu neigt, einen Arbeitsfehler zu machen.
Die Druckschrift JP 2017 - 144 488 A betrifft eine Betriebsbereichsabschätzungsvorrichtung, die einen Betriebsbereich berechnet, in dem die Bewegung eines Bedieners basierend auf einer Bewegungsinformation, einer Richtungsinformation und einem menschlichen Körpermodell des Bedieners vorhergesagt wird.
Die Druckschrift DE 10 2006 048 163 A1 bezieht sich auf eine Kamerabasierte Überwachung bewegter Maschinen zur Kollisionsverhinderung, wobei Bilddaten der Maschine erfasst und in Folge einer Datenbasis korreliert werden, welche in einer Trainingsphase mit Bilddaten der Maschine erstellt wurde.
Weitere Beispiele für Arbeiter-Roboter-bezogene Steuer- bzw. Kontrollvorrichtungen können den Druckschriften JP 2010 - 52 116 A , JP 2004 - 17 256 A , US 2017 / 0 197 313 A1 , DE 11 2012 005 650 T5 , EP 2 364 243 B1 und US 2015 / 0 352 719 A1 entnommen werden.
KURZFASSUNG DER ERFINDUNG
DER ERFINDUNG ZUGRUNDE LIEGENDES PROBLEM
Die Steuervorrichtung des Patentdokuments 1 unterbricht oder verlangsamt die Aktion des Roboters, wenn die aktuelle Lage des Arbeiters und des Roboters jeweils von der Lage des Arbeiters und des Roboters während des Lernens verschieden sind. Da diese Steuervorrichtung jedoch nicht den Abstand zwischen dem Arbeiter und dem Roboter berücksichtigt, ist sie nicht in der Lage, die Möglichkeit eines Kontakts zwischen dem Arbeiter und dem Roboter korrekt zu beurteilen. Zum Beispiel wird die Aktion des Roboters auch dann unterbrochen oder verlangsamt, wenn sich der Arbeiter in einer Richtung bewegt hat, in der sich der Arbeiter vom Roboter entfernt. Das heißt, es gibt Fälle, wo die Aktion des Roboters unterbrochen oder verlangsamt wird, wenn die Unterbrechung/Verlangsamung unnötig ist.
Die Steuervorrichtung des Patentdokuments 2 steuert den Roboter auf Basis der vorausgesagten künftigen Positionen des Arbeiters und des Roboters. Jedoch kann die Möglichkeit eines Kontakts zwischen dem Arbeiter und dem Roboter nicht korrekt beurteilt werden, wenn es mehrere Arten von Handlungen des Arbeiters und mehrere Arten von Aktionen des Roboters gibt, oder wenn große individuelle Unterschiede zwischen den Handlungen des Arbeiters bestehen. Daher gibt es Fälle, wo die Aktion des Roboters unterbrochen wird, wenn die Unterbrechung unnötig ist, oder wo die Aktion des Roboters nicht unterbrochen wird, wenn die Unterbrechung notwendig ist.
Eine Aufgabe der vorliegenden Erfindung, die gemacht wurde, um die oben beschriebenen Probleme zu lösen, ist die Schaffung einer Vorrichtung zur Überwachung eines dreidimensionalen Raumes, eines Verfahrens zur Überwachung eines dreidimensionalen Raumes und eines Programms zur Überwachung eines dreidimensionalen Raumes, mit denen die Möglichkeit eines Kontakts zwischen einem ersten Überwachungsziel und einem zweiten Überwachungsziel mit hoher Genauigkeit beurteilt werden können.
MITTEL ZUR LÖSUNG DES PROBLEMS
Eine Vorrichtung zur Überwachung eines dreidimensionalen Raumes gemäß einem Aspekt der vorliegenden Erfindung ist eine Vorrichtung, die einen Koexistenzraum, in dem sich ein erstes Überwachungsziel und ein zweites Überwachungsziel befinden, überwacht und die aufweist: eine Lerneinheit, die durch maschinelles Lernen von Aktionsmustern des ersten Überwachungsziels und des zweiten Überwachungsziels aus ersten chronologischen, durch Messung erhaltenen Informationen über das erste Überwachungsziel und zweiten chronologischen, durch Messung erhaltenen Informationen über das zweite Überwachungsziel, die durch Vermessen des Koexistenzraums mit einer Sensoreinheit erfasst werden, ein Lernergebnis erzeugt; eine Aktionsraumerzeugungseinheit, die einen virtuellen ersten Aktionsraum, in dem sich das erste Überwachungsziel befinden kann, auf Basis der ersten durch Messung erhaltenen Informationen erzeugt und einen virtuellen zweiten Aktionsraum, in dem sich das zweite Überwachungsziel befinden kann, auf Basis der zweiten durch Messung erhaltenen Informationen erzeugt; eine Abstandsberechnungseinheit, die einen ersten Abstand vom ersten Überwachungsziel zum zweiten Aktionsraum und einen zweiten Abstand vom zweiten Überwachungsziel zum ersten Aktionsraum berechnet; und eine Kontaktvoraussagebeurteilungseinheit, die einen Abstandsschwellenwert auf Basis des Lernergebnisses der Lerneinheit bestimmt und eine Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel auf Basis des ersten Abstands, des zweiten Abstands und des Abstandsschwellenwerts voraussagt und auf Basis der Möglichkeit eines Kontakts einen Prozess ausführt.
Ein Verfahren zur Überwachung eines dreidimensionalen Raumes gemäß einem anderen Aspekt der vorliegenden Erfindung ist ein Verfahren zum Überwachen eines Koexistenzraums, in dem sich ein erstes Überwachungsziel und ein zweites Überwachungsziel befinden, das einschließt: einen Schritt des Erzeugens eines Lernergebnisses durch maschinelles Lernen von Aktionsmustern des ersten Überwachungsziels und des zweiten Überwachungsziels aus ersten chronologischen, durch Messung erhaltenen Informationen über das erste Überwachungsziel und zweiten chronologischen, durch Messung erhaltenen Informationen über das zweite Überwachungsziel, die durch Vermessen des Koexistenzraums mit einer Sensoreinheit erfasst werden; einen Schritt des Erzeugens eines virtuellen ersten Aktionsraums, in dem sich das erste Überwachungsziel befinden kann, auf Basis der ersten durch Messung erhaltenen Informationen und des Erzeugens eines virtuellen zweiten Aktionsraums, in dem sich das zweite Überwachungsziel befinden kann, auf Basis der zweiten durch Messung erhaltenen Informationen; einen Schritt des Berechnens eines ersten Abstands vom ersten Überwachungsziel zum zweiten Aktionsraum und eines zweiten Abstands vom zweiten Überwachungsziel zum ersten Aktionsraum; einen Schritt des Bestimmens eines Abstandsschwellenwerts auf Basis des Lernergebnisses und des Voraussagen einer Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel auf Basis des ersten Abstands, des zweiten Abstands und des Abstandsschwellenwerts; und einen Schritt des Ausführens einer Handlung auf Basis der Möglichkeit eines Kontakts.
WIRKUNG DER ERFINDUNG
Gemäß der vorliegenden Erfindung kann eine Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel mit hoher Genauigkeit beurteilt werden, und es wird möglich, auf Basis der Möglichkeit eines Kontakts einen geeigneten Prozess auszuführen.
Figurenliste

1 ist eine Skizze, die eine Konfiguration einer Vorrichtung zur Überwachung eines dreidimensionalen Raumes und einer Sensoreinheit gemäß einer ersten Ausführungsform schematisch darstellt.
2 ist ein Ablaufschema, das den Betrieb der Vorrichtung zur Überwachung eines dreidimensionalen Raumes und der Sensoreinheit gemäß der ersten Ausführungsform zeigt.
3 ist ein Blockschema, das ein Beispiel für eine Konfiguration einer Lerneinheit der Vorrichtung zur Überwachung eines dreidimensionalen Raumes gemäß der ersten Ausführungsform schematisch zeigt.
4 ist eine schematische Skizze, die ein neuronales Netz mit Gewichten in drei Schichten konzeptuell zeigt.
5A bis 5E sind schematische perspektivische Ansichten, die Beispiele für eine Skelettstruktur von Überwachungszielen und Arbeitsräume zeigen.
6A und 6B sind schematische perspektivische Ansichten, die den Betrieb der Vorrichtung zur Überwachung eines dreidimensionalen Raumes gemäß der ersten Ausführungsform zeigen.
7 ist ein Schema, das eine Hardware-Konfiguration der Vorrichtung zur Überwachung eines dreidimensionalen Raumes gemäß der ersten Ausführungsform zeigt.
8 ist ein Schema, das eine Konfiguration einer Vorrichtung zur Überwachung eines dreidimensionalen Raumes und einer Sensoreinheit gemäß einer zweiten Ausführungsform schematisch zeigt.
9 ist ein Blockschema, das ein Beispiel für eine Konfiguration einer Lerneinheit der Vorrichtung zur Überwachung eines dreidimensionalen Raumes gemäß der zweiten Ausführungsform schematisch zeigt.

ART DER AUSFÜHRUNG DER ERFINDUNG
In den folgenden Ausführungsformen werden eine Vorrichtung zur Überwachung eines dreidimensionalen Raumes, ein Verfahren zur Überwachung eines dreidimensionalen Raumes, das von der Vorrichtung zur Überwachung eines dreidimensionalen Raumes ausgeführt werden kann, und ein Programm zur Überwachung eines dreidimensionalen Raumes, das einen Computer veranlasst, das Verfahren zur Überwachung eines dreidimensionalen Raumes auszuführen, unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Die folgenden Ausführungsformen sind nur Beispiele, und eine Reihe verschiedener Modifikationen sind innerhalb des Bereichs der vorliegenden Erfindung möglich.
In den folgenden Ausführungsformen werden Fälle beschrieben, wo die Vorrichtung zur Überwachung eines dreidimensionalen Raumes einen Koexistenzraum überwacht, in dem sich ein „Mensch“ (d.h. ein Arbeiter) als erstes Überwachungsziel und „ein Mensch oder eine Maschine“ (d.h. ein Roboter oder ein Arbeiter) als zweites Überwachungsziel befinden. Jedoch kann die Zahl der Überwachungsziele, die sich in dem Koexistenzraum befinden, auch drei oder mehr sein.
In den folgenden Ausführungsformen wird eine Kontaktvoraussagebeurteilung durchgeführt, um einen Kontakt zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel zu verhindern. Bei der Kontaktvoraussagebeurteilung wird beurteilt, ob oder ob nicht ein Abstand zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel (in der folgenden Beschreibung wird Abstand zwischen einem Überwachungsziel und einem Aktionsraum verwendet) kleiner ist als ein Abstandsschwellenwert L (d.h. ob oder ob nicht das erste Überwachungsziel und das zweite Überwachungsziel einander näher sind als der erste Abstandsschwellenwert L vorgibt). Dann führt die Vorrichtung zur Überwachung eines dreidimensionalen Raumes auf Basis des Ergebnisses dieser Beurteilung (d.h. einer Kontaktvoraussagebeurteilung) einen Prozess aus. Dieser Prozess beinhaltet beispielsweise einen Prozess, um dem Arbeiter Informationen zu präsentieren, um den Kontakt zu vermeiden, und einen Prozess, um die Aktion des Roboters zu unterbrechen oder zu verlangsamen, um den Kontakt zu vermeiden.
In den folgenden Ausführungsformen wird durch maschinelles Lernen von Handlungsmustern des Arbeiters in dem Koexistenzraum ein Lernergebnis D2 erzeugt, und der Abstandsschwellenwert L, der für die Kontaktvoraussagebeurteilung verwendet wird, wird auf Basis des Lernergebnisses D2 bestimmt. Hierbei kann das Lernergebnis D2 beispielsweise ein „Befähigungsniveau“ als Index, der angibt, wie fähig der Arbeiter für seine Arbeit ist, ein „Ermüdungsniveau“ als Index, der das Niveau der Ermüdung des Arbeiters angibt, ein „Kooperationsniveau“ als Index, der angibt, ob oder ob nicht der Fortschritt der Arbeit des Arbeiters mit dem Fortschritt der Arbeit des Partners (d.h. eines Roboters oder eines anderen Arbeiters in dem Koexistenzraum) übereinstimmt, und so weiter einschließen.
Erste Ausführungsform
(Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes)
1 ist eine Skizze, die eine Konfiguration einer Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes und einer Sensoreinheit 20 gemäß einer ersten Ausführungsform schematisch darstellt. 2 ist ein Ablaufschema, das den Betrieb der Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes und der Sensoreinheit 20 zeigt. Das in 1 gezeigte System schließt die Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes und die Sensoreinheit 20 ein. 1 zeigt einen Fall, wo ein Arbeiter 31 als das erste Überwachungsziel und ein Roboter 32 als das zweite Überwachungsziel eine gemeinsame Arbeit in einem Koexistenzraum 30 durchführen.
Wie in 1 gezeigt ist, weist die Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes eine Lerneinheit 11, eine Speichereinheit 12, die Lerndaten D1 und so weiter speichert, eine Aktionsraumerzeugungseinheit 13, eine Abstandsberechnungseinheit 14, eine Kontaktvoraussagebeurteilungseinheit 15, eine Informationsbereitstellungseinheit 16 und eine Maschinensteuereinheit 17 auf.
Die Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes kann ein Verfahren zur Überwachung eines dreidimensionalen Raumes ausführen. Die Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes ist beispielsweise ein Computer, der ein Programm zur Überwachung eines dreidimensionalen Raumes ausführt. Das Verfahren zur Überwachung eines dreidimensionalen Raumes beinhaltet zum Beispiel:

(1) einen Schritt des Erzeugens eines Lernergebnisses D2 durch maschinelles Lernen von Aktionsmustern des Arbeiters 31 und des Roboters 32 aus ersten Skelettstrukturinformationen 41 auf Basis chronologischer, durch Messung erhaltener Informationen (z.B. Bildinformationen) 31a über den Arbeiter 31, die durch Vermessen des Koexistenzraums 30 mit der Sensoreinheit 20 erfasst worden sind, und Skelettstrukturinformationen 42 auf Basis chronologischer, durch Messung erhaltener Informationen (z.B. Bildinformationen) 32a über den Roboter 32 (Schritte S1 bis S3 in 2),
(2) einen Schritt des Erzeugens eines virtuellen ersten Aktionsraums 43, in dem sich der Arbeiter 31 befinden kann, aus den ersten Skelettstrukturinformationen 41 und des Erzeugens eines virtuellen zweiten Aktionsraums 44, in dem sich der Roboter 32 befinden kann, aus den zweiten Skelettstrukturinformationen 42 (Schritt S5 in 2),
(3) einen Schritt des Berechnens eines ersten Abstands 45 vom Arbeiter 31 zum zweiten Aktionsraum 44 und eines zweiten Abstands 46 vom Roboter 32 zum ersten Aktionsraum 43 (Schritt S6 in 2),
(4) einen Schritt des Bestimmens des Abstandsschwellenwerts L auf Basis des Lernergebnisses D2 (Schritt S4 in 2),
(5) einen Schritt des Voraussagens einer Möglichkeit eines Kontakts zwischen dem Arbeiter (31) und dem Roboter 32 auf Basis des ersten Abstands 45, des zweiten Abstands 46 und des Abstandsschwellenwerts L (Schritt S7 in 2), und
(6) einen Schritt des Ausführens eines Prozesses auf Basis der vorausgesagten Möglichkeit eines Kontakts dazwischen (Schritte S8 und S9 in 2).

Hierbei sind die Formen der ersten Skelettstrukturinformationen 41, der zweiten Skelettstrukturinformationen 42, des ersten Aktionsraums 43 und des zweiten Aktionsraums 44, die in 1 gezeigt sind, nur ein Beispiel zur Erläuterung; spezifischere Beispiele für die Formen sind in 5A bis 5E gezeigt, die weiter unten beschrieben werden.
(Sensoreinheit 20)
Die Sensoreinheit 20 misst die Handlung des Arbeiters 31 und die Aktion des Roboters 32 in drei Dimensionen (Schritt S1 in 2). Die Sensoreinheit 20 schließt beispielsweise eine Distanzbildkamera ein, die in der Lage ist, gleichzeitig ein Farbbild des Arbeiters 31 als des ersten Überwachungsziels und des Roboters 32 als des zweiten Überwachungsziels, des Abstands von der Sensoreinheit 20 zum Arbeiter 31 und des Abstands von der Sensoreinheit 20 zum Roboter 32 unter Verwendung von Infrarotstrahlen zu messen. Zusätzlich zur Sensoreinheit 20 kann auch eine extra Sensoreinheit an einer anderen Position als die Sensoreinheit 20 bereitgestellt werden. Die extra Sensoreinheit 20 kann mehrere Sensoreinheiten einschließen, die an jeweils anderen Positionen angeordnet sind. Durch Bereitstellen mehrerer Sensoreinheiten können tote Winkel, die mit der Sensoreinheit nicht vermessen werden können, verringert werden.
Die Sensoreinheit 20 weist eine Signalverarbeitungseinheit 20a auf. Die Signalverarbeitungseinheit 20a wandelt dreidimensionale Daten des Arbeiters 31 in die ersten Skelettstrukturinformationen 41 um und wandelt dreidimensionale Daten des Roboters 32 in die zweiten Skelettstrukturinformationen 42 um (Schritt S2 in 2). Hierbei sind „Skelettstrukturinformationen“ Informationen die mit dreidimensionalen Positionsdaten von Gelenken (oder dreidimensionalen Positionsdaten von Gelenken und Enden einer Skelettstruktur) gebildet werden, wenn der Arbeiter oder der Roboter als die Skelettstruktur mit den Gelenken betrachtet wird. Durch die Umwandlung in die ersten und zweiten Skelettstrukturinformationen kann die Verarbeitungslast der Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes in Bezug auf die Verarbeitung dreidimensionaler Daten erleichtert werden. Die Sensoreinheit 20 stellt die ersten und zweiten Skelettstrukturinformationen 41 und 42 an der Lerneinheit 11 und der Aktionsraumerzeugungseinheit 13 als Informationen D0 bereit.
(Lerneinheit 11)
Die Lerneinheit 11 lernt maschinell Handlungsmuster des Arbeiters 31 aus den Skelettstrukturinformationen 41 über den Arbeiter 31 und den Skelettstrukturinformationen 42 über den Roboter 32, die aus der Sensoreinheit 20 erfasst werden, und den Lerndaten D1, die in der Speichereinheit 12 gespeichert sind, und leitet das Ergebnis des maschinellen Lernens als Lernergebnis D2 ab. Ebenso kann die Lerneinheit 11 Aktionsmuster des Roboters 32 (oder Handlungsmuster eines anderen Arbeiters) maschinell lernen und das Ergebnis des maschinellen Lernens als Lernergebnis D2 ableiten. In der Speichereinheit 12 werden Trainingsinformationen, Lernergebnisse und so weiter, die durch maschinelles Lernen auf Basis der chronologischen ersten und zweiten Skelettstrukturinformationen 41 und 42 über den Arbeiter 31 und den Roboter 32 ermittelt worden sind, nach Bedarf als Lerndaten D1 gespeichert. Das Lernergebnis D2 kann beispielsweise eines oder mehrere vom „Befähigungsniveau“ als Index, der angibt, wie fähig der Arbeiter 31 für seine Arbeit ist (d.h. wie viel Routine er darin hat), vom „Ermüdungsniveau“ als Index, der das Niveau der Ermüdung (d.h. einen physischen Zustand) des Arbeiters angibt, und vom „Kooperationsniveau“ als Index, der angibt, ob oder ob nicht der Fortschritt der Arbeit des Arbeiters mit dem Fortschritt der Arbeit des Partners übereinstimmt, einschließen.
3 ist ein Blockschema, das schematisch ein Beispiel für eine Konfiguration der Lerneinheit 11 zeigt. Wie in 3 gezeigt ist, weist die Lerneinheit 11 eine Lernvorrichtung 111, eine Arbeitsaufteilungseinheit 112 und eine Lernvorrichtung 113 auf.
Die vorliegende Beschreibung wird anhand eines Beispiels für eine Arbeit in einem Zellproduktionssystem in einer Fertigungsanlage gemacht. In dem Zellproduktionssystem wird Arbeit von einem Team aus einem oder aus mehreren Arbeitern durchgeführt. Ein Arbeitsablauf in dem Zellproduktionssystem schließt mehrere Typen von Arbeitsschritten ein. Zum Beispiel schließt ein Arbeitsablauf in dem Zellproduktionssystem Arbeitsschritte einer Komponenteninstallation, eines Verschraubens, Zusammensetzens, Überprüfens, Verpackens usw. ein. Um Handlungsmuster des Arbeiters 31 zu lernen, ist es nötig, zuerst den Arbeitsablauf in einzelne Arbeitsschritte aufzuteilen.
Die Lernvorrichtung 111 extrahiert Merkmalswerte unter Verwendung von Unterschieden zwischen chronologischen Bildern, die aus Farbbildinformationen 52 erhalten werden, die durch Messung erhaltene Informationen sind, die aus der Sensoreinheit 20 erfasst worden sind. Wenn zum Beispiel ein Arbeitsablauf an einem Werktisch ausgeführt wird, unterscheiden sich die Formen von Komponenten, Werkzeugen und Produkten auf dem Werktisch und so weiter von Arbeitsschritt zu Arbeitsschritt. Daher extrahiert die Lernvorrichtung 111 einen Änderungsbetrag eines Hintergrundbilds des Arbeiters 31 und des Roboters 32 (z.B. ein Bild von Komponenten, Werkzeugen und Produkten auf dem Werktisch) und Übergangsinformationen über die Änderung des Hintergrundbildes. Die Lernvorrichtung 111 beurteilt, mit welcher Arbeit welches Schrittes die aktuelle Arbeit übereinstimmt, durch Lernen von Änderungen der extrahierten Merkmalswerte und Änderungen an den Aktionsmustern in Kombination miteinander. Dabei werden die ersten und zweiten Skelettstrukturinformationen 41 und 42 zum Lernen der Aktionsmuster verwendet.
Es gibt verschiedene Arten oder Verfahren für das maschinelle Lernen als das Lernen, das von der Lernvorrichtung 111 durchgeführt wird. Es ist möglich, „unüberwachtes Lernen“, „überwachtes Lernen“, „Verstärkungslernen“ („Reinforcement Learning“) usw. als maschinelles Lernen anzuwenden.
Beim „unüberwachten Lernen“ wird eine große Zahl von Hintergrundbildern des Werktisches durch Lernen ähnlicher Hintergrundbilder aus der großen Zahl von Hintergrundbildern des Werktisches und Gruppieren der großen Zahl von Hintergrundbildern in Hintergrundbilder der einzelnen Arbeitsschritte klassifiziert. Hierbei ist das „Gruppieren“ ein Verfahren oder ein Algorithmus zum Finden eines Satzes ähnlicher Daten in einer großen Menge von Daten, ohne vorab Trainingsdaten herzustellen.
Beim „überwachten Lernen“ wird die Lernvorrichtung 111 vorab mit chronologischen Daten über die Handlung des Arbeiters 31 in jedem Arbeitsschritt und mit chronologischen Daten über die Aktion des Roboters 32 in jedem Arbeitsschritt beliefert, wodurch Eigenschaften der Daten über die Handlung des Arbeiters 31 gelernt werden und ein aktuelles Arbeitsmusters des Arbeiters 31 mit den Eigenschaften der Handlungsdaten verglichen wird.
4 ist ein Schema zur Erläuterung von Deep Machine Learning (Deep Learning) als Verfahren, welches das maschinelle Lernen implementiert, das heißt ein schematisches Diagramm, das ein neuronales Netz zeigt, das drei Schichten einschließt (d.h. eine erste Schicht, eine zweite Schicht und eine dritte Schicht), die jeweils Gewichtskoeffizienten w1, w2 und w3 aufweisen. Die erste Schicht weist drei Neuronen (d.h. Knoten) N11, N12 und N13 auf, die zweite Schicht weist zwei Neuronen N21 und N22 auf und die dritte Schicht weist drei Neuronen N31, N32 und N33 auf. Wenn mehrere Eingaben x1, x2 und x3 in die erste Schicht eingegeben werden, führt das neuronale Netz ein Lernen durch und gibt Ergebnisse y1, y2 und y3 aus. Die Neuronen N11, N12 und N13 der ersten Schicht erzeugen Merkmalsvektoren aus den Eingaben x1, x2 und x3 und geben die Merkmalsvektoren multipliziert mit dem entsprechenden Gewichtskoeffizienten w1 an die zweite Schicht aus. Die Neuronen N21 und N22 der zweiten Schicht geben Merkmalsvektoren, die durch Multiplizieren der Eingabe mit dem entsprechenden Gewichtskoeffizienten w2 erhalten werden, an die dritte Schicht aus. Die Neuronen N31, N32 und N33 der dritten Schicht geben Merkmalsvektoren, die durch Multiplizieren der Eingabe mit dem entsprechenden Gewichtskoeffizienten w2 erhalten werden, als die Ergebnisse (d.h. Ausgabedaten) y1, y2 und y3 aus. In einem Fehlerrückführungsverfahren (Backpropagation) werden die Gewichtskoeffizienten w1, w2 und w3 auf optimale Werte aktualisiert, um die Differenz zwischen den Ergebnissen y1, y2 und y3 und den Trainingsdaten t1, t2 und t3 zu verringern.
Das „Verstärkungslernen“ ist ein Lernverfahren zum Bestimmen einer zu ergreifenden Maßnahme durch Beobachten der aktuellen Lage. Beim „Verstärkungslernen“ erfolgt nach jeder Handlung oder Aktion eine Belohnung. Somit ist es möglich, eine Handlung oder Aktion zu lernen, mit der die Belohnung maximiert wird. Zum Beispiel wird, was die Abstandsinformationen über den Abstand zwischen dem Arbeiter 31 und dem Roboter 32 betrifft, die Möglichkeit eines Kontakts kleiner, je größer der Abstand wird. Somit kann die Aktion des Roboters 32 so bestimmt werden, dass die Belohnung maximiert wird, wenn die erhaltene Belohnung mit der Zunahme des Abstands größer wird. Da der Grad eines Einflusses eines Kontakts mit dem Arbeiter 31 auf den Arbeiter 31 umso höher ist, je stärker ein Maß einer Beschleunigung des Roboters 32 zunimmt, wird ferner die Belohnung umso niedriger angesetzt, je höher das Maß der Beschleunigung des Roboters 32 ist. Da der Grad des Einflusses eines Kontakts mit dem Arbeiter 31 auf den Arbeiter 31 umso höher ist, je höher die Beschleunigung und die Leistung des Roboters 32 sind, wird darüber hinaus die Belohnung umso niedriger angesetzt, je höher die Leistung des Roboters 32 ist. Dann wird eine Regelung ausgeführt, bei der das Lernergebnis in die Aktion des Roboters 32 zurückgekoppelt wird.
Unter Verwendung dieser Lernverfahren, das heißt des „unüberwachten Lernens“, des „überwachten Lernens“, des „Verstärkungslernens“ usw., in Kombination kann das Lernen effizient durchgeführt werden und es kann ein hervorragendes Ergebnis (eine Handlung des Roboters 32) erhalten werden. Eine Lernvorrichtung, die weiter unten beschrieben wird, verwendet diese Lernverfahren auch in Kombination.
Die Arbeitsaufteilungseinheit 112 teilt einen Arbeitsablauf auf Basis einer Konsistenz zwischen chronologischen Bildern, die von der Sensoreinheit 20 erfasst werden, einer Konsistenz zwischen Handlungsmustern oder dergleichen in einzelne Arbeitsschritte auf und gibt Zeiten für die einzelnen Pausen in dem Arbeitsablauf, das heißt Zeiten, welche die einzelnen Teilungspositionen angeben, wenn der Arbeitsablauf in einzelne Arbeitsschritte aufgeteilt ist, an.
Die Lernvorrichtung 113 schätzt das Befähigungsniveau, das Ermüdungsniveau, die Arbeitsgeschwindigkeit (d.h. das Kooperationsniveau) usw. des Arbeiters 31 unter Verwendung der ersten und der zweiten Skelettstrukturinformationen 41 und 42 und von Arbeiterattributinformationen 53 als Attributinformationen über den Arbeiter 31, die als Lerndaten D1 gespeichert worden sind (Schritt S3 in 2). Die „Arbeiterattributinformationen“ schließen Berufswegsinformationen über den Arbeiter 31, wie etwa das Alter des Arbeiters 31 und die Zahl der Jahre, über die der Arbeiter 31 Erfahrungen mit der Arbeit gesammelt hat, physische Informationen über den Arbeiter 31, wie etwa Körpergröße, Körpergewicht und Sehvermögen, Arbeitsdauer und physische Verfassung des Arbeiters 31 an den jeweiligen Tag und so weiter ein. Die Arbeiterattributinformationen 53 werden vorab (z.B. vor Arbeitsbeginn) in der Speichereinheit 12 gespeichert. Beim Deep Learning wird ein neuronales Netz mit einer Mehrschichtenstruktur verwendet, und eine Verarbeitung wird in neuronalen Schichten mit unterschiedlichen Bedeutungen (z.B. einer ersten Schicht bis dritten Schicht in 4) durchgeführt. Zum Beispiel beurteilt eine neuronale Schicht zur Beurteilung des Handlungsmusters des Arbeiters 31, dass das Befähigungsniveau bei der Arbeit niedrig ist, wenn Messdaten stark von den Trainingsdaten abweichen. Ferner beurteilt eine neuronale Schicht zur Beurteilung einer Eigenschaft des Arbeiters 31 beispielsweise, dass ein Erfahrungsniveau niedrig ist, wenn die Zahl der Jahre, über die der Arbeiter 31 Erfahrungen sammeln konnte, klein ist oder der Arbeiter 31 in einem fortgeschrittenen Alter ist. Durch Zuweisen von Gewichten zu Beurteilungsergebnissen einer großen Zahl von neuronalen Schichten kann schließlich ein Gesamt-Befähigungsniveau des Arbeiters 31 erhalten werden.
Auch beim selben Arbeiter 31 steigt das Ermüdungsniveau, wenn die Arbeitsdauer am jeweiligen Tag lang ist, und dies wirkt sich auf die Konzentrationsleistung des Arbeiters aus. Ferner variiert das Ermüdungsniveau auch abhängig von der Tageszeit, zu der die Arbeit verrichtet wird, und vom physischen Zustand des Arbeiters an diesem Tag. Im Allgemeinen gilt, dass unmittelbar nach Arbeitsbeginn oder am Morgen das Ermüdungsniveau niedrig ist und ein Arbeiter in der Lage ist, eine Arbeit mit hoher Konzentrationsleistung durchzuführen, aber die Konzentrationsleistung umso mehr sinkt und der Arbeiter umso leichter Fehler bei der Arbeit macht, je länger der Arbeitstag wird. Ferner ist bekannt, dass selbst dann, wenn der Arbeitstag lang ist, die Konzentrationsleistung unmittelbar vor Ende der Arbeitszeit am jeweiligen Tag wieder ansteigt.
Das ermittelte Befähigungsniveau und Ermüdungsniveau werden verwendet, um den Abstandsschwellenwert L zu bestimmen, der ein Kriterium für die Schätzung der Möglichkeit eines Kontakts zwischen dem Arbeiter 31 und dem Roboter 32 ist (Schritt S4 in 2).
Wenn geurteilt wird, dass das Befähigungsniveau des Arbeiters 31 hoch ist und die technischen Fertigkeiten des Arbeiters auf einem fortgeschrittenen Niveau liegen, kann eine relativ niedrige Einstellung des Abstandsschwellenwerts L für den Abstand zwischen dem Arbeiter 31 und dem Roboter 32 (das heißt eine Einstellung des Abstandsschwellenwerts L auf einen niedrigen Wert L1) eine unnötige Verlangsamung und Unterbrechung der Aktion des Roboters 32 verhindern und dadurch die Arbeitseffizienz erhöhen. Wenn dagegen geurteilt wird, dass das Befähigungsniveau des Arbeiters 31 niedrig ist und die technischen Fertigkeiten des Arbeiters auf einem Anfängerniveau liegen, kann eine relativ hohe Einstellung des Abstandsschwellenwerts L für den Abstand zwischen dem Arbeiter 31 und dem Roboter 32 (das heißt eine Einstellung des Abstandsschwellenwerts L auf einen Wert L2, der höher ist als der niedrige Wert L1) einen versehentlichen Kontakt zwischen dem unerfahrenen Arbeiter 31 und dem Roboter 32 verhindern.
Wenn das Ermüdungsniveau des Arbeiters 31 hoch ist, hemmt eine relative hohe Einstellung des Abstandsschwellenwerts L (das heißt eine Einstellung des Abstandsschwellenwerts L auf einen hohen Wert L3), einen gegenseitigen Kontakt des Arbeiters 31 und des Roboters 32. Wenn dagegen das Ermüdungsniveau des Arbeiters 31 niedrig ist und die Konzentrationsleistung hoch ist, werden eine unnötige Verlangsamung und Unterbrechung der Aktion des Roboters 32 durch reine relativ niedrige Einstellung des Abstandsschwellenwerts L (das heißt eine Einstellung des Abstandsschwellenwerts L auf einen Wert L4, der niedriger ist als der hohe Wert L3) verhindert.
Ferner beurteilt die Lernvorrichtung 113 das Kooperationsniveau als das Niveau der Zusammenarbeit des Arbeiters 31 und des Roboters 32 bei einer gemeinsamen Arbeit durch Lernen einer chronologischen Gesamtbeziehung zwischen Arbeitsmustern als den Handlungsmustern des Arbeiters 31 und Arbeitsmustern als den Aktionsmustern des Roboters 32 und durch Vergleichen der aktuellen Arbeitsmusterbeziehung mit Arbeitsmustern, die durch das Lernen erhalten wurden. Wenn das Kooperationsniveau niedrig ist, kann davon ausgegangen werden, dass die Arbeit des Arbeiters 31 oder des Roboters 32 hinter der des jeweils anderen hinterherhinkt und es somit notwendig ist, die Arbeitsgeschwindigkeit des Roboters 32 zu erhöhen. Wenn die Arbeitsgeschwindigkeit des Arbeiters 31 niedrig ist, ist es notwendig, den Arbeiter 31 aufzufordern, seine Arbeit zu beschleunigen, indem dem Arbeiter 31 effektive Informationen vorgelegt werden.
Wie oben angegeben, ermittelt die Lerneinheit 11 die Handlungsmuster, das Befähigungsniveau, das Ermüdungsniveau und das Kooperationsniveau des Arbeiters 31, deren Berechnung unter Verwendung einer Theorie oder Rechenformeln schwierig ist, unter Verwendung des maschinellen Lernens. Dann bestimmt die Lernvorrichtung 113 der Lerneinheit 11 den Abstandsschwellenwert L als Bezugswert, der für die Schätzung der Beurteilung eines Kontakts zwischen dem Arbeiter 31 und dem Roboter 32 verwendet wird, unter Verwendung des ermittelten Befähigungsniveaus, Ermüdungsniveaus usw. Durch die Verwendung des Abstandsschwellenwerts L kann die Arbeit gemäß dem Zustand und dem Arbeitsstatus des Arbeiters 31, ohne den Roboter 32 unnötigerweise zu verlangsamen oder anzuhalten, ohne dass der Arbeiter 31 und der Roboter 32 miteinander in Kontakt kommen, und effizient vorangebracht werden.
(Aktionsraumerzeugungseinheit 13)
5A bis 5E sind schematische perspektivische Ansichten, die Beispiele für eine Skelettstruktur von Überwachungszielen und Arbeitsräume zeigen. Die Aktionsraumerzeugungseinheit 13 erzeugt einen virtuellen Aktionsraum gemäß der Form von sowohl dem Arbeiter 31 als auch dem Roboter 32.
5A zeigt ein Beispiel für den ersten oder zweiten Aktionsraum 43, 44 des Arbeiters 31 oder des Roboters 32 eines zweiarmigen humanen Typs. Der Arbeiter 31 bildet dreieckige Ebenen (z.B. Ebenen 305-308), die an der Spitze einen Kopf 301 aufweisen, unter Verwendung des Kopfes 301 und von Schultergelenken 302, Ellbogen 303 und Handgelenken 304. Dann wird durch Kombinieren der gebildeten dreieckigen Ebenen ein Raum in Form einer polygonalen Pyramide (wobei jedoch die Basis keine Ebene ist) ohne die Umgebung des Kopfes gebildet. Falls der Kopf 301 des Arbeiters 31 den Roboter 32 berührt, wirkt sich die Berührung stark auf den Arbeiter 31 aus. Somit wird ein Raum in der Umgebung des Kopfes 301 als Raum in Form eines viereckigen Prismas definiert, das den Kopf 301 vollständig abdeckt. Wie in 5D gezeigt ist, wird dann ein virtueller Aktionsraum als Kombination des polygonalen pyramidenartigen Raums (d.h. des Raums, der die Umgebung des Kopfes ausschließt) und des viereckigen prismaartigen Raums (d.h. des Raums in der Umgebung des Kopfes) erzeugt. Der viereckige prismaartige Raum des Kopfes kann auch als Raum in Form eines polygonalen Prismas, das kein viereckiges Prisma ist, definiert werden.
5B zeigt ein Beispiel für den Aktionsraum eines Roboters 32 eines einarmigen Typs. Eine Ebene 312 und eine Ebene 313 werden durch Bewegen einer Ebene 311, die von einer Skelettstruktur gebildet wird, die drei Gelenke B1, B2 und B3, die einen Arm bilden, einschließt, in einer Richtung senkrecht zur Ebene 311 erzeugt. Die Breite der Bewegung wird vorab gemäß der Bewegungsgeschwindigkeit des Roboters 32, einer Kraft, die der Roboter 32 auf ein anderes Objekt aufbringt, einer Größe des Roboters 32 oder dergleichen bestimmt. In diesem Fall wird, wie in 5E gezeigt, ein viereckiges Prisma, das mit der Ebene 312 und der Ebene 313 an seiner Oberseite und seiner Basis gebildet wird, als Aktionsraum definiert. Jedoch kann der Aktionsraum auch als Raum in Form eines polygonalen Prismas, das kein viereckiges Prisma ist, definiert werden.
5C zeigt ein Beispiel für den Aktionsraum eines Roboters 32 eines Multigelenk-Typs. Eine Ebene 321 wird aus Gelenken C1, C2 und C3 erzeugt, eine Ebene 322 wird aus Gelenken C2, C3 und C4 erzeugt, und eine Ebene 323 wird aus Gelenken C3, C4 und C5 erzeugt. Ähnlich wie im Fall von 5B werden eine Ebene 324 und eine Ebene 325 durch Bewegen der Ebene 322 in einer Richtung senkrecht zur Ebene 322 erzeugt, und es wird ein viereckiges Prisma mit der Ebene 324 und der Ebene 325 an seiner Oberseite und seiner Unterseite erzeugt. Ebenso wird ein viereckiges Prisma auch aus sowohl der Ebene 321 als auch der Ebene 323 erzeugt, und eine Kombination dieser viereckigen Prismen wird als Aktionsraum definiert (Schritt S5 in 2). Jedoch ist es auch möglich, den Aktionsraum als Kombination aus Räumen in Formen polygonaler Prismen außer viereckigen Prismen zu definieren.
Dabei sind die Formen und die Ausbildungsprozeduren der in 5A bis 5E gezeigten Aktionsräumen nur Beispiele, und es ist eine Variation von Modifikationen möglich.
(Abstandsberechnungseinheit 14)
Die Abstandsberechnungseinheit 14 berechnet beispielsweise den zweiten Abstand 46 zwischen dem zweiten Aktionsraum 44 und einer Hand des Arbeiters 31 und den ersten Abstand 45 zwischen dem ersten Aktionsraum 43 und einem Arm des Roboters 32 auf Basis des virtuellen ersten und zweiten Aktionsraums 43 und 44 des Arbeiters 31 und des Roboters 32 (D4 in 1), die von der Aktionsraumerzeugungseinheit 13 erzeugt werden (Schritt S6 in 2). Genauer werden in einem Fall des Berechnens des Abstands von einem vorderen Endteil des Arms des Roboters 32 zum Arbeiter 31 der Abstand von jeder der Ebenen 305 bis 308, die den Pyramidenteil des ersten Aktionsraums 43 in 5A bilden, zum vorderen Ende des Arms des Roboters 32 in der senkrechten Richtung und der Abstand von jeder der Ebenen, die viereckigen Prismateil (den Kopf) des ersten Aktionsraums 43 in 5A bilden, zum vorderen Ende des Arms in der senkrechten Richtung berechnet. Ebenso wird in einem Fall, in dem der Abstand von der Hand des Arbeiters 31 zum Roboter 32 berechnet wird, der Abstand von den einzelnen Ebenen, die das viereckige Prisma des zweiten Aktionsraums 44 bilden, zur Hand in senkrechter Richtung berechnet.
Durch Simulieren der Form des Arbeiters 31 oder des Roboters 32 mit einer Kombination aus einfachen Ebenen und dadurch Erzeugen des virtuellen ersten und zweiten Aktionsraums 43 und 44 wie oben beschrieben kann der Abstand zu einem Überwachungsziel mit einer kleinen Anzahl von Berechnungen berechnet werden, ohne die Sensoreinheit 20 mit einer speziellen Funktion auszustatten.
(Kontaktvoraussagebeurteilungseinheit 15)
Die Kontaktvoraussagebeurteilungseinheit 15 beurteilt die Möglichkeit eines Konflikts zwischen dem ersten und dem zweiten Aktionsraum 43 und 44 und dem Arbeiter 31 oder dem Roboter 32 unter Verwendung des Abstandsschwellenwerts L (Schritt S7 in 2). Der Abstandsschwellenwert L wird auf Basis des Lernergebnisses D2 bestimmt, welches das Ergebnis der Beurteilung durch die Lerneinheit 11 ist. Somit variiert der Schwellenwert L abhängig vom Zustand (z.B. dem Befähigungsniveau, dem Ermüdungsniveau usw.) oder dem Arbeitsstatus (z.B. dem Kooperationsniveau) des Arbeiters 31.
Wenn das Befähigungsniveau des Arbeiters 31 hoch ist, wird davon ausgegangen, dass der Arbeiter 31 an Zusammenarbeit mit dem Roboter 32 gewöhnt ist und bereits das jeweilige Arbeitstempo begriffen hat, und somit ist die Möglichkeit eines Kontakts mit dem Roboter 32 niedrig, auch wenn der Abstandsschwellenwert L auf einen kleinen Wert eingestellt ist. Im Gegensatz dazu hat dann, wenn das Befähigungsniveau niedrig ist, der Arbeiter 31 keine Erfahrung mit einer Zusammenarbeit mit dem Roboter 32, und eine nicht angepasste Bewegung oder dergleichen des Arbeiters 31 erhöht die Möglichkeit eines Kontakts mit dem Roboter 32 im Vergleich mit Fällen von Experten. Somit ist es notwendig, den Abstandsschwellenwert L auf einen großen Wert einzustellen, um den gegenseitigen Kontakt zu verhindern.
Auch wenn es sich um denselben Arbeiter 31 handelt, sinkt die Konzentrationsleistung des Arbeiters 31, wenn der physische Zustand schlecht ist oder das Ermüdungsniveau niedrig ist, und somit wird die Möglichkeit eines Kontakts auch dann hoch, wenn der Abstand zum Roboter 32 der gleiche ist wie üblich. Daher ist es notwendig, den Abstandsschwellenwert L zu erhöhen und früher als üblich zu melden, dass eine Möglichkeit eines Kontakts mit dem Roboter 32 besteht.
(Informationsbereitstellungseinheit 16)
Die Informationsbereitstellungseinheit 16 stellt dem Arbeiter 31 unter Verwendung verschiedener Modi wie etwa einer Anzeige einer Zahl anhand von Licht, einer Anzeige von Buchstaben anhand von Licht, durch Ton und Vibration, das heißt multimodal, Informationen als Kombination mehrerer einzelner Informationen unter Nutzung von Sinnen wie etwa der fünf Sinne des Menschen, bereit. Wenn zum Beispiel die Kontaktvoraussagebeurteilungseinheit 15 voraussagt, dass der Arbeiter 31 und der Roboter 32 miteinander in Kontakt kommen werden, wird auf dem Werktisch eine Projektionsabbildung zur Warnung durchgeführt. Um die Warnung so auszudrücken, dass sie leichter zu bemerken und leichter zu verstehen ist, wird ein großer Pfeil 48 in einer Richtung, die dem Aktionsraum 44 entgegengesetzt ist, als Animation angezeigt, wie in 6A und 6B gezeigt ist, um den Arbeiter 31 dazu zu bringen, seine Hand schnell und intuitiv in Richtung des Pfeiles 48 zu bewegen. Wenn die Arbeitsgeschwindigkeit des Arbeiters 31 niedriger ist als die Arbeitsgeschwindigkeit des Roboters 32 oder unter der Zielgeschwindigkeit in der Fertigungsanlage liegt, zeigt die Informationsbereitstellungseinheit 16 die Situation effektiv unter Verwendung eines Wortes 49 in einer Form an, welche die Arbeit nicht stört, und fordert dadurch den Arbeiter 31 auf, seine Arbeit zu beschleunigen.
(Maschinensteuereinheit 17)
Wenn die Kontaktvoraussagebeurteilungseinheit 15 urteilt, dass die Möglichkeit eines Kontakts besteht, gibt die Maschinensteuereinheit 17 einen Aktionsbefehl für eine Verlangsamung, Unterbrechung, Zurückziehung oder dergleichen an den Roboter 32 aus (Schritt S8 in 2). Die Zurückziehungsaktion ist eine Aktion, durch die der Arm des Roboters 32 in einer Richtung entgegengesetzt zum Arbeiter 31 bewegt wird, wenn der Arbeiter 31 und der Roboter 32 wahrscheinlich miteinander in Kontakt kommen werden. Der Arbeiter 31 sieht die Aktion des Roboters 32, und dadurch kann der Arbeiter 31 leichter erkennen, dass die Aktion des Arbeiters selbst nicht richtig ist.
(Hardware-Konfiguration)
7 ist ein Schema, das eine Hardware-Konfiguration der Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes gemäß der ersten Ausführungsform zeigt. Die Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes wird beispielsweise als am Rand stehender Computer in einer Fertigungsanlage implementiert. Alternativ dazu wird die Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes als Computer implementiert, der in eine Fertigungsanlage eingebettet ist, die sich nahe am Arbeitsfeld befindet.
Die Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes schließt eine CPU (zentrale Verarbeitungseinheit) 401 als Prozessor als Informationsverarbeitungseinrichtung, eine Hauptspeichereinheit (z.B. einen Speicher) 402 als Informationsspeichereinrichtung, eine GPU (Grafikverarbeitungseinheit) 403 als Bildverarbeitungsvorrichtung, einen Grafikspeicher 404 als Informationsverarbeitungseinrichtung, eine I/O(Eingabe/Ausgabe)-Schnittstelle 405, ein Festplattenlaufwerk 406 als externe Speichervorrichtung, eine LAN(Local Area Network)-Schnittstelle 407 als Netzkommunikationseinrichtung und einen Systembus 408 ein.
Ferner schließt eine externe Vorrichtung/Steuerung 200 eine Sensoreinheit, eine Robotersteuerung, eine Projektoranzeige, eine HMD (Head-Mounted Display), einen Lautsprecher, ein Mikrofon, eine taktile Vorrichtung, eine am Körper tragbare Vorrichtung und so weiter ein.
Die CPU 401 führt als Einheit zum Ausführen von Programmen, wie etwa einem maschinellen Lernprogramm, das in der Hauptspeichereinheit 402 gespeichert ist, eine Reihe von Prozessen aus, die in 2 gezeigt sind. Die GPU 403 erzeugt ein zweidimensionales oder dreidimensionales grafisches Bild, das dem Arbeiter 31 von der Informationsbereitstellungseinheit 16 angezeigt werden soll. Das erzeugte Bild wird im Grafikspeicher 404 gespeichert und über die I/O-Schnittstelle 405 an Vorrichtungen in der externen Vorrichtung/Steuerung 200 ausgegeben. Die GPU 403 kann auch zur Beschleunigung der Verarbeitung beim maschinellen Lernen genutzt werden. Die IO-Schnittstelle 405 ist mit dem Festplattenlaufwerk 406, das die Lerndaten speichert, und mit der externen Vorrichtung/Steuerung 200 verbunden und führt eine Datenumwandlung zum Steuern verschiedener Sensoreinheiten, der Robotersteuerung, des Projektors, der Anzeige, der HMD, des Lautsprechers, des Mikrofons, der taktilen Vorrichtung und der am Körper tragbaren Vorrichtung oder für eine Kommunikation mit diesen durch. Die LAN-Schnittstelle 407 ist mit dem Systembus 408 verbunden, kommuniziert mit einer ERP (Enterprise Resources Planning)-, einer MES (Manufacturing Execution System)- oder einer Feldvorrichtung in der Anlage und wird verwendet, um Arbeiterinformationen, Steuervorrichtungen und so weiter zu ermitteln.
Die in 1 gezeigte Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes kann unter Verwendung der Hauptspeichereinheit 402 oder des Festplattenlaufwerks 406, in der bzw. in dem das Programm zur Überwachung eines dreidimensionalen Raumes als Software gespeichert ist, und der CPU 401, die das Programm zur Überwachung eines dreidimensionalen Raumes ausführt (z.B. eines Computers), implementiert werden. Das Programm zur Überwachung eines dreidimensionalen Raumes kann in Form eines Programms, das in einem Informationsaufzeichnungsmedium gespeichert ist, und auch durch Herunterladen über das Internet bereitgestellt werden. In diesem Fall werden die Lerneinheit 11, die Aktionsraumerzeugungseinheit 13, die Abstandsberechnungseinheit 14, die Kontaktvoraussagebeurteilungseinheit 15, die Informationsbereitstellungseinheit 16 und die Maschinensteuereinheit 17 in 1 von der CPU 401 implementiert, die das Programm zur Überwachung eines dreidimensionalen Raumes ausführt. Es ist auch möglich, einen Teil der Lerneinheit 11, der Aktionsraumerzeugungseinheit 13, der Abstandsberechnungseinheit 14, der Kontaktvoraussagebeurteilungseinheit 15, der Informationsbereitstellungseinheit 16 und der Maschinensteuereinheit 17, die in 1 gezeigt sind, durch die CPU 401 zu implementieren, die das Programm zur Überwachung eines dreidimensionalen Raumes ausführt. Es ist auch möglich, die Lerneinheit 11, die Aktionsraumerzeugungseinheit 13, die Abstandsberechnungseinheit 14, die Kontaktvoraussagebeurteilungseinheit 15, die Informationsbereitstellungseinheit 16 und die Maschinensteuereinheit 17, die in 1 gezeigt sind, durch eine Verarbeitungsschaltung zu implementieren.
(Wirkung)
Wie oben beschrieben, kann gemäß der ersten Ausführungsform die Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel mit hoher Genauigkeit beurteilt werden.
Ferner wird gemäß der ersten Ausführungsform der Abstandsschwellenwert L auf Basis des Lernergebnisses D2 bestimmt, und somit kann die Möglichkeit eines Kontakts zwischen dem Arbeiter 31 und dem Roboter 32 gemäß dem Zustand (z.B. dem Befähigungsniveau, dem Ermüdungsniveau usw.) und dem Arbeitsstatus (z.B. dem Kooperationsniveau) des Arbeiters 31 angemessen vorausgesagt werden. Daher können Situationen, in denen die Unterbrechung, Verlangsamung oder Zurückziehung des Roboters 32 stattfindet, wenn diese unnötig ist, verringert werden, und die Unterbrechung, Verlangsamung oder Zurückziehung des Roboters 32 können bei Bedarf zuverlässig durchgeführt werden. Ferner können Situationen, in denen dem Arbeiter 31 aufmerksamkeitsabziehende Informationen unnötigerweise bereitgestellt werden, verringert werden und die aufmerksamkeitsabziehenden Informationen können dem Arbeiter 31 zuverlässig bei Bedarf bereitgestellt werden.
Ferner wird gemäß der ersten Ausführungsform der Abstand zwischen dem Arbeiter 31 und dem Roboter 32 unter Verwendung der Aktionsräume berechnet, und somit kann die Zahl der Berechnungen verringert werden und die Zeit, die für die Beurteilung der Möglichkeit eines Kontakts notwendig ist, kann verkürzt werden.
Zweite Ausführungsform
8 ist ein Schema, das eine Konfiguration einer Vorrichtung 10a zur Überwachung eines dreidimensionalen Raumes und einer Sensoreinheit 20 gemäß einer zweiten Ausführungsform schematisch zeigt. In 8 wird jeder Komponente, die einer in 1 gezeigten Komponente gleich ist oder entspricht, das gleiche Bezugszeichnen zugewiesen wie in 1. 9 ist ein Blockschema, das ein Beispiel für eine Konfiguration einer Lerneinheit 11a der Vorrichtung 10a zur Überwachung eines dreidimensionalen Raumes gemäß der zweiten Ausführungsform schematisch zeigt. In 9 wird jeder Komponente, die einer in 3 gezeigten Komponente gleich ist oder entspricht, das gleiche Bezugszeichnen zugewiesen wie in 3. Die Vorrichtung 10a zur Überwachung eines dreidimensionalen Raumes gemäß der zweiten Ausführungsform unterscheidet sich von der Vorrichtung 10 zur Überwachung eines dreidimensionalen Raumes gemäß der ersten Ausführungsform darin, dass die Lernergebnis 11a ferner eine Lernvorrichtung 114 einschließt und die Informationsbereitstellungseinheit 16 Informationen auf Basis eines Lernergebnisses D9 aus der Lerneinheit 11a bereitstellt.
Designvorgabelerndaten 54, die in 9 gezeigt sind, sind Lerndaten, die grundlegende Designregeln speichern, die für den Arbeiter 31 leicht zu erkennen sind. Die Designvorgabelerndaten 54 sind beispielsweise Lerndaten D1, die Farbschemata speichern, die für den Arbeiter 31 leicht zu bemerken sind, Kombinationen einer Hintergrundfarbe und einer Vordergrundfarbe, die für den Arbeiter 31 leicht zu unterscheiden sind, die Menge an Buchstaben, die für den Arbeiter 31 leicht zu lesen sind, die Größe der Buchstaben, die für den Arbeiter 31 leicht zu erkennen sind, die Animationsgeschwindigkeit, die für den Arbeiter 31 leicht zu begreifen ist, und so weiter. Zum Beispiel verwendet die Lernvorrichtung 114 „überwachtes Lernen“ und bestimmt dadurch eine Ausdruckseinrichtung oder ein Ausdrucksverfahren, das für den Arbeiter 31 leicht zu erkennen ist, abhängig von der Arbeitsumgebung des Arbeiters 31, von den Designvorgabelerndaten 54 und von den Bildinformationen 52.
Zum Beispiel verwendet die Lernvorrichtung 114 die folgenden Regeln 1 bis 3 als Basisregeln für die Verwendung von Farbe, wenn dem Arbeiter 31 Informationen präsentiert werden:

(Regel 1) Blau bedeutet „Kein Problem“.
(Regel 2) Gelb bedeutet „Achtung“.
(Regel 3) Rot bedeutet „Warnung“.

Demgemäß empfängt die Lernvorrichtung 114 eine Eingabe von Informationsarten, die bereitgestellt werden sollen, und führt ein Lernen durch, wodurch sie eine empfohlene Farbe ableitet, die verwendet werden sollte.
Wenn eine Projektionsabbildung auf einem Werktisch von dunkler Farbe (d.h. einer Farbe, die schwarz nahekommt), wie etwa Grün oder Grau, durchgeführt wird, wird ferner eine auf Weiß basierende helle Farbe für Buchstaben verwendet, um den Kontrast zu erhöhen, und somit kann die Lernvorrichtung 114 die Anzeige leicht erkennbar machen. Die Lernvorrichtung 114 ist auch in der Lage, die am meisten bevorzugte Buchstabenfarbe (Vordergrundfarbe) durch Durchführen eines Lernens aus Farbbildinformationen über den Werktisch (Hintergrundfarbe) abzuleiten. Im Gegensatz dazu ist die Lernvorrichtung 114 auch fähig, eine auf Schwarz basierende Buchstabenfarbe abzuleiten, wenn die Farbe des Werktisches eine auf Weiß basierende helle Farbe ist.
Was die Größe der Buchstaben betrifft, die bei der Projektionsabbildung oder dergleichen verwendet werden, so ist es in einem Fall, wo eine Warnung angezeigt wird, notwendig, große Buchstaben zu verwenden, damit die Buchstaben auf einen Blick erkannt werden können. Daher lernt die Lernvorrichtung 114 durch Empfangen einer Eingabe von Arten von Anzeigeinhalten oder der Größe des Werktisches, auf dem die Anzeige durchgeführt wird, wodurch sie die Buchstabengröße ableitet, die für die Warnung geeignet ist. Im Gegensatz dazu leitet die Lernvorrichtung 114 im Falle der Anzeige von Arbeitsanweisungen oder eines Bedienerhandbuchs die optimale Größe von Buchstaben so ab, dass alle Buchstaben in eine Anzeigeregion passen.
Wie oben beschrieben wird gemäß der zweiten Ausführungsform ein Lernen von Farbinformationen, einer Buchstabengröße oder dergleichen für eine Anzeige unter Verwendung der Lerndaten von Designregeln durchgeführt, und daher ist es möglich, ein Informationsausdrucksverfahren auszuwählen, das eine intuitive Erkennung durch den Arbeiter 31 selbst dann möglich macht, wenn sich die Umgebung ändert.
Was andere Aspekte als die obigen betrifft, so ist die zweite Ausführungsform der ersten Ausführungsform gleich.
Bezugszeichenliste

10, 10a: Vorrichtung zur Überwachung eines dreidimensionalen Raumes,
11: Lerneinheit,
12: Speichereinheit,
12a: Lerndaten,
13: Aktionsraumerzeugungseinheit,
14: Abstandsberechnungseinheit,
15: Kontaktvoraussagebeurteilungseinheit,
16: Informationsbereitstellungseinheit,
17: Maschinensteuereinheit,
20: Sensoreinheit,
30: Koexistenzraum,
31: Arbeiter (erstes Überwachungsziel),
31a: Bild des Arbeiters,
32: Roboter (zweites Überwachungsziel),
32a: Bild des Roboters,
41: erste Skelettstrukturinformationen,
42: zweite Skelettstrukturinformationen,
43, 43a: erster Aktionsraum,
44, 44a: zweiter Aktionsraum,
45: erster Abstand,
46: zweiter Abstand,
47: Anzeige,
48: Pfeil,
49: Mitteilung,
111: Lernvorrichtung,
112: Arbeitsaufteilungseinheit,
113: Lernvorrichtung,
114: Lernvorrichtung.

Claims

Vorrichtung zur Überwachung eines dreidimensionalen Raumes, die einen Koexistenzraum, in dem sich ein erstes Überwachungsziel und ein zweites Überwachungsziel befinden, überwacht, umfassend: eine Lerneinheit, die durch maschinelles Lernen von Aktionsmustern des ersten Überwachungsziels und des zweiten Überwachungsziels aus chronologischen ersten, durch Messung erhaltenen Informationen über das erste Überwachungsziel und aus chronologischen zweiten, durch Messung erhaltenen Informationen über das zweite Überwachungsziel, die durch Vermessen des Koexistenzraums mit einer Sensoreinheit ermittelt werden, ein Lernergebnis erzeugt; eine Aktionsraumerzeugungseinheit, die einen virtuellen ersten Aktionsraum, in dem sich das erste Überwachungsziel befinden kann, auf Basis der ersten durch Messung erhaltenen Informationen erzeugt und die einen virtuellen zweiten Aktionsraum, in dem sich das zweite Überwachungsziel befinden kann, auf Basis der zweiten durch Messung erhaltenen Informationen erzeugt; eine Abstandsberechnungseinheit, die einen ersten Abstand vom ersten Überwachungsziel zum zweiten Aktionsraum und einen zweiten Abstand vom zweiten Überwachungsziel zum ersten Aktionsraum berechnet; und eine Kontaktvoraussagebeurteilungseinheit, die einen Abstandsschwellenwert auf Basis des Lernergebnisses der Lerneinheit bestimmt und eine Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel auf Basis des ersten Abstands, des zweiten Abstands und des Abstandsschwellenwerts voraussagt, wobei die Vorrichtung zur Überwachung eines dreidimensionalen Raumes auf Basis der Möglichkeit eines Kontakts einen Prozess ausführt.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 1, wobei die Lerneinheit das Lernergebnis durch maschinelles Lernen der Aktionsmuster aus ersten Skelettstrukturinformationen über das erste Überwachungsziel, die auf Basis der ersten durch Messung erhaltenen Informationen erzeugt worden sind, und aus zweiten Skelettstrukturinformationen über das zweite Überwachungsziel, die auf Basis der zweiten durch Messung erhaltenen Informationen erzeugt worden sind, ausgibt, und die Aktionsraumerzeugungseinheit den ersten Aktionsraum aus den ersten Skelettstrukturinformationen erzeugt und den zweiten Aktionsraum aus den zweiten Skelettstrukturinformationen erzeugt.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 1 oder 2, wobei das erste Überwachungsziel ein Arbeiter ist und das zweite Überwachungsziel ein Roboter ist.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 1 oder 2, wobei das erste Überwachungsziel ein Arbeiter ist und das zweite Überwachungsziel ein anderer Arbeiter ist.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 3 oder 4, wobei das Lernergebnis, das von der Lerneinheit ausgegeben wird, ein Befähigungsniveau des Arbeiters, ein Ermüdungsniveau des Arbeiters und ein Kooperationsniveau des Arbeiters einschließt.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 3, wobei die Lerneinheit eine umso größere Belohnung erhält, je mehr der erste Abstand zunimmt, eine umso größere Belohnung erhält, je mehr der zweite Abstand zunimmt, eine umso geringere Belohnung erhält, je mehr das Maß einer Beschleunigung des Roboters zunimmt, und eine umso geringere Belohnung erhält, je mehr die Leistung des Roboters zunimmt.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 3 oder 4, ferner eine Informationsbereitstellungseinheit umfassend, die dem Arbeiter Informationen bereitstellt, wobei die Informationsbereitstellungseinheit die Bereitstellung der Informationen für den Arbeiter als den Prozess ausführt, der auf der Möglichkeit eines Kontakts basiert.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 7, wobei die Informationsbereitstellungseinheit hinsichtlich einer Anzeige von Informationen, die dem Arbeiter bereitgestellt werden, ein Farbschema, das für den Arbeiter leicht zu bemerken ist, eine Kombination aus einer Hintergrundfarbe und einer Vordergrundfarbe, die für den Arbeiter leicht zu unterscheiden sind, eine Menge an Buchstaben, die für den Arbeiter leicht zu lesen sind, und eine Buchstabengröße, die für den Arbeiter leicht zu erkennen ist, auf Basis des Lernergebnisses bestimmt.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 3, ferner eine Maschinensteuereinheit umfassend, die eine Aktion des Roboters steuert, wobei die Maschinensteuereinheit die Steuerung des Roboters als den Prozess ausführt, der auf der Möglichkeit eines Kontakts basiert.
Vorrichtung zur Überwachung eines dreidimensionalen Raumes nach Anspruch 2, wobei die Aktionsraumerzeugungseinheit den ersten Aktionsraum unter Verwendung einer ersten Ebene erzeugt, die durch dreidimensionale Positionsdaten von Gelenken, die in den ersten Skelettstrukturinformationen enthalten sind, bestimmt werden, und den zweiten Aktionsraum durch Bewegen einer zweiten Ebene, die durch dreidimensionale Positionsdaten von Gelenken, die in den zweiten Skelettstrukturinformationen enthalten sind, bestimmt wird, in einer Richtung, die senkrecht ist zur zweiten Ebene, erzeugt.
Verfahren zur Überwachung eines dreidimensionalen Raumes zur Überwachung eines Koexistenzraums, in dem sich ein erstes Überwachungsziel und ein zweites Überwachungsziel befinden, umfassend: einen Schritt des Erzeugens eines Lernergebnisses durch maschinelles Lernen von Aktionsmustern des ersten Überwachungsziels und des zweiten Überwachungsziels aus chronologischen ersten, durch Messung erhaltenen Informationen über das erste Überwachungsziel und aus chronologischen zweiten, durch Messung erhaltenen Informationen über das zweite Überwachungsziel, die durch Vermessen des Koexistenzraums mit einer Sensoreinheit ermittelt werden; einen Schritt des Erzeugens eines virtuellen ersten Aktionsraums, in dem sich das erste Überwachungsziel befinden kann, auf Basis der ersten durch Messung erhaltenen Informationen und des Erzeugens eines zweiten virtuellen zweiten Aktionsraums, in dem sich das zweite Überwachungsziel befinden kann, auf Basis der zweiten durch Messung erhaltenen Informationen; einen Schritt des Berechnens eines ersten Abstands vom ersten Überwachungsziel zum zweiten Aktionsraum und eines zweiten Abstands vom zweiten Überwachungsziel zum ersten Aktionsraum; einen Schritt des Bestimmens eines Abstandsschwellenwerts auf Basis des Lernergebnisses und des Voraussagens einer Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel auf Basis des ersten Abstands, des zweiten Abstands und des Abstandsschwellenwerts; und einen Schritt des Ausführens einer Aktion auf Basis der Möglichkeit eines Kontakts.
Programm zur Überwachung eines dreidimensionalen Raumes, das einen Computer veranlasst, einen Koexistenzraum, in dem sich ein erstes Überwachungsziel und ein zweites Überwachungsziel befinden, zu überwachen, wobei das Programm zur Überwachung eines dreidimensionalen Raumes den Computer veranlasst, Folgendes auszuführen: einen Prozess des Erzeugens eines Lernergebnisses durch maschinelles Lernen von Aktionsmustern des ersten Überwachungsziels und des zweiten Überwachungsziels aus chronologischen ersten, durch Messung erhaltenen Informationen über das erste Überwachungsziel und aus chronologischen zweiten, durch Messung erhaltenen Informationen über das zweite Überwachungsziel, die durch Vermessen des Koexistenzraums mit einer Sensoreinheit ermittelt werden; einen Prozess des Erzeugens eines virtuellen ersten Aktionsraums, in dem sich das erste Überwachungsziel befinden kann, auf Basis der ersten durch Messung erhaltenen Informationen und des Erzeugens eines zweiten virtuellen zweiten Aktionsraums, in dem sich das zweite Überwachungsziel befinden kann, auf Basis der zweiten durch Messung erhaltenen Informationen; einen Prozess des Berechnens eines ersten Abstands vom ersten Überwachungsziel zum zweiten Aktionsraum und eines zweiten Abstands vom zweiten Überwachungsziel zum ersten Aktionsraum; einen Prozess des Bestimmens eines Abstandsschwellenwerts auf Basis des Lernergebnisses und des Voraussagens einer Möglichkeit eines Kontakts zwischen dem ersten Überwachungsziel und dem zweiten Überwachungsziel auf Basis des ersten Abstands, des zweiten Abstands und des Abstandsschwellenwerts; und einen Prozess des Ausführens einer Aktion auf Basis der Möglichkeit eines Kontakts.