DE112021003230T5

DE112021003230T5 - Skeletterkennungssystem und Arbeitsverwaltungsvorrichtung

Info

Publication number: DE112021003230T5
Application number: DE112021003230.5T
Authority: DE
Inventors: Yasutsugu Toyoda; Yasuhiko Inadomi; Yuki Ishito; Toshihiro Yamada; Hiroshi Yoshikawa
Original assignee: Daicel Corp
Current assignee: Daicel Corp
Priority date: 2020-06-12
Filing date: 2021-02-04
Publication date: 2023-04-13
Also published as: JP7464451B2; US20230109640A1; JP2021196783A; CN115699087A; WO2021250931A1

Abstract

Dieses Skeletterkennungssystem umfasst: eine erste Speichereinheit zum Speichern grundliegender Bewegungsinformation, die sich auf mindestens einen Zyklus einer grundliegenden Bewegung bezieht, bei der es sich um eine wiederholte Bewegung handelt, die von einem Arbeiter durchgeführt wird; eine Skelettinformations-Erfassungseinheit zum Erfassen der Skelettinformation des Arbeiters aus einem bewegten Bild im Arbeitszustand, in dem der Arbeiter bei der Arbeit abgebildet ist; und eine Zielspezifikationseinheit, um als Ziel die Skelettinformation des Arbeiters zu spezifizieren, die eine Bewegung angibt, die die Zielanforderung erfüllt, die ist, dass der Unterschied zwischen der grundliegenden Bewegungsinformation und der Überprüfungsobjektinformation, bei der es sich um Bewegungsinformation während Arbeit handelt, unter den jeweiligen Elementen von Skelettinformation einer Mehrzahl an Arbeitern bei der Arbeit, die durch die Skelettinformations-Erkennungseinheit erkannt wird, innerhalb eines voreingestellten erlaubten Bewegungsbereichs liegt.

Description

Technischer Bereich
Die vorliegende Erfindung betrifft ein Skeletterkennungssystem und eine Arbeitsverwaltungsvorrichtung.
Hintergrund
Ein Verfahren zum Überprüfen von Arbeit, die durch einen Arbeiter durchgeführt wird, durch ein Überprüfungssystem unter Verwendung eines Computers, ist bekannt. In diesem Verfahren, wie zum Beispiel in Patentdokument 1 beschrieben, werden Bilddaten, die erhalten werden, indem ein Arbeiter während Arbeit erfasst wird, durch den Computer analysiert, und Verhalten des Arbeiters, das in den Bilddaten erscheint, wird mit einer Bestimmungsreferenz verglichen, um zu bestimmen, ob der Arbeiter die Arbeit angemessen durchführt.
Zitationsliste
Patentdokument
Patentdokument 1: JP 2011-048547 A
Zusammenfassung der Erfindung
Technische Aufgabe
Allerdings kann in dem in Patentdokument 1 offenbarten Verfahren, wenn eine Mehrzahl an Arbeitern zu der gleichen Zeit in Bilddaten erfasst wird, zum Beispiel, ein Arbeiter, der zu überprüfen ist, fälschlicherweise von dem Computer als ein anderer Arbeiter erkannt werden, abhängig von einer Änderung in dem Verhalten des Arbeiters. Zudem kann eine Last des Überprüfungssystems erhöht werden, abhängig von einer Kapazität und dergleichen von Bilddaten, die in einer Überprüfung verwendet werden.
Daher hat die vorliegende Offenbarung eine Aufgabe, eine Last von Informationsverarbeitung in einem System zum Erkennen eines Skeletts eines Arbeiters zu verringern, wenn Arbeit des Arbeiters durch ein Überprüfungssystem überprüft wird, indem Bilddaten verwendet werden, die erhalten werden, indem der Arbeiter während der Arbeit erfasst wird, und dergleichen.
Lösung der Aufgabe
Um die oben beschriebene Aufgabe zu lösen, enthält ein Skeletterkennungssystem gemäß der vorliegenden Offenbarung: eine erste Speichereinheit, die eingerichtet ist, Referenzhandlungsinformation in Bezug auf mindestens einen Zyklus einer Referenzhandlung zu speichern, die eine wiederholte Handlung ist, die von einem Arbeiter durchgeführt wird; eine Skelettinformations-Erkennungseinheit, die eingerichtet ist, Skelettinformation über den Arbeiter aus einem Arbeitsvideo zu erkennen, das erhalten wird, indem der Arbeiter während Arbeit erfasst wird; und eine Zielidentifikationseinheit, die eingerichtet ist, als ein Ziel, unter Stücken von Skelettinformation über eine Mehrzahl an Arbeitern während Arbeit, die durch die Skelettinformations-Erkennungseinheit erkannt werden, Skelettinformation über einen Arbeiter zu identifizieren, die eine Handlung anzeigt, die einer Zielvoraussetzung genügt, dass ein Unterschied zwischen der Referenzhandlungsinformation und Überprüfungszielinformation, bei der es sich um Handlungsinformation während Arbeit handelt, sich innerhalb eines vorbestimmten erlaubten Handlungsbereichs befindet.
Die oben beschriebene Konfiguration kann ein Ziel aus den Stücken der Skelettinformation über die Arbeiter, die von dem Arbeitsvideo erkannt werden, identifizieren. Mit anderen Worten, ein Ziel kann identifiziert werden, indem die Überprüfungszielinformation über den Arbeiter mit Referenzhandlungsinformation, über den Arbeiter, die in der ersten Speichereinheit gespeichert ist, verglichen wird. Insbesondere stellt das Skeletterkennungssystem gemäß der vorliegenden Offenbarung die wiederholte Handlung des Arbeiters als ein Überprüfungssubjekt ein, und die Handlung des Arbeiters, der zu überprüfen ist, weist Regelmäßigkeit und Periodizität auf. Daher kann die Identifizierung des Ziels genau und schnell durchgeführt werden, indem das Skeletterkennungssystem gemäß der vorliegenden Offenbarung verwendet wird. Zudem kann der zu überprüfende Arbeiter von den Arbeitern identifiziert werden, die in dem Video während Arbeit erfasst sind, indem das Ziel durch die Zielidentifikationseinheit identifiziert wird. Daher kann eine Last des Skeletterkennungssystems verringert werden.
Vorteilhafte Wirkungen der Erfindung
Die vorliegende Offenbarung kann einen Arbeiter angemessen überprüfen und eine Last eines Überprüfungssystems verringern, in einem Fall, in dem eine Handlung des Arbeiters durch das Überprüfungssystem überprüft wird, unter Verwendung von Bilddaten, die erhalten werden, indem ein Arbeiter während Arbeit erfasst wird, selbst wenn eine Mehrzahl an Arbeitern zu der gleichen Zeit in den Bilddaten erfasst sind.
Figurenliste

1 ist ein funktionelles Blockdiagramm eines Skeletterkennungssystems gemäß einer ersten Ausführungsform.
2 ist ein Diagramm, das Skelettinformation auf einer Vorderseite eines Arbeiters darstellt, die durch eine in 1 dargestellte Skelettinformations-Erkennungseinheit erkannt wird.
3 ist ein Diagramm, das die Skelettinformation auf einer lateralen Seite des Arbeiters darstellt, die durch die in 1 dargestellte Skelettinformations-Erkennungseinheit erkannt wird.
4 ist ein Flussdiagramm von Zielidentifikationsverarbeitung des in 1 dargestellten Skeletterkennungssystems.
5 ist ein Diagramm, das schematisch darstellt, wie ein Ziel aus Daten, die in einem Video während Arbeit erfasst werden, in der Zielidentifikationsverarbeitung gemäß der ersten Ausführungsform identifiziert wird.
6 ist ein Diagramm, das Positionsinformation an einer Vorderseite eines Arbeiters darstellt, die in Skelettinformation gemäß einem dritten modifizierten Beispiel enthalten ist.
7 ist ein Diagramm, das Positionsinformation an der lateralen Seite des Arbeiters darstellt, die in der Skelettinformation gemäß dem dritten modifizierten Beispiel enthalten ist.
8 ist ein Flussdiagramm, das einen Gesamtbetrieb eines Skeletterkennungssystems gemäß einem vierten modifizierten Beispiel darstellt.
9 ist ein funktionelles Blockdiagramm einer Arbeitsverwaltungsvorrichtung gemäß einer zweiten Ausführungsform.
10 ist ein Flussdiagramm, das einen Gesamtbetrieb der in 9 dargestellten Arbeitsverwaltungsvorrichtung darstellt.
11 ist ein Unter-Flussdiagramm von Bestanden/Nicht bestanden-Bestimmungsverarbeitung, die in 10 dargestellt ist.

Beschreibung von Ausführungsformen
Ausführungsformen der vorliegenden Erfindung werden unten mit Bezug auf die Zeichnungen beschrieben werden.
Erste Ausführungsform
Skeletterken n u ngssystem
1 ist ein funktionelles Blockdiagramm eines Skeletterkennungssystems 1 gemäß einer ersten Ausführungsform. Das Skeletterkennungssystem 1 ist ein Überprüfungssystem zum Überprüfen einer Handlung eines Arbeiters. Das Skeletterkennungssystem 1 erkennt Skelettinformation, die die Handlung des Arbeiters anzeigt, aus einem Video während Arbeit (im Folgenden auch einfach als ein „Arbeitsvideo“ bezeichnet), das erhalten wird, indem der Arbeiter während Arbeit erfasst wird. Die Skelettinformation, die von dem Skeletterkennungssystem 1 erkannt wird, wird für eine Überprüfung einer wiederholten Handlung verwendet, die durch den Arbeiter während Arbeit durchgeführt wird. Beispiele der wiederholten Handlung, die zu überprüfen ist, enthalten Montagearbeit eines Produkts, ist jedoch nicht darauf beschränkt.
Das Skeletterkennungssystem 1 enthält eine Bilderfassungsvorrichtung 2, die ein Arbeitsvideo erfasst, und eine Erkennungsvorrichtung 3, die Skelettinformation aus dem Arbeitsvideo erkennt. Die Bilderfassungsvorrichtung 2 ist eine Videokamera, die ein Abbildungselement wie ein CCD, zum Beispiel, enthält, und erzeugt ein Arbeitsvideo und gibt Daten des Arbeitsvideos aus. Die Bilderfassungsvorrichtung 2 wird an einer Position platziert, wo ein Arbeiter während Arbeit erfasst werden kann. Als ein Beispiel ist die Bilderfassungsvorrichtung 2 so platziert, um einen bestimmten Bereich eines Arbeitsplatzes, wo ein Arbeiter arbeitet, zu erfassen. Die Bilderfassungsvorrichtung 2 und die Erkennungsvorrichtung 3 sind miteinander in einer kabellosen oder verkabelten Weise verbunden.
Die Erkennungsvorrichtung 3 enthält eine arithmetische Einheit 30, die Daten des Arbeitsvideos, die von der Bilderfassungsvorrichtung 2 ausgegeben werden, empfängt, und eine erste Speichereinheit 31, eine zweite Speichereinheit 32, und eine Ausgabeeinheit 33, die individuell von der arithmetischen Einheit 30 gesteuert werden. Die erste Speichereinheit 31 speichert Referenzhandlungsinformation für mindestens einen Zyklus einer Referenzhandlung, die von dem Arbeitsvideo erhalten wird und die eine wiederholte Handlung ist, die durch einen Arbeiter durchgeführt wird. Die Referenzhandlung ist eine Handlung, bei der es sich um ein Modell der wiederholten Handlung des Arbeiters handelt, und ist für jedes Stück an Arbeit eingestellt. Die Referenzhandlung in der vorliegenden Ausführungsform kann auf Grundlage von Referenzhandlungen von einer Mehrzahl an Arbeitern, die den gleichen Arbeitsinhalt durchführen, eingestellt sein. Als ein Beispiel speichert die erste Speichereinheit 31 gemäß der vorliegenden Ausführungsform Referenzhandlungsinformation über einen Arbeiter, die von einem Referenzvideo erhalten wird, das erhalten wird, indem eine Referenzhandlung des Arbeiters erfasst wird (im Folgenden auch einfach als ein Referenzvideo bezeichnet). Zum Beispiel ist das Referenzvideo ein Video, das erhalten wird, indem ein Arbeiter in einem Zustand erfasst wird, in dem eine Handlung des Arbeiters eindeutig bestätigt werden kann (zum Beispiel ein Zustand, in dem kein Hindernis zwischen dem Arbeiter und der Bilderfassungsvorrichtung 2 vorhanden ist). Das Referenzvideo enthält die Referenzhandlungsinformation, die mindestens einem Zyklus der Referenzhandlung des Arbeiters entspricht. Eine Zeit für den einen Zyklus der Referenzhandlung ist, zum Beispiel, ungefähr einige Sekunden bis einige Minuten, ist aber nicht darauf beschränkt.
Die zweite Speichereinheit 32 speichert Überprüfungszielinformation über mindestens einen Zyklus einer wiederholten Handlung (reale Handlung), die durch einen Arbeiter durchgeführt wird, als eine tatsächliche Handlung. Die wiederholte Handlung (reale Handlung) wird von der Bilderfassungsvorrichtung 2 erfasst. Eine Nachverifikation kann durchgeführt werden, indem die Überprüfungszielinformation über die wiederholte Handlung (reale Handlung) in der zweiten Speichereinheit 32 gespeichert wird. Die in der ersten Speichereinheit 31 und der zweiten Speichereinheit 32 gespeicherte Information kann zu der arithmetischen Einheit 30 zu einem vorbestimmten Zeitpunkt ausgelesen werden, jedoch kann die in der ersten Speichereinheit 31 gespeicherte Information und die Überprüfungszielinformation über die wiederholte Handlung (reale Handlung), die von der Bilderfassungsvorrichtung 2 erfasst wird, zu der arithmetischen Einheit 30 wie zweckmäßig ausgelesen werden. Die Ausgabeeinheit 33 gibt die in der ersten Speichereinheit 31 und der zweiten Speichereinheit 32 gespeicherte Information aus. Die Ausgabeeinheit 33 ist eine Anzeige, zum Beispiel.
Zum Beispiel wird die Erfassungsvorrichtung 3 erhalten durch einen Computer, der einen Prozessor wie eine CPU, ein Speichermedium wie einen ROM, einen RAM, und eine HDD, und eine Anzeige wie ein LCD enthält. Die arithmetische Einheit 30 wird durch den Prozessor erhalten. Die erste Speichereinheit 31 und die zweite Speichereinheit 32 werden durch das oben beschriebene Speichermedium erhalten. Darüber hinaus sind ein Programm für die arithmetische Einheit 30, um jede Verarbeitung gemäß der vorliegenden Ausführungsform auszuführen, und Information über eine Kandidatenvoraussetzung und eine Zielvoraussetzung, die unten beschrieben werden, in dem oben beschriebenen Speichermedium gespeichert. Das oben beschriebene Speichermedium kann eine externe Speichervorrichtung sein, die außerhalb der Erkennungsvorrichtung bereitgestellt ist.
Die arithmetische Einheit 30 enthält eine Skelettinformations-Erkennungseinheit 301, eine Kandidatenwahleinheit 302, und eine Zielidentifikationseinheit 303. Die Skelettinformations-Erkennungseinheit 301 erkennt die Skelettinformation über den Arbeiter aus dem Arbeitsvideo, das von der Bilderfassungsvorrichtung 2 ausgegeben wird. Ein bekanntes Verfahren kann als ein Verfahren zum Erkennen der Skelettinformation eingesetzt werden. Beispiele des Verfahrens zum Erkennen der Skelettinformation enthalten ein Verfahren unter Verwendung einer „Open Pose“-Technik (siehe Zhe Cao, Tomas Simon, Shih-En Wie, Yaser Sheikh, „Realtime Multi-Person 2D Pose Estimation using Part Affinty Fields“, arXiv:1611.08050v2), die durch die Carnegie Mellon University veröffentlicht wurde, und die eine Open-Source-Bibliothek ist, die Positionen einer Mehrzahl an Personen in einem Erfassungsbild nach der Aufnahme oder in Echtzeit erkennen kann. Selbst wenn die Körper einer Mehrzahl an Arbeitern einander in dem Arbeitsvideo überlappen, kann das Verfahren unterscheiden und Skelettinformation über jeden der Arbeiter erkennen.
2 ist ein Diagramm, das Skelettinformation an der Vorderseite eines Arbeiters W darstellt, die durch die Skelettinformations-Erkennungseinheit 301 in 1 erkannt wird. 3 ist ein Diagramm, das die Skelettinformation an der lateralen Seite des Arbeiters W darstellt, die durch die Skelettinformations-Erkennungseinheit 301 in 1 erkannt wird. 2 und 3 stellen schematisch einen Zustand dar, in dem die Skelettinformation über den Arbeiter W auf einer Anzeigeoberfläche 331 der Ausgabeeinheit 33 angezeigt wird. Ferner, zusätzlich zu 2 und 3, stellen die unten beschriebenen 4, 5, und 8 schematisch die Skelettinformation über den Arbeiter W dar, und stellen auch eine vorbestimmte Position der Skelettinformation durch einen schwarzen Kreis dar.
Wie in 2 und 3 als ein Beispiel gezeigt, ist die Skelettinformation Information über mindestens irgendeine aus Positionen einer Mehrzahl an Abschnitten P des Arbeiters W, einer Länge einer Linie L, die zwei oder mehr Abschnitte (zum Beispiel, ein Gelenkabschnitt und dergleichen) der Mehrzahl an Abschnitten P des Arbeiters W verbindet, oder einer Skelettform, die durch die Mehrzahl an Abschnitten P und der Linie L gebildet wird. Die Information enthält Positionsinformation über zweidimensionale Koordinaten. Die Skelettinformation ändert sich gemäß einer Stellung des Arbeiters W in dem Arbeitsvideo. Die arithmetische Einheit 30 erkennt die Änderung in der Skelettinformation über eine Mehrzahl an aufeinanderfolgenden Frames, die in dem Arbeitsvideo enthalten sind.
Die Kandidatenwahleinheit 302 wählt einen Kandidaten, der eine vorbestimmte Kandidatenvoraussetzung erfüllt, aus einer Mehrzahl an Stücken der Skelettinformation über eine Mehrzahl der Arbeiter W aus, die aus dem Arbeitsvideo erkannt werden. Auf diese Weise grenzt die Kandidatenwahleinheit 302 die Anzahl der zu überprüfenden Arbeiter W ein. Die Kandidatenvoraussetzung ist voreingestellt als Voraussetzungen für die Kandidatenwahleinheit 302, um Zielskelettinformation aus der Mehrzahl an Stücken der Skelettinformation in dem Arbeitsvideo einzugrenzen. Auf diese Weise verwendet die Kandidatenwahleinheit 302 die Kandidatenvoraussetzung, um die Skelettinformation, die in dem Arbeitsvideo erfasst wird, einzugrenzen, wodurch eine Last auf das Skeletterkennungssystem 1 verringert wird.
Hier enthält, als ein Beispiel, die Kandidatenvoraussetzung gemäß der vorliegenden Ausführungsform eine Bedingung, dass die Skelettinformation sich in einem vorbestimmten Bereich in einem Erfassungsbereich befindet, der durch das Arbeitsvideo angezeigt wird. Beispiele des vorbestimmten Bereichs enthalten einen Mittenbereich in dem Arbeitsvideo, einen Bereich von mindestens einer Seite der linken und rechten Seiten, oder einen Arbeitsbereich des Arbeiters W (ein Bereich, der einen Arbeitstisch und seine Umgebung enthält, zum Beispiel), ist jedoch nicht darauf beschränkt. Gemäß einer solchen Kandidatenvoraussetzung, indem der vorbestimmte Bereich wie oben beschrieben eingestellt wird, kann die Kandidatenwahleinheit 302 aus der Mehrzahl an Stücken der Skelettinformation in dem Arbeitsvideo einen Kandidaten wählen, der eine hohe Wahrscheinlichkeit aufweist, ein Ziel zu sein, und kann weiterhin eine Last auf das Skeletterkennungssystem 1 verringern.
Die Zielidentifikationseinheit 303 identifiziert, als das Ziel, die Skelettinformation über den Arbeiter W, die die Handlung anzeigt, die die Zielvoraussetzung erfüllt. Die oben beschriebene Zielvoraussetzung ist eine Voraussetzung, dass ein Unterschied zwischen der Referenzhandlungsinformation und der Überprüfungszielinformation innerhalb eines voreingestellten erlaubten Handlungsbereichs liegt, unter Stücken der Skelettinformation über die Mehrzahl an Arbeitern W während der Arbeit, die von der Skelettinformations-Erkennungseinheit 301 erkannt wird. Wenn der Unterschied zwischen der Überprüfungszielinformation und der Referenzhandlungsinformation über den Kandidaten (Arbeiter W), die durch die Kandidatenwahleinheit 302 erkannt wird, die oben beschriebene Zielvoraussetzung erfüllt, identifiziert die Zielidentifikationseinheit 303 den Kandidaten als das Ziel. Es ist anzumerken, dass, in der vorliegenden Ausführungsform, wenn die Zielidentifikationseinheit 303 bestimmt, dass kein Ziel vorhanden ist, die Kandidatenwahleinheit 302 einen anderen Kandidaten wählt, der die Kandidatenvoraussetzung erfüllt. Die Kandidatenwahleinheit 302 und die Zielidentifikationseinheit 303 wiederholen die gleiche Verarbeitung, bis das Ziel bestimmt ist.
Der oben beschriebene erlaubte Handlungsbereich (Handlungsbereich, der die Zielvoraussetzung erfüllt), kann wie zweckmäßig eingestellt sein. Beispiele des erlaubten Handlungsbereichs enthalten einen Bereich, in dem ein Positionsabweichungsbetrag einer vorbestimmten Position (zum Beispiel einer Position einer der Hände) in der Skelettinformation zwischen der Referenzhandlungsinformation und der Überprüfungszielinformation während dem einen Zyklus der wiederholten Handlung geringer ist als ein vorbestimmter Abstand, und einen Bereich, in dem ein Positionsabweichungsbetrag einer Bahn, die durch die vorbestimmte Position während einem Zyklus der wiederholten Handlung gezeichnet wird, geringer als ein vorbestimmter Abstand ist. Alternativ enthalten die Beispiele des erlaubten Handlungsbereichs einen Bereich, in dem eine Abweichungszeit der Handlung für mindestens einen Teil eines Zyklus der wiederholten Handlung der Skelettinformation geringer ist als eine vorbestimmte Zeit. Es ist anzumerken, dass ein Fall, in dem die für die Handlung benötigte Zeit in Bezug auf die vorbestimmte Zeit zu kurz ist, auch von dem erlaubten Handlungsbereich ausgeschlossen sein kann. Daher wird die vorbestimmte Zeit entsprechend einem Arbeitsinhalt eingestellt.
Die Zielidentifikationseinheit 303 gemäß der vorliegenden Ausführungsform berechnet den Unterschied zwischen der Referenzhandlungsinformation und der Überprüfungszielinformation in einem Zustand, in dem die Referenzhandlungsinformation und die Überprüfungszielinformation synchronisiert sind. Insbesondere gleicht die Zielidentifikationseinheit 303 Startzeiten der wiederholten Handlung, die in der Referenzhandlungsinformation und der Überprüfungshandlungsinformation angezeigt sind, ab, indem ein Zeitpunkt, zu dem die Skelettinformation über eine vorbestimmte Position eines Körpers eines Arbeiters, die in der Überprüfungszielinformation enthalten ist, mit der Skelettinformation über eine vorbestimmte Position eines Körpers eines Arbeiters, die in der Referenzhandlungsinformation enthalten ist, innerhalb eines bestimmten Bereichs (zum Beispiel eines Bereichs, in dem eine Positionsabweichung innerhalb einiger Zentimeter liegt) übereinstimmt, als eine Referenzzeit eingestellt wird. Dann berechnet die Zielidentifikationseinheit 303 den Unterschied zwischen der Referenzhandlungsinformation und der Überprüfungszielinformation während mindestens einem Zyklus der wiederholten Handlung nach der Referenzzeit. Der Unterschied kann, zum Beispiel, ein maximaler Positionsabweichungsbetrag der Skelettinformation über die vorbestimmte Position des Körpers des Arbeiters, die in der Referenzhandlungsinformation und der Überprüfungszielinformation enthalten ist, wenn die Startzeiten der Handlung abgeglichen sind, ein maximaler Positionsabweichungsbetrag einer Bahn, die von der Skelettinformation über die vorbestimmte Position des Körpers des Arbeiters, die in der Referenzhandlungsinformation und der Überprüfungszielinformation enthalten ist, wenn die Startzeiten der Handlung abgeglichen sind, gezeichnet wird, oder ein Abweichungsbetrag einer Zeitdauer der Handlung zwischen der Referenzhandlungsinformation und der Überprüfungszielinformation sein.
Betrieb des Skeletterkennungssystems
Zu einer Betriebszeit des Skeletterkennungssystems 1 führt zuerst die arithmetische Einheit 30 Zielidentifikationsverarbeitung des Identifizierens eines Ziels aus der Mehrzahl an Stücken der Skelettinformation über die Mehrzahl an Arbeitern W in dem Arbeitsvideo durch. In der Zielidentifikationsverarbeitung gemäß der vorliegenden Ausführungsform erkennt zuerst die Skelettinformations-Erkennungseinheit 301 die Skelettinformation über den Arbeiter W aus dem Arbeitsvideo. Dann wählt die Kandidatenwahleinheit 302 einen Kandidaten von Stücken der erkannten Skelettinformation, um die Anzahl der zu überprüfenden Arbeiter W einzugrenzen. Nachfolgend identifiziert die Zielidentifikationseinheit 303 ein Überprüfungsziel aus den gewählten Kandidaten. Auf diese Weise wird die Zielidentifikationsverarbeitung durchgeführt. Die arithmetische Einheit 30 führt den Fluss der vorliegenden Verarbeitung wiederholt durch, es sei denn, ein Überprüfer weist an, eine Überprüfung zu beenden.
Auf eine solche Weise kann das Skeletterkennungssystem 1 gemäß der vorliegenden Offenbarung ein Ziel aus den Stücken der Skelettinformation über den Arbeiter W identifizieren, der von dem Arbeitsvideo erkannt wird. Mit anderen Worten, ein Ziel kann identifiziert werden, indem die Überprüfungszielinformation über den Arbeiter W mit der Referenzhandlungsinformation über den Arbeiter W, die in der ersten Speichereinheit 31 gespeichert ist, verglichen wird. Insbesondere stellt das Skeletterkennungssystem 1 die wiederholte Handlung des zu überprüfenden Arbeiters W ein, und die Handlung des zu überprüfenden Arbeiters W weist Regelmäßigkeit und Periodizität auf. Daher kann Identifikation des Ziels genau und schnell durchgeführt werden, indem das Skeletterkennungssystem 1 verwendet wird. Zudem kann der zu überprüfende Arbeiter W aus den Arbeitern W, die in dem Arbeitsvideo erfasst werden, identifiziert werden, indem das Ziel durch die Zielidentifikationseinheit 303 identifiziert wird. Daher kann eine Last auf das Skeletterkennungssystem 1 unterdrückt werden.
Ferner speichert die erste Speichereinheit 31 die Referenzhandlungsinformation über den Arbeiter W, die aus dem Referenzvideo erhalten wird. Daher kann die arithmetische Einheit 30 die Referenzhandlungsinformation zu jeder Zeit verwenden, indem auf die erste Speichereinheit 31 Bezug genommen wird. Somit nimmt die arithmetische Einheit 30 Bezug auf die Referenzhandlungsinformation entsprechend dem Zeitpunkt, der von der arithmetischen Einheit 30 benötigt wird, und somit kann eine Überprüfung der wiederholten Handlung des Ziels effizient durchgeführt werden.
Ferner enthält das Skeletterkennungssystem 1 gemäß der vorliegenden Ausführungsform die zweite Speichereinheit 32, die die Überprüfungszielinformation speichert. Daher kann die arithmetische Einheit 30 die Überprüfungszielinformation zu jeder Zeit verwenden, indem auf die zweite Speichereinheit 32 Bezug genommen wird. Somit nimmt, zum Beispiel, selbst nachdem der Arbeiter W die wiederholte Handlung durchgeführt hat, die arithmetische Einheit 30 Bezug auf die Überprüfungszielinformation entsprechend dem Zeitpunkt, der von dem Überprüfer oder der arithmetischen Einheit 30 benötigt wird, und somit kann eine Nachüberprüfung der wiederholten Handlung des Ziels durchgeführt werden.
Ferner identifiziert die Zielidentifikationseinheit 303 gemäß der vorliegenden Ausführungsform, als das Ziel, die Skelettinformation über den Arbeiter W, die die Handlung anzeigt, die die Zielvoraussetzung erfüllt. Auf eine solche Weise kann, indem die Zielvoraussetzung verwendet wird, die Zielidentifikationseinheit 303 die Skelettinformation über den als Ziel zu identifizierenden Arbeiter W stabil identifizieren.
Ferner enthält, als ein Beispiel, die Skelettinformation Daten von mindestens irgendeiner von Positionen der Mehrzahl an Abschnitten P des Arbeiters W, einer Länge der Linie L, die zwei oder mehr Abschnitte der Mehrzahl an Abschnitten P des Arbeiters W verbindet, oder eine Skelettform, die durch die Mehrzahl an Abschnitten P und der Linie L gebildet wird. Auf eine solche Weise ist die Skelettinformation Körperinformation, in der der Körper des Arbeiters W auf ein Ausmaß vereinfacht ist, dass die wiederholte Handlung erkannt werden kann, und weist somit einen geringeren Betrag an Information auf als die von Bilddaten selbst des Arbeiters W, zum Beispiel. Somit kann die arithmetische Einheit 30 eine Überprüfung der wiederholten Handlung des Ziels genau durchführen, auf Grundlage der Skelettinformation, die solche Daten enthält, während eine Arbeitsbelastung verringert wird.
Im Folgenden wird ein spezifischer Inhalt der Zielidentifikationsverarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht. 4 ist ein Flussdiagramm der Zielidentifikationsverarbeitung des Skeletterkennungssystems 1. Der in 4 dargestellte Fluss ist die Zielidentifikationsverarbeitung gemäß der vorliegenden Ausführungsform. In dem vorliegenden Fluss bestimmt zuerst die arithmetische Einheit 30, ob Referenzhandlungsinformation über einen Arbeitsinhalt in der ersten Speichereinheit 31 in dem Skeleterkennungssystem 1 gespeichert ist (Schritt S11). Wenn die arithmetische Einheit 30 in Schritt S11 bestimmt, dass die Referenzhandlungsinformation über den Arbeitsinhalt nicht in der ersten Speichereinheit 31 gespeichert ist (Schritt S11: Nein), erfasst die arithmetische Einheit 30 notwendige Referenzhandlungsinformation und speichert die Referenzhandlungsinformation in der ersten Speichereinheit 31 (Schritt S12), und dann rückt der Schritt zu Schritt S13 vor. Wenn die arithmetische Einheit 30 in Schritt S11 bestimmt, dass die Referenzhandlungsinformation über den Arbeitsinhalt in der ersten Speichereinheit 31 gespeichert ist (Schritt S11: Ja), rückt der Schritt zu Schritt S13 vor.
In Schritt S12 kann die arithmetische Einheit 30 einen Überprüfer darüber informieren, dass die Referenzhandlungsinformation über den Arbeitsinhalt unzureichend ist, zum Beispiel über die Ausgabeeinheit 33, und kann den Überprüfer auffordern, Daten eines Referenzvideos zu der Erkennungsvorrichtung 3 einzugeben, die die notwendige Referenzhandlungsinformation enthält. Wenn die arithmetische Einheit 30 erkennt, dass der Überprüfer die Daten des Referenzvideos zu der Erkennungsvorrichtung 3 eingibt, kann die Skelettinformations-Erkennungseinheit 301 Skelettinformation als die Referenzhandlungsinformation über den Arbeiter W aus den Daten des Referenzvideos erkennen.
Als nächstes erkennt die Skelettinformations-Erkennungseinheit 301 die Skelettinformation über den Arbeiter W aus dem Arbeitsvideo, in dem der Arbeiter W während der Arbeit erfasst wird (Schritt S13). Dann zählt die arithmetische Einheit 30 die Anzahl der Arbeiter W, die in dem Arbeitsvideo erfasst sind, auf Grundlage der von der Skelettinformations-Erkennungseinheit 301 erkannten Skelettinformation (Schritt S14).
Dann wählt die Kandidatenwahleinheit 302 einen Kandidaten, der eine Kandidatenvoraussetzung erfüllt, aus Stücken der Skelettinformation über die Arbeiter W, die aus dem Arbeitsvideo erkannt werden, aus (Schritt S15). Auf diese Weise werden die Stücke der Skelettinformation als ein Überprüfungssubjekt weiter eingegrenzt. Als ein Beispiel enthält die Kandidatenvoraussetzung in dem vorliegenden Fluss eine Bedingung, dass die Skelettinformation in einem vorbestimmten Bereich in einem Erfassungsbereich, der durch das Arbeitsvideo angezeigt wird, positioniert ist. Der vorbestimmte Bereich kann wie zweckmäßig eingestellt sein, jedoch kann er, zum Beispiel, auf einen Arbeitsbereich, in dem der Arbeiter W arbeitet (als ein Beispiel ein Bereich, der einen Arbeitstisch und seine Umgebung enthält), eingestellt sein. Alternativ kann der vorbestimmte Bereich in einem Mittenbereich des Arbeitsvideos eingestellt sein, zum Beispiel. Auf diese Weise wird die Skelettinformation über den Arbeiter W, der in dem vorbestimmten Bereich positioniert ist, von den Arbeitern W, die in dem Arbeitsvideo erfasst sind, als der Kandidat gewählt.
Als nächstes bestimmt die Zielidentifikationseinheit 303, ob der in Schritt S15 gewählte Kandidat eine Kandidatenvoraussetzung erfüllt (Schritt S16). Wenn die Zielidentifikationseinheit 303 in Schritt S16 bestimmt, dass der Kandidat die Zielvoraussetzung nicht erfüllt (Schritt S16: Nein), kehrt der Schritt zu Schritt S13 zurück. Wenn die Zielidentifikationseinheit 303 in Schritt S16 bestimmt, dass der Kandidat die Zielvoraussetzung erfüllt (Schritt S16: Ja), fährt der Schritt zu Schritt S17 fort.
In Schritt S17, wenn in Schritt S16 bestimmt wird, dass ein Kandidat die Zielvoraussetzung erfüllt, identifiziert die Zielidentifikationseinheit 303 diesen Kandidaten als das Ziel. In Schritt S17, wenn in Schritt S16 bestimmt wird, dass eine Mehrzahl an Kandidaten die Zielvoraussetzung erfüllen, identifiziert die Zielidentifikationseinheit 303 einen Kandidaten mit der kleinsten Abweichung in dem erlaubten Handlungsbereich der Zielvoraussetzung unter der Mehrzahl an Kandidaten als das Ziel. Als ein Beispiel speichert die arithmetische Einheit 30 ein Identifikationsergebnis des Ziels in der ersten Speichereinheit 31. Nachdem Schritt S17 durchgeführt wird, beendet die arithmetische Einheit 30 den gegenwärtigen Fluss.
Hier sind 5(a) bis 5(d) Diagramme, die schematisch einen Zustand darstellen, bis ein Ziel aus einem Arbeitsvideo in der Zielidentifikationsverarbeitung gemäß der ersten Ausführungsform identifiziert wird. In dem in 5 dargestellten Beispiel werden in Schritt S13 Stücke von Skelettinformation über vier Arbeiter W1 bis W4 aus einem Arbeitsbildschirm durch die Skelettinformations-Erkennungseinheit 301 erkannt (5(a)). Ferner werden in Schritt S15 die Stücke der Skelettinformation über die drei Arbeiter W1 bis W3, die in einem vorbestimmten Bereich S des Arbeitsvideos positioniert sind, als ein Kandidat durch die Kandidatenwahleinheit 302 gewählt (5(b)). Auf diese Weise wird die Skelettinformation, die außerhalb des vorbestimmten Bereichs S (hier, die Skelettinformation über den Arbeiter W4) unter den Stücken der Skelettinformation, die in einem Erfassungsbereich des Arbeitsvideos erfasst sind, nicht als Ziel für den Kandidaten gesetzt, und wird von dem Kandidaten ausgeschlossen.
Ferner bestimmt die Zielidentifikationseinheit 303 in Schritt S17, ob die Stücke der Skelettinformation über die Arbeiter W1 bis W3, die den Kandidaten darstellen, eine Zielvoraussetzung erfüllen, dass ein Unterschied, der für jeden Arbeitsinhalt eingestellt ist, zwischen Referenzhandlungsinformation und Überprüfungszielinformation, bei der es sich um Handlungsinformation während Arbeit handelt, innerhalb eines vorbestimmten erlaubten Handlungsbereichs liegt. Als ein Beispiel wird die Überprüfungszielinformation über jeden der Arbeiter mit Referenzhandlungsinformation in einer Reihenfolge von W3, W2, und W1 verglichen, und ein Arbeiter (zum Beispiel W1), der die Zielvoraussetzung erfüllt, wird als das Ziel identifiziert. Ferner sind die Stücke der Skelettinformation über die Arbeiter W2 und W3, die bestimmt wurden, die Zielvoraussetzung nicht zu erfüllen, kein Subjekt des Ziels, und werden von dem Ziel ausgeschlossen (5(c) und 5(d)).
Gemäß der vorliegenden Ausführungsform wird die gesamte Referenzhandlungsinformation, die für eine Handlungsüberprüfung des Arbeiters W benötigt wird, in der ersten Speichereinheit 31 gespeichert. Somit wird, in dem vorliegenden Fluss, als Ziel einzustellende Information aus der gesamten Referenzhandlungsinformation, die in der ersten Speichereinheit 31 gespeichert ist, extrahiert, und die Skelettinformation, die aus dem Arbeitsvideo erkannt wird, wird mit der Referenzhandlungsinformation verglichen, um ein Ziel zu identifizieren. Ferner wird ein Kandidat durch die Kandidatenwahleinheit 302 gewählt, auf Grundlage der Kandidatenvoraussetzung, die die Bedingung enthält, in dem vorbestimmten Bereich S in dem Erfassungsbereich, der durch das Arbeitsvideo angezeigt wird, positioniert zu sein. Daher kann eine Last des Skeletterkennungssystems 1 zum Wählen eines Kandidaten verringert werden. Somit kann ein Ziel schnell identifiziert werden.
Im Folgenden wird ein modifiziertes Beispiel gemäß der vorliegenden Ausführungsform beschrieben werden. Eine Kandidatenvoraussetzung gemäß einem ersten modifizierten Beispiel enthält, als ein Beispiel, eine Voraussetzung, dass ein Unterschied zwischen Referenzhandlungsinformation und Überprüfungszielinformation auf Skelettinformation, die aus einem Arbeitsvideo erkannt wird, innerhalb eines voreingestellten erlaubten Handlungsbereichs liegt. Auf eine solche Weise wird, in dem vorliegenden modifizierten Beispiel, ein Kandidat durch die Kandidatenwahleinheit 302 gewählt, auf Grundlage einer wiederholten Handlung der Skelettinformation in dem Arbeitsvideo. Auf diese Weise wird, gemäß dem vorliegenden modifizierten Beispiel, die Skelettinformation, in der eine relativ zweckmäßige wiederholte Handlung durchgeführt wird, als der Kandidat gewählt, bevor die Zielidentifikationseinheit 303 ein Ziel identifiziert. Somit kann ein zweckmäßiger Kandidat durch die Kandidatenwahleinheit 302 genau gewählt werden, und eine Last, wenn die Zielidentifikationseinheit 303 ein Ziel identifiziert, kann auch verringert werden.
Ferner kann der zu überprüfende Arbeiter W an einer Position arbeiten, die am nächsten zu der Bilderfassungsvorrichtung 2 unter der Mehrzahl an Arbeitern W liegt, zum Beispiel. In diesem Fall wird der zu überprüfende Arbeiter W in der größten Größe in dem Arbeitsvideo unter der Mehrzahl an Arbeitern W erfasst. Daher enthält eine Kandidatenvoraussetzung gemäß einem zweiten modifizierten Beispiel, als ein Beispiel, eine Bedingung, dass eine Größe eines Skeletts, das durch eine aus einem Arbeitsvideo erkannte Skeletinformation angezeigt wird, am größten ist unter Stücken der Skelettinformation über die Mehrzahl an Arbeitern W, die aus dem Arbeitsvideo erkannt werden. Die Größe des durch die Skelettinformation angezeigten Skeletts wird hierbei dargestellt durch, zum Beispiel, entweder eine Fläche eines Polygons, das Positionen von drei oder mehr Punkten des Körpers des Arbeiters W als Eckpunkte aufweist (zum Beispiel, eine Fläche eines Dreiecks, das Positionen P1 bis P3, dargestellt in 6 unten, als Eckpunkte aufweist), die aus dem Arbeitsvideo erkannt werden, oder eine Gesamtskelettlänge (zum Beispiel, die in 2 und 3 dargestellte Linie L) des Arbeiters W, der aus dem Arbeitsvideo erkannt wird. Das oben beschriebene Polygon kann eine Form aufweisen, die vier oder mehr Eckpunkte aufweist. Ferner können eine Fläche eines Polygons und eine Gesamtskelettlänge kombiniert werden. Der Arbeiter W, der in dem größten Zustand in dem Arbeitsvideo erfasst wird, wird als ein Kandidat auf Grundlage einer solchen Kandidatenvoraussetzung gewählt.
6 ist ein Diagramm, das Positionsinformation auf der Vorderseite des Arbeiters W darstellt, die in Skelettinformation gemäß einem dritten modifizierten Beispiel enthalten ist. 7 ist ein Diagramm, das die Positionsinformation auf der lateralen Seite des Arbeiters W darstellt, die in der Skelettinformation gemäß dem dritten modifizierten Beispiel enthalten ist. 6 und 7 stellen schematisch die Skelettinformation dar, die auf der Anzeigeoberfläche 331 der Ausgabeeinheit 33 angezeigt wird.
Wie in 6 und 7 dargestellt, identifiziert die Zielidentifizierungseinheit 303 gemäß dem dritten modifizierten Beispiel ein Ziel auf Grundlage einer Handlung, die von der Skelettinformation angezeigt wird, die durch eine Änderung in jeder einer ersten Position P1 und einer zweiten Position P2 (Positionen einer rechten Schulter und einer linken Schulter), die auf beiden Seiten getrennt sind und eine Mittenlinie X des Körpers des Arbeiters W, der aus dem Arbeitsvideo erkannt wird, dazwischen einschließen, und einer dritten Position P3 (Mittenposition des Kopfes), die von jeder der ersten Position P1 und der zweiten Position P2 getrennt ist, dargestellt wird.
Gemäß dem vorliegenden modifizierten Beispiel identifiziert die Zielidentifikationseinheit 303 ein Ziel auf Grundlage einer Skelettinformation, die relativ weniger Positionsinformation enthält. Daher kann, zum Beispiel im Vergleich zu einem Fall, in dem Skelettinformation über einen gesamten Körper des Arbeiters W verwendet wird, die Zielidentifikationseinheit 303 das Ziel schnell identifizieren, und kann ferner auch eine Last auf das Skeletterkennungssystem 1 verringern, wenn das Ziel identifiziert wird.
Ferner sind, in dem vorliegenden modifizierten Beispiel, Positionsdaten der ersten bis dritten Positionen P1 bis P3 in Überprüfungszielinformation enthalten. Auf diese Weise kann die Zielidentifikationseinheit 303 ein Ziel aus Kandidaten schnell identifizieren, auf Grundlage der Daten der ersten bis dritten Positionen P1 bis P3. Es ist anzumerken, dass in dem ersten modifizierten Beispiel, wenn die Kandidatenwahleinheit 302 einen Kandidaten wählt, die Kandidatenwahleinheit 302 den Kandidaten auswählen kann, auf Grundlage einer Handlung, die durch Skelettinformation angezeigt wird, die durch eine Änderung in jeder der ersten bis dritten Positionen P1 bis P3 dargestellt ist.
8 ist ein Flussdiagramm, das einen Gesamtbetrieb eines Skeleterkennungssystems gemäß einem vierten modifizierten Beispiel darstellt. Das Skeletterkennungssystem gemäß dem vorliegenden modifizierten Beispiel führt Zielidentifikationsverarbeitung (Schritt S1) durch, und führt dann Zielüberprüfungsverarbeitung durch, die eine wiederholte Handlung eines Ziels überprüft (Schritt S2). Nach Schritt S2 bestimmt die arithmetische Einheit 30, ob eine Anweisung zum Beenden einer Überprüfung von einem Überprüfer vorliegt (Schritt S3). Das Skeletterkennungssystem gemäß dem vorliegenden modifizierten Beispiel führt den Fluss der Schritte S1 bis S3 so lange wiederholt durch, wie die arithmetische Einheit 30 bestimmt, dass keine Anweisung zum Beenden der Überprüfung von dem Überprüfer in Schritt S3 vorliegt (Schritt S3: Nein). Es ist anzumerken, dass das Skeletterkennungssystem gemäß dem vorliegenden modifizierten Beispiel eine Aufzeichnungseinheit enthalten kann, die ein Zielüberprüfungsergebnis aufzeichnet. In diesem Fall zeichnet die arithmetische Einheit 30 das Zielüberprüfungsergebnis in der Aufzeichnungseinheit auf.
Als ein Beispiel führt das Skeletterkennungssystem gemäß dem vorliegenden modifizierten Beispiel die Zielidentifikationsverarbeitung (Schritt S1) und die Zielüberprüfungsverarbeitung (Schritt S2) in Echtzeit durch, auf Grundlage eines Arbeitsvideos während dem Erfassen. Auf diese Weise kann der Überprüfer eine wiederholte Arbeitshandlung des Arbeiters W in Echtzeit überprüfen, indem das Skeletterkennungssystem verwendet wird. Somit kann ein Überprüfungsergebnis unverzüglich in einer momentanen wiederholten Handlung des Arbeiters W abgebildet werden. Ferner wird die Zielüberprüfungsverarbeitung (Schritt S2) in Echtzeit durchgeführt, und somit kann, zum Beispiel, selbst wenn eine Anordnung, die eine Qualitätsreferenz auf Grund einer unangemessenen Handlung des Arbeiters W nicht erreicht, montiert wird, der Überprüfer die Anordnung einfach identifizieren, indem eine Vorrichtung verwendet wird, die ein Überprüfungsergebnis der Überprüfungsverarbeitung analysiert. Auf diese Weise kann Verlust einer Anordnung verringert werden. Auf eine solche Weise können, gemäß dem vorliegenden modifizierten Beispiel, verschiedene Arbeitsanalysen erreicht werden, indem ein Überprüfungsergebnis der Zielüberprüfungsverarbeitung (Schritt S2) verwendet wird.
Wie in dem vorliegenden modifizierten Beispiel, wenn die Zielüberprüfungsverarbeitung in Echtzeit in dem Skeletterkennungssystem durchgeführt wird, kann die arithmetische Einheit 30 die Zielidentifikationsverarbeitung (Schritt S1) und die Zielüberprüfungsverarbeitung (Schritt S2) durchführen, ohne ein Arbeitsvideo, das von der Bilderfassungsvorrichtung 2 erfasst wird, in der zweiten Speichereinheit 32 zu speichern, zum Beispiel. Alternativ kann die arithmetische Einheit 30 die Zielidentifikationsverarbeitung (Schritt S1) und die Zielüberprüfungsverarbeitung (Schritt S2) durchführen, während ein Arbeitsvideo, das von der Bilderfassungsvorrichtung 2 erfasst wird, in der zweiten Speichereinheit 32 gespeichert wird. Ferner kann mindestens irgendeines eines Referenzvideos oder eines Arbeitsvideos in einer Speichereinheit (zum Beispiel mindestens entweder der ersten Speichereinheit 31 oder der zweiten Speichereinheit 32) aufgezeichnet werden, die in dem Skeletterkennungssystem enthalten ist.
Als nächstes wird ein spezifischer Inhalt der Zielüberprüfungsverarbeitung (Schritt S2) veranschaulicht. In der vorliegenden Verarbeitung führt die arithmetische Einheit 30, als ein Beispiel, eine Handlungsüberprüfung einer wiederholten Handlung in der vorliegenden Handlung durch, auf Grundlage einer Skelettinformation in einem Arbeitsvideo, für ein Ziel (zum Beispiel, W1), das in Schritt S17 identifiziert wurde. Die Handlungsüberprüfung wird durchgeführt, zum Beispiel, indem die arithmetische Einheit 30 bestimmt, ob eine Zielüberprüfungsvoraussetzung erfüllt ist, dass ein Unterschied zwischen Referenzhandlungsinformation und Überprüfungszielinformation innerhalb eines voreingestellten erlaubten Handlungsbereichs liegt. Der erlaubte Handlungsbereich der Zielüberprüfungsvoraussetzung kann auf einen Bereich eingestellt sein, der enger ist als, zum Beispiel, ein erlaubter Handlungsbereich einer Zielvoraussetzung, ist jedoch nicht darauf beschränkt.
Gemäß der oben beschriebenen Konfiguration kann ein Überprüfer eine Handlungsüberprüfung einer wiederholten Handlung eines Ziels zweckgemäß und schnell durchführen, auf Grundlage eines informierten Überprüfungsergebnisses des Ziels. Im Folgenden wird eine zweite Ausführungsform beschrieben werden, wobei Schwerpunkt auf Unterschiede zu der ersten Ausführungsform gelegt wird.
Zweite Ausführungsform
Im Folgenden wird eine zweite Ausführungsform beschrieben werden. Die zweite Ausführungsform veranschaulicht eine Vorrichtung, die Verarbeitung ähnlich zu der Zielüberprüfungsverarbeitung gemäß dem vierten modifizierten Beispiel der oben beschriebenen ersten Ausführungsform durchführt, und Verarbeitung des Bestimmens eines Bestehens oder Nichtbestehens einer Handlung eines Arbeiters entsprechend einem Ziel durchführt, auf Grundlage eines Überprüfungsergebnisses der Verarbeitung.
9 ist ein funktionelles Blockdiagramm einer Arbeitsverwaltungsvorrichtung 100 gemäß der zweiten Ausführungsform. Wie in 9 dargestellt enthält die Arbeitsverwaltungsvorrichtung 100 eine Bilderfassungsvorrichtung 2 und eine Bestimmungsvorrichtung 4, mit der die Bilderfassungsvorrichtung 2 verbunden ist. Die Bestimmungsvorrichtung 4 enthält eine arithmetische Einheit 40, ein erste Speichereinheit 41, eine zweite Speichereinheit 42, und eine Ausgabeeinheit 43. Die arithmetische Einheit 40 enthält eine Bestimmungseinheit 404 zusätzlich zu einer Skelettinformations-Erkennungseinheit 401, einer Kandidatenwahleinheit 402, und einer Zielidentifikationseinheit 403. Die Bestimmungseinheit 404 führt Bestanden/Nicht bestanden-Bestimmung durch, die ein Bestehen oder ein Nichtbestehen einer Handlung eines Arbeiters entsprechend zu einem Ziel zu einem vorbestimmten Zeitpunkt durchführt, auf Grundlage davon, ob ein Unterschied zwischen Überprüfungszielinformation über das Ziel und Referenzhandlungsinformation entsprechend dem Ziel innerhalb eines voreingestellten Referenzbereichs liegt. Die Ausgabeeinheit 43 gibt ein Bestimmungsergebnis der Bestanden/Nicht bestanden-Bestimmungsverarbeitung, die durch die Bestimmungseinheit 404 durchgeführt wird, aus. Auf eine solche Weise weist die Arbeitsverwaltungsvorrichtung 100 im Wesentlichen eine Konfiguration auf, die das Skeletterkennungssystem 1 gemäß der ersten Ausführungsform und die Bestimmungseinheit 404 enthält.
10 ist ein Flussdiagramm, das einen Gesamtbetrieb der Arbeitsverwaltungsvorrichtung 100 in 9 darstellt. Im Folgenden wird der Gesamtbetrieb der Arbeitsverwaltungsvorrichtung 100 unter Verwendung von 10 beschrieben werden. Wie in 10 dargestellt, wird zu einer Zeit des Betriebs der Arbeitsverwaltungsvorrichtung 100 zuerst Zielidentifikationsverarbeitung durch die arithmetische Einheit 40 in ähnlicher Weise zu Schritt S1 durchgeführt (Schritt S4). Dann bestimmt die Bestimmungseinheit 404, ob ein Unterschied zwischen Überprüfungszielinformation über ein Ziel und Referenzhandlungsinformation entsprechend dem Ziel innerhalb eines voreingestellten Referenzbereichs liegt. Auf diese Weise wird die Bestanden/Nicht bestanden-Bestimmungsverarbeitung durchgeführt (Schritt S5).
Als nächstes bestimmt die arithmetische Einheit 40, ob eine Anweisung, eine Überprüfung zu beenden, von einem Überprüfer vorliegt (Schritt S6). Wenn die arithmetische Einheit 40 bestimmt, dass von dem Überprüfer in Schritt S6 nicht angewiesen wird, die Überprüfung zu beenden (Schritt S6: Nein), kehrt der Schritt zu Schritt S4 zurück. Auf diese Weise führt die arithmetische Einheit 40 den vorliegenden Fluss wiederholt durch, es sei denn, es wird von dem Überprüfer angewiesen, die Überprüfung zu beenden. Der Gesamtbetrieb der Arbeitsverwaltungsvorrichtung 100 wurde oben beschrieben.
Im Folgenden wird ein spezifischer Verarbeitungsinhalt in der Bestanden/Nicht bestanden-Bestimmungsverarbeitung (Schritt S5) in 10 veranschaulicht werden. 11 ist ein Unter-Flussdiagramm der Bestanden/Nicht bestanden-Bestimmungsverarbeitung in 10. In dem vorliegenden Unter-Fluss führt die arithmetische Einheit 40 eine Handlungsüberprüfung einer wiederholten Handlung eines identifizierten Ziels durch (Schritt S51). Wie oben beschrieben bestimmt die Bestimmungseinheit 404, in der Handlungsüberprüfung, ob ein Unterschied zwischen Überprüfungszielinformation über das Ziel und Referenzhandlungsinformation entsprechend dem Ziel innerhalb eines voreingestellten Referenzbereichs (als ein Beispiel, ein erlaubter Handlungsbereich einer oben beschriebenen Zielüberprüfungsvoraussetzung) liegt.
Als nächstes bestimmt die arithmetische Einheit 40 ein Bestehen oder ein Nichtbestehen einer Handlung eines Arbeiters entsprechend dem Ziel, auf Grundlage davon, ob der im Überprüfungsergebnis in Schritt S51 gemessene Unterschied innerhalb des Referenzbereichs liegt (Schritt S52). Wenn der Unterschied in dem Überprüfungsergebnis in Schritt S51 nicht innerhalb des Referenzbereichs liegt (hier ist die Zielüberprüfungsvoraussetzung nicht erfüllt), und daher die arithmetische Einheit 40 in Schritt S52 bestimmt, dass die Handlung des Arbeiters entsprechend dem Ziel nicht der Referenz genügt (Schritt S52: Nein), veranlasst die arithmetische Einheit 40 die Ausgabeeinheit 43, ein Bestimmungsergebnis auszugeben, das die Bestimmung anzeigt (Schritt S54), und beendet die Ausführung des vorliegenden Flusses. Wenn der Unterschied in dem Überprüfungsergebnis in Schritt S51 innerhalb des Referenzbereichs liegt (hier ist die Zielüberprüfungsvoraussetzung erfüllt), und somit die arithmetische Einheit 40 in Schritt S52 bestimmt, dass die Handlung des Arbeiters entsprechend dem Ziel der Referenz genügt (Schritt S52: Ja), veranlasst die arithmetische Einheit 40 die Ausgabeeinheit 43, ein Bestimmungsergebnis auszugeben, das die Bestimmung anzeigt (Schritt S53), und beendet die Ausführung des vorliegenden Flusses.
Die Arbeitsverwaltungsvorrichtung 100, die einen solchen Betrieb durchführt, erreicht auch eine Wirkung ähnlich zu der des Skeletterkennungssystems 1 gemäß der ersten Ausführungsform. Da die arithmetische Einheit 40 die Bestimmungseinheit 404 enthält, kann ein Überprüfer, durch einen von der Ausgabeeinheit 43 ausgegebenen Inhalt, ein Bestimmungsergebnis, das durch die Bestimmungseinheit 404 für eine wiederholte Handlung, angezeigt durch ein Ziel, bestätigen. Auf diese Weise kann der Überprüfer eine Überprüfungslast des Durchführens einer Handlungsüberprüfung durch ihn/sie selbst verringern. Ferner kann der Überprüfer eine wiederholte Handlung eines Arbeiters W auch für eine lange Zeit stabil und genau überprüfen.
Es ist anzumerken, dass die Ausgabeeinheit 43 eine Tonausgabeeinheit sein kann. In diesem Fall, wenn die arithmetische Einheit 40 bestimmt, dass der Unterschied in einem Überprüfungsergebnis in Schritt S51 nicht innerhalb des Referenzbereichs liegt (Schritt S52: Nein), kann die arithmetische Einheit 40 die Ausgabeeinheit 43 veranlassen, einen Warnton in Schritt S54 auszugeben. Ferner kann die Arbeitsverwaltungsvorrichtung 100 eine Aufzeichnungseinheit enthalten, die ein Bestimmungsergebnis der Bestimmungseinheit 404 aufzeichnet. In diesem Fall zeichnet die arithmetische Einheit 40, in der Aufzeichnungseinheit, ein in Schritt S52 erhaltenes Bestimmungsergebnis der Bestimmungseinheit 404 auf.
Es ist anzumerken, dass jede der Konfigurationen, Kombinationen dieser, oder dergleichen in jeder der Ausführungsformen Beispiele sind, und Beifügungen, Weglassungen, Ersetzungen, und andere Änderungen der Konfigurationen wie zweckmäßig durchgeführt werden können, ohne von dem Geist der vorliegenden Offenbarung abzuweichen. Die vorliegende Offenbarung ist nicht durch die Ausführungsformen beschränkt und ist nur durch die Ansprüche beschränkt. Jeder in der vorliegenden Beschreibung offenbarter Aspekt kann mit irgendeinem anderen hierin offenbarten Merkmal kombiniert werden.
Das Skeletterkennungssystem 1 und die Arbeitsverwaltungsvorrichtung 100 können eine Mehrzahl an Bilderfassungsvorrichtungen 2 enthalten. In diesem Fall können das Skeleterkennungssystem 1 und die Arbeitsverwaltungsvorrichtung 100 eine wiederholte Handlung des Arbeiters W an einer Mehrzahl an Orten überprüfen, zum Beispiel.
Ferner veranschaulicht die erste Ausführungsform das Beispiel des sequentiellen Bestimmens einer Mehrzahl an Kandidaten, um ein Ziel zu identifizieren, jedoch kann eine Mehrzahl an Kandidaten gleichzeitig bestimmt werden, um ein Ziel zu identifizieren. In diesem Fall kann das Skeletterkennungssystem 1 zum Beispiel eine Mehrzahl der arithmetischen Einheiten 30 enthalten.
Bezugszeichenliste

W, W1 bis W4: Arbeiter
1: Skeletterkennungssystem
31, 41: Erste Speichereinheit
32, 42: Zweite Speichereinheit
43: Ausgabeeinheit
100: Arbeitsverwaltungsvorrichtung
301, 401: Skelettinformations-Erkennungseinheit
302, 402: Kandidatenwahleinheit
303, 403: Zielidentifikationseinheit
404: Bestimmungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2011048547 A [0003]

Claims

Skeletterkennungssystem, umfassend: eine erste Speichereinheit, die eingerichtet ist, Referenzhandlungsinformation in Bezug auf mindestens einen Zyklus einer Referenzhandlung, die eine von einem Arbeiter durchgeführte wiederholte Handlung ist, zu speichern; eine Skelettinformations-Erkennungseinheit, die eingerichtet ist, Skelettinformation über den Arbeiter aus einem Arbeitsvideo, das erhalten wird, indem der Arbeiter während Arbeit erfasst wird, zu erkennen; und eine Zielidentifikationseinheit, die eingerichtet ist, als ein Ziel, unter Stücken von Skelettinformation über eine Mehrzahl an Arbeitern während Arbeit, die von der Skelettinformations-Erkennungseinheit erkannt wird, Skelettinformation über einen Arbeiter zu identifizieren, die eine Handlung anzeigt, die eine Zielvoraussetzung erfüllt, dass ein Unterschied zwischen der Referenzhandlungsinformation und Überprüfungszielinformation, die Handlungsinformation während Arbeit ist, innerhalb eines voreingestellten erlaubten Handlungsbereichs liegt.
Skeletterkennungssystem nach Anspruch 1, wobei die erste Speichereinheit die Referenzhandlungsinformation, über den Arbeiter, speichert, die aus einem Referenzvideo erhalten wird, das erhalten wird, indem eine Referenzhandlung des Arbeiters erfasst wird.
Skeletterkennungssystem nach Anspruch 1 oder 2, ferner umfassend eine zweite Speichereinheit, die eingerichtet ist, die Überprüfungszielinformation zu speichern.
Skeletterkennungssystem nach einem der Ansprüche 1 bis 3, ferner umfassend eine Kandidatenwahleinheit, die eingerichtet ist, einen Kandidaten zu wählen, der eine vorbestimmte Kandidatenvoraussetzung erfüllt, aus den Stücken von Skelettinformation über die Mehrzahl an Arbeitern, die aus dem Arbeitsvideo erkannt werden, wobei die Zielidentifikationseinheit Skelettinformation über einen Arbeiter als das Ziel identifiziert, die durch die Kandidatenwahleinheit gewählt wird, die eine Handlung anzeigen, die eine Zielvoraussetzung erfüllt, dass ein Unterschied zwischen der Referenzhandlungsinformation und der Überprüfungszielinformation über den Arbeiter innerhalb eines voreingestellten erlaubten Handlungsbereichs liegt.
Skeletterkennungssystem nach Anspruch 4, wobei die Kandidatenvoraussetzung eine Bedingung enthält, dass eine Größe eines Skeletts, das durch die Skelettinformation angezeigt wird, die aus dem Arbeitsvideo erkannt wird, am größten ist unter den Stücken von Skelettinformation über die Mehrzahl an Arbeitern, die aus dem Arbeitsvideo erkannt werden.
Skeletterkennungssystem nach Anspruch 5, wobei die Größe des Skeletts, das durch die Skelettinformation angezeigt wird, dargestellt wird durch entweder eine Fläche eines Polygons mit Eckpunkten, die an drei oder mehr Punkten eines Körpers des Arbeiters, der aus dem Arbeitsvideo erkannt wird, positioniert sind, oder eine Gesamtskelettlänge des Arbeiters, der aus dem Arbeitsvideo erkannt wird.
Skeletterkennungssystem nach Anspruch 4, wobei die Kandidatenvoraussetzung eine Bedingung enthält, dass die Skelettinformation in einem vorbestimmten Bereich in einem Erfassungsbereich, der durch das Arbeitsvideo angezeigt wird, positioniert ist.
Skeletterkennungssystem nach einem der Ansprüche 1 bis 7, wobei die Zielidentifikationseinheit das Ziel identifiziert, auf Grundlage einer Handlung, die durch die Skelettinformation angezeigt wird, die durch eine Änderung in jeder einer ersten Position und einer zweiten Position, die auf beiden Seiten getrennt sind und eine Mittenlinie eines Körpers des Arbeiters, der aus dem Arbeitsvideo erkannt wird, dazwischen einschließen, und einer dritten Position, die von jeder der ersten Position und der zweiten Position des Körpers getrennt ist, dargestellt wird.
Skeletterkennungssystem nach Anspruch 8, wobei die Positionsdaten der ersten Position bis zu der dritten Position in dem Arbeitsvideo in der Überprüfungszielinformation enthalten sind.
Skeletterkennungssystem nach einem der Ansprüche 1 bis 9, wobei die Skelettinformation Daten enthält, die eine Position von mindestens einem von einer Mehrzahl an Abschnitten des Arbeiters oder einer Linie, die zwei oder mehr Abschnitte der Mehrzahl an Abschnitten des Arbeiters verbindet, anzeigen.
Arbeitsverwaltungsvorrichtung, umfassend: das Skeletterkennungssystem nach einem der Ansprüche 1 bis 10; eine Bestimmungseinheit, die eingerichtet ist, Bestanden/Nicht bestanden-Bestimmungsverarbeitung durchzuführen, die ein Bestehen oder Nichtbestehen einer Handlung des Arbeiters entsprechend dem Ziel bestimmt, auf Grundlage davon, on ein Unterschied zwischen der Überprüfungszielinformation, die durch das Ziel angezeigt ist, und der Referenzhandlungsinformation, die dem Ziel entspricht, innerhalb eines voreingestellten Referenzbereichs liegt; und eine Ausgabeeinheit, die eingerichtet ist, ein Ergebnis der Bestimmung durch die Bestimmungseinheit auszugeben.