-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft eine Technik zum Identifizieren einer Art von Bewegung von einer Zielperson aus Bilddaten, die durch Aufnehmen eines Bildes von der Zielperson erhalten werden.
-
Hintergrund zum Stand der Technik
-
Im industriellen Bereich besteht Bedarf an Prozessen wie der Messung der Taktzeit, welche die Zeit ist, die ein Arbeiter für die Montage eines Produkts benötigt, und der Analyse von Arten von Aufgaben zur Erfassung einer ausgelassenen Aufgabe oder einer unregelmäßigen Aufgabe, welche eine Aufgabe ist, die nicht regelmäßig durchgeführt wird. Derzeit werden diese Prozesse hauptsächlich manuell durchgeführt. Daher sind hohe Personalausgaben erforderlich, und die Prozesse können nur in begrenztem Umfang durchgeführt werden.
-
In der Patentliteratur 1 wird beschrieben, dass mit Hilfe einer Kamera und eines dreidimensionalen Sensors, die am Kopf der Person angebracht sind, Merkmale einer Bewegung von einer Person extrahiert werden, um die Bewegung automatisch zu analysieren.
-
Liste zitierter Schriften
-
Patentliteratur
-
Patentliteratur 1:
JP 2016-099982 A -
Kurzfassung der Erfindung
-
Technisches Problem
-
In Patentliteratur 1 ist die Kamera an dem Kopf von der Person angebracht. Im industriellen Bereich wird jedoch das Anbringen eines für eine Aufgabe nicht benötigten Objekts an einem Körperteil eines Arbeiters während der Aufgabe vermieden, da es bei der Aufgabe stören kann.
-
Es ist ein Ziel der vorliegenden Erfindung, die Durchführung von Prozessen wie Messung der Taktzeit und Analyse einer Art von Aufgabe zu ermöglichen, ohne ein für die Aufgabe nicht benötigtes Objekt an dem Körper von einem Arbeiter anzubringen.
-
Lösung des Problems
-
Eine Bewegungsidentifizierungseinrichtung gemäß der vorliegenden Erfindung weist auf:
- eine Bilderfassungseinheit, um Bilddaten von einer Zielperson zu erfassen;
- eine Skelett-Gerüst-Extrahierungseinheit, um Zielinformationen, welche Skelett-Gerüst-Informationen sind, darstellend eine Körperhaltung von der Zielperson, aus den durch die Bilderfassungseinheit erfassten Bilddaten zu extrahieren; und
- eine Bewegungsidentifizierungseinheit, um eine Art von Bewegung, die durch Bewegungsinformationen angegeben ist, welche Skelett-Gerüst-Informationen ähnlich den durch die Skelett-Gerüst-Extrahierungseinheit extrahierten Zielinformationen sind, als eine Art von Bewegung, die von der Zielperson ausgeführt wird, zu identifizieren.
-
Vorteilhafte Wirkungen der Erfindung
-
In der vorliegenden Erfindung werden Zielinformationen, welche Skelett-Gerüst-Informationen sind, darstellend eine Körperhaltung von einer Zielperson, aus Bilddaten extrahiert, und eine Art von Bewegung, die durch Bewegungsinformationen angegeben ist, die Skelett-Gerüst-Informationen ähnlich den Zielinformationen sind, wird als eine Art von Bewegung, die von der Zielperson ausgeführt wird, identifiziert. Daher können Prozesse wie Messung der Taktzeit und Analyse einer Art von Aufgabe durchgeführt werden, ohne dass ein für die Aufgabe nicht benötigtes Objekt an dem Körper eines Arbeiters angebracht wird.
-
Figurenliste
-
- 1 ist ein Konfigurationsdiagramm einer Bewegungsidentifizierungseinrichtung 10 gemäß einer ersten Ausführungsform;
- 2 ist ein Flussdiagramm eines Registrierungsprozesses gemäß der ersten Ausführungsform;
- 3 ist ein Diagramm, erläuternd Bilddaten gemäß der ersten Ausführungsform;
- 4 ist ein Diagramm, erläuternd Skelett-Gerüst-Informationen 43 gemäß der ersten Ausführungsform;
- 5 ist ein Diagramm, erläuternd den Registrierungsprozess gemäß der ersten Ausführungsform;
- 6 ist ein Diagramm, erläuternd eine Bewegungsinformationstabelle 31 gemäß der ersten Ausführungsform;
- 7 ist ein Flussdiagramm eines Identifizierungsprozesses gemäß der ersten Ausführungsform;
- 8 ist ein Diagramm, erläuternd den Identifizierungsprozess gemäß der ersten Ausführungsform;
- 9 ist ein Konfigurationsdiagramm der Bewegungsidentifizierungseinrichtung 10 gemäß einer ersten Variante;
- 10 ist ein Konfigurationsdiagramm der Bewegungsidentifizierungseinrichtung 10 gemäß einer dritten Variante;
- 11 ist ein Konfigurationsdiagramm der Bewegungsidentifizierungseinrichtung 10 gemäß einer zweiten Ausführungsform;
- 12 ist ein Flussdiagramm eines Lernprozesses gemäß der zweiten Ausführungsform;
- 13 ist ein Flussdiagramm eines Identifizierungsprozesses gemäß der zweiten Ausführungsform; und
- 14 ist ein Konfigurationsdiagramm der Bewegungsidentifizierungseinrichtung 10 gemäß einer fünften Variante.
-
Beschreibung der Ausführungsformen
-
Erste Ausführungsform
-
*** Beschreibung einer Konfiguration ***
-
Bezugnehmend auf 1 wird eine Konfiguration einer Bewegungsidentifizierungseinrichtung 10 gemäß einer ersten Ausführungsform beschrieben.
-
Die Bewegungsidentifizierungseinrichtung 10 ist ein Computer.
-
Die Bewegungsidentifizierungseinrichtung 10 umfasst die Hardware eines Prozessors 11, eines Arbeitsspeichers 12, eines Massenspeichers 13 und eine Kommunikationsschnittstelle 14. Der Prozessor 11 ist über Signalleitungen mit anderen Hardwarekomponenten verbunden und steuert die anderen Hardwarekomponenten.
-
Der Prozessor 11 ist eine Integrierte Schaltung (IC), die Verarbeitungen durchführt. Spezifische Beispiele für den Prozessor 11 sind eine zentrale Verarbeitungseinheit (CPU), ein Digitalsignalprozessor (DSP) und eine Grafikverarbeitungseinheit (GPU).
-
Der Arbeitsspeicher 12 ist eine Speichereinrichtung zum temporären Speichern von Daten. Spezifische Beispiele für den Arbeitsspeicher 12 sind eine statischen Random-Access Memory (SRAM) und eine dynamischen Random-Access Memory (DRAM).
-
Der Massenspeicher 13 ist eine Speichereinrichtung, um Daten zu speichern. Ein spezifisches Beispiel für den Massenspeicher 13 ist ein Festplattenlaufwerk (HDD). Alternativ kann der Massenspeicher 13 ein tragbares Aufzeichnungsmedium sein, wie etwa eine Speicherkarte des Typs Secure Digital (SD, eingetragenes Warenzeichen), CompactFlash (CF, eingetragenes Warenzeichen), ein NAND-Flash, eine flexible Scheibe, eine optische Scheibe, eine Compact Disc, eine Blu-ray-Disc (eingetragenes Warenzeichen) oder eine Digital Versatile Disc (DVD).
-
Die Kommunikationsschnittstelle 14 ist eine Schnittstelle zum Kommunizieren mit externen Einrichtungen. Spezifische Beispiele für die Kommunikationsschnittstelle 14 sind ein Ethernet-Port (eingetragenes Warenzeichen), ein Universal-Serial-Bus-Port (USB) oder ein Hochauflösende-Multimedia-Schnittstelle-Port (HDMI, eingetragenes Warenzeichen). Die Kommunikationsschnittstelle 14 kann für jede Art von zu übermittelnden Daten separat vorgesehen sein. Beispielsweise kann ein HDMI-Port (eingetragenes Warenzeichen) für die Übermittlung von Bilddaten, die später beschrieben werden, und ein USB-Port für die Übermittlung von Kennzeichnungs-Informationen, die später beschrieben werden, vorgesehen sein.
-
Die Bewegungsidentifizierungseinrichtung 10 umfasst als funktionale Komponenten eine Bilderfassungseinheit 21, eine Skelett-Gerüst-Extrahierungseinheit 22, eine Bewegungsinformations-Registrierungseinheit 23, eine Bewegungsidentifizierungseinheit 24 und eine Ausgabeeinheit 25. Die Funktionen der funktionalen Komponenten der Bewegungsidentifizierungseinrichtung 10 sind durch Software realisiert.
-
Der Massenspeicher 13 speichert Programme zur Realisierung der Funktionen der funktionalen Komponenten der Bewegungsidentifizierungseinrichtung 10. Diese Programme werden von dem Prozessor 11 in den Arbeitsspeicher 12 geladen und von dem Prozessor 11 ausgeführt. Dadurch werden die Funktionen der funktionalen Komponenten der Bewegungsidentifizierungseinrichtung 10 realisiert.
-
Der Massenspeicher 13 speichert auch eine Bewegungsinformationstabelle 31.
-
1 zeigt nur einen Prozessor 11. Es können jedoch eine Vielzahl von Prozessoren 11 enthalten sein, und die Vielzahl von Prozessoren 11 können zusammenarbeiten, um die Programme zur Realisierung der Funktionen auszuführen.
-
Als ein spezifisches Beispiel kann die Bewegungsidentifizierungseinrichtung 10 eine CPU und eine GPU als die Prozessoren 11 enthalten. In diesem Fall kann die Skelett-Gerüst-Extrahierungseinheit 22, die Bildverarbeitungen durchführt, wie später beschrieben wird, durch die GPU realisiert sein, und die Bilderfassungseinheit 21, die Bewegungsinformations-Registrierungseinheit 23, die Bewegungsidentifizierungseinheit 24 und die Ausgabeeinheit 25, die den Rest darstellen, können durch die CPU realisiert sein.
-
*** Beschreibung des Betriebs ***
-
Unter Bezugnahme auf 2 bis 8 wird der Betrieb der Bewegungsidentifizierungseinrichtung 10 gemäß der ersten Ausführungsform beschrieben.
-
Der Betrieb der Bewegungsidentifizierungseinrichtung 10 gemäß der ersten Ausführungsform entspricht einem Bewegungsidentifizierungsverfahren gemäß der ersten Ausführungsform. Der Betrieb der Bewegungsidentifizierungseinrichtung 10 gemäß der ersten Ausführungsform entspricht außerdem Prozessen eines Bewegungsidentifizierungsprogramms gemäß der ersten Ausführungsform.
-
Der Betrieb der Bewegungsidentifizierungseinrichtung 10 gemäß der ersten Ausführungsform umfasst einen Registrierungsprozess und einen Identifizierungsprozess.
-
Unter Bezugnahme auf 2 wird ein Registrierungsprozess gemäß der ersten Ausführungsform beschrieben.
-
(Schritt S11: Bilderfassungsprozess)
-
Die Bilderfassungseinheit 21 erfasst über die Kommunikationsschnittstelle 14 eine oder mehrere Gruppe/n, die jeweils aus Bilddaten zusammengesetzt ist/sind, die erhalten werden durch Aufnehmen eines Bildes von einer Person 42, die eine Zielbewegung ausführt, durch eine Bildgenerierungseinrichtung 41, und Kennzeichnungs-Informationen, die die Zielbewegung angeben. In der ersten Ausführungsform, wie in 3 dargestellt, werden die Bilddaten erfasst durch Aufnehmen eines Bildes des gesamten Körpers von der Person 42, die die Zielbewegung ausführt, durch die Bildgenerierungseinrichtung 41, die auf die Vorderseite der Zielperson gerichtet ist.
-
Die Bilderfassungseinheit 21 schreibt die erfassten Gruppen von Bilddaten und Kennzeichnungs-Informationen in den Arbeitsspeicher 12.
-
(Schritt S12: Skelett-Gerüst-Extrahierungsprozess)
-
Die Skelett-Gerüst-Extrahierungseinheit 22 ruft die in Schritt S11 erfassten Bilddaten aus dem Arbeitsspeicher 12 ab. Die Skelett-Gerüst-Extrahierungseinheit 22 extrahiert als Bewegungsinformation Skelett-Gerüst-Informationen 43, darstellend die Körperhaltung der Person 42, aus den Bilddaten. In der ersten Ausführungsform, wie in 4 dargestellt, geben die Skelett-Gerüst-Informationen 43 die Koordinaten von einer Vielzahl von Gelenken oder die Relativpositionsbeziehung von einer Vielzahl von Gelenken wie dem Nacken und den Schultern von der Person 42 an.
-
Die Skelett-Gerüst-Extrahierungseinheit 22 schreibt die extrahierten Bewegungsinformationen in den Arbeitsspeicher 12.
-
(Schritt S13: Bewegungsinformations-Registrierungsprozess)
-
Die Bewegungsinformations-Registrierungseinheit 23 ruft aus dem Arbeitsspeicher 12 die in Schritt S12 extrahierten Bewegungsinformationen und die Kennzeichnungs-Informationen in der gleichen Gruppe wie die Bilddaten ab, aus denen die Bewegungsinformationen extrahiert werden. Die Bewegungsinformations-Registrierungseinheit 23 schreibt die abgerufenen Bewegungsinformationen und die Kennzeichnungs-Informationen in die Bewegungsinformationstabelle 31 in Zuordnung zueinander.
-
(Schritt S14: Ende Bestimmungsprozess)
-
Die Skelett-Gerüst-Extrahierungseinheit 22 bestimmt, ob alle in Schritt S11 erhaltenen Gruppen verarbeitet wurden.
-
Wenn alle Gruppen verarbeitet wurden, beendet die Skelett-Gerüst-Extrahierungseinheit 22 den Registrierungsprozess. Falls es eine Gruppe gibt, die noch nicht verarbeitet wurde, kehrt die Skelett-Gerüst-Extrahierungseinheit 22 zu dem Schritt S12 zurück und verarbeitet die nächste Gruppe.
-
Durch die Durchführung des Registrierungsprozesses werden eine Vielzahl von Gruppen von Bewegungsinformationen und Kennzeichnungs-Informationen in der Bewegungsinformationstabelle 31 akkumuliert.
-
Zum Beispiel erfasst die Bildfassungseinheit 21 in Schritt S11 in Bezug auf Bilddaten zu jedem Zeitpunkt, die Videodaten darstellen, die von einer Person bei der Ausführung einer Abfolge von Aufgaben aufgenommen wurden, eine Gruppe von Bilddaten zu dem betreffenden Zeitpunkt und Kennzeichnungs-Informationen, die die Bewegung der durch die Bilddaten dargestellten Person zu dem betreffenden Zeitpunkt angeben, wie in 5 dargestellt. Dann, in Schritt S12, extrahiert die Skelett-Gerüst-Extrahierungseinheit 22 Bewegungsinformationen aus den Bilddaten, die verarbeitet werden. In Schritt S13 schreibt die Bewegungsinformations-Registrierungseinheit 23 die Kennzeichnungs-Informationen in der gleichen Gruppe wie die Bilddaten, die verarbeitet werden, und die Bewegungsinformationen in die Bewegungsinformationstabelle 31 in Zuordnung zueinander. Dadurch werden in Bezug auf die Bewegung zu jedem Zeitpunkt in der Abfolge der Aufgaben Bewegungsinformationen und Kennzeichnungs-Informationen, die einander zugeordnet sind, in der Bewegungsinformationstabelle 31 akkumuliert, wie in 6 dargestellt.
-
Es ist zu beachten, dass die Bilderfassungseinheit 21 in Schritt S11 auch in Bezug auf Bilddaten zu jedem Zeitpunkt, die Videodaten darstellen, die von einer Person aufgenommen wurden, die eine nicht regelmäße Aufgabe ausführt, die in einer Abfolge von Aufgaben normalerweise nicht ausgeführt wird, eine Gruppe von Bilddaten zu dem betreffenden Zeitpunkt und Kennzeichnungs-Informationen, angebend die Bewegung der durch die Bilddaten dargestellten Person zu dem betreffenden Zeitpunkt, erhalten kann. Dadurch werden in Bezug auf die Bewegung zu jedem Zeitpunkt auch für nicht regelmäßige Aufgaben in der Bewegungsinformationstabelle 31 Bewegungsinformationen und Kennzeichnungs-Informationen akkumuliert, die einander zugeordnet sind.
-
Unter Bezugnahme auf 7 wird der Identifizierungsprozess gemäß der ersten Ausführungsform beschrieben.
-
(Schritt S21: Bilderfassungsprozess)
-
Die Bilderfassungseinheit 21 erfasst über die Kommunikationsschnittstelle 14 ein oder mehrere Teil/e von Bilddaten, die jeweils durch Aufnehmen eines Bildes von einer Zielperson erhalten werden. In der ersten Ausführungsform werden, wie bei den in Schritt S11 erhaltenen Bilddaten, die in Schritt S21 erfassten Bilddaten durch Aufnehmen eines Bildes von dem gesamten Körper von der Zielperson durch die Bildgenerierungseinrichtung 41 erhalten, die auf die Vorderseite der Zielperson gerichtet ist.
-
Die Bilderfassungseinheit 21 schreibt die erfassten Bilddaten in den Arbeitsspeicher 12.
-
(Schritt S22: Skelett-Gerüst-Extrahierungsprozess)
-
Die Skelett-Gerüst-Extrahierungseinheit 22 ruft die in Schritt S21 erfassten Bilddaten aus dem Arbeitsspeicher 12 ab. Die Skelett-Gerüst-Extrahierungseinheit 22 extrahiert als Zielinformationen Skelett-Gerüst-Informationen 43, darstellend eine Körperhaltung von der Zielperson, aus den Bilddaten.
-
Die Skelett-Gerüst-Extrahierungseinheit 22 schreibt die extrahierten Zielinformationen in den Arbeitsspeicher 12.
-
(Schritt S23: Bewegungsidentifizierungsprozess)
-
Die Bewegungsidentifizierungseinheit 24 identifiziert eine Art von Bewegung, die durch Bewegungsinformationen angegeben ist, welche Skelett-Gerüst-Informationen ähnlich den in Schritt S22 extrahierten Zielinformationen sind, als eine Art von Bewegung, die von der Zielperson ausgeführt wird.
-
Konkret sucht die Bewegungsidentifizierungseinheit 24 in der Bewegungsinformationstabelle 31 nach Bewegungsinformationen ähnlich den Zielinformationen. Wenn die Skelett-Gerüst-Informationen 43 die Koordinaten von einer Vielzahl von Gelenken angeben, bedeutet ähnlich sein, dass in Bezug auf dasselbe Gelenk die Euklidische Distanz zwischen den Koordinaten in den Zielinformationen und den Koordinaten in den Bewegungsinformationen kurz ist. Wenn die Skelett-Gerüst-Informationen 43 die Relativpositionsbeziehung von einer Vielzahl von Gelenken angeben, bedeutet ähnlich zu sein, dass die Euklidische Distanz zwischen jeder durch die Zielinformationen angegebenen Kombination von Gelenken und die Euklidische Distanz zwischen einer entsprechenden durch die Bewegungsinformationen angezeigten Kombination von Gelenken einander ähnlich sind. Die Bewegungsidentifizierungseinheit 24 identifiziert die Art von Bewegung, die durch die Kennzeichnungs-Informationen angegeben ist, die den als ein Ergebnis der Suche gefundenen Bewegungsinformationen zugeordnet sind, als die Art von Bewegung, die von der Zielperson ausgeführt wird.
-
Die Bewegungsidentifizierungseinheit 24 berechnet zum Beispiel für jede in der Bewegungsinformationstabelle 31 akkumulierte Bewegungsinformation eine Ähnlichkeit zu den Zielinformationen. Dann behandelt die Bewegungsidentifizierungseinheit 24 die Bewegungsinformationen mit der höchsten Ähnlichkeit als die Bewegungsinformationen, die als ein Ergebnis der Suche gefunden wurden. Die Bewegungsidentifizierungseinheit 24 kann bestimmen, dass keine Bewegungsinformationen als ein Ergebnis der Suche gefunden wurden, falls es keine Bewegungsinformationen gibt, deren Ähnlichkeit höher ist als ein Schwellenwert.
-
Wenn eine Bewegung durch die Relativpositionsbeziehung bestimmter Gelenke charakterisiert ist, kann eine Gewichtung vorgenommen werden, so dass eine Differenz in der Euklidischen Distanz bezüglich der einzelnen Gelenke einen großen Einfluss auf die Ähnlichkeit hat. Das heißt, wenn die Skelett-Gerüst-Informationen 43 die Koordinaten von einer Vielzahl von Gelenken angeben, kann eine Gewichtung vorgenommen werden, so dass eine Differenz in der Euklidischen Distanz zwischen den Koordinaten der einzelnen Gelenke in den Zielinformationen und den Koordinaten der einzelnen Gelenke in den Bewegungsinformationen einen großen Einfluss auf die Ähnlichkeit hat. Wenn die Skelett-Gerüst-Informationen 43 die Relativpositionsbeziehung von einer Vielzahl von Gelenken angeben, kann eine Gewichtung vorgenommen werden, so dass eine Differenz in der Euklidischen Distanz zwischen den einzelnen Gelenken einen großen Einfluss auf die Ähnlichkeit hat.
-
(Schritt S24: Ausgabeprozess)
-
Die Ausgabeeinheit 25 gibt die in Schritt S23 identifizierte Art von Bewegung über die Kommunikationsschnittstelle 14 an eine verbundene Anzeigeeinrichtung oder dergleichen aus. Die Ausgabeeinheit 25 kann die Kennzeichnungs-Informationen ausgeben, die die Art von Bewegung angeben.
-
Falls als ein Ergebnis der Suche keine Bewegungsinformationen gefunden wurden, gibt die Ausgabeeinheit 25 Informationen aus, die angeben, dass die Art von Bewegung nicht identifiziert werden kann.
-
(Schritt S25: Ende Bestimmungsprozess)
-
Die Skelett-Gerüst-Extrahierungseinheit 22 bestimmt, ob alle in Schritt S21 erworbenen Sätze von Bilddaten verarbeitet wurden.
-
Falls alle Sätze von Bilddaten verarbeitet wurden, beendet die Skelett-Gerüst-Extrahierungseinheit 22 den Registrierungsprozess. Falls es Bilddaten gibt, die noch nicht verarbeitet wurden, kehrt die Skelett-Gerüst-Extrahierungseinheit 22 den Prozess zu Schritt S22 zurück und verarbeitet die nächsten Bilddaten.
-
Beispielsweise erfasst die Bilderfassungseinheit 21 in Schritt S21 in Bezug auf Bilddaten zu jedem Zeitpunkt, die Videodaten darstellen, die von einer Person aufgenommen wurden, die eine Abfolge von Aufgaben ausführt, Bilddaten zu dem betreffenden Zeitpunkt, wie in 8 dargestellt. Dann, in Schritt S22, extrahiert die Skelett-Gerüst-Extrahierungseinheit 22 Zielinformationen aus den Bilddaten, die verarbeitet werden. In Schritt S23 sucht die Bewegungsinformations-Registrierungseinheit 23 nach Bewegungsinformationen ähnlich den Zielinformationen, um die Art von Bewegung zu identifizieren. Hierdurch kann die Art von Bewegung zu jedem Zeitpunkt in der Abfolge von Aufgaben identifiziert werden.
-
In diesem Fall ist es auch möglich, zu identifizieren, wann eine bestimmte Aufgabe gestartet wird und wann diese abgeschlossen ist. Falls die Zielperson während der Abfolge von Aufgaben eine nicht regelmäßige Aufgabe ausgeführt hat, ist es auch möglich zu identifizieren, dass die nicht regelmäßige Aufgabe ausgeführt wurde.
-
*** Wirkungen der ersten Ausführungsform ***
-
Wie oben beschrieben, extrahiert die Bewegungsidentifizierungseinrichtung 10 gemäß der ersten Ausführungsform Zielinformationen, welche Skelett-Gerüst-Informationen sind, darstellend die Körperhaltung von einer Zielperson, aus Bilddaten, die durch Aufnehmen eines Bildes der Vorderseite der Zielperson erhalten werden, und identifiziert eine Art von Bewegung, die durch Bewegungsinformationen angegeben ist, die Skelett-Gerüst-Informationen ähnlich den Zielinformationen sind, als eine Art von Bewegung, die von der Zielperson ausgeführt wird. Daher kann die Bewegungsidentifizierungseinrichtung 10 gemäß der ersten Ausführungsform eine Abfolge von Bewegungen analysieren durch Heranziehen, als Eingabe, von Videodaten, die eine Vielzahl von Sätzen von Bilddaten enthalten, und eine Art von Bewegung für jeden Satz von Bilddaten identifizieren. Daher können Prozesse wie Messung der Taktzeit und Analyse einer Art von Aufgabe durchgeführt werden, ohne ein für die Aufgabe nicht benötigtes Objekt an dem Körper eines Arbeiters anzubringen.
-
*** Weitere Konfigurationen ***
-
<Erste Variante>
-
In der ersten Ausführungsform, wie in 1 dargestellt, ist die Bewegungsidentifizierungseinrichtung 10 eine einzelne Einrichtung. Die Bewegungsidentifizierungseinrichtung 10 kann jedoch ein System sein, das aus einer Vielzahl von Einrichtungen gebildet ist.
-
Als ein spezifisches Beispiel, wie in 9 dargestellt, kann die Bewegungsidentifizierungseinrichtung 10 ein System sein, das aus einer Registrierungseinrichtung, aufweisend die Funktionen in Bezug auf den Registrierungsprozess, und einer Identifizierungseinrichtung, aufweisend die Funktionen in Bezug auf den Identifizierungsprozess, gebildet ist. In diesem Fall kann die Bewegungsinformationstabelle 31 in einer Speichereinrichtung gespeichert sein, die außerhalb der Registrierungseinrichtung und der Identifizierungseinrichtung vorgesehen ist, oder diese kann in einem Massenspeicher in einer von der Registrierungseinrichtung und der Identifizierungseinrichtung gespeichert sein.
-
In 9 ist die Hardware in jeder von der Registrierungseinrichtung und der Identifikationseinrichtung jeweils weggelassen. Jede von der Registrierungseinrichtung und der Identifizierungseinrichtung enthalten als Hardware einen Prozessor, einen Arbeitsspeicher, einen Massenspeicher und eine Kommunikationsschnittstelle, wie die Bewegungsidentifizierungseinrichtung 10.
-
<Zweite Variante>
-
In der ersten Ausführungsform werden die von der Bildgenerierungseinrichtung 41 aufgenommenen Daten als Bilddaten verwendet. Als Bilddaten können jedoch auch dreidimensionale Bilddaten verwendet werden, die durch einen Sensor, wie einem Tiefensensor, erhalten werden.
-
<Dritte Variante>
-
In der ersten Ausführungsform sind die funktionalen Komponenten durch Software realisiert. Als eine dritte Variante können die funktionalen Komponenten aber auch durch Hardware realisiert sein. In Hinblick auf diese dritte Variante werden Unterschiede zur ersten Ausführungsform beschrieben.
-
Bezugnehmend auf 10, wird eine Konfiguration der Bewegungsidentifizierungseinrichtung 10 gemäß der dritten Variante beschrieben.
-
Wenn die funktionalen Komponenten durch Hardware realisiert sind, enthält die Bewegungsidentifizierungseinrichtung 10 eine elektronische Schaltung 15 anstelle des Prozessors 11, des Arbeitsspeichers 12 und des Massenspeichers 13. Die elektronische Schaltung 15 ist eine dedizierte Schaltung, die die Funktionen der funktionalen Komponenten, des Arbeitsspeichers 12 und des Massenspeichers 13 realisiert.
-
Für die elektronische Schaltung 15 wird angenommen, eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein paralleler-programmierter Prozessor, eine logische IC, eine Gatteranordnung (GA), eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine feldprogrammierbare Gatteranordnung (FPGA) zu sein.
-
Die funktionalen Komponenten können durch eine einzige elektronische Schaltung 15 realisiert sein, oder die funktionalen Komponenten können unter einer Vielzahl von elektronischen Schaltungen 15 verteilt und durch diese realisiert sein.
-
<Vierte Variante>
-
Als eine vierte Variante können einige der funktionalen Komponenten durch Hardware realisiert sein, und die übrigen der funktionalen Komponenten können durch Software realisiert werden.
-
Jeder von dem Prozessors 11, dem Arbeitsspeicher 12, dem Massenspeicher 13 und der elektronischen Schaltung 15 wird als ein Verarbeitungsschaltkreis bezeichnet. Das heißt, dass die Funktionen der funktionalen Komponenten durch den Verarbeitungsschaltkreis realisiert sind.
-
Zweite Ausführungsform
-
Eine zweite Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass ein Lernmodell 32 auf Grundlage von Bewegungsinformationen und Kennzeichnungs-Informationen generiert wird und die den Zielinformationen entsprechenden Gerüst-Informationen unter Verwendung des Lernmodells 32 identifiziert werden. In der zweiten Ausführungsform wird dieser Unterschied beschrieben, und die Beschreibung der gleichen Aspekte entfällt.
-
*** Beschreibung einer Konfiguration ***
-
Bezugnehmend auf 11, wird eine Konfiguration der Bewegungsidentifizierungseinrichtung 10 gemäß der zweiten Ausführungsform beschrieben.
-
Die Bewegungsidentifizierungseinrichtung 10 unterscheidet sich von der in 1 dargestellten Bewegungsidentifizierungseinrichtung 10 dadurch, dass anstelle der Bewegungsinformations-Registrierungseinheit 23 eine Lerneinheit 26 enthalten ist. Die Bewegungsidentifizierungseinrichtung 10 unterscheidet sich von der in 1 dargestellten Bewegungsidentifizierungseinrichtung 10 auch dadurch, dass der Massenspeicher 13 anstelle der Bewegungsinformationstabelle 31 das Lernmodell 32 speichert.
-
*** Beschreibung des Betriebs ***
-
Bezugnehmend auf 12 und 13 wird eine Konfiguration der Bewegungsidentifizierungseinrichtung 10 gemäß der zweiten Ausführungsform beschrieben.
-
Der Betrieb der Bewegungsidentifizierungseinrichtung 10 gemäß der zweiten Ausführungsform entspricht einem Bewegungsidentifizierungsverfahren gemäß der zweiten Ausführungsform. Der Betrieb der Bewegungsidentifizierungseinrichtung 10 gemäß der zweiten Ausführungsform entspricht außerdem Prozessen eines Bewegungsidentifizierungsprogramms gemäß der zweiten Ausführungsform.
-
Der Betrieb der Bewegungsidentifizierungseinrichtung 10 gemäß der zweiten Ausführungsform umfasst einen Lernprozess und einen Identifizierungsprozess.
-
Bezugnehmend auf 12 werden Lernprozesse gemäß der zweiten Ausführungsform beschrieben.
-
Die Prozesse der Schritte S31 bis S32 sind die gleichen wie die Prozesse der Schritte S11 bis S12 in 2. Der Prozess von Schritt S34 ist der gleiche wie der Prozess von Schritt S14 von 2.
-
(Schritt S33: Lernmodell-Generierungsprozess)
-
Die Lerneinheit 26 veranlasst, dass eine Vielzahl von Gruppen, die jeweils aus den in Schritt S32 extrahierten Bewegungsinformationen und den Kennzeichnungs-Informationen in der gleichen Gruppe wie die Bilddaten, aus denen die Bewegungsinformationen extrahiert wurden, zusammengesetzt sind, als Lerndaten gelernt werden. Auf diese Weise generiert die Lerneinheit 26 ein Lernmodell 32, das bei Eingabe von Skelett-Gerüst-Informationen 43 Bewegungsinformationen identifiziert, die den eingegebenen Skelett-Gerüst-Informationen 43 ähnlich sind, und Kennzeichnungs-Informationen ausgibt, die den identifizierten Bewegungsinformationen entsprechen. Als ein Verfahren zum Lernen auf Grundlage von Lerndaten kann ein vorhandenes maschinelles Lernmodell oder dergleichen verwendet werden. The Lerneinheit 26 schreibt das generierte Lernmodell 32 in den Massenspeicher 13.
-
Falls das Lernmodell 32 bereits generiert wurde, aktualisiert die Lerneinheit 26 das Lernmodell 32 durch Bereitstellen der Lerndaten an das Lernmodell 32, das bereits generiert wurde.
-
Es ist zu beachten, dass in Schritt S31 nur Bilddaten anstelle eines Paares aus Bilddaten und Kennzeichnungs-Informationen eingegeben werden können. In diesem Fall werden in Schritt S32 Bewegungsinformationen aus den Bilddaten extrahiert, und nur die Bewegungsinformationen in Schritt S33 dem Lernmodell 32 als Lerndaten zur Verfügung gestellt. Auf diese Weise kann auch dann, falls Kennzeichnungs-Informationen nicht vorhanden sind, ein gewisser Lerneffekt erzielt werden.
-
Bezugnehmend auf 13 wird der Identifizierungsprozess gemäß der zweiten Ausführungsform beschrieben.
-
Die Prozesse der Schritte S41 bis S42 sind die gleichen wie die Prozesse der Schritte S21 bis S22 in 7. Die Prozesse der Schritte S44 bis S45 sind die gleichen wie die Prozesse der Schritte S24 bis S25 in 7.
-
(Schritt S43: Bewegungsidentifizierungsprozess)
-
Die Bewegungsidentifizierungseinheit 24 gibt die in Schritt S42 extrahierten Zielinformationen in das in dem Massenspeicher 13 gespeicherte Lernmodell 32 ein und erhält die von dem Lernmodell 32 ausgegebenen Kennzeichnungs-Informationen. Dann identifiziert die Bewegungsidentifizierungseinheit 24 eine Art von Bewegung, die durch die erhaltenen Kennzeichnungs-Informationen angegeben ist, als eine Art von Bewegung, die von der Zielperson ausgeführt wird. Das heißt, die Bewegungsidentifizierungseinheit 24 identifiziert die Art von Bewegung, die durch die aus den Zielinformationen abgeleiteten und von dem Lernmodell 32 ausgegebenen Kennzeichnungs-Informationen angegeben ist, als die Art von Bewegung, die von der Zielperson ausgeführt wird.
-
*** Wirkungen der zweiten Ausführungsform ***
-
Wie oben beschrieben, generiert die Bewegungsidentifizierungseinrichtung 10 gemäß der zweiten Ausführungsform ein Lernmodell 32 und identifiziert Kennzeichnungs-Informationen, die Zielinformationen entsprechen, unter Verwendung des Lernmodells 32. Daher können die Kennzeichnungs-Informationen, die den Zielinformationen entsprechen, effizient identifiziert werden.
-
*** Weitere Konfigurationen ***
-
<Fünfte Variante>
-
In der zweiten Ausführungsform, wie in 11 dargestellt, ist die Bewegungsidentifizierungseinrichtung 10 eine einzelne Einrichtung. Die Bewegungsidentifizierungseinrichtung 10 kann aber auch wie bei der ersten Variante ein aus mehreren Einrichtungen gebildetes System sein.
-
Als ein konkretes Beispiel, wie in 14 dargestellt, kann die Bewegungsidentifizierungseinrichtung 10 ein System sein, das aus einer Registrierungseinrichtung aufweisend die Funktionen, die sich auf den Lernprozess beziehen, und einer Identifizierungseinrichtung, aufweisend die Funktionen, die sich auf den Identifizierungsprozess beziehen, gebildet ist. In diesem Fall kann das Lernmodell 32 in einem Massenspeicher gespeichert werden, der außerhalb der Lerneinrichtung und der Identifizierungseinrichtung vorgesehen ist, oder kann in einem Massenspeicher in einer von der Lerneinrichtung und der Identifizierungseinrichtung gespeichert sein.
-
In 14 ist die Hardware in jeder von der Registrierungseinrichtung und der Identifizierungseinrichtung jeweils weggelassen. Jede von der Lerneinrichtung und der Identifizierungseinrichtung enthält als Hardware einen Prozessor, einen Arbeitsspeicher, einen Massenspeicher und eine Kommunikationsschnittstelle, wie die Bewegungsidentifizierungseinrichtung 10.
-
<Sechste Variante>
-
In der zweiten Ausführungsform, wie in 11 dargestellt, umfasst die Bewegungsidentifizierungseinrichtung 10 als Hardware den Prozessor 11, den Arbeitsspeicher 12, den Massenspeicher 13 und die Kommunikationsschnittstelle 14. Die Bewegungsidentifizierungseinrichtung 10 kann als die Prozessoren 11 eine CPU, eine GPU, einen Prozessor für Lernverarbeitung und einen Prozessor für Inferenzverarbeitung enthalten. In diesem Fall kann die Skelett-Gerüst-Extrahierungseinheit 22, die Bildverarbeitungen durchführt, durch die GPU realisiert sein, die Lerneinheit 26, die am Lernen des Lernmodells 32 beteiligt ist, kann durch den Prozessor für die Lernverarbeitung realisiert sein, die Bewegungsidentifizierungseinheit 24, die Inferenz unter Verwendung des Lernmodells 32 durchführt, kann durch den Prozessor für Inferenzverarbeitung realisiert werden, und die Bilderfassungseinheit 21 und die Lerneinheit 26, welche der Rest sind, können durch die CPU realisiert sein.
-
Bezugszeichenliste
-
- 10
- Bewegungsidentifizierungseinrichtung,
- 11
- Prozessor,
- 12
- Arbeitsspeicher,
- 13
- Massenspeicher,
- 14
- Kommunikationsschnittstelle,
- 15
- Elektroni-sche Schaltung,
- 21
- Bilderfassungseinheit,
- 22
- Skelett-Gerüst-Extrahierungseinheit,
- 23
- Bewegungsinformation-Registrierungseinheit,
- 24
- Bewegungsi-dentifizierungseinheit,
- 25
- Ausgabeeinheit,
- 26
- Lerneinheit,
- 31
- Bewegungsinformationstabelle,
- 32
- Lernmodell,
- 41
- Bildgenerierungseinrichtung,
- 42
- Person,
- 43
- Skelett-Gerüst-Informationen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
