DE112021004434T5

DE112021004434T5 - Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und -programm

Info

Publication number: DE112021004434T5
Application number: DE112021004434.6T
Authority: DE
Inventors: Kiyoaki Tanaka; Junichi SUGIO; Takahiro Takayama
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2020-08-24
Filing date: 2021-07-21
Publication date: 2023-06-22
Also published as: WO2022044637A1; CN116134480A; JP7484569B2; JP2022036825A; US20230267767A1

Abstract

Bildverarbeitungsvorrichtung umfasst eine Bildverarbeitungseinrichtung, die ein Bewegtbild erhält, das einen mit einem Bildsensor erfassten Operationsbereich enthält, eine Bilderzeugungseinrichtung, die basierend auf dem Bewegtbild ein Bild eines Gesichtsbereichs eines Arbeiters erzeugt, der eine Operation in dem Operationsbereich ausführt, einen Statistik-Generator, der basierend auf dem Bewegtbild Statistiken für die von dem Arbeiter ausgeführte Operation erzeugt, eine Datenerzeugungseinrichtung, die Daten erzeugt, die das erzeugte Bild des Gesichts des Arbeiters enthalten, die mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verknüpft sind, und eine Ausgabeeinheit, die die erzeugten Daten ausgibt.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Technik zur Analyse des Verhaltens eines Zielobjekts unter Verwendung von Bildsensoren.
HINTERGRUND
Der Markt der Fertigungsautomatisierung bietet praktische Techniken, um beispielsweise eine Produktivitätssteigerung zu ermöglichen, indem die Anzahl der Arbeiter, die Operationen ausführen, und der Maschinen, die in Betrieb sind, sowie deren Betriebspositionen mit Hilfe eines Bildsensors, der auf einer Fertigungsinsel installiert ist, identifiziert und die Details der Operationen in jedem Betriebsprozess analysiert werden.
In der Patentliteratur 1 wird beispielsweise ein Verfahren zur Messung der Betriebszeit beschrieben, bei dem ein Identifikationsetikett (ID-Tag), das an einem Werkstück, das sich auf einer Fertigungsstraße befindet, an einem Eingang und einem Ausgang der Fertigungsstraße angebracht ist, gelesen wird und der Zeitpunkt des Betriebsbeginns und des Betriebsendes des Werkstücks ermittelt wird. In der Patentliteratur 2 wird eine Technik zur Anzeige eines Zeitdiagramms oder eines bewegten Bildes beschrieben, das mit den Einzelheiten der von einem verfolgten Arbeiter über mehrere Vorgänge in einem Arbeitsprozess ausgeführten Tätigkeiten verbunden ist.
ENTGEGENHALTUNGEN
PATENTSCHRIFTEN

Patentschrift 1: Die japanische Offenlegungsschrift 2006-202255
Patentschrift 2: Die japanische Offenlegungsschrift 2018-073176

FAZIT
TECHNISCHE AUFGABE
Bekannte Techniken beinhalten jedoch Vorgänge, in denen Ziele angegeben werden, die auf die Details von Vorgängen hin analysiert werden sollen, wie das Anbringen von ID-Tags an Werkstücken oder die Angabe einer Person, deren Vorgänge von einem Benutzer verfolgt werden sollen. Bei einer Technik, die ID-Tags verwendet, beeinflusst die Erkennungsgenauigkeit eines Sensors oder eines anderen Geräts zum Lesen der ID-Tags die Genauigkeit der gemessenen Zeit. Auch die ID-Tags sind bei jedem Vorgang zu lesen. Wenn ein Benutzer einen Arbeiter in einem Video, das eine Zeile enthält, angeben will, kann er nicht zwischen einzelnen Arbeitern unterscheiden. Dadurch kann der Benutzer die Einzelheiten der von jedem Arbeiter ausgeführten Vorgänge erkennen, ohne jedoch die einzelnen Arbeiter zu identifizieren.
Als Antwort auf das vorstehende Problem sind ein oder mehrere Aspekte der vorliegenden Erfindung auf ein Verfahren zur Analyse der Details einer ausgeführten Operation und zur Identifizierung eines einzelnen Arbeiters, der die Operation ausführt, basierend auf einem mit einem Bildsensor erhaltenen Bild gerichtet.
LÖSUNG DER AUFGABE
Die Vorrichtung, das Verfahren und das Programm gemäß einem oder mehreren Aspekten der vorliegenden Erfindung weisen die folgende Struktur auf. Bildverarbeitungsvorrichtung gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst eine Bildverarbeitungseinrichtung, die ein Bewegtbild erhält, das einen mit einem Bildsensor erfassten Operationsbereich enthält, eine Bilderzeugungseinrichtung, die basierend auf dem Bewegtbild ein Bild eines Gesichtsbereichs eines Arbeiters erzeugt, der eine Operation in dem Operationsbereich ausführt, einen Statistik-Generator, der basierend auf dem Bewegtbild Statistiken für die von dem Arbeiter ausgeführte Operation erzeugt, eine Datenerzeugungseinrichtung, die Daten erzeugt, die das erzeugte Bild des Gesichts der Arbeitskraft enthalten, die mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verknüpft sind, und eine Ausgabeeinheit, die die erzeugten Daten ausgibt. Diese Struktur verknüpft einen einzelnen Arbeiter und die Statistiken basierend auf dem Bewegtbild des Bildsensors miteinander und ermöglicht die Analyse von Vorgängen, die den einzelnen Arbeiter identifizieren.
Die Datenerzeugungseinrichtung kann Daten erzeugen, die Bilder von Gesichtsregionen einer Vielzahl von Arbeitern enthalten, die von der Bilderzeugungseinrichtung erzeugt wurden und mit statistischen Informationen über die von der Vielzahl von Arbeitern ausgeführten Vorgänge verknüpft sind, die von der Statistikinformationseinrichtung erzeugt wurden. Die Datenerzeugungseinrichtung kann für die Datenausgabe von der Ausgabeeinheit neue Daten erzeugen, die mindestens zwei Bilder der Bilder der Gesichtsregionen der Vielzahl von Arbeitern enthalten, die mit den Statistiken verknüpft sind, die mit den mindestens zwei Bildern verbunden sind. Basierend auf einer Benutzereingabe können die mindestens zwei Bilder ausgewählt werden. Auf diese Weise können mehrere Bilder, die für die Gesichtsregion eines einzelnen Arbeitnehmers erzeugt wurden, in ein Einzelbild integriert werden, und es können die mit den mehreren Bildern verbundenen Statistiken integriert werden.
Die Datenerzeugungseinrichtung kann für die Datenausgabe von der Ausgabeeinheit neue Daten erzeugen, die das Bild des Gesichtsbereichs des Arbeitnehmers enthalten, das durch ein anderes, von der Bilderzeugungseinrichtung erzeugtes Bild des Gesichtsbereichs des Arbeitnehmers ersetzt wird. Die Datenerzeugungseinrichtung kann Daten erzeugen, die ein Bild des Gesichtsbereichs des Arbeiters umfassen, das basierend auf einem Kriterium ausgewählt wurde, das mindestens eines der Kriterien Größe, Ausrichtung oder Gesichtsmerkmal des Gesichtsbereichs des Arbeiters umfasst und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verbunden ist. Die Datenerzeugungseinrichtung kann basierend auf dem Abgleich zwischen den Bildern der Gesichtsbereiche einer Vielzahl von Arbeitern, die im Voraus erhalten wurden, und dem erzeugten Bild des Gesichtsbereichs des Arbeiters Daten erzeugen, die ein Bild des Gesichtsbereichs des Arbeiters enthalten, das aus den im Voraus erhaltenen Bildern ausgewählt wurde und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verbunden ist. Dadurch kann ein Bild der Gesichtsregion eines Arbeiters in ein Bild geändert werden, das besser als der Arbeiter identifizierbar ist, und es erleichtert die Identifizierung der Statistiken für den Arbeiter.
Der Statistik-Generator kann Basisinformationen und detaillierte Informationen über die Statistiken für die Operation erzeugen, den der Arbeiter basierend auf dem Bewegtbild ausführt. Die Datenerzeugungseinrichtung kann Daten erzeugen, die das Bild des Gesichtsbereichs des Arbeiters umfassen, das mit den Basisinformationen über die erzeugten Statistiken für die vom Arbeiter ausgeführte Operation und den detaillierten Informationen über die erzeugten Statistiken für die vom Arbeiter ausgeführte Operation verbunden ist. Die Verknüpfung des Bildes des Gesichts des Arbeiters mit verschiedenen Informationen, die für die Analyse der Vorgänge des Arbeiters nützlich sind, ermöglicht eine effizientere Analyse der Vorgänge.
Die Datenerzeugungseinrichtung kann basierend auf dem erhaltenen Bewegtbild ein Bewegtbild erzeugen, das mit der erzeugten Statistik für die vom Arbeiter ausgeführte Operation verbunden ist. Die Datenerzeugungseinrichtung kann Daten umfassen, welche das Bild der Gesichtsregion des Arbeiters mit den erzeugten Statistiken für die vom Arbeiter ausgeführte Operation und das erzeugte Bewegtbild verknüpfen. Der Statistik-Generator kann basierend auf dem Bewegtbild Statistiken für die vom Arbeiter ausgeführte Operation für jeden der im Bereich der Operation enthaltenen Arbeitsvorgänge erzeugen. Die Datenerzeugungseinrichtung kann basierend auf dem erhaltenen Bewegtbild ein Bewegtbild erzeugen, das mit den erzeugten Statistiken für die vom Arbeiter ausgeführte Operation für jeden der ein oder mehreren Arbeitsvorgänge verbunden ist. Die Datenerzeugungseinrichtung kann Daten umfassen, die das Bild des Gesichtsbereichs des Arbeiters in Verbindung mit den erzeugten Statistiken für die Operation, die von dem Arbeiter ausgeführt wird, für jeden der einen oder mehrere Arbeitsvorgänge und das erzeugte bewegte Bild für jeden der einen oder mehrere Arbeitsvorgänge. Dadurch wird das Bewegtbild als Basis der Statistiken für den Arbeiter sichtbar und ermöglicht eine effizientere Analyse der Vorgänge.
Der Statistik-Generator kann Bewertungsinformationen erzeugen, die ein Auswertungsergebnis anzeigen, das basierend auf einem vorbestimmten Kriterium für die Statistiken für die vom Arbeiter ausgeführte Operation, die beim Erzeugen des Bewegtbildes erzeugt wurde, erhalten wurde. Die Datenerzeugungseinrichtung kann Daten erzeugen, die das Bild der Gesichtsregion des Arbeiters umfassen, das mit den erzeugten Statistiken für die vom Arbeiter ausgeführte Operation und den Auswertungsinformationen verknüpft ist. Dies ermöglicht es, dass bei der Analyse der Statistiken verwertbare Informationen, beispielsweise Statistiken für den Arbeiter, die anzeigen, dass die Operationsdauer weitgehend über oder unter den Zielwerten liegt, als Auswertungsergebnisse erscheinen, und ermöglicht eine effizientere Analyse der Vorgänge.
Andere Aspekte der vorliegenden Erfindung können auf ein Bildverarbeitungsverfahren, welches zumindest einen Teil der vorstehenden Prozesse umfasst, ein Programm, welches einen Computer veranlasst, das Verfahren zu implementieren, oder ein nicht flüchtiges computerlesbares Speichermedium, welches das Programm speichert, gerichtet sein. Die vorliegende Erfindung kann durch Kombination der vorstehenden Strukturen und Verfahren in beliebiger Weise ausgeführt werden, sofern sich keine technischen Widersprüche ergeben.
VORTEILHAFTE WIRKUNGEN
Die Technik entsprechend den vorstehenden Aspekten der vorliegenden Erfindung ermöglicht es, basierend auf den mit einem Bildsensor aufgenommenen Bildern, die Vorgänge ausführlich zu analysieren und auch einen einzelnen Arbeiter zu identifizieren.
Figurenliste

1 ist ein Blockdiagramm einer Bildverarbeitungsvorrichtung gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung, das eine beispielhafte Struktur veranschaulicht.
2 ist ein Blockdiagramm eines Personalcomputers (PC) („Bildverarbeitungsvorrichtung“) entsprechend einer Ausführungsform, das eine beispielhafte Struktur veranschaulicht.
3 ist ein Flussdiagramm eines beispielhaften Prozesses, der von dem PC entsprechend der Ausführungsform ausgeführt wird.
4 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in der Ausführungsform dar.
5 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer ersten Modifikation dar.
6 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer zweiten Modifikation dar.
7 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer dritten Modifikation dar.
8 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer vierten Modifikation dar.
9 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer fünften Modifikation dar.
10 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer sechsten Änderung dar.
11 ist ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer siebten Änderung dargestellt.
12 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms in einer achten Änderung dar.

DETAILLIERTE BESCHREIBUNG
Anwendungsbeispiel
Es wird ein Anwendungsbeispiel für ein Verfahren entsprechend einer oder mehrerer Ausführungsformen der vorliegenden Erfindung beschrieben. Um die Einzelheiten der von den einzelnen Arbeitern ausgeführten Tätigkeiten auf der Grundlage eines Bildes zu analysieren, das die Arbeiter enthält und mit einem Bildsensor aufgenommen wurde, der sich auf einer Fertigungsinsel oder auf einer anderen Linie in einer Fabrik befindet, müssen die Arbeiter individuell identifiziert werden. Die Identifizierung eines Arbeiters umfasst die Ortsbestimmung des Arbeiters anhand der Intensität von Funkwellen an einem tragbaren Endgerät, das der Arbeiter bei sich trägt, und an drahtlosen LAN-Zugangspunkten (Local Area Network) oder die Ortsbestimmung des Arbeiters durch das Lesen eines elektronischen Etiketts, das am Arbeiter angebracht ist. Eine solche Ortsbestimmung kann jedoch eine geringere Ortungsgenauigkeit aufweisen, da die Funkwellen des drahtlosen LAN von verschiedenen Einrichtungen und Geräten beeinträchtigt werden, oder sie kann die Vorbereitung vieler elektronischer Etiketten erfordern, die an den Arbeitern angebracht werden.
1 ist ein Blockdiagramm einer Bildverarbeitungsvorrichtung 100 entsprechend einer Ausführungsform der vorliegenden Erfindung, das eine beispielhafte Struktur veranschaulicht. Die Bildverarbeitungsvorrichtung 100 umfasst eine Bilderfassungseinrichtung 101, einen Gesichtsbildgenerator 102, einen Statistik-Generator 103, eine Datenerzeugungseinrichtung 104 und eine Ausgabeeinheit 105. Die Bilderfassungseinrichtung 101 umfasst ein Bild, das mit einem Bildsensor wie beispielsweise einer 360-Grad-Kamera erfasst wurde, die sich auf einer Fertigungsinsel oder auf einer anderen Linie befindet. Der Gesichtsbildgenerator 102 erzeugt basierend auf dem erfassten Bild ein Bild eines Gesichtsbereichs eines jeden Arbeiters (Gesichtsbild). Der Statistik-Generator 103 erzeugt basierend auf dem erfassten Bild Statistiken für Operationen, die von jedem Arbeiter ausgeführt werden. Die Datenerzeugungseinrichtung 104 erzeugt Daten, die Bilder von Gesichtsregionen von Arbeitern enthalten, die vom Gesichtsbildgenerator 102 erzeugt wurden und mit Statistiken für Operationen verknüpft sind, die von den Arbeitern ausgeführt wurden, die vom Statistik-Generator 103 erzeugt wurden. Die Ausgabeeinheit 105 gibt die von der Datenerzeugungseinrichtung 104 erzeugten Daten aus.
Die Bildverarbeitungsvorrichtung 100 entsprechend einer oder mehrerer Ausführungsformen der vorliegenden Erfindung kann basierend auf einem erfassten Bild, das mit dem Bildsensor erfasst wurde, Arbeiter genau identifizieren und Informationen bereitstellen, die die Einzelheiten der Analyse der von jedem Arbeiter ausgeführten Operationen angeben.
(erste Ausführungsform)
A first embodiment of the present invention will now be described.
2 is a schematic block diagram of an image processing system according to the first embodiment showing an example structure. Das Bildverarbeitungssystem gemäß der ersten Ausführungsform umfasst einen Bildsensor, einen Personal Computer (PC) 200 (Bildverarbeitungsvorrichtung) und eine Anzeige. Der Bildsensor und der PC 200 sind über ein Kabel oder drahtlos miteinander verbunden. Der PC 200 und die Anzeige sind über ein Kabel oder drahtlos miteinander verbunden.
In der ersten Ausführungsform erfasst der Bildsensor eine Fertigungsinsel, die sich in einer Fabrik, einem Auslieferungslager oder einer anderen Einrichtung befindet. Ein Bereich der Fertigungsinsel in einem mit dem Bildsensor erfassten Bild ist ein Erfassungsbereich für die auf Arbeiter ausgerichtete Erfassung von Personen. Der Bildsensor erfasst ein Bild der Fertigungsinsel und gibt das erfasste Bild an den PC 200 aus. Obwohl der Bildsensor ein Bild in jeder beliebigen Richtung erfassen kann, wird der Bildsensor in der ersten Ausführungsform über der Fertigungsinsel oder genauer gesagt an der Bodenplatte, auf der sich die Fertigungsinsel befindet, angebracht, um einen weiten Überblick über die Fertigungsinsel bereitzustellen. Der PC 200 führt basierend auf dem mit dem Bildsensor erfassten Bild eine Erkennung von Personen durch und stellt die Erkennungsergebnisse auf einer Anzeige dar. Beispiele für die Anzeige umfassen ein Anzeigegerät und ein Informationsverarbeitungsgerät (z. B. ein Smartphone).
In der ersten Ausführungsform ist der PC 200 ein vom Bildsensor und der Anzeige getrenntes Gerät. In einigen Ausführungsformen kann der PC 200 mit dem Bildsensor oder der Anzeige integriert sein. Der PC 200 kann sich an einem beliebigen Ort befinden. Der PC 200 kann sich beispielsweise im selben Raum befinden wie der Bildsensor. In einigen Ausführungsformen kann der PC 200 ein Cloud-Computer sein.
Der PC 200 umfasst eine Eingabeeinheit 210, eine Steuerung 220, einen Speicher 230 und eine Ausgabeeinheit 240. Die Steuerung 220 umfasst eine Bilderfassungseinrichtung 221, einen Statistik-Generator 222 und eine Datenerzeugungseinrichtung 223. Die Eingabeeinheit 210, die Bilderfassungseinrichtung 221, der Statistik-Generator 222, die Datenerzeugungseinrichtung 223 und die Ausgabeeinheit 240 entsprechen jeweils der Bilderfassungseinrichtung, dem Bildgenerator, dem Statistik-Generator, der Datenerzeugungseinrichtung und der Ausgabeeinheit in einer oder mehreren Ausführungsformen der vorliegenden Erfindung.
Die Eingabeeinheit 210 erhält von dem Bildsensor Bewegtbilddaten, welche die mit dem Bildsensor erfasste Fertigungsinsel umfassen, und gibt die Bewegtbilddaten an die Steuerung 220 aus. Die von der Eingabeeinheit 210 aus dem Bildsensor erhaltenen Bewegtbilddaten werden von der Steuerung 220 in dem Speicher 230 gespeichert. Die von der Eingabeeinheit 210 erhaltenen Bewegtbilddaten umfassen die über einen vorbestimmten Zeitraum (eine Stunde, einen Tag oder einen anderen, entsprechend eingestellten Zeitraum) erfasste Fertigungsinsel.
Die Steuerung 220 umfasst beispielsweise eine Zentraleinheit (CPU), einen Direktzugriffsspeicher (RAM) und einen Festwertspeicher (ROM). Die Steuerung 220 steuert jede Einheit im PC 200 und führt verschiedene Informationsprozesse aus.
Die Datenerzeugungseinrichtung 221 erfasst einen Gesichtsbereich eines Arbeiters in dem erfassten Bild basierend auf den von der Eingabeeinheit 210 erhaltenen Bewegtbilddaten. Ein Gesichtsbereich eines Arbeiters in den mit dem Bildsensor erhaltenen Bewegtbilddaten kann mit bekannten Verfahren erkannt werden, indem die Gesichtszüge einer Person erfasst werden. Dieser Vorgang wird hier nicht ausführlich beschrieben. Die Bilderzeugungseinrichtung 221 bestimmt auch, ob es sich bei einem Arbeiter mit einem erkannten Gesichtsbereich um einen Arbeiter handelt, der auf die Einzelheiten von Operationen zu analysieren ist. In der vorliegenden Ausführungsform speichert der Speicher 230 Arbeiterkennungen (IDs) zur Identifizierung von Arbeitern und Informationen zur Identifizierung eines Arbeiters mit einem erkannten Gesichtsbereich als zu analysierenden Arbeiter basierend beispielsweise auf einer erfassten Position im Bewegtbild und dem Ausmaß der Ähnlichkeit der Bildmerkmale. Die Bilderzeugungseinrichtung 221 identifiziert basierend auf den im Speicher 230 gespeicherten Informationen den zu analysierenden Arbeiter anhand des erfassten Gesichtsbereichs und speichert die Arbeiter-ID des identifizierten Arbeiters und erfasste Informationen über die Ortsbestimmung des Arbeiters im Bewegtbild im Speicher 230. Wenn kein Arbeiter anhand des erkannten Gesichtsbereichs erkannt wird, bestimmt die Bilderzeugungseinrichtung 221, dass der Arbeiter, der dem erkannten Gesichtsbereich entspricht, ein neuer Arbeiter ist, erzeugt eine neue Arbeiter-ID und speichert die erzeugte Arbeiter-ID und die erkannten Positionsinformationen im Bewegtbild in den Speicher 230.
Die Bilderzeugungseinrichtung 221 erzeugt ein Bild des erkannten Gesichtsbereichs. Das beim Erzeugen des Bildes von der Bilderzeugungseinrichtung 221 erzeugte Bild des Gesichtsbereichs des Arbeiters kann in dem Speicher 230 gespeichert werden oder an jede Einheit im PC 200 übertragen werden, die das Bild verarbeitet.
Der Statistik-Generator 222 erzeugt basierend auf den von der Eingabeeinheit 220 erhaltenen Bewegtbilddaten und den vorstehenden, von der Bilderzeugungseinrichtung 221 erzeugten Informationen, die in dem Speicher 230 gespeichert werden, Statistiken über die Einzelheiten der von jedem der erkannten Arbeiter ausgeführten Operationen. Ein Beispiel für die Statistiken umfasst ein Gantt-Diagramm, das die Operationszeit für jeden Prozess auf einer Fertigungsinsel veranschaulicht. Die Statistiken können Informationen über eine Soll-Operationszeit als Referenz-Operationszeit für jeden Prozess umfassen, die mit der Operationszeit jedes Arbeiters verglichen wird. Die Operationszeit eines jeden Arbeiters für jeden Prozess kann basierend auf einem mit dem Bildsensor erfassten Bild berechnet werden, und ein Gantt-Diagramm kann basierend auf den Berechnungsergebnissen mit bekannten Techniken erzeugt werden. Diese Prozesse werden hier nicht ausführlich beschrieben.
Die Datenerzeugungseinrichtung 223 erzeugt Daten, die das Bild des Gesichtsbereichs jedes Arbeiters umfassen, der von der Bilderzeugungseinrichtung 221 identifiziert wurde, und die mit den detaillierten Informationen über die von jedem Arbeiter ausgeführten Operationen verknüpft sind, die von dem Statistik-Generator 222 erzeugt wurden. In der vorliegenden Ausführungsform erzeugt die Datenerzeugungseinrichtung 223 Daten, beispielsweise ein Bild, das auf einer Anzeige dargestellt werden kann, die mit der Ausgabeeinheit 240 verbunden ist. Die Datenerzeugungseinrichtung 223 kann jedoch auch andere Daten erzeugen, die von anderen Informationsverarbeitungseinrichtungen verarbeitet werden können.
Zusätzlich zu den vorstehenden Statistiken speichert der Speicher 230 ein von der Steuerung 220 ausführbares Programm und verschiedene von der Steuerung 220 verwendete Datensätze. Beispielsweise handelt es sich bei dem Speicher 230 um ein zusätzliches Speichergerät, beispielsweise ein Festplattenlaufwerk oder ein Solid State Drive. Die Ausgabeeinheit 240 gibt ein von der Datenerzeugungseinrichtung 223 erzeugtes Bild auf eine Anzeige aus. Das von der Datenerzeugungseinrichtung 223 erzeugte Bild kann in dem Speicher 230 gespeichert werden, um jederzeit über die Ausgabeeinheit 240 ausgegeben zu werden.
3 ist ein Flussdiagramm eines beispielhaften Prozesses, der von dem PC 200 ausgeführt wird. Der PC 200 führt das Verfahren in 3 aus, nachdem die Eingabeeinheit 210 Bewegtbilddaten vom Bildsensor erhalten und die Bewegtbilddaten im Speicher 230 gespeichert hat.
In Schritt S301 erhält die Steuerung 220 zunächst die mit dem Bildsensor erfassten und im Speicher 230 gespeicherten Bewegtbilddaten. Die Datenerzeugungseinrichtung 221 wiederholt dann die Verarbeitung in den Schritten S302 bis S305 für jedes Einzelbild der aus dem Speicher 230 erhaltenen Bewegtbilddaten.
Im Schritt S302 erfasst die Datenerzeugungseinrichtung 221 einen Gesichtsbereich eines Arbeiters aus einem Einzelbild der aus dem Speicher 230 erhaltenen Bewegtbilddaten. In Schritt S302 erfasst die Datenerzeugungseinrichtung 221 einen Gesichtsbereich eines Arbeiters aus einem Einzelbild der aus dem Speicher 230 erhaltenen Bewegtbilddaten. In Schritt S303 erhält die Bilderzeugungseinrichtung 221 aus dem Speicher 230 Informationen, um basierend auf dem erfassten Gesichtsbereich zu bestimmen, ob es sich bei dem Arbeiter um einen zu analysierenden Arbeiter handelt, und identifiziert den Arbeiter, der dem in Schritt S302 erfassten Gesichtsbereich entspricht, als einen zu analysierenden Arbeiter. Wenn ein zu analysierender Arbeiter basierend auf dem erkannten Gesichtsbereich erfolgreich identifiziert wird, speichert die Bilderzeugungseinrichtung 221 die Arbeiter-ID des Arbeiters in Verbindung mit Informationen über die Ortsbestimmung des Arbeiters im Einzelbild im Speicher 230. Wenn ein zu analysierender Arbeiter basierend auf dem erkannten Gesichtsbereich nicht identifiziert wird, erzeugt die Bilderzeugungseinrichtung 221 eine neue Arbeiter-ID für den Arbeiter, die dem erkannten Gesichtsbereich entspricht, und speichert die erzeugte Arbeiter-ID in Verbindung mit Informationen über die Ortsbestimmung des Arbeiters im Einzelbild im Speicher 230.
In Schritt S304 unterscheidet die Bilderzeugungseinrichtung 221 ferner die von dem Arbeiter ausgeführten Operationen basierend auf der mit dem Bildsensor erfassten und im Speicher 230 gespeicherten Information über die Fertigungsinsel und der Information über die Position des Arbeiters im Einzelbild und speichert die unterschiedene Operation, die mit der vorstehenden Information über die Position des Arbeiters verknüpft ist, im Speicher 230.
In Schritt S305 erzeugt die Bilderzeugungseinrichtung 221 ein Bild des Gesichtsbereichs des in Schritt S302 erkannten Arbeiters basierend auf dem Bild im Einzelbild und speichert das erzeugte Bild des Gesichtsbereichs in Verbindung mit der Arbeiter-ID in dem Speicher 230. In der vorliegenden Ausführungsform erhält die Bilderzeugungseinrichtung 221 ein Bild eines Gesichtsbereichs eines Arbeiters für jedes von der Eingabeeinheit 210 erhaltene Einzelbild. Die Bilderzeugungseinrichtung 221, die die Verarbeitung in den Schritten S302 bis S305 wiederholt, kann jedoch jederzeit intermittierend ein Bild eines Gesichtsbereichs eines Arbeiters erhalten oder einfach nur einmal ein Bild eines Gesichtsbereichs eines jeden Arbeiters erhalten.
In Schritt S306 bestimmt die Datenerzeugungseinrichtung 221, ob alle Einzelbilder der in Schritt S301 erhaltenen Bewegtbilddaten die Verarbeitung in den Schritten S302 bis S305 erfahren haben. Für ein Einzelbild, das die Verarbeitung in den Schritten S302 bis S305 noch nicht durchlaufen hat (Nein in S306), kehrt die Bilderzeugungseinrichtung 221 zum Schritt S302 zurück und führt die Verarbeitung in den Schritten S302 bis S305 an diesem Einzelbild aus. Wenn alle Einzelbilder der Bewegtbilddaten die Verarbeitung in den Schritten S302 bis S305 (Ja in S306) aufweisen, fährt die Datenerzeugungseinrichtung 221 mit der Verarbeitung in Schritt S307 fort.
In Schritt S307 erzeugt der Statistik-Generator 222 Statistiken, beispielsweise die Betriebszeit für jeden Betriebsprozess auf der Fertigungsinsel und die durchschnittliche Betriebszeit, basierend auf den Daten für jeden Arbeiter, die in dem Speicher 230 durch die vorstehend beschriebene Verarbeitung in den Schritten S302 bis S305 gespeichert sind. In der vorliegenden Ausführungsform umfassen die vom Statistik-Generator 222 erzeugten Statistiken Gantt-Diagramme, die die Operationszeit für jeden Prozess angeben. Der Statistik-Generator 222 verknüpft die erzeugten Gantt-Diagramme für jeden Arbeiter mit der entsprechenden Arbeiter-ID und speichert die Diagramme mit den IDs im Speicher 230.
In Schritt S308 erhält die Datenerzeugungseinrichtung 223 von dem Speicher 230 das Bild des Gesichtsbereichs jedes Arbeiters, das von der Bilderzeugungseinrichtung 221 erzeugt wurde, und die Statistiken, die von dem Statistik-Generator 222 erzeugt wurde, und erzeugt Daten, die das Bild des Gesichtsbereichs jedes Arbeiters umfassen, der mit der Statistik basierend auf der Arbeiter-ID verbunden ist.
In Schritt S309 gibt die Ausgabeeinheit 240 die von der Datenerzeugungseinrichtung 223 in Schritt S308 erzeugten Daten auf eine Anzeige aus. In Schritt S305 kann die Ausgabeeinheit 240 anstelle oder zusätzlich zur Ausgabe der von der Datenerzeugungseinrichtung 223 erzeugten Daten die Daten im Speicher 230 speichern.
4 stellt ein schematisches Diagramm eines beispielhaften Anzeigebildschirms 400 auf der Anzeige mit Daten dar, die durch die Datenerzeugungseinrichtung 223 beim Erzeugen des Verfahrens in 3 erzeugt wurden. Auf einem Anzeigebildschirm 400 sind Gesichtsbilder 401 bis 405 dargestellt, die den jeweiligen Arbeitern entsprechen, die von der Bilderzeugungseinrichtung 221 erhalten wurden, Identifikationsnummern (ID1 bis ID5 in der Figur) für die jeweiligen Arbeiter und Gantt-Diagramme, die die Einzelheiten der von den jeweiligen Arbeitern ausgeführten Operationen anzeigen, die beim Erzeugen des Statistik-Generators 222 erzeugt wurden.
Auf einem Anzeigebildschirm 400 werden die Gesichtsbilder, die Identifikationsnummern und die Gantt-Diagramme, die den jeweiligen Arbeitern entsprechen, in einer Weise dargestellt, die für einen Benutzer, der die Anzeige 400 betrachtet, miteinander verbunden ist. In der vorliegenden Ausführungsform umfasst die mit dem Bildsensor erfasste Fertigungsinsel separate Arbeitsprozesse für einen Arbeiter, genauer gesagt die Prozesse 1 bis 5, die in den Gantt-Diagrammen 406 bis 410 dargestellt werden, die beim Erzeugen des Statistik-Generators 222 erzeugt werden und die Operationszeit für jeden Prozess angeben. Der Anzeigebildschirm 400 stellt auch ein Gantt-Diagramm 411 für Zielwerte dar, die durch den Statistik-Generator 222 basierend auf einer für jeden Prozess voreingestellten Soll-Operationszeit erzeugt werden.
Die Struktur entsprechend der vorliegenden Ausführungsform kann somit einen Arbeiter genau identifizieren und den Arbeiter mit Statistiken für die Details der von dem Arbeiter ausgeführten Operationen verknüpfen, indem Daten erzeugt werden, welche ein Gesichtsbild für jeden Arbeiter enthalten, der Operationen auf einer Fertigungsinsel ausführt, verknüpft mit Statistiken für die Operationen basierend auf Bewegtbilddaten von dem Bildsensor, der die Fertigungsinsel erfasst, ohne die Kosten zu verursachen, die beispielsweise durch das Anbringen von Anhängern oder anderen Vorrichtungen an den Arbeitern entstehen, oder ohne die Möglichkeit einer geringeren Genauigkeit bei der Identifizierung von Arbeitern, wenn ein Kommunikationssystem wie ein drahtloses LAN verwendet wird, um Arbeiter zu identifizieren.
Weitere
Die vorstehende Ausführungsform beschreibt beispielhafte Strukturen gemäß einem oder mehreren Aspekten der vorliegenden Erfindung. Die vorliegende Erfindung ist nicht auf die vorstehend beschriebene spezifische Ausführungsform beschränkt, sondern kann im Rahmen der technischen Ideen der Erfindung auf verschiedene Weise modifiziert werden. Beispielsweise können die Komponenten und die Verfahren der vorstehenden Ausführungsform miteinander kombiniert werden. Modifikationen der vorstehend beschriebenen Ausführungsform werden nachstehend beschrieben. In den nachstehend beschriebenen Modifikationen bezeichnen gleiche Bezugszeichen gleiche Strukturelemente der vorstehend beschriebenen Ausführungsform. Derartige Elemente werden nicht beschrieben.
Erste Modifikation.
In einer ersten Modifikation soll ein Arbeiter, der einem erkannten Gesichtsbild entspricht, als ein Arbeiter identifiziert werden, der im Speicher 230 mit der vorstehend beschriebenen Verarbeitung durch den PC 200 vorgespeichert ist. Der basierend auf der Bildverarbeitung identifizierte Arbeiter kann jedoch falsch identifiziert werden, wodurch der erkannte Gesichtsbereich mit einer neuen Arbeiter-ID verknüpft wird. In diesem Fall bewirkt die vorstehende Verarbeitung, dass die Statistiken für einen einzelnen Arbeiter in mehrere Sätze mit Statistiken aufgeteilt werden.
In dem in 5 veranschaulichten Beispiel wird ein Bild des Gesichtsbereichs des Arbeiters mit der Arbeiter-ID2 fälschlicherweise als neuer Arbeiter identifiziert und erhält eine andere Arbeiter-ID3. So werden die Informationen für einen einzelnen Arbeiter getrennt für die verschiedenen ArbeiterlD2 und ID3 berechnet, und es werden unterschiedliche Gantt-Diagramme erzeugt, die mit den jeweiligen Arbeiter-IDs verknüpft sind. Wie in dem vorstehend dargestellten beispielhaften Anzeigebildschirm 500, der einen einzelnen Arbeiter umfasst, der mit mehreren Gantt-Diagrammen verknüpft ist, kann ein Benutzer ein mit dem Anzeigebildschirm verbundenes Eingabegerät (nicht dargestellt) bedienen und Sätze der Gesichtsbilder und der Gantt-Diagramme integrieren, um die Effizienz der Analyse von Statistiken zu erhöhen.
Genauer gesagt, betätigt der Benutzer einen auf dem Anzeigebildschirm 500 angezeigten Cursor 501 und wählt zwei verschiedene Gesichtsbilder 402a und 402b aus, die denselben Arbeiter zeigen. Nachdem die beiden Gesichtsbilder 402a und 402b ausgewählt wurden, betätigt der Benutzer das Eingabegerät und veranlasst die Anzeige eines Menüs 502 zur Integration dieser beiden Gesichtsbilder 402a und 402b. Der Benutzer bedient weiterhin das Eingabegerät und wählt das Menü 502 aus, um die Integration der beiden vom PC 200 ausgewählten Gesichtsbilder 402a und 402b und der mit den Gesichtsbildern verknüpften Gantt-Diagramme durchzuführen. Auf diese Weise werden die beiden auf dem Anzeigebildschirm 500 ausgewählten Sätze von Gesichtsbildern (402a und 402b) und Gantt-Diagrammen (407 und 408) in einen einzigen Satz von Gesichtsbildern und einem neuen Gantt-Diagramm integriert.
Das Gesichtsbild, das nach der Integration auf dem Anzeigebildschirm 500 angezeigt wird, kann eines der Gesichtsbilder 402a und 402b sein, das durch eine Benutzereingabe oder durch die vom PC 200 ausgeführte Verarbeitung ausgewählt wurde, oder ein anderes Gesichtsbild, das denselben Arbeiter anzeigt und im Speicher 230 gespeichert ist. Das neue Gantt-Diagramm kann durch den Statistik-Generator 222 erzeugt werden, der den Durchschnitt jedes Prozesses basierend auf der ursprünglichen Gantt-Diagramme 407 und 408 berechnet. Der Benutzer kann das Eingabegerät bedienen und anstelle der beiden Gesichtsbilder 402a und 402b die Identifikationsnummern (ID2 und ID3 in den Figuren) oder die Gantt-Diagramme 407 und 408 auswählen, die mit einem Link zu den Gesichtsbildern 402a und 402b angezeigt werden. Drei oder mehr Sätze von Gesichtsbildern und Gantt-Diagrammen können kombiniert werden.
Zweite Modifikation
In einer zweiten Modifikation erzeugt die vorstehend beschriebene Verarbeitung durch den PC 200 Daten für einen Anzeigebildschirm 600, um auf der Anzeige zu erscheinen, wie in 6 dargestellt. In der vorliegenden Modifikation erscheint auf dem Anzeigebildschirm 600 ein Menü 601, das es dem PC 200 ermöglicht, die Integration mehrerer eingestellter Gesichtsbilder und Gantt-Diagramme automatisch auszuführen, wie in der ersten Modifikation. Auch bei der zweiten Modifikation ist der Hintergrund eines einzelnen Arbeiters, der mit mehreren eingestellten Sätzen von Statistiken verbunden ist, derselbe wie bei der ersten Modifikation. Nachfolgend wird die zweite Modifikation beschrieben, wobei der Schwerpunkt auf den Unterschieden zur ersten Modifikation liegt.
Auf einer Anzeige 600 bedient der Benutzer das Eingabegerät und drückt eine Operationstaste 602 im Menü 601 mit dem Cursor 501. Dies veranlasst den PC 200, die Verarbeitung der Integration mehrerer Sätze von Gesichtsbildern 402a und 402b und der Gantt-Diagramme 407 und 408 wie bei der ersten Modifikation auszuführen. Der PC 200 kann die Sätze der Gesichtsbilder 402a und 402b und der Gantt-Diagramme 407 und 408, die integriert werden sollen, basierend auf der Ähnlichkeit zwischen den Gesichtsbildern identifizieren.
Dritte Modifikation
In einer dritten Modifikation erzeugt die vorstehend beschriebene Verarbeitung durch den PC 200 Daten für einen Anzeigebildschirm 600, um auf der Anzeige zu erscheinen, wie in 7 dargestellt. In der vorliegenden Modifikation fehlt, wie in dem beispielhaften Anzeigebildschirm 700, teilweise das in einem Gesichtsbild 702 dargestellte Gesicht eines Arbeiters. Der Benutzer bedient das Eingabegerät und wählt ein Gesichtsbild aus, das besser geeignet ist als das Gesichtsbild 702, um die Unterscheidung der Statistiken für jeden Arbeiter zu erleichtern.
Genauer gesagt, betätigt der Benutzer den Cursor 501 auf dem Bildschirm 700 und wählt das zu ändernde Gesichtsbild 702 aus. Ist das Gesichtsbild 702 ausgewählt, betätigt der Benutzer die Eingabevorrichtung und lässt sich das Menü 701 zur erneuten Auswahl eines Gesichtsbildes 702 anzeigen. Als Reaktion auf die weitere Bedienung der Eingabevorrichtung durch den Benutzer und die Auswahl des Menüs 701 erscheinen auf einem Auswahlbildschirm 703 weitere Gesichtsbilder eines Arbeiters, die dem Gesichtsbild 702 unter den von der Bilderzeugungseinrichtung 221 erzeugten und im Speicher 230 gespeicherten Gesichtsbildern entsprechen. Als Reaktion auf die Auswahl eines geeigneten Gesichtsbildes aus den mehreren auf dem Auswahlbildschirm 703 dargestellten Gesichtsbildern durch den Benutzer und das Drücken einer Auswahltaste 704 wird das Gesichtsbild 702 auf das ausgewählte Gesichtsbild geändert. Das resultierende Gesichtsbild ist mit der Arbeiter-ID und den Statistiken verknüpft und wird im Speicher 230 für spätere Anzeigen von Gesichtsbildern gespeichert.
Vierte Modifikation
In einer vierten Modifikation erzeugt die vorstehend beschriebene Verarbeitung durch den PC 200 Daten für einen Anzeigebildschirm 600, um auf der Anzeige zu erscheinen, wie in 8 dargestellt. In der vorliegenden Modifikation erscheinen, wie im Beispiel des Anzeigebildschirms 800, als Reaktion darauf, dass der Benutzer die Eingabevorrichtung betätigt und eines der Gesichtsbilder (das Gesichtsbild 405 im Beispiel in der Figur) auf dem in der ersten Modifikation dargestellten Anzeigebildschirm 400 auswählt, auf dem Anzeigebildschirm 800 ausführlichere Informationen über die Statistiken für Operationen, die von einem Arbeiter ausgeführt werden, der dem ausgewählten Gesichtsbild 405 entspricht. Beispiele für Informationen, die auf einem Anzeigebildschirm 800 dargestellt werden, umfassen Gantt-Diagramme, die die Operationszeit pro Zyklus auf der zellularen Linie angeben (Gantt-Diagramme, die in der Figur C1 bis C4 entsprechen), ein Gantt-Diagramm, das die durchschnittliche Operationszeit angibt, und ein Gantt-Diagramm, das eine Soll-Operationszeit darstellt. Die Details der Statistiken auf dem Anzeigebildschirm 800 sind nicht auf die in der Figur dargestellten Informationen beschränkt und können nach Belieben eingestellt werden. Auf diese Weise kann der Benutzer den Bildschirm umschalten, um die Basisinformationen über die Statistiken für Operationen, die mit mehreren Arbeitern verbunden sind (Anzeigebildschirm 400), und die detaillierten Informationen über die Statistiken für Operationen, die mit einem einzelnen Arbeiter verbunden sind (Anzeigebildschirm 800), anzuzeigen und die Statistiken effizienter zu analysieren.
Fünfte Modifikation
In einer fünften Modifikation erzeugt die vorstehend beschriebene Verarbeitung durch den PC 200 Daten für einen Anzeigebildschirm 600, um auf der Anzeige zu erscheinen, wie in 9 dargestellt. In der vorliegenden Modifikation kann der Benutzer, wie im Beispiel des Bildschirms 900 dargestellt, ein Bewegtbild jeder von einem Arbeiter ausgeführten Operation sehen.
Genauer gesagt, betätigt der Benutzer den Cursor 501 auf dem Anzeigebildschirm 900 und wählt in einem Gantt-Diagramm für einen Arbeiter einen Vorgang aus, um dessen Bewegtbild darzustellen (in dem Beispiel in der Figur wird der Vorgang 5 eines Arbeiters mit dem Gesichtsbild 402 dargestellt), und es erscheint ein Ansichtsmenü 901 zur Darstellung eines Bewegtbildes. Wenn der Benutzer das Eingabegerät bedient und das Ansichtsmenü 901 auswählt, erscheint ein Bewegtbild-Bildschirm 902 für den ausgewählten Vorgang, und das Bewegtbild wird abgespielt. Dadurch kann der Benutzer Informationen über die Einzelheiten von Operationen erhalten, die er mit Statistiken allein nicht erhalten kann, und er kann eine genauere Analyse ausführen. Für ein auf dem Anzeigebildschirm 902 darzustellendes Bewegtbild erzeugt die Steuerung 220 basierend auf den im Speicher 230 gespeicherten Bewegtbilddaten ein Bewegtbild für jeden Vorgang durch einen Arbeiter und kann das Bewegtbild im Speicher 230 speichern. Obwohl in dem vorstehend beschriebenen Beispiel für jeden Prozess ein Bewegtbild dargestellt wird, kann ein Bewegtbild, das eine Reihe von Prozessen umfasst, so dargestellt werden, dass es mehrere Prozesse oder einen ganzen Satz von Prozessen abdeckt.
Sechste Modifikation
In einer fünften Modifikation erzeugt die vorstehend beschriebene Verarbeitung durch den PC 200 Daten für einen Anzeigebildschirm 600, um auf der Anzeige zu erscheinen, wie in 10 dargestellt. In der vorliegenden Modifikation kann der Benutzer, wie in dem beispielhaften Anzeigebildschirm 1000 dargestellt, gleichzeitig Bewegtbilder von mehreren Arbeitern (oder Prozessen) sehen.
Genauer gesagt, betätigt der Benutzer den Cursor 501 auf dem Anzeigebildschirm 1000 und wählt in den Gantt-Diagrammen für die Arbeiter die Arbeiter aus, deren Bewegtbilder angezeigt werden sollen, indem er die Kontrollkästchen 1001 bis 1005 ankreuzt, die neben den Gesichtsbildern 401 bis 405 der Arbeiter erscheinen (im Beispiel der Figur sind der Arbeiter mit dem Gesichtsbild 402 und der Arbeiter mit dem Gesichtsbild 404 dargestellt). Als Reaktion auf die Bedienung des Eingabegeräts durch den Benutzer und die Auswahl eines Ansichtsmenüs 1006 zur Betrachtung von Bewegtbildern erscheinen Bewegtbildschirme für jeden Arbeiter, bei dem eines der Kontrollkästchen 1001 bis 1005 markiert ist (in der Figur ein Bewegtbildschirm 1012 für den Arbeiter 402 und ein Bewegtbildschirm 1014 für den Arbeiter 404), und die Bewegtbilder werden abgespielt. Durch den Vergleich des Verhaltens eines neuen Arbeiters mit dem eines erfahrenen Arbeiters während eines Prozesses können so Informationen gewonnen werden, die aus den Statistiken nicht ersichtlich sind.
Siebte Modifikation
In einer siebten Modifikation erzeugt die vorstehend beschriebene Verarbeitung durch den PC 200 Daten für einen Anzeigebildschirm 600, um auf der Anzeige zu erscheinen, wie in 11 dargestellt. In der vorliegenden Modifikation erscheint, wie im Beispiel des Anzeigebildschirms 1100, ein Benachrichtigungsbereich 1101 auf dem Anzeigebildschirm 1100, um den Benutzer über eine statistische Information für Arbeiter zu benachrichtigen, die sich um einen Schwellenwert oder mehr von der Soll-Operationszeit unterscheidet. Beispielsweise speichert der Bereich 1101, wie in der Figur veranschaulicht, das Datum der Benachrichtigung in seiner Datumsspalte und die ausführlichen Details einer Benachrichtigung in seiner Spalte Details der Benachrichtigung. In dem in der Figur dargestellten Beispiel zeigt die ausführliche Meldung ID5 Zyklus 3 Prozess 5 Lücke groß (+6 Minuten) an, dass die Operationszeit des Arbeiters mit ID5 (der Arbeiter mit dem Gesichtsbild 405) für den Prozess 5 während des dritten Zyklus 6 Minuten länger ist als die Soll-Operationszeit. Die auf einer Anzeige im Bereich 1101 dargestellte Information kann durch das Erzeugen von Statistiken durch den Statistik-Generator 222 erzeugt werden. Beispielsweise vergleicht der Statistik-Generator 222 die Statistiken für die von den einzelnen Arbeitern ausgeführten Operationen mit der Soll-Operationszeit und erzeugt, wenn der Unterschied einen Schwellenwert oder mehr beträgt, Informationen, die im Benachrichtigungsbereich 1101 dargestellt werden. Dadurch kann der Benutzer die empfangenen Informationen nutzen, um eine genauere Analyse der Statistiken auszuführen. Die auf dem Benachrichtigungsbereich 1101 darzustellenden Informationen sind nicht auf das Beispiel in der Figur beschränkt, und es können verschiedene Informationen dargestellt werden. Ein Kriterium zum Bestimmen, ob Informationen in dem Benachrichtigungsbereich 1101 dargestellt werden sollen, kann in Abhängigkeit von den Einzelheiten der darzustellenden Informationen als angemessen bestimmt werden.
Achte Modifikation
In einer achten Modifikation erzeugt die vorstehend beschriebene Verarbeitung durch den PC 200 Daten für einen Anzeigebildschirm 600, um auf der Anzeige zu erscheinen, wie in 12 dargestellt. Auf einer Anzeige 1200 werden Zeiträume (z. B. heute, gestern, letzte Woche, diese Woche und beliebige andere Zeiträume wie beispielsweise dieser Monat und letzter Monat) mit unterschiedlichen Durchschnittswerten der Operationszeit für einen Arbeiter dargestellt, was einen Vergleich der von demselben Arbeiter in den verschiedenen Zeiträumen ausgeführten Operationen ermöglicht. Dadurch lässt sich beispielsweise eine Veränderung der Effizienz der Operationen leichter erkennen. In der vorliegenden Modifikation werden, wie in dem beispielhaften Anzeigebildschirm 1200, die Gantt-Diagramme, die statistische Informationen für die von einem Arbeiter ausgeführten Operationen darstellen, mit Sollwerten verglichen. Der Prozess mit einer kürzeren Operationszeit als der Soll-Wert um einen vorbestimmten Schwellenwert oder mehr wird als gut angezeigt (ein Symbol 1202, G, in der Figur, das gut anzeigt), und der Prozess mit einer längeren Operationszeit als die Soll-Zeit um einen vorbestimmten Schwellenwert oder mehr wird als schlecht angezeigt (ein Symbol 1201, NG, in der Figur, das nicht gut anzeigt). Bei den Auswertungsinformationen, die die Auswertungsergebnisse der Statistiken angeben, kann es sich um Informationen handeln, die aus verschiedenen Bewertungen resultieren. Die Auswertungen können vorgegebene Kriterien verwenden, die je nach Bewertung als angemessen bestimmt werden. Wenn der Benutzer das Eingabegerät betätigt und auf dem Anzeigebildschirm 1200 den als gut oder schlecht angezeigten Prozess auswählt (in dem Beispiel in der Figur ist der Prozess mit dem Symbol 1201, NG, ausgewählt), erscheint ein Bewegtbildbildschirm 1203, der ein Einzelbild des ausgewählten Prozesses veranschaulicht, und das Bewegtbild wird abgespielt. Das auf dem Anzeigebildschirm 1203 darzustellende Bewegtbild kann von der Steuerung 220 für jede von einem Arbeiter ausgeführte Operation basierend auf den im Speicher 230 gespeicherten Bewegtbilddaten erzeugt werden und kann im Speicher 230 gespeichert werden.
Die vorstehend beschriebenen Ausführungsformen und Modifikationen können gegebenenfalls auch kombiniert werden. In der dritten Modifikation wird ein Gesichtsbild eines Arbeiters basierend auf einer Benutzereingabe geändert. Der PC 200 kann das Bild jedoch automatisch ändern, beispielsweise in ein Bild, bei dem der Gesichtsbereich größer erscheint, in ein Bild, bei dem der Gesichtsbereich mehr nach vorne zeigt, basierend auf einer Schätzung der Ausrichtung des Gesichts, oder in ein Bild, das zuverlässiger ist als der Gesichtsbereich, basierend auf den im Speicher 230 gespeicherten Gesichtsbildern. In einigen Ausführungsformen speichert der Speicher 230 die Gesichtsbilder von Arbeitern (z. B. die Gesichtsbilder, die für Mitarbeiterausweise verwendet werden), Arbeiter-IDs und Namen als Arbeiterinformationen vor, und die Gesichtsbilder von Arbeitern, die auf den Anzeigebildschirmen dargestellt werden sollen, die in den vorstehend beschriebenen Ausführungsformen und Modifikationen beschrieben sind, können in die im Speicher 230 gespeicherten Arbeiterinformationen geändert werden. In diesem Fall führt die Datenerzeugungseinrichtung 223 einen Abgleich mit den von der Bilderzeugungseinrichtung 221 erzeugten Gesichtsbildern von Arbeitern und den im Speicher 230 gespeicherten Gesichtsbildern von Arbeitern basierend auf dem Ausmaß der Ähnlichkeit der Merkmale zwischen den Bildern aus. Die Datenerzeugungseinrichtung 223 ersetzt, basierend auf dem vorstehend beschriebenen Abgleichsergebnis, das auf dem Anzeigebildschirm darzustellende Gesichtsbild durch ein Gesichtsbild mit einem hohen Ausmaß an Ähnlichkeit unter den im Speicher 230 gespeicherten Gesichtsbildern von Arbeitern und erzeugt Daten für den Anzeigebildschirm, indem sie das ersetzte Gesichtsbild mit dem Gantt-Diagramm des Arbeiters verknüpft. Durch diese Verarbeitung kann der Benutzer effizienter jeden Arbeiter unterscheiden und Statistiken bewerten.
In der vierten Modifikation werden die ausführlichen Statistiken für Operationen, die mit einzelnen Arbeitern verbunden sind, auf dem Anzeigebildschirm 800 dargestellt. Zusätzlich zu oder anstelle der Informationen können die Details der Operationszeit pro Prozess, die Auswertungsergebnisse für jeden Prozess oder Informationen, die Ergebnisse basierend auf Analyseergebnissen anzeigen, dargestellt werden. Die zu verwendende Bewertung oder Analyse kann nach Bedarf bestimmt werden.
Anhang 1
Bildverarbeitungsvorrichtung, umfassend:

eine Bilderfassungseinrichtung (210), die dazu eingerichtet ist, ein Bewegtbild zu erhalten, das einen mit einem Bildsensor erfassten Operationsbereich enthält;
eine Bilderzeugungseinrichtung (221), die dazu eingerichtet ist, basierend auf dem Bewegtbild ein Bild eines Gesichtsbereichs eines Arbeiters zu erzeugen, der eine Operation in dem Operationsbereich ausführt;
einen Statistik-Generator (222), der dazu eingerichtet ist, basierend auf dem Bewegtbild Statistiken für die von dem Arbeiter ausgeführte Operation zu erzeugen;
eine Datenerzeugungseinrichtung (223), die dazu eingerichtet ist, Daten zu erzeugen, die das erzeugte Bild des Gesichts des Arbeiters enthalten und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verbunden sind; und
eine Ausgabeeinheit (240), die dazu eingerichtet ist, die erzeugten Daten auszugeben.

Anhang 2
Bildverarbeitungsverfahren, umfassend:

(S301) Erhalten eines Bewegtbildes, das einen mit einem Bildsensor erfassten Operationsbereich enthält;
(S305) basierend auf dem Bewegtbild Erzeugen eines Bildes eines Gesichtsbereichs eines Arbeiters, der eine Operation in dem Operationsbereich ausführt;
(S307) basierend auf dem Bewegtbild Erzeugen von Statistiken für die von dem Arbeiter ausgeführte Operation;
(S308) Erzeugen von Daten, die das erzeugte Bild des Gesichtsbereichs des Arbeiters enthalten und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verknüpft sind; und

Bezugszeichenliste

100: Bildverarbeitungsvorrichtung
101: Bilderfassungseinrichtung
102: Gesichtsbildgenerator
103: Statistik-Generator
200: PC (Bildverarbeitungsvorrichtung)
210: Eingabeeinheit
230: Speicher
240: Ausgabeeinheit
220: Steuerung
221: Bilderfassungseinrichtung
222: Statistik-Generator
223: Datenerzeugungseinrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2006202255 [0003]
JP 2018073176 [0003]

Claims

Bildverarbeitungsvorrichtung, umfassend: eine Bilderfassungseinrichtung, die dazu eingerichtet ist, ein Bewegtbild zu erhalten, das einen mit einem Bildsensor erfassten Operationsbereich enthält; eine Bilderzeugungseinrichtung, die dazu eingerichtet ist, basierend auf dem Bewegtbild ein Bild eines Gesichtsbereichs eines Arbeiters zu erzeugen, der eine Operation in dem Operationsbereich ausführt; einen Statistik-Generator, der dazu eingerichtet ist, basierend auf dem Bewegtbild Statistiken für die von dem Arbeiter ausgeführte Operation zu erzeugen; eine Datenerzeugungseinrichtung, die dazu eingerichtet ist, Daten zu erzeugen, die das erzeugte Bild des Gesichts des Arbeiters enthalten und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verbunden sind; und eine Ausgabeeinheit, die dazu eingerichtet ist, die erzeugten Daten auszugeben.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Datenerzeugungseinrichtung Daten erzeugt, die Bilder von Gesichtsbereichen einer Vielzahl von Arbeitern umfassen, die von der Bilderzeugungseinrichtung erzeugt wurden und mit Statistiken für Operationen verknüpft sind, die von der Vielzahl von Arbeitern ausgeführt wurden, die von dem Statistik-Generator erzeugt wurden, und wobei die Datenerzeugungseinrichtung für die von der Ausgabeeinheit ausgegebenen Daten neue Daten erzeugt, die mindestens zwei Bilder der Bilder der Gesichtsbereiche der Vielzahl von Arbeitern umfassen, die mit den Statistiken verknüpft sind, die mit den mindestens zwei Bildern verbunden sind.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die mindestens zwei Bilder basierend auf einer Benutzereingabe ausgewählt werden.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Datenerzeugungseinrichtung für die Datenausgabe von der Ausgabeeinheit neue Daten erzeugt, die das Bild des Gesichtsbereichs des Arbeiters umfassen, das durch ein anderes, von der Bilderzeugungseinrichtung erzeugtes Bild des Gesichtsbereichs des Arbeiters ersetzt wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, die Datenerzeugungseinrichtung Daten erzeugt, die ein Bild des Gesichtsbereichs des Arbeiters enthalten, das basierend auf einem Kriterium ausgewählt wurde, das mindestens eines von einer Größe, einer Ausrichtung oder einem Gesichtsmerkmal des Gesichtsbereichs des Arbeiters enthält und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verknüpft sind.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, die Datenerzeugungseinrichtung basierend auf dem Abgleich zwischen Bildern von Gesichtsbereichen einer Vielzahl von Arbeitern, die im Voraus erhalten wurden, und dem erzeugten Bild des Gesichtsbereichs des Arbeiters Daten erzeugt, die ein Bild des Gesichtsbereichs des Arbeiters enthalten, der aus den im Voraus erhaltenen Bildern ausgewählt wurde und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verknüpft ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, der Statistik-Generator basierend auf dem Bewegtbild Basisinformationen und detaillierte Informationen über die Statistiken für die von dem Arbeiter ausgeführte Operation erzeugt, und die Datenerzeugungseinrichtung Daten erzeugt, die das Bild des Gesichtsbereichs der Arbeitskraft enthalten, die mit den Basisinformationen über die erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation und den detaillierten Informationen über die erzeugten Statistiken für die von der Arbeitskraft ausgeführte Operation verknüpft sind.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 7, der Datenerzeugungseinrichtung ein Bewegtbild erzeugt, das mit der erzeugten statistischen Information für die von dem Arbeiter ausgeführte Operation basierend auf dem erhaltenen Bewegtbild verknüpft ist, und die Datenerzeugungseinrichtung Daten erzeugt, die das Bild des Gesichtsbereichs der Arbeitskraft enthalten und die mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation und dem erzeugten Bewegtbild verknüpft sind.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 8, der Statistik-Generator basierend auf dem Bewegtbild statistische Informationen für die von dem Arbeiter ausgeführte Operation für jeden von einem oder mehreren in dem Bereich der Operation enthaltenen Arbeitsvorgängen erzeugt, wobei die Datenerzeugungseinrichtung, basierend auf dem erhaltenen Bewegtbild ein bewegtes Bild, das mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation für jeden der einen oder mehreren Arbeitsvorgänge verknüpft ist, und wobei die Datenerzeugungseinrichtung Daten umfasst, die das Bild des Gesichtsbereichs des Arbeiters, das mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation für jeden der einen oder mehreren Arbeitsvorgänge verknüpft ist, und das erzeugte Bewegtbild für jeden der einen oder mehreren Arbeitsvorgänge umfassen.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 9, der Statistik-Generator Auswertungsinformationen erzeugt, die ein Auswertungsergebnis anzeigen, das basierend auf einem vorbestimmten Kriterium für die Statistiken für die von dem Arbeiter ausgeführte Operation erhalten wurde, die basierend auf dem Bewegtbild erzeugt wurden, und die Datenerzeugungseinrichtung Daten erzeugt, die das Bild des Gesichtsbereichs dem Arbeiter enthalten und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation und den Auswertungsinformationen verknüpft sind.
Bildverarbeitungsverfahren, umfassend: Erhalten eines Bewegtbildes, das einen mit einem Bildsensor erfassten Operationsbereich enthält; basierend auf dem Bewegtbild Erzeugen eines Bildes eines Gesichtsbereichs eines Arbeiters, die eine Operation in dem Operationsbereich ausführt; basierend auf dem Bewegtbild Erzeugen von Statistiken für die von dem Arbeiter ausgeführte Operation; Erzeugen von Daten, die das erzeugte Bild des Gesichtsbereichs des Arbeiters enthalten und mit den erzeugten Statistiken für die von dem Arbeiter ausgeführte Operation verknüpft sind; und Ausgeben der erzeugten Daten.
Programm, um einen Computer zu veranlassen, das Erhalten des Bewegtbildes, das Erzeugen des Bildes, das Erzeugen von Statistiken, das Erzeugen der Daten und das Ausgeben der erzeugten Daten auszuführen, die in dem Bildverarbeitungsverfahren nach Anspruch 11 enthalten sind.