JP2019101516A - 作業者管理装置 - Google Patents

作業者管理装置 Download PDF

Info

Publication number
JP2019101516A
JP2019101516A JP2017228573A JP2017228573A JP2019101516A JP 2019101516 A JP2019101516 A JP 2019101516A JP 2017228573 A JP2017228573 A JP 2017228573A JP 2017228573 A JP2017228573 A JP 2017228573A JP 2019101516 A JP2019101516 A JP 2019101516A
Authority
JP
Japan
Prior art keywords
state
worker
learning
data
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017228573A
Other languages
English (en)
Other versions
JP6571741B2 (ja
Inventor
白石　亘
Wataru Shiraishi
亘 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017228573A priority Critical patent/JP6571741B2/ja
Priority to DE102018129529.4A priority patent/DE102018129529A1/de
Priority to US16/202,089 priority patent/US11216757B2/en
Priority to CN201811445136.8A priority patent/CN109840672B/zh
Publication of JP2019101516A publication Critical patent/JP2019101516A/ja
Application granted granted Critical
Publication of JP6571741B2 publication Critical patent/JP6571741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Factory Administration (AREA)

Abstract

【課題】作業者の作業状況や技能などのステータスを自動検知して、作業者の安全確保、パフォーマンス評価やスキルアップ、等を簡単に実現する作業者管理装置及び機械学習装置を提供すること。【解決手段】本発明の作業者管理装置１が備える機械学習装置１００は、作業者の外的状態を示す作業者外的状態データと、製造機械７０の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部１０６と、作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部１０８と、状態変数とラベルデータとを用いた教師あり学習により、作業者外的状態データ及び製造機械状態データと、作業者ステータスデータとを関連付けて学習する学習部１１０とを備える。【選択図】図２

Description

本発明は、作業者管理装置に関し、特に作業者の作業状況や技能などのステータスを自動検知して、作業者の安全確保、パフォーマンス評価やスキルアップ、さらに工場の稼働率の分析などを簡単に実現する作業者管理装置に関する。
工場には、現場で作業している作業者を管理している管理者がいる。管理者は、作業者が効率良く作業をこなしているか、作業者が作業内容を充分に理解して作業を進めているか、危険を伴う作業に対して作業者が充分に気を付けて作業をしているのか、等といったことを監視し、何か問題が有った場合には作業者に対する指導や、現場配置の調整、トレーニングや休養の指示等を行う。
例えば、射出成形工場を例として説明する。射出成形システムは、射出成形機、金型、金型温調器、成形材料乾燥機、成形品取出機（ロボット）、インサート品挿入ロボット、成形品検査装置、コンベア、成形品梱包装置、金型表面の異物監視カメラ、成形データ管理用パソコンなどで構成されている。これらのメンテナンスは、工場内の作業者が実施しており、特に、金型や射出成形機に搭載されたスクリュ・シリンダは、高温樹脂の劣化に起因するガスヤニや炭化物などが付着・堆積するために、定期的なメンテナンスが必須となっている。しかしながら、金型やスクリュ・シリンダは高温に温調されていたり、複雑な形状の金属部品で組立てられているため、これらのメンテナンスには危険を伴う。そこで、リスク低減のための保護方策として、作業者はこれらのメンテナンス作業時には安全確保のために色々な安全装備や服装などで作業することとなっている。一般的には、保護帽、作業服、軍手、安全靴などの装備が必要であり、メンテナンスの内容によっては、長い髪は束ねる、ネックレスやネクタイ等を外す、安全眼鏡またはゴーグル着用、耐熱手袋などの装着が必要な場合もある。作業者がこれらの保護法策を守らずに作業を開始することが無いように、管理者は作業者をチェックし、必要に応じて作業者を指導する。
この様に、工場の現場における管理者の作業は重要ではあるものの、現場で作業している全ての作業者の状況を少数の管理者でチェック・管理することは非常に困難である。そこで、作業者の状況のチェックを自動化するための従来技術として、例えば特許文献１には、作業現場で予め決められた保護具を作業者が着用しているかを、現場に入るときに保護具に付設されたＩＤ−ＴＡＧを自動的に検知することで保護具着用状態を作業者に報知する技術が開示されている。
また、特許文献２では、対象者の身体の所定部位を画像検出して作業内容に応じた適正な状態にあるかを監視する技術や、所定部位以外に着用された物体又は周囲に存在する物体を認識して作業環境もしくは作業内容を推定する技術が開示されている。
特開２００８−１４６３０１号公報 特開２０１５−９５２０９号公報
作業者が作業現場で行う作業や状況によって様々であり、その作業の状況（作業ステータス）によって管理者がチェックするべき内容は異なる。特許文献１に記載された技術は、現場に入る時に保護具の装着状態をチェックすることは可能ではあるが、同じ作業現場において同じ作業者に対して保護具が必要な状況と保護具が必要ない状況とを区別して管理することはできない。
また、特許文献２に記載された技術は、画像上は同じに見えるが作業内容が異なるという場合の判別が困難である。例えば正常な運転中に一時停止して加工物などの目視確認等をするためにツールや加工物に接近している状態と、何等かの異常が発生して調整やメンテナンスのためにツールや加工物に接近している場合などの判別は困難な場合がある。また、機械の周囲にメンテナンスツール類が常備してある工場も多いため、周囲の物体で作業内容を推定することが困難な場合もある。このような場合、メンテナンス作業を行わない作業者がツールや加工物に接近したことに起因する誤った警告や管理者への誤報が発生する懸念がある。
更に、現場における管理者による作業者の管理業務は上記したように、作業者の作業状況から配置の見直しやトレーニングの必要性の判断、休養の必要性の判断など多岐に渡っている。しかしながら、作業者のパフォーマンス評価や、作業者の現在の作業状況や技能などのステータスを数値化する手法が確立されていないため、これらを数値化して作業者管理、工場管理などに活用することができなかった。
そこで本発明の目的は、作業者の作業状況や技能などのステータスを自動検知して、作業者の安全確保、パフォーマンス評価やスキルアップ等を簡単に実現する作業者管理装置及び機械学習装置を提供することである。
本発明では、機械学習によって作業者の画像データや成形システムに関する物理量（工程監視データ、操作履歴、アラーム履歴、成形条件変更履歴など）を学習し、作業者のステータスを自動検知して管理することで、上記課題を解決する。
そして、本発明の一態様は、工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置を備え、前記機械学習装置は、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する学習部と、を備える作業者管理装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置を備え、前記機械学習装置は、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、を備える作業者管理装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置を備え、前記機械学習装置は、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記状態変数を用いた教師なし学習により前記作業者のステータスを学習する学習部と、を備える作業者管理装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置を備え、前記機械学習装置は、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、を備える作業者管理装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置を備え、前記機械学習装置は、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する第１学習部と、前記状態変数を用いた教師なし学習により、前記作業者のステータスを学習する第２学習部と、を備える作業者管理装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置を備え、前記機械学習装置は、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した第１学習部と、前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした第２学習部と、前記状態観測部が観測した状態変数と、前記第１学習部による学習結果及び前記第２学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、を備える作業者管理装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置において、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する学習部と、を備える機械学習装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置において、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、を備える機械学習装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置において、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記状態変数を用いた教師なし学習により前記作業者のステータスを学習する学習部と、を備える機械学習装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置において、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、を備える機械学習装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置において、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する第１学習部と、前記状態変数を用いた教師なし学習により、前記作業者のステータスを学習する第２学習部と、を備える機械学習装置である。
本発明の他の態様は、工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置において、前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した第１学習部と、前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした第２学習部と、前記状態観測部が観測した状態変数と、前記第１学習部による学習結果及び前記第２学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、を備える機械学習装置である。
本発明により、簡単に作業者の安全確保、ステータス管理を行うことができ、工場の稼働率向上を図ることが可能となる。
第１の実施形態による作業者管理装置の概略的なハードウェア構成図である。 第１の実施形態による作業者管理装置の概略的な機能ブロック図である。 作業者管理装置の一形態を示す概略的な機能ブロック図である。 ニューロンを説明する図である。 ニューラルネットワークを説明する図である。 第２の実施形態による作業者管理装置の概略的な機能ブロック図である。 第３の実施形態による作業者管理装置の概略的な機能ブロック図である。
以下、本発明の実施形態を図面と共に説明する。
図１は第１の実施形態による作業者管理装置の要部を示す概略的なハードウェア構成図である。作業者管理装置１は、例えば工場に設置された製造機械７０の制御装置や、製造機械７０に併設されたパソコンとして実装することが出来る。また、作業者管理装置１は、例えば工場に設置された製造機械７０とネットワーク２を介して接続されたセルコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータとして実装することが出来る。なお、製造機械７０は、工場に設置される製造工程に係る機械のことであり、例えば射出成形工場における製造機械７０は、射出成形機、金型温調器、成形材料乾燥機、成形品取出機（ロボット）、インサート品挿入ロボット、成形品検査装置、コンベア、成形品梱包装置等が挙げられる。
本実施形態による作業者管理装置１が備えるＣＰＵ１１は、作業者管理装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って作業者管理装置１全体を制御する。ＲＡＭ１３には一時的な計算データ、図示しない入力部を介してオペレータが入力した各種データ等が一時的に格納される。
不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされるなどして、作業者管理装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には入力装置４０を操作してオペレータが入力した各種データや撮像装置６０から取得したデータ（例えば、作業者の作業状況を示す静止画や動画等の画像、撮像時刻等）、インタフェース１９を介して製造機械７０から取得したデータ（例えば、製造機械７０の稼動状態を示す情報。一例として、製造機械７０が射出成形機であれば、各成形条件、射出成形に関する各物理量データ、作業者の操作履歴、成形条件変更履歴、アラーム履歴、成形品検査データ、周辺機器に関する各物理量データ等）、図示しないインタフェースを介して入力された制御用のプログラムなどが記憶されている。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、撮像装置６０や製造機械７０から取得した情報を解析する公知の解析プログラムや後述する機械学習装置１００とのやりとりを制御するためのシステム・プログラムなどを含むシステム・プログラムがあらかじめ書き込まれている。
撮像装置６０は、主として作業者の作業状況を撮影するために用いられる。撮像装置６０としては、ロボットや工場の天井等に設置された静止画乃至動画を撮影するカメラ等を用いることができる。撮像装置６０により撮像された作業者の作業状況は、インタフェース１８を介してＲＡＭ１３乃至不揮発性メモリ１４に保存され、公知の解析プログラム等で解析されて利用される。
インタフェース２１は、作業者管理装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して作業者管理装置１で取得可能な各情報（作業者の作業状況を示す静止画や動画及びこれら静止画や動画を解析して得られた作業者の作業状況を示すステータス情報、製造機械７０の稼動状態を示す情報等）を観測することができる。また、作業者管理装置１は、機械学習装置１００から出力される管理情報をインタフェース１７を介して表示装置５０に表示する。
図２は、第１の実施形態による作業者管理装置１と機械学習装置１００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した作業者管理装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、作業者管理装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
本実施形態の作業者管理装置１は、撮像装置６０から取得された画像を解析して機械学習装置１００による学習に用いられるデータを生成する画像解析部３２と、機械学習装置１００から出力された作業者に対する指示を表示装置５０へと表示する表示部３４を備える。
画像解析部３２は、撮像装置６０から取得され、不揮発性メモリ１４に蓄積された作業者の作業状況を示す画像に係るデータに基づいて、機械学習装置１００による学習に用いられるデータを生成する。画像解析部３２は、例えば、作業者の装備の装着状況（例えば、安全帽をかぶっているか、軍手を嵌めているか、安全眼鏡を掛けているか等）、作業者の行動（例えば、どの製造機械７０の近傍で作業しているのか、どのような行動をしているのか、どこに手を伸ばしているか等）、作業者の近傍にある製造機械７０の状態（例えば、作業者の近傍に有る製造機械７０のランプの点灯状況、可動部分の状態等）、撮像時刻等を解析し、これらのデータを機械学習装置１００へと出力する。画像解析部３２による画像解析方法は、従来からある公知の方法を用いれば良い。例えば、装備の装着状況については、画像から作業者の身体を識別し、その頭部、手、眼等の部分の色を識別することで、作業者が装備を装着しているか否かを判別したり、装備そのものに識別用のマークを付与しておいて、そのマークの検出状況により作業者が装備を装着しているか否かを判別するようにしても良い。また、例えば作業者の行動についても、動画像から作業者の身体を識別し、その動きを解析することで作業者の行動を識別すれば良い。そして、このようにして作成されたデータセットが、機械学習装置１００による学習や推定に用いられる。
表示部３４は、機械学習装置１００から出力された作業者ステータスの推定の結果を表示装置５０に表示する機能手段で有る。表示部３４は、機械学習装置１００から出力された作業者ステータスに含まれる警告や、アドバイス、指示等をアラーム等を鳴らすと共に表示するようにしてもよい。また、表示部３４は、機械学習装置１００から出力された作業者ステータスの種類に応じて、異なる文字色・背景色・ステータス名称にして表示装置５０へ表示するようにしても良い。更に、表示部３４は、機械学習装置１００から出力された作業者ステータスを製造機械７０に対して出力するようにしてもよい。
一方、作業者管理装置１が備える機械学習装置１００は、作業者の外的状態及び製造機械の状態に対する、当該作業者の作業者ステータスの推定を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。作業者管理装置１が備える機械学習装置１００が学習するものは、作業者の外的状態及び製造機械の状態と、作業者の作業者ステータスとの、相関性を表すモデル構造に相当する。
図２に機能ブロックで示すように、作業者管理装置１が備える機械学習装置１００は、作業者の外的状態を示す作業者外的状態データＳ１と、製造機械の状態を示す製造機械状態データＳ２を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部１０６と、作業者の現在のステータスを示す作業者ステータスデータＬ１を含むラベルデータＬを取得するラベルデータ取得部１０８と、状態変数ＳとラベルデータＬとを用いて、作業者の外的状態及び製造機械の状態に、作業者の現在のステータスを関連付けて学習する学習部１１０と、学習部１１０による学習済みモデルを用いて作業者の外的状態及び製造機械の状態から推定した作業者の現在のステータスを出力する推定結果出力部１２２と、を備える。
状態観測部１０６は、学習部１１０による学習時において、状態変数Ｓとしての作業者外的状態データＳ１及び製造機械状態データＳ２を画像解析部３２及び製造機械７０から取得する。また、状態観測部１０６は、学習部１１０の学習結果を用いた作業者の作業者ステータス推定時において、状態変数Ｓとしての作業者外的状態データＳ１及び製造機械状態データＳ２を画像解析部３２及び製造機械７０から取得する。
状態観測部１０６が観測する状態変数Ｓのうち、作業者外的状態データＳ１は、例えば外部観測的に特定可能な作業者の状態を示すデータのセットとして取得することができる。外部観測的に特定可能な作業者の状態を示すデータとしては、例えば、作業者の装備の装着状態を示すデータ、作業者の位置を示すデータ（どの製造機械７０の近傍で作業しているのか等）、作業者の外観的動作を示すデータ（どのような行動をしているのか、どのように手を動かしているか、手、頭や胴体の製造機械７０に対する位置関係、手、頭や胴体の保持時間等）、作業者による製造機械７０に対する操作履歴、観測された時刻等が例示される。作業者外的状態データＳ１としては、作業者の作業について外部観測的に特定するために有用なデータであればどのようなデータを採用しても良い。作業者外的状態データＳ１に含まれる作業者の状態を示すそれぞれのデータは、例えば単体の数値であっても良いし、所定の期間において変化する値を所定周期でサンプリングした値の系列であっても良い。
状態変数Ｓのうち、製造機械状態データＳ２は、各製造機械７０から取得された製造機械７０の状態を示すデータのセットとして取得することができる。製造機械状態データＳ２としては、例えば製造機械７０の稼動状態を示すデータ、製造機械７０の可動部分の現在の状態を示すデータ（金型が開いているか等）、製造機械７０に設定されている加工条件及びその変更履歴、製造機械７０の動作における各物理量を示すデータ、アラーム履歴、製品の検査データ、観測された時刻等が例示される。製造機械状態データＳ２としては、製造機械７０の状態に関連するデータであればどのようなデータであっても採用することができる。製造機械状態データＳ２に含まれる製造機械７０の状態を示すそれぞれのデータは、例えば単体の数値であっても良いし、所定の期間において変化する値を所定周期でサンプリングした値の系列であっても良い。
ラベルデータ取得部１０８は、学習部１１０の学習時において、ラベルデータＬとして、作業者の現在のステータスを示す作業者ステータスデータＬ１を管理者等による入力装置４０からの入力に基づいて取得する。作業者ステータスデータＬ１は、作業者が現在行おうとしている作業内容を示すデータであり、例えば、射出成形工場における作業者の現在のステータスとしては、「パージ作業中」、「スクリュメンテナンス中」、「金型交換中」、「金型メンテナンス中」、「材料供給中」等が挙げられる。作業者ステータスデータＬ１には、更に作業者に関する注意や警告の情報を含んでいても良く、例えば、射出成形工場における作業者に関する注意、警告としては、「スクリュメンテナンス中（警告：安全帽未着用）」、「金型交換中（注意：危険区域に手を入れている）」等が挙げられる。また、作業者ステータスデータＬ１には、更に作業者に関するアドバイスや指示の情報を含んでいても良く、例えば、射出成形工場における作業者に関する注意、警告としては、「スクリュメンテナンス中（警告：安全帽未着用、指示：安全帽を着用してください）」、「金型交換中（注意：危険区域に手を入れている、アドバイス：危険区域に手を入れないでください）」等が挙げられる。作業者ステータスデータＬ１を取得するタイミングとしては、例えば、予め工場において作業者が作業中の画像とその時の製造機械７０の状態を示すデータを取得して不揮発性メモリ１４等に記憶しておき、当該画像を管理者に見せて作業者の現在のステータスを入力装置４０から入力させる、といったことが考えられる。ラベルデータ取得部１０８は、学習部１１０による学習時において利用されるものであり、学習部１１０による学習が完了した後は機械学習装置１００の必須の構成とする必要は無い。
学習部１１０は、機械学習と総称される任意の学習アルゴリズムに従い、状態変数Ｓ（作業者の外的状態を示す作業者外的状態データＳ１及び製造機械７０の状態を示す製造機械状態データＳ２）に対するラベルデータＬ（作業者の現在のステータスを示す作業者ステータスデータＬ１）を学習する。学習部１１０は、例えば状態変数Ｓに含まれる作業者外的状態データＳ１及び製造機械状態データＳ２と、ラベルデータＬに含まれる作業者ステータスデータＬ１との相関性を学習することができる。学習部１１０は、状態変数ＳとラベルデータＬとを含むデータ集合に基づく学習を反復実行することができる。
学習部１１０による学習においては、複数の作業者のそれぞれが作業をしている状況から得られたデータに基づいた複数の学習サイクルを実行することが望ましい。このような学習サイクルを繰り返すことにより、学習部１１０は、作業者の外的状態（作業者外的状態データＳ１）及び製造機械７０の状態（製造機械状態データＳ２）と、作業者の現在のステータス（作業者ステータスデータＬ１）との相関性を自動的に解釈する。学習アルゴリズムの開始時には作業者外的状態データＳ１及び製造機械状態データＳ２に対する作業者ステータスデータＬ１の相関性は実質的に未知であるが、学習部１１０が学習を進めるに従い徐々に作業者外的状態データＳ１及び製造機械状態データＳ２に対する作業者ステータスデータＬ１との関係を徐々に解釈し、その結果として得られた学習済みモデルを用いることで作業者外的状態データＳ１及び製造機械状態データＳ２に対する作業者ステータスデータＬ１の相関性を解釈可能になる。
推定結果出力部１２２は、学習部１１０が学習した結果（学習済みモデル）に基づいて、作業者の外的状態及び製造機械７０の状態から作業者の作業者ステータスを推定し、推定した作業者の作業者ステータスを出力する。
上記構成を有する機械学習装置１００では、学習部１１０が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図３は、図２に示す作業者管理装置１の他の形態であって、学習アルゴリズムの他の例として教師あり学習を実行する学習部１１０を備えた構成を示す。教師あり学習は、入力とそれに対応する出力との既知のデータセット（教師データと称する）が与えられ、それら教師データから入力と出力との相関性を暗示する特徴を識別することで、新たな入力に対する所要の出力を推定するための相関性モデルを学習する手法である。
図３に示す作業者管理装置１が備える機械学習装置１００において、学習部１１０は、製造機械７０から得られた作業者の外的状態及び製造機械７０の状態から作業者の作業者ステータスを推定する相関性モデルＭと、過去の作業者の外的状態及び製造機械７０の状態と、管理者により入力された作業者の現在のステータスとから得られた教師データＴから識別される相関性特徴との誤差Ｅを計算する誤差計算部１１２と、誤差Ｅを縮小するように相関性モデルＭを更新するモデル更新部１１４とを備える。学習部１１０は、モデル更新部１１４が相関性モデルＭの更新を繰り返すことによって作業者の外的状態及び製造機械７０の状態からの作業者の作業者ステータスの推定を学習する。
相関性モデルＭの初期値は、例えば、状態変数ＳとラベルデータＬとの相関性を単純化して（例えば一次関数で）表現したものであり、教師あり学習の開始前に学習部１１０に与えられる。教師データＴは、本発明では上述したように過去に取得され作業者の外的状態及び製造機械７０の状態と、作業者の作業者ステータスとを利用することができ、作業者管理装置１の運用時に学習部１１０に与えられる。誤差計算部１１２は、学習部１１０に随時与えられた教師データＴにより、作業者の外的状態及び製造機械７０の状態と作業者の作業者ステータスとの相関性を暗示する相関性特徴を識別し、この相関性特徴と、現在状態における状態変数Ｓ及びラベルデータＬに対応する相関性モデルＭとの誤差Ｅを求める。モデル更新部１１４は、例えば予め定めた更新ルールに従い、誤差Ｅが小さくなる方向へ相関性モデルＭを更新する。
次の学習サイクルでは、誤差計算部１１２は、更新後の相関性モデルＭに従って状態変数Ｓを用いて作業者の作業者ステータスの推定が行われ、該推定の結果と実際に取得されたラベルデータＬの誤差Ｅを求め、モデル更新部１１４が再び相関性モデルＭを更新する。このようにして、未知であった環境の現在状態とそれに対する推定との相関性が徐々に明らかになる。
前述した教師あり学習を進める際に、ニューラルネットワークを用いることができる。図４Ａは、ニューロンのモデルを模式的に示す。図４Ｂは、図４Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。
図４Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ1〜入力ｘ3）に対する結果ｙを出力するものである。各入力ｘ1〜ｘ3には、この入力ｘに対応する重みｗ（ｗ1〜ｗ3）が掛けられる。これにより、ニューロンは、次の数１式により表現される出力ｙを出力する。なお、数１式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆkは活性化関数である。
Figure 2019101516
図４Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す）が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。
図４Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。
図４Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。
作業者管理装置１が備える機械学習装置１００においては、状態変数Ｓを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、作業者の外的状態及び製造機械７０の状態の値（入力ｘ）から作業者の現在のステータス（出力ｙ）を推定することができる。なお、ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みｗを学習し、学習した重みｗを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。
上記した機械学習装置１００の構成は、プロセッサ１０１が各々実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、作業者の外的状態及び製造機械７０の状態から作業者の現在のステータスの推定を学習する機械学習方法であって、プロセッサ１０１が、作業者の外的状態（作業者外的状態データＳ１）及び製造機械７０の状態（製造機械状態データＳ２）を現在状態を表す状態変数Ｓとして観測するステップと、作業者の現在のステータス（作業者ステータスデータＬ１）をラベルデータＬとして取得するステップと、状態変数ＳとラベルデータＬとを用いて、作業者外的状態データＳ１及び製造機械状態データＳ２と、作業者の現在のステータスとを関連付けて学習するステップとを有する。
機械学習装置１００の学習部１１０により学習されて得られた学習済みモデルは機械学習に係るソフトウェアの一部であるプログラムモジュールとしての利用することが可能である。本発明の学習済みモデルは、ＣＰＵやＧＰＵ等のプロセッサとメモリを備えるコンピュータにて用いることができる。より具体的には、コンピュータのプロセッサが、メモリに記憶された学習済みモデルからの指令に従って、作業者の外的状態及び製造機械７０の状態を入力として演算を行い、演算結果に基づいて作業者の現在のステータスの推定結果を出力するように動作する。本発明の学習済みモデルは、外部記憶媒体やネットワーク等を介して他のコンピュータに対して複製して利用することが可能である。
また、本発明の学習済みモデルを他のコンピュータに対して複製して新しい環境で利用する際に、当該環境で得られた新たな状態変数やラベルデータに基づいて当該学習済みモデルに対して更なる学習を行わせることもできる。このようにした場合、当該環境による学習済みモデルから派生した学習済みモデル（以下、派生モデルとする）を得ることが可能である。本発明の派生モデルは、作業者の外的状態及び製造機械７０の状態から作業者の現在のステータスの推定結果を出力するという点では元の学習済みモデルと同じだが、元の学習済みモデルよりも新しい環境に適合した結果を出力するという点で異なる。この派生モデルもまた、外部記憶媒体やネットワーク等を介して他のコンピュータに対して複製して利用することが可能である。
更に、本発明の学習済みモデルを組み込んだ機械学習装置に対する入力に対して得られる出力を用いて、他の機械学習装置において１から学習を行うことで得られる学習済みモデル（以下、蒸留モデルとする）を作成し、これを利用することも可能である（このような学習工程を蒸留と言う）。蒸留において、元の学習済みモデルを教師モデル、新たに作成する蒸留モデルを生徒モデルとも言う。一般に、蒸留モデルは元の学習済みモデルよりもサイズが小さく、それでいてと元の学習済みモデルと同等の正確度を出せるため、外部記憶媒体やネットワーク等を介した他のコンピュータに対する配布により適している。
図５は、第２の実施形態による作業者管理装置１と機械学習装置１００の概略的な機能ブロック図である。第１の実施形態による作業者管理装置１及び機械学習装置１００は、作業者の作業中の画像データや製造機械から取得したデータから取得した状態変数に基づいて、作業者が行っている作業を示すステータス情報の学習・推定を行うが、本実施形態による作業者管理装置１及び機械学習装置１００は、作業者の作業中の画像データや製造機械から取得したデータから取得した状態変数に基づいて、作業者の熟練度や作業者の体調等を示す作業者ステータスの学習・推定を行う。図５に示した各機能ブロックは、図１に示した作業者管理装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、作業者管理装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
本実施形態の作業者管理装置１は、撮像装置６０から取得された画像を解析して機械学習装置１００による学習に用いられるデータを生成する画像解析部３２と、機械学習装置１００から出力された作業者に対する指示を表示装置５０へと表示する表示部３４を備える。画像解析部３２、表示部３４が備える機能は、第１の実施形態で説明したものと同様である。
一方、作業者管理装置１が備える機械学習装置１００は、作業者の外的状態及び製造機械の状態に対する、当該作業者の作業者ステータスの推定を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。作業者管理装置１が備える機械学習装置１００が学習するものは、作業者の外的状態及び製造機械の状態と、作業者の作業者ステータスとの、相関性を表すモデル構造に相当する。本実施形態の機械学習装置１００は、作業者ステータスとして作業者の熟練度や作業者の体調等を学習する点において第１の実施形態と異なる。
図５に機能ブロックで示すように、作業者管理装置１が備える機械学習装置１００は、作業者の外的状態を示す作業者外的状態データＳ１と、製造機械の状態を示す製造機械状態データＳ２を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部１０６と、状態変数Ｓを用いて、作業者の外的状態及び製造機械の状態に基づく作業者の現在のステータスを学習する学習部１１６と、学習部１１６による学習済みモデルを用いて作業者の外的状態及び製造機械の状態から推定した作業者の現在のステータスを出力する推定結果出力部１２２と、を備える。
状態観測部１０６は、学習部１１６による学習時において、状態変数Ｓとしての作業者外的状態データＳ１及び製造機械状態データＳ２を画像解析部３２及び製造機械７０から取得する。また、状態観測部１０６は、学習部１１０の学習結果を用いた作業者の作業者ステータス推定時において、状態変数Ｓとしての作業者外的状態データＳ１及び製造機械状態データＳ２を画像解析部３２及び製造機械７０から取得する。
状態観測部１０６が観測する状態変数Ｓのうち、作業者外的状態データＳ１は、例えば外部観測的に特定可能な作業者の状態を示すデータのセットとして取得することができる。外部観測的に特定可能な作業者の状態を示すデータとしては、例えば、作業者の装備の装着状態を示すデータ、作業者の位置を示すデータ（どの製造機械７０の近傍で作業しているのか等）、作業者の外観的動作を示すデータ（どのような行動をしているのか、どのように手を動かしているか、手、頭や胴体の製造機械７０に対する位置関係、手、頭や胴体の保持時間等）、作業者が外的動作に掛ける時間、作業者による製造機械７０に対する操作履歴、観測された時刻等が例示される。作業者外的状態データＳ１としては、作業者の作業について外部観測的に特定するために有用なデータであればどのようなデータを採用しても良い。作業者外的状態データＳ１に含まれる作業者の状態を示すそれぞれのデータは、例えば単体の数値であっても良いし、所定の期間において変化する値を所定周期でサンプリングした値の系列であっても良い。
状態変数Ｓのうち、製造機械状態データＳ２は、各製造機械７０から取得された製造機械７０の状態を示すデータのセットとして取得することができる。製造機械状態データＳ２としては、例えば製造機械７０の稼動状態を示すデータ、製造機械７０の可動部分の現在の状態を示すデータ（金型が開いているか等）、製造機械７０に設定されている加工条件及びその変更履歴、製造機械７０の動作における各物理量を示すデータ、アラーム履歴、製品の検査データ、アラームが発生してからアラームが解除されるまでに係る時間、それぞれの工程に掛かる時間、観測された時刻等が例示される。製造機械状態データＳ２としては、製造機械７０の状態に関連するデータであればどのようなデータであっても採用することができる。製造機械状態データＳ２に含まれる製造機械７０の状態を示すそれぞれのデータは、例えば単体の数値であっても良いし、所定の期間において変化する値を所定周期でサンプリングした値の系列であっても良い。
学習部１１６は、機械学習と総称される任意の学習アルゴリズムに従い、状態変数Ｓ（作業者の外的状態を示す作業者外的状態データＳ１及び製造機械７０の状態を示す製造機械状態データＳ２）に基づいた所謂教師なし学習により、通常の作業状態を作業ステータスにおける状態変数Ｓの集合を学習する。学習部１１６は、例えば状態変数Ｓに含まれる作業者外的状態データＳ１及び製造機械状態データＳ２に基づいて作成されたクラスタを学習することができる。学習部１１６は、状態変数Ｓを含むデータ集合に基づく学習を反復実行することができる。
学習部１１６による学習においては、複数の作業者のそれぞれが作業をしている状況から得られたデータに基づいた複数の学習サイクルを実行することが望ましい。例えば、所定の条件下での作業者による作業状態を観測することによって得られた作業者の外的状態を示す作業者外的状態データＳ１及び製造機械７０の状態を示す製造機械状態データＳ２が所定数（クラスタ分析を行うために充分なデータ数）だけ観測されると、観測された作業者外的状態データＳ１及び製造機械状態データＳ２に基づく学習済みモデル（クラスタ集合）を構築（学習）する。学習部１１６が構築する学習済みモデルは、例えば一般的な作業を行う作業者に対して１つの学習済みモデルを構築しても良いし、作業者毎に通常の作業状態における状態変数を用いて学習済みモデルを構築するようにしても良い。また、作業者の作業内容毎（パージ作業中、スクリュメンテナンス中等）に異なる学習済みモデルを構築するようにしても良く、作業者の体調や熟練度に応じて分類し、それぞれの体調や熟練度の分類毎に異なる学習済みモデルを構築するようにしても良い。なお、教師なし学習の学習アルゴリズムとしては、例えば公知の階層型クラスタリングや非階層型クラスタリング等を用いることができる。
推定結果出力部１２２は、学習部１１６が学習した結果（学習済みモデル）に基づいて、作業者の外的状態及び製造機械７０の状態から作業者の作業者ステータスを推定し、推定した作業者の作業者ステータスを出力する。推定結果出力部１２２は、例えば観測された作業者の外的状態及び製造機械７０の状態が、学習部１１６が学習した学習済みモデル（クラスタ）のいずれに属するかを求め、その結果に応じて作業者ステータスを推定するようにしても良い。例えば、作業ステータスの推定対象となる作業者の通常の作業状態における状態変数を用いて学習済みモデルが構築されている場合、同じ作業者を観測して得られた状態変数が当該学習済みモデルに属さないと判定されるほどに距離が離れている場合、その作業者は体調等が悪い可能性があることが推定される。また、熟練度の分類毎に異なる学習済みモデルが構築されている場合、作業者を観測して得られた状態変数がいずれの学習済みモデルに属しているかに応じて当該作業者の熟練度を推定できる。
図６は、第３の実施形態による作業者管理装置１と機械学習装置１００の概略的な機能ブロック図である。本実施形態による作業者管理装置１と機械学習装置１００は、第１の実施形態による機械学習装置１００が備える学習部１１０と、第２の実施形態による機械学習装置１００が備える学習部１１６とを備え、それぞれの出力に基づいて総合的な作業者ステータスの学習・推定を行う。図６に示した各機能ブロックは、図１に示した作業者管理装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、作業者管理装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
本実施形態による作業者管理装置１と機械学習装置１００の各構成は、推定結果出力部１２２を除いて第１の実施形態及び第２の実施形態で説明したものと同様の機能を持つ。
本実施形態の推定結果出力部１２２は、学習部１１０が学習した学習済みモデルと、学習部１１６が学習した学習済みモデルを用いて、作業者の現在の総合的な作業ステータスを推定する。推定結果出力部１２２は、学習部１１６に基づいて推定された作業者の体調や熟練度を含む作業ステータスに応じて、学習部１１０に基づいて推定された作業者の作業状況を含む作業ステータスによる推定結果に追加の情報を加えることで総合的な作業ステータスを作成するようにしても良い。例えば、推定結果出力部１２２は、学習部１１６に基づいて作業者が熟練度が低いと推定し、且つ、学習部１１０に基づいて作業者が装備を未装着の状態でスクリュメンテナンスを行っていることが推定された場合、推定結果に対して作業者に対してトレーニングが必要である旨を追加するようにしても良い。
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、機械学習装置１００が実行する学習アルゴリズム、演算アルゴリズム、作業者管理装置１が実行するアルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。
また、上記した実施形態では作業者管理装置１と機械学習装置１００が異なるＣＰＵを有する装置として説明しているが、機械学習装置１００は作業者管理装置１が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。
１ 作業者管理装置
２ ネットワーク
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 不揮発性メモリ
１７，１８，１９ インタフェース
２０ バス
２１ インタフェース
３２ 画像解析部
３４ 表示部
４０ 入力装置
５０ 表示装置
６０ 撮像装置
７０ 製造機械
１００ 機械学習装置
１０１ プロセッサ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 不揮発性メモリ
１０６ 状態観測部
１０８ ラベルデータ取得部
１１０ 学習部
１１２ 誤差計算部
１１４ モデル更新部
１１６ 学習部
１２２ 推定結果出力部

Claims (14)

  1. 工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、
    前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置を備え、
    前記機械学習装置は、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、
    前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する学習部と、
    を備える作業者管理装置。
  2. 前記学習部は、
    前記状態変数から前記作業者の現在のステータスを推定する相関性モデルと、予め用意された教師データから識別される相関性特徴との誤差を計算する誤差計算部と、
    前記誤差を縮小するように前記相関性モデルを更新するモデル更新部とを備える、
    請求項１に記載の作業者管理装置。
  3. 前記学習部は、前記状態変数と前記ラベルデータとを多層構造で演算する、
    請求項１または２に記載の作業者管理装置。
  4. 工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、
    前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置を備え、
    前記機械学習装置は、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した学習部と、
    前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、
    を備える作業者管理装置。
  5. 工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、
    前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置を備え、
    前記機械学習装置は、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記状態変数を用いた教師なし学習により前記作業者のステータスを学習する学習部と、
    を備える作業者管理装置。
  6. 工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、
    前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置を備え、
    前記機械学習装置は、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした学習部と、
    前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、
    を備える作業者管理装置。
  7. 工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、
    前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置を備え、
    前記機械学習装置は、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、
    前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する第１学習部と、
    前記状態変数を用いた教師なし学習により、前記作業者のステータスを学習する第２学習部と、
    を備える作業者管理装置。
  8. 工場で製造機械に係る作業を行う作業者を管理する作業者管理装置において、
    前記作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置を備え、
    前記機械学習装置は、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した第１学習部と、
    前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした第２学習部と、
    前記状態観測部が観測した状態変数と、前記第１学習部による学習結果及び前記第２学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、
    を備える作業者管理装置。
  9. 工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置において、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、
    前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する学習部と、
    を備える機械学習装置。
  10. 工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置において、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した学習部と、
    前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、
    を備える機械学習装置。
  11. 工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置において、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記状態変数を用いた教師なし学習により前記作業者のステータスを学習する学習部と、
    を備える機械学習装置。
  12. 工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置において、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした学習部と、
    前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、
    を備える機械学習装置。
  13. 工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習する機械学習装置において、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者のステータスを示す作業者ステータスデータを、ラベルデータとして取得するラベルデータ取得部と、
    前記状態変数と前記ラベルデータとを用いた教師あり学習により、前記作業者外的状態データ及び前記製造機械状態データと、前記作業者ステータスデータとを関連付けて学習する第１学習部と、
    前記状態変数を用いた教師なし学習により、前記作業者のステータスを学習する第２学習部と、
    を備える機械学習装置。
  14. 工場で製造機械に係る作業を行う作業者の外的状態及び前記製造機械の状態に対する前記作業者のステータスの推定を学習した機械学習装置において、
    前記作業者の作業状況を撮像した画像データと、前記製造機械から取得したデータとに基づいて、前記作業者の外的状態を示す作業者外的状態データと、前記製造機械の状態を示す製造機械状態データとを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記作業者の外的状態及び前記製造機械の状態と、前記作業者のステータスとを関連付けて教師あり学習した第１学習部と、
    前記作業者の外的状態及び前記製造機械の状態に基づいた前記作業者のステータスの教師なし学習をした第２学習部と、
    前記状態観測部が観測した状態変数と、前記第１学習部による学習結果及び前記第２学習部による学習結果に基づいて、前記作業者のステータスを出力する推定結果出力部と、
    を備える機械学習装置。
JP2017228573A 2017-11-29 2017-11-29 作業者管理装置 Active JP6571741B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017228573A JP6571741B2 (ja) 2017-11-29 2017-11-29 作業者管理装置
DE102018129529.4A DE102018129529A1 (de) 2017-11-29 2018-11-23 Vorrichtung zum Arbeitermanagement
US16/202,089 US11216757B2 (en) 2017-11-29 2018-11-28 Worker management device
CN201811445136.8A CN109840672B (zh) 2017-11-29 2018-11-29 作业者管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017228573A JP6571741B2 (ja) 2017-11-29 2017-11-29 作業者管理装置

Publications (2)

Publication Number Publication Date
JP2019101516A true JP2019101516A (ja) 2019-06-24
JP6571741B2 JP6571741B2 (ja) 2019-09-04

Family

ID=66442746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017228573A Active JP6571741B2 (ja) 2017-11-29 2017-11-29 作業者管理装置

Country Status (4)

Country Link
US (1) US11216757B2 (ja)
JP (1) JP6571741B2 (ja)
CN (1) CN109840672B (ja)
DE (1) DE102018129529A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250498A1 (ja) * 2019-06-14 2020-12-17 オムロン株式会社 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
WO2021177245A1 (ja) * 2020-03-05 2021-09-10 ファナック株式会社 画像処理装置、作業指示作成システム、作業指示作成方法
WO2021192119A1 (ja) 2020-03-25 2021-09-30 ソニーグループ株式会社 情報処理装置、プログラム、および方法
WO2021192024A1 (ja) * 2020-03-24 2021-09-30 ソニーグループ株式会社 作業管理装置及び作業状態判定方法
WO2023085208A1 (ja) * 2021-11-09 2023-05-19 三菱電機株式会社 作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム
JP7401280B2 (ja) 2019-12-06 2023-12-19 ファナック株式会社 作業工程判別装置及び作業工程判別システム
JP7449338B2 (ja) 2021-09-03 2024-03-13 東京エレクトロンデバイス株式会社 情報処理方法、プログラム、情報処理装置及び情報処理システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6779413B2 (ja) 2018-05-31 2020-11-04 三菱電機株式会社 作業分析装置
US11170335B2 (en) * 2018-09-28 2021-11-09 Accenture Global Solutions Limited Adaptive artificial intelligence for user training and task management
CN110945449B (zh) * 2018-11-15 2023-10-17 灵动科技（北京）有限公司 现场环境的实时监督式机器学习系统与方法
US20230177934A1 (en) * 2021-12-03 2023-06-08 Honeywell International Inc. Surveillance system for data centers and other secure areas

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143361A1 (ja) * 2009-06-08 2010-12-16 パナソニック株式会社 作業認識システム、作業認識装置および作業認識方法
JP2015095209A (ja) * 2013-11-14 2015-05-18 オムロン株式会社 監視装置および監視方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4910191B2 (ja) 2006-12-08 2012-04-04 株式会社システック 保護具着用検知システム及びｉｄ−ｔａｇ付き保護具
US7957565B1 (en) * 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
US20130184997A1 (en) * 2011-07-12 2013-07-18 Pulsar Informatics, Inc. Task-Modulated Neurobehavioral Status
US9695981B2 (en) * 2012-04-20 2017-07-04 Honeywell International Inc. Image recognition for personal protective equipment compliance enforcement in work areas
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
JP6240689B2 (ja) 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
US9691262B1 (en) * 2015-12-17 2017-06-27 International Business Machines Corporation Informing first responders based on incident detection, and automatic reporting of individual location and equipment state
US10726377B2 (en) 2015-12-29 2020-07-28 Workfusion, Inc. Task similarity clusters for worker assessment
JP6453805B2 (ja) 2016-04-25 2019-01-16 ファナック株式会社 製品の異常に関連する変数の判定値を設定する生産システム
CN106447184B (zh) 2016-09-21 2019-04-05 中国人民解放军国防科学技术大学 基于多传感器测量与神经网络学习的无人机操作员状态评估方法
US11526827B2 (en) * 2018-09-28 2022-12-13 The Regents Of The University Of California Non-intrusive workflow assessment (NIWA) for manufacturing optimization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143361A1 (ja) * 2009-06-08 2010-12-16 パナソニック株式会社 作業認識システム、作業認識装置および作業認識方法
JP2015095209A (ja) * 2013-11-14 2015-05-18 オムロン株式会社 監視装置および監視方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250498A1 (ja) * 2019-06-14 2020-12-17 オムロン株式会社 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
JP7401280B2 (ja) 2019-12-06 2023-12-19 ファナック株式会社 作業工程判別装置及び作業工程判別システム
WO2021177245A1 (ja) * 2020-03-05 2021-09-10 ファナック株式会社 画像処理装置、作業指示作成システム、作業指示作成方法
JP7436627B2 (ja) 2020-03-05 2024-02-21 ファナック株式会社 画像処理装置、作業指示作成システム、作業指示作成方法
WO2021192024A1 (ja) * 2020-03-24 2021-09-30 ソニーグループ株式会社 作業管理装置及び作業状態判定方法
WO2021192119A1 (ja) 2020-03-25 2021-09-30 ソニーグループ株式会社 情報処理装置、プログラム、および方法
JP7449338B2 (ja) 2021-09-03 2024-03-13 東京エレクトロンデバイス株式会社 情報処理方法、プログラム、情報処理装置及び情報処理システム
WO2023085208A1 (ja) * 2021-11-09 2023-05-19 三菱電機株式会社 作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム

Also Published As

Publication number Publication date
US11216757B2 (en) 2022-01-04
JP6571741B2 (ja) 2019-09-04
CN109840672A (zh) 2019-06-04
CN109840672B (zh) 2021-07-16
US20190164110A1 (en) 2019-05-30
DE102018129529A1 (de) 2019-05-29

Similar Documents

Publication Publication Date Title
CN109840672B (zh) 作业者管理装置
JP6956028B2 (ja) 故障診断装置及び機械学習装置
Soori et al. Internet of things for smart factories in industry 4.0, a review
US20180373233A1 (en) Failure predicting apparatus and machine learning device
TWI691913B (zh) ３次元空間監視裝置、３次元空間監視方法、及３次元空間監視程式
JP6693919B2 (ja) 制御装置及び機械学習装置
JP6530779B2 (ja) 加工不良要因推定装置
US20150026107A1 (en) System and apparatus that identifies, captures, classifies and deploys tribal knowledge unique to each operator in a semi-automated manufacturing set-up to execute automatic technical superintending operations to improve manufacturing system performance and the methods therefor
US10521550B2 (en) Planning and engineering method, software tool and simulation tool for an automation solution
JP6629815B2 (ja) 寿命推定装置及び機械学習装置
Camilli et al. Towards risk modeling for collaborative AI
Shin et al. Formal model of human material-handling tasks for control of manufacturing systems
Wang et al. A smart operator assistance system using deep learning for angle measurement
Botelho et al. Towards intelligent maintenance systems: rescuing human operator and context factors
JP2019160176A (ja) 部品供給量推定装置及び機械学習装置
Sabattini et al. Methodological Approach for the Evaluation of an Adaptive and Assistive Human-Machine System
Lossie et al. Smart Glasses for State Supervision in Self-optimizing Production Systems
Nguyen et al. Motion and Condition Monitoring of an Industrial Robot Based on Digital Twins
Moufaddal et al. Towards a novel cyber physical control system framework: a deep learning driven use case
Mahmoud et al. Modeling quality management system: A multi-agent approach
Mhalla et al. A monitoring-maintenance approach based on fuzzy petri nets in manufacturing systems with time constraints
Kumar et al. Smart Supervising System for Industrial Beverage Plant Using an Advanced Food Handling Method
Ouahabi et al. Leveraging digital twin into dynamic production scheduling: A review
Cabri et al. Exploitation of Digital Twins in Smart Manufacturing
Koistinen Big Data for predictive maintenance of industrial machinery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190619

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190808

R150 Certificate of patent or registration of utility model

Ref document number: 6571741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150