JP2018159991A - 学習モデル構築装置、異常検出装置、異常検出システム及びサーバ - Google Patents

Abstract

【課題】生産装置周辺の音情報を用いて異常検出を行うための学習モデル構築装置、異常検出装置、異常検出システム及びサーバを提供する。【解決手段】学習モデル構築装置２００は、生産装置の近傍に位置した作業者の音声を含む音声データを、マイク１００を介して取得する音声取得部２２０と、生産装置を含む生産ラインに関する異常度を、ラベルとして取得するラベル取得部２３０と、音声データとラベルとの組みを教師データとして教師あり学習を行うことにより、異常度についての学習モデルを構築する学習部２４０とを備える。【選択図】図２

Description

本発明は、学習モデル構築装置、異常検出装置、異常検出システム及びサーバに関する。

従来、生産装置に属するセンサにより収集される情報を用いた、生産装置の異常検出が行われている。例えば、サーボモータによって駆動される産業用ロボットや工作機械等の生産装置は、一般的に角度検出器及び電流検出器等の機器を備えている。また、生産装置は、用途によって、温度センサ、トルクセンサ、力センサ、タッチセンサ等の多様なセンサを備えている。そして、機器やセンサを用いた異常検出として、モータの電流値から推定される外力により衝突を検出したり、推定外力を周波数解析して減速機の異常を検出したりする方法が行われている。
また、検出した生産装置の振動や音に基づいて、生産装置の異常検出を行うものが開示されている（例えば、特許文献１〜３参照）。

特開２００２−１６９６１１号公報 特開平８−３２０２５１号公報 特開平６−４７８９号公報

ここで、音を収集及び解析して、生産装置や生産装置の属する生産ラインの異常を検出する場合に、生産装置に属するセンサによって、生産装置から生じる音を収集及び解析している。しかし、生産ラインにおいて、異常を示す音や、異常の兆候を含む音は、生産装置から発生するものに限られない。

本発明は、係る課題に鑑みなされたものであり、その目的は、生産装置周辺の音情報を用いて異常検出を行うための学習モデル構築装置、異常検出装置、異常検出システム及びサーバを提供することである。

（１）本発明の学習モデル構築装置（例えば、学習モデル構築装置２００）は、生産装置の近傍に位置した作業者の音声を含む音声データを、音声受付装置（例えば、マイク１００）を介して取得する音声データ取得手段（例えば、音声取得部２２０）と、前記生産装置を含む生産ラインに関する異常度を、ラベルとして取得するラベル取得手段（例えば、ラベル取得部２３０）と、前記音声データと前記ラベルとの組みを教師データとして教師あり学習を行うことにより、異常度についての学習モデルを構築する学習手段（例えば、学習部２４０）と、を備える。

（２） （１）に記載の学習モデル構築装置において、前記音声データ取得手段（例えば、音声取得部２２０）は、前記作業者の音声から得られる特徴量を、前記音声データとして取得してもよい。

（３） （２）に記載の学習モデル構築装置において、前記特徴量は、前記作業者の音声を解析して得られる音声内容、音程及び音量に関するものであってもよい。

（４） （１）から（３）までのいずれかに記載の学習モデル構築装置において、前記音声受付装置（例えば、マイク１００）は、前記作業者が装着可能であり、前記作業者の位置情報を取得する作業者位置取得手段（例えば、近傍位置判定部２１０）と、前記生産装置の位置情報を記憶する装置位置記憶部（例えば、装置位置記憶部２１５）と、を備え、前記音声データ取得手段（例えば、音声取得部２２０）は、前記作業者位置取得手段により取得した前記作業者の位置情報と、前記装置位置記憶部に記憶された前記生産装置の位置情報とから、前記作業者が前記生産装置の近傍に位置している場合に、前記音声データを取得してもよい。

（５） （１）から（４）までのいずれかに記載の学習モデル構築装置で構築した前記学習モデルを用いた異常検出装置（例えば、異常検出装置３００，２３００）は、前記音声データ取得手段（例えば、音声取得部２２０）が取得した前記音声データと、前記学習モデルとに基づいて、前記音声データに対する前記異常度を判定する異常度判定手段（例えば、異常度判定部３１０）と、前記異常度判定手段により判定された前記異常度に基づく通知を行う通知手段（例えば、通知部３２０）と、を備える。

（６） （５）に記載の異常検出装置（例えば、異常検出装置２３００）において、前記生産ラインに設けられ前記生産ラインに関する状態情報を取得する状態情報取得手段（例えば、状態データ取得部２３３０）と、前記異常度判定手段（例えば、異常度判定部３１０）により判定された前記異常度が異常を示す場合に、前記状態情報取得手段が取得した前記状態情報を出力する状態情報出力手段（例えば、データ出力部２３５０）と、を備えてもよい。

（７） （６）に記載の異常検出装置において、前記状態情報は、画像情報、振動情報及び温度情報の少なくともいずれかを含んでもよい。

（８） （５）から（７）までのいずれかに記載の異常検出装置（例えば、異常検出装置２３００）において、前記生産装置の稼働情報を取得する稼働情報取得手段（例えば、稼働データ取得部２３４０）と、前記異常度判定手段（例えば、異常度判定部３１０）により判定された前記異常度が異常を示す場合に、前記稼働情報取得手段が取得した前記稼働情報を出力する稼働情報出力手段（例えば、データ出力部２３５０）と、を備えてもよい。

（９） （８）に記載の異常検出装置において、前記稼働情報は、前記生産装置に設置されたセンサが測定した測定データを含んでもよい。

（１０） 本発明の異常検出システム（例えば、異常検出システム１０００，１０００−２）は、（１）から（４）までのいずれかに記載の学習モデル構築装置（例えば、学習モデル構築装置２００）と、（５）から（９）までのいずれかに記載の異常検出装置（例えば、異常検出装置３００，２３００）と、を備える。

（１１） （１０）に記載の異常検出システムにおいて、前記学習モデル構築装置及び前記異常検出装置が、前記生産装置に設けられていてもよい。

（１２） （１）から（４）までのいずれかに記載の学習モデル構築装置（例えば、学習モデル構築装置２００）を複数有し、複数の前記学習モデル構築装置に対して通信ネットワーク（例えば、ネットワーク５００）を介して接続されたサーバは、一の前記学習モデル構築装置の前記音声データ取得手段が取得した前記音声データ及び前記ラベル取得手段が取得した前記ラベルの組みからなる教師データを受信し、他の前記学習モデル構築装置に対して受信した前記教師データを送信するデータ送受信手段を備える。

（１３） （１）から（４）までのいずれかに記載の学習モデル構築装置（例えば、学習モデル構築装置２００）を複数有し、複数の前記学習モデル構築装置に対して通信ネットワーク（例えば、ネットワーク５００）を介して接続されたサーバ（例えば、サーバ６００）は、各学習モデル構築装置の前記音声データ取得手段が取得した前記音声データ及び前記ラベル取得手段が取得した前記ラベルの組みからなる教師データを受信するデータ受信手段と、前記データ受信手段により受信した前記教師データを用いて教師あり学習を行うことにより、異常度についての学習モデルを構築する学習手段と、前記学習手段により構築された前記学習モデルを、各学習モデル構築装置に送信するモデル送信手段と、を備える。

本発明によれば、生産装置周辺の音情報を用いて異常検出を行うための学習モデル構築装置、異常検出装置、異常検出システム及びサーバを提供できる。

本発明の実施形態全体の基本的構成を表すブロック図である。 本発明の第１実施形態における各装置に含まれる機能ブロックを表すブロック図である。 本発明の第１実施形態における教師データの例を示す図である。 本発明の第１実施形態における機械学習時の動作について示すフローチャートである。 本発明の第１実施形態における異常検出時の動作について示すフローチャートである。 本発明の第２実施形態における異常検出装置に含まれる機能ブロックを表すブロック図である。 本発明の変形形態における学習モデル構築装置間連携を表すブロック図である。

（第１実施形態）
まず、本発明の実施形態の概略を説明する。本実施形態は、ロボット、工作機械及び射出成形機等の生産装置の近傍で作業をする各作業者の発した音声から、１以上の生産装置を有する生産ラインの異常度を判定するためのシステムに関する。

各作業者は、生産装置の近傍で生産装置を監視している際に、例えば、危険な状況を確認した場合には、「危ない」、「止めろ」等の声を発する。また、危険な状況下において、各作業者が発する声には、「キャー」等の悲鳴のような叫び声も含まれる。
そこで、本実施形態では、生産ラインを監視している作業者が発する声である音声データを入力データとして機械学習をする。そして、本実施形態では、機械学習をした結果データである学習モデルを用いることで、作業者の発した音声によって生産ラインが異常の場合を検出する。
以上が本発明の実施形態の概略である。

次に、本実施形態である異常検出システム１０００の構成について、図１を参照して説明をする。図１に示すように、異常検出システム１０００は、ｎ台のマイク１００、ｎ台のウェアラブル端末１５０、学習モデル構築装置２００、異常検出装置３００、及びネットワーク４００を備える。なお、ｎは、任意の自然数である。

これらの装置間の接続について説明する。マイク１００と、ウェアラブル端末１５０とは、各作業者が有し、マイク１００は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信等により、ウェアラブル端末１５０に通信可能に接続されている。そして、ウェアラブル端末１５０は、ネットワーク４００に通信可能に接続されている。

学習モデル構築装置２００と、異常検出装置３００とは、それぞれネットワーク４００に接続されており、ネットワーク４００を介して相互に通信を行うことが可能である。
ネットワーク４００は、例えば、工場内に構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、公衆電話網等、又はこれらの組み合わせである。ネットワーク４００における具体的な通信方式や、有線接続及び無線接続のいずれであるか等については特に限定されない。

次に、異常検出システム１０００に含まれるこれら装置の機能について図２を参照して説明をする。ここで、図２は、各装置に含まれる機能ブロックを表すブロック図である。なお、マイク１００−１からマイク１００−ｎは、同等の機能を有し、また、ウェアラブル端末１５０−１からウェアラブル端末１５０−ｎも、同等の機能を有しているため、図２では、それぞれ１台のみを図示する。また、各装置間に存在するネットワーク４００については図示を省略する。

マイク１００は、例えば、作業者が頭部に装着するヘッドセットの集音部分であり、作業者の音声を集音する音声受付装置である。
ウェアラブル端末１５０は、作業者が装着する携帯端末である。ウェアラブル端末１５０は、マイク１００が集音した音声データを、学習モデル構築装置２００に送信する役割と、作業者の位置情報を取得するための役割とを有する。
マイク１００は、マイク１００を制御するための機能ブロック、通信を行うための機能ブロック、といった一般的な機能ブロックを備える。同様に、ウェアラブル端末１５０は、ウェアラブル端末１５０を制御するための機能ブロック、通信を行うための機能ブロック、といった一般的な機能ブロックを備える。これらの一般的な機能ブロックについては、当業者によく知られているので、図示及び説明を省略する。同様に、後述の、学習モデル構築装置２００や異常検出装置３００においても、通信を行うための機能ブロック、作業者からの操作を受け付けるための機能ブロック、といった一般的な機能ブロックについては、図示及び説明を省略する。

学習モデル構築装置２００は、マイク１００が受け付けた音声データを用いて機械学習を行う装置である。そして、学習モデル構築装置２００は、機械学習を行うことにより、異常検出を行うための学習モデルを構築する。
学習モデル構築装置２００は、近傍位置判定部２１０と、装置位置記憶部２１５と、音声取得部２２０と、ラベル取得部２３０と、学習部２４０と、学習モデル記憶部２５０とを備える。

近傍位置判定部２１０は、作業者の位置を特定する。そして、近傍位置判定部２１０は、特定した作業者の位置が、生産装置の近傍であるか否かを判定する。
ここで、作業者の位置情報を取得する方法としては、公知の技術を使用できる。
例えば、ウェアラブル端末１５０から送出される電波を受信した複数（例えば、４台）の無線基地局（図示せず）の各々は、各無線基地局に到達した電波到達時間を、近傍位置判定部２１０に送信する。そして、近傍位置判定部２１０は、受信した各無線基地局に到達した電波到達時間の差から３点測量に基づいて、ウェアラブル端末１５０の位置を特定する（電波到達時間差方式）。そして、近傍位置判定部２１０は、特定した位置情報と共に、ウェアラブル端末１５０に対応した作業者識別情報を取得する。

また、ウェアラブル端末１５０から送出される電波を受信した無線基地局は、受信した電波の強度を、近傍位置判定部２１０に送信する。そして、近傍位置判定部２１０は、受信した電波の強度、及び事前に取得した電波強度マップ又は３点測量に基づいて、ウェアラブル端末１５０の位置を特定する（電波強度方式）。そして、近傍位置判定部２１０は、特定した位置情報と共に、ウェアラブル端末１５０に対応した作業者を識別するための作業者識別情報を取得する。

更に、作業者の位置情報を取得する方法として、ビーコン方式を適用してもよい。その場合、作業者は、ウェアラブル端末１５０の他にビーコンを携行し、又は、作業者が携行するウェアラブル端末１５０にビーコンの機能を有するようにする。そして、生産ライン内に設置されたビーコンユニット（図示せず）が、ビーコンから発射される電波又は赤外線等を受信することにより、ビーコンに対応した作業者識別情報を取得すると共に、作業者の位置を計測する。そして、近傍位置判定部２１０は、ビーコンユニットから作業者の位置情報を取得する。なお、ビーコン及びビーコンユニットとしては、例えば、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、等が挙げられる。

このように、学習モデル構築装置２００は、公知の位置検出の機能を備えることにより、生産ライン内における作業者の位置情報を、作業者識別情報と共に検出することができる。なお、学習モデル構築装置２００とは別に、公知の位置検出の機能を有した位置検出システムを備え、位置検出システムは、取得した作業者の位置情報を、学習モデル構築装置２００に送信するようにしてもよい。

次に、近傍位置判定部２１０は、取得した作業者の位置情報と、作業者識別情報と、装置位置記憶部２１５に記憶された生産装置の位置情報とに基づいて、作業者の位置が、生産装置の近傍であるか否かを判定する。例えば、作業者の位置と、作業者の位置に一番近い生産装置の位置との差が、１０ｍ以内であれば、近傍位置判定部２１０は、作業者の位置が、生産装置の近傍であると判定する。

音声取得部２２０は、マイク１００からウェアラブル端末１５０を介して音声データを取得し（以下、簡略化して「マイク１００から音声データを取得」ともいう。）、取得した音声データから特徴量を抽出することで、学習するための入力データを生成する部分である。ここで、音声取得部２２０は、近傍位置判定部２１０によって、作業者が生産装置の近傍に位置することが判定された場合に、音声データから特徴量を抽出する。
まず、音声取得部２２０は、マイク１００から取得した音声データを解析して、音声認識の対象とする音声データを特定する。具体的には、まず、所定区間ごとに音声データを取り込み、音声データの振幅値を所定のサンプリングタイムで積算し、この積算量を１つ前の区間のそれと比較し、差分が音声認識開始用の閾値を超えた区間を、音声認識開始区間とする。そして、音声認識開始区間から一連の複数区間を音声入力区間とし、この音声入力区間に取得した音声データを、処理対象の音声データとして特定する。
次に、音声取得部２２０は、特定した音声データに、所定の音声認識アルゴリズムを適用して特徴量を抽出する。例えば、音声認識アルゴリズムとしてＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ：隠れマルコフモデル）を用いる場合、音声取得部２２０は、メルケプストラム分析により、メルケプストラム、このメルケプストラムの動的特徴量（メルケプストラムの時間領域での変化量）、及びｌｏｇパワーの動的特徴量等を、特徴量として抽出する。

更に、音声取得部２２０は、抽出結果に基づいて音声認識処理を行って、音声データに含まれる作業者の音声内容を認識することができる。そして、音声取得部２２０は、認識した音声内容から、形態素解析等によって、音声の特徴量として単語を抽出する。なお、音声認識処理は、公知の種々の技術を用いて行うことができる。
なお、音声認識を行う前に、音声データに対して、例えば、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等を用いて周波数解析を行うことで、認識対象とすべき音声と同様の周波数を持つ音声データのみを抽出する。そのようにすることで、作業者の音声を含まないノイズのみからなる音声データは、機械学習に用いないようにできる。そして、音声取得部２２０は、波形から音程や音量を認識する。

ラベル取得部２３０は、学習モデル構築装置２００の操作受付部（図示せず）により、例えば、監視者からのラベルの入力操作を受け付け、これによりラベルを取得する。ここで、ラベルとは、機械学習において入力に対応すべき正しい出力である。本実施形態では、ラベルは、生産ラインの異常度に関するものである。より具体的には、ラベルは、例えば、異常度が０から２までの３段階の度合いである。ここで、異常度が０は、異常な状況が生じていない、つまり、正常であることを示す。また、異常度が１は、注意レベルの異常度合いを示し、異常度が２は、警告レベルの異常度合いを示す。注意レベルの度合いとは、例えば、生産ラインを確認するレベルをいい、警告レベルの度合いとは、例えば、生産ラインを停止させるレベルをいう。

このようにして、学習対象とした作業者の音声データの特徴量と、生産ラインの異常度のラベルとが組となり、学習部２４０に入力される。この特徴量とラベルの組は、機械学習における教師データに相当する。図３は、学習部２４０に入力される教師データ２４１の例を示す図である。

ここで、機械学習を行うための教師データは、多数用意されることが望ましい。そこで、例えば、実際に、生産装置が稼働中に異常が発生した際の作業者の音声データを取得して、取得した音声データを蓄積するその際、複数の生産ラインの各々について、各作業者からの音声データを取得してもよい。このようにすることで、作業者が通常通りに使用しているマイク１００から取得した音声データにより、多くの教師データを作成することができるのでよい。
また、異常時を想定した予行演習をし、その時の作業者の音声データを取得してもよい。

学習部２４０は、このようにして入力された教師データに基づいて機械学習を行うことにより、生産ラインの異常度についての学習モデルを構築する。学習部２４０が構築した学習モデルは、学習モデル記憶部２５０及び後述の異常検出装置３００に対して出力される。

学習モデル記憶部２５０は、学習部２４０による学習によって学習モデル記憶部２５０に対して出力した学習モデルを記憶する記憶部である。学習モデル記憶部２５０が記憶した学習モデルは、異常検出装置３００により利用される。
なお、学習モデルを構築した後に、新たに教師データを取得した場合には、学習モデル記憶部２５０が記憶した学習モデルに対して更に教師あり学習を行うことにより、一度構築した学習モデルを更新するようにしてもよい。
また、学習モデル記憶部２５０が記憶した学習モデルを、他の学習モデル構築装置２００との間で共有するようにしてもよい。学習モデルを複数の学習モデル構築装置２００で共有するようにすれば、各学習モデル構築装置２００にて分散して、更に教師あり学習を行うことが可能になるので、教師あり学習の効率及び精度を向上させることができる。

異常検出装置３００は、本実施形態における生産ラインの異常を検出する装置である。異常検出装置３００は、異常度判定部３１０と通知部３２０とを備える。
異常度判定部３１０は、学習部２４０から入力された学習モデルと、外部から入力された判定データとを用いて、判定データに対する異常度を判定する。そして、異常度判定部３１０は、これらのデータを用いて行った判定の結果、異常度が異常を示す場合に、通知部３２０に対して通知する。

ここで、学習部２４０から異常度判定部３１０に入力される学習モデルは、上述のように学習部２４０により構築されたものである。
また、異常度判定部３１０に入力される判定データは、学習部２４０に入力される特徴量と同等のデータである。
判定データは、学習モデル構築装置２００の音声取得部２２０から入力されるようにしてもよい。また他にも、異常検出装置３００内部に、近傍位置判定部２１０及び音声取得部２２０と同等の機能ブロックを設けておき、ウェアラブル端末１５０から取得した位置情報から、この近傍位置判定部２１０と同等の機能ブロックが、生産装置の近傍に作業者が位置しているかを判断し、マイク１００から取得した音声データから、この音声取得部２２０と同等の機能ブロックが、特徴量を抽出するようにしてもよい。

通知部３２０は、異常度判定部３１０から入力された判定結果に基づいて出力する部分である。通知部３２０は、判定結果として出力された異常度に応じて、例えば、警告灯を点灯させたり、アラーム音を出力したりして通知する。
音声を発した作業者を除く他の作業者や監視者は、通知部３２０による通知により、生産ラインで何らかの異常が発生したことを知ることができる。

以上、マイク１００、ウェアラブル端末１５０、学習モデル構築装置２００及び異常検出装置３００の機能ブロックについて説明した。次に、これらの機能ブロックの実現方法について説明をする。
これらの機能ブロックを実現するために、ウェアラブル端末１５０、学習モデル構築装置２００及び異常検出装置３００のいずれも、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置を備える。また、ウェアラブル端末１５０、学習モデル構築装置２００及び異常検出装置３００のいずれも、各種の制御用プログラムを格納したＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった主記憶装置を備える。

そして各装置において、演算処理装置が補助記憶装置からアプリケーションやＯＳを読み込み、読み込んだアプリケーションやＯＳを主記憶装置に展開させながら、これらのアプリケーションやＯＳに基づいた演算処理を行う。また、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
具体例として、ウェアラブル端末１５０は、ウェアラブル端末の他、例えば、スマートフォンや携帯端末等により実現してもよい。また、学習モデル構築装置２００及び異常検出装置３００は、例えば、パーソナルコンピュータ、サーバ等のコンピュータにより実現してもよい。

ただし、学習モデル構築装置２００については、機械学習に伴う演算量が多いため、例えば、パーソナルコンピュータにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）を搭載し、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ−Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）と呼ばれる技術により、ＧＰＵを機械学習に伴う演算処理に利用するようにすると、高速処理できるようになるのでよい。更には、より高速な処理を行うために、このようなＧＰＵを搭載したコンピュータを複数台用いてコンピュータ・クラスターを構築し、このコンピュータ・クラスターに含まれる複数のコンピュータにて並列処理を行うようにしてもよい。

次に、図４のフローチャートを参照して、機械学習時の学習モデル構築装置２００の動作について説明をする。
図４のステップＳ（以下、単に「Ｓ」という。）１１において、学習モデル構築装置２００の近傍位置判定部２１０は、作業者の位置情報として、作業者が携行するウェアラブル端末１５０の位置情報を取得する。
Ｓ１２において、近傍位置判定部２１０は、装置位置記憶部２１５を参照し、取得した位置情報が、装置位置記憶部２１５に記憶されたいずれかの生産装置の位置情報に近傍した位置であるか否かを判断する。近傍した位置である場合（Ｓ１２：ＹＥＳ）には、近傍位置判定部２１０は、処理をＳ１３に移す。他方、近傍した位置ではない場合（Ｓ１２：ＮＯ）には、近傍位置判定部２１０は、本処理を終了する。つまり、作業者が生産装置に近傍した位置ではない場合には、作業者が生産装置に関する話はせず、生産ラインに関する音声を含まないと考えられる。そのため、作業者が生産装置に近傍した位置ではない場合には、作業者が発した音声を、学習モデル構築装置２００での学習対象にしない。

Ｓ１３において、音声取得部２２０は、マイク１００を介して音声データを取得する。
Ｓ１４において、音声取得部２２０は、Ｓ１３で取得した音声データから特徴量を抽出する。ここで抽出する特徴量は、例えば、作業者の音声のうち、各単語を発した長さとすることができる。つまり、音声データから抽出した特徴量に、作業者の音声を含み、その音声が単語を発した部分を、教師データの特徴量とする。
Ｓ１５において、ラベル取得部２３０は、ラベルを取得する。
Ｓ１６において、Ｓ１４で抽出した特徴量と、Ｓ１５で取得したラベルとを組にした教師データを、学習部２４０に入力する。

Ｓ１７において、学習部２４０は、入力された教師データを用いて機械学習を実行する。本実施形態では、パーセプトロンを組み合わせて構成したニューラルネットワークにより、教師あり学習を行う。
具体的には、学習部２４０は、教師データに含まれる入力データである特徴量とラベルとの組をニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じとなるように、ニューラルネットに含まれる各パーセプトロンについての重み付けを変更する。このようにして、学習部２４０は、教師データの特徴を学習し、入力から結果を推定するための学習モデルを帰納的に獲得する。

Ｓ１８において、学習部２４０は、教師あり学習を終了するか、それとも教師あり学習を繰り返すかを判定する。ここで、教師あり学習を終了させる条件は、任意に定めることができる。例えば、ニューラルネットワークの出力とラベルとの誤差の値が所定値以下となった場合に、教師あり学習を終了させるようにするとよい。また他にも、予め定めておいた回数だけ教師あり学習を繰り返した場合に、教師あり学習を終了させるようにしてもよい。
いずれにしても、条件が満たされておらず、教師あり学習を未だ終了させない場合（Ｓ１８：ＮＯ）には、学習部２４０は、処理をＳ１６に移し、新たな教師データ又は同じ教師データを対象として、再度教師あり学習を繰り返す。
一方で、教師あり学習を繰り返す過程にて、教師あり学習を終了させる条件が満たされた場合（Ｓ１８：ＹＥＳ）には、学習部２４０は、教師あり学習を終了する。

Ｓ１９において、学習部２４０は、その時点までの教師あり学習により構築した学習モデルを、学習モデル記憶部２５０に出力して記憶させる。このように学習モデル記憶部２５０に記憶させておけば、新たに設置された異常検出装置３００から学習モデルを要求された場合に、学習モデル構築装置２００は、学習モデルを送信することができる。また、新たな教師データを取得した場合に、学習モデル構築装置２００は、学習モデルに対して更なる機械学習を行うことができる。その後、学習モデル構築装置２００は、本処理を終了する。

なお、上述のフローチャートでは、作業者の位置が生産装置に近傍した位置であるかを判断し、生産装置に近傍した位置である場合に、音声データを取得して特徴量を抽出するものとして説明した。しかし、作業者の位置情報を取得し、作業者が生産装置に近傍した位置であるか否かを判断する処理は、音声データを取得後に行ってもよいし、音声データの取得と同時に行ってもよい。また、音声データから特徴量を抽出する処理と同時であってもよいし、特徴量を抽出した後に、作業者の位置に関する処理を行ってもよい。つまり、学習部２４０に入力する音声データを、作業者が生産装置に近傍した位置で発したものになるようにすれば、どのような順番で処理を行ってもよい。

以上説明した動作により、学習モデル構築装置２００は、作業者の音声データを用いた生産ラインの異常度についての学習モデルを構築することができる、という効果を奏する。

上述した教師あり学習は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習とは、音声データから特徴量を抽出し、ラベルが入力されて教師データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、音声データから特徴量を抽出し、ラベルが入力されて、教師データが作成されることが繰り返される間に、繰り返しに応じた複数の教師データを収集し、収集した全ての教師データを用いて、教師あり学習を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度教師データが溜まるたびに教師あり学習を行うという学習方法である。

以上、学習モデル構築装置２００による学習モデルの構築について説明をした。次に、このようにして構築された学習モデルを用いた異常検出装置３００における異常検出について、図５のフローチャートを参照して説明をする。

図５のＳ２１において、異常検出装置３００の異常度判定部３１０は、学習モデル構築装置２００が送信した学習モデルを受信することにより学習モデルを取得する。
Ｓ２２において、異常度判定部３１０は、音声取得部２２０から判定データを取得したか否かを判断する。なお、判定データの取得方法の詳細は、図２を参照した異常度判定部３１０の説明時に上述した通りである。音声取得部２２０から判定データを取得した場合（Ｓ２２：ＹＥＳ）には、異常度判定部３１０は、処理をＳ２３に移す。他方、音声取得部２２０から判定データを取得していない場合（Ｓ２２：ＮＯ）には、異常度判定部３１０は、判定データを取得するまで待機する。

Ｓ２３において、異常度判定部３１０は、取得した学習モデル及び取得した判定データにより異常度の判定を行う。具体的には、取得した判定データに含まれる特徴量と、Ｓ２１において取得した学習モデルとに基づいて、判定データに対する異常度を判定する。
なお、異常検出装置３００は、複数の作業者が、同時に音声を発する場合についても考慮する必要がある。例えば、複数の作業者が、生産装置の異常を発見して音声を発した場合が考えられる。そのような場合には、複数の判定データを取得することになるが、その場合には、異常度判定部３１０は、各判定データに対する異常度を判定し、その上で、最も度合いの高い異常度を、その時点での異常度としてもよい。

Ｓ２４において、異常度判定部３１０は、判定した異常度が異常を示すものであるか否かを判断する。判定した異常度が異常を示すものである場合とは、上述の例によれば、異常度が２（警告レベル）や１（注意レベル）の場合をいう。異常度が異常を示すものである場合（Ｓ２４：ＹＥＳ）には、異常度判定部３１０は、処理をＳ２５に移す。他方、異常度が異常を示すものではない場合（Ｓ２４：ＮＯ）には、異常度判定部３１０は、この判定データに対する後続の処理を行わないため、処理をＳ２２に移す。

Ｓ２５において、異常度判定部３１０は、通知部３２０に対して異常度に基づくデータを出力する。異常度に基づくデータとは、例えば、注意を示すデータや、警告を示すデータをいい、異常度が１であれば、注意を示すデータを、異常度が２であれば、警告を示すデータを出力する。
Ｓ２６において、通知部３２０は、異常度に基づくデータに対応した通知を行う。例えば、注意を示すデータである場合には、通知部３２０は、警告灯を点灯させる。また、例えば、警告を示すデータである場合には、通知部３２０は、警告灯を点灯させ、更にアラーム音を出力させる。その後、異常検出装置３００は、処理をＳ２２に移し、次の判定データを取得するまで待機する。

以上説明した本実施形態では、他の作業者や監視者は、通知部３２０による出力によって、生産ラインの異常を知ることができる、という効果を奏する。
そして、作業者が発した音声と、生産ラインの異常との結びつけを行うことで、生産ラインの生産装置や作業者の安全性を向上させることができる。

（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態では、第１実施形態に加えて、異常検出装置が判定した異常度が異常を示す場合に、異常検出装置が、生産ラインに関する状態データ及び生産装置の稼働データを出力するものである。

本実施形態である異常検出システム１０００−２の構成については、異常検出装置３００に代えて異常検出装置２３００である点を除き、図１に示すものと同様である。異常検出システム１０００−２の異常検出装置２３００について、図６に基づき説明する。

異常検出装置２３００は、本実施形態における生産ラインの異常を検出する装置である。異常検出装置２３００は、異常度判定部３１０と、通知部３２０との他に、状態データ取得部２３３０と、稼働データ取得部２３４０と、データ出力部２３５０とを備える。

状態データ取得部２３３０は、判定データとして取得した作業者がいる生産ラインに設置されたカメラや地震計、温度計等の生産ラインに関する状態を確認するための機器から、状態データを取得する。状態データは、カメラであれば画像データであり、地震計であれば振動データであり、温度計であれば温度データである。状態データ取得部２３３０は、各機器から常に状態データを取得してもよい。また、状態データ取得部２３３０は、判定データを取得した場合に、判定データを取得したタイミングより所定時間前の時間からの各機器から状態データを取得してもよい。

稼働データ取得部２３４０は、判定データとして取得した作業者がいる生産ラインの生産装置から稼働データを取得する。稼働データは、生産装置に設置されたセンサが測定した測定データを含む。具体的には、生産装置が射出成形機である場合に、稼働データは、射出成形機のモータで収集された電流値及び角度情報である。稼働データ取得部２３４０は、各生産装置から常に稼働データを取得してもよいし、判定データを取得した場合に各生産装置から稼働データを取得してもよい。

データ出力部２３５０は、異常度判定部３１０から入力された判定結果に基づいて、状態データ取得部２３３０が取得した状態データと、稼働データ取得部２３４０が取得した稼働データとを出力する。出力は、例えば、監視者が監視する監視画面（図示せず）であってもよいし、生産装置が備えるディスプレイ等の表示装置（図示せず）であってもよい。

このような構成を備えることで、異常検出装置２３００は、判定データによって判定された異常度が異常を示す場合に、状態データや稼働データを出力する。よって、作業者や監視者は、生産ラインに異常が発生したことと共に、生産ラインの状態や、生産装置の稼働状態を確認できる。その結果、異常と判定された場合の原因を究明するための情報を、早期かつ簡単に入手できる。

（変形形態）
上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、上述した実施形態では、マイク１００が受け付けた音声データから特徴量を抽出していた。そして、抽出した特徴量とラベルとで教師データを作成していた。
これに加えて、第２実施形態で取得した状態データや、稼働データを、教師データに含ませるようにしてもよい。例えば、温度計が計測した温度データや、地震計が計測した振動データを、特徴量の１つとして教師データに含ませるようにしてもよい。また、例えば、生産装置に設置されたセンサが測定した測定データから特徴量を抽出し、測定データの特徴量を教師データに含ませるようにしてもよい。
そのようにすることで、学習に必要なデータを多種なものにでき、異常検出の精度を高めることができる。

また、上述した実施形態では、学習モデル構築装置２００は、ニューラルネットワークにより、教師あり学習を行うものを例に説明した。
しかし、他のパターン認識モデルを使用したものであったり、他の機械学習のアルゴリズムを用いた学習を行うものであったりしてもよい。例えば、図３に示す教師データ２４１を説明するためのテーブルを、学習によって動的に作るようなものであってもよい。

また、上述した実施形態では、異常検出装置３００は、異常度判定部３１０により判定した異常度が異常を示す場合に、通知部３２０による通知を行うものであった。
これに加えて、異常度が異常を示す場合に、異常度に応じて、生産装置を緊急停止させる信号を、生産装置に対して出力するようにしてもよい。そして、生産装置では、緊急停止させる信号を受信した場合に、生産装置が備える安全確保処理部が、装置を緊急停止させる。そのようにすることで、特に、人命に関わる異常である場合に、作業者の安全性を向上させることができる。

また、上述した実施形態では、作業者が携行するマイク１００から作業者の音声を集音し、ウェアラブル端末１５０を用いて作業者の位置データを取得していた。
しかし、マイク１００自体が、ウェアラブル端末としての機能を有する場合には、ウェアラブル端末１５０は不要である。
更に、マイク１００に代えて、各生産装置に設けられ、生産装置の周辺の音を集音するマイクから、作業者の音声を集音するようにしてもよい。その際、例えば、所定の周波数以下の周波数帯域の成分を減衰させるローパスフィルタを用いて、人の音声の周波数の範囲の音声データを取得するようにしてもよい。このように、生産装置に設けられたマイクから集音することで、作業者が生産装置に近傍に位置するか否かを判断するための処理が不要になるため、処理効率が向上する。

また、上述した実施形態では、学習モデル構築装置２００が学習モデルを構築するものを説明した。この点、図７に示すように、異常検出システム１０００−３が、ｍ個の学習モデル構築装置に対してネットワーク５００を介して接続されたサーバ６００を備えるものとしてもよい。例えば、生産ラインごとに学習モデル構築装置を備えた場合には、ｍは、生産ライン数である。そして、複数の学習モデル構築装置２００−１〜２００−ｍに対してネットワーク５００を介してサーバ６００を接続することで、サーバ６００は、各学習モデル構築装置２００の教師データを集約することができる。そうすることで、サーバ６００は、各学習モデル構築装置２００で学習するよりも多くの教師データを使用した学習をすることができ、処理能力が高いサーバ６００を利用することで、処理を効率よく行うことができる。そして、多くの教師データを集めるための時間を短縮できる。
また、サーバを、各学習モデル構築装置間のデータを送受信する役割を果たすものにしてもよい。そのようにすることで、各学習モデル構築装置は、他の学習モデル構築装置の教師データを用いて学習を行うことができる。

更に他の変形例として、学習モデル構築装置２００と、異常検出装置３００とが一体の装置として実現されるようにしてもよい。学習モデル構築装置２００と、異常検出装置３００とを一体の装置とすることで、ハードウェアを１つにすることができると共に、処理を共通化でき、システム構築に係るコストダウンを図ることができる。

また、学習モデル構築装置２００と、異常検出装置３００とを、生産装置内に有するようにしてもよい。そのようにすることで、生産装置のハードウェアを利用することができるため、システム構築に係る更なるコストダウンを図ることができる。

なお、上記の異常検出システムに含まれる各装置は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。また、上記の異常検出システムに含まれる各装置により行われる異常検出方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００ マイク
１５０ ウェアラブル端末
２００ 学習モデル構築装置
２１０ 近傍位置判定部
２２０ 音声取得部
２３０ ラベル取得部
２４０ 学習部
２５０ 学習モデル記憶部
３００，２３００ 異常検出装置
３１０ 異常度判定部
３２０ 通知部
６００ サーバ
１０００ 異常検出システム
２３３０ 状態データ取得部
２３４０ 稼働データ取得部
２３５０ データ出力部

Claims (13)

1. 生産装置の近傍に位置した作業者の音声を含む音声データを、音声受付装置を介して取得する音声データ取得手段と、
   前記生産装置を含む生産ラインに関する異常度を、ラベルとして取得するラベル取得手段と、
   前記音声データと前記ラベルとの組みを教師データとして教師あり学習を行うことにより、異常度についての学習モデルを構築する学習手段と、
   を備える学習モデル構築装置。
2. 請求項１に記載の学習モデル構築装置において、
   前記音声データ取得手段は、前記作業者の音声から得られる特徴量を、前記音声データとして取得すること、
   を特徴とする学習モデル構築装置。
3. 請求項２に記載の学習モデル構築装置において、
   前記特徴量は、前記作業者の音声を解析して得られる音声内容、音程及び音量に関するものであること、
   を特徴とする学習モデル構築装置。
4. 請求項１から請求項３までのいずれかに記載の学習モデル構築装置において、
   前記音声受付装置は、前記作業者が装着可能であり、
   前記作業者の位置情報を取得する作業者位置取得手段と、
   前記生産装置の位置情報を記憶する装置位置記憶部と、
   を備え、
   前記音声データ取得手段は、前記作業者位置取得手段により取得した前記作業者の位置情報と、前記装置位置記憶部に記憶された前記生産装置の位置情報とから、前記作業者が前記生産装置の近傍に位置している場合に、前記音声データを取得すること、
   を特徴とする学習モデル構築装置。
5. 請求項１から請求項４までのいずれかに記載の学習モデル構築装置で構築した前記学習モデルを用いた異常検出装置であって、
   前記音声データ取得手段が取得した前記音声データと、前記学習モデルとに基づいて、前記音声データに対する前記異常度を判定する異常度判定手段と、
   前記異常度判定手段により判定された前記異常度に基づく通知を行う通知手段と、
   を備えること、
   を特徴とする異常検出装置。
6. 請求項５に記載の異常検出装置において、
   前記生産ラインに設けられ前記生産ラインに関する状態情報を取得する状態情報取得手段と、
   前記異常度判定手段により判定された前記異常度が異常を示す場合に、前記状態情報取得手段が取得した前記状態情報を出力する状態情報出力手段と、
   を備えること、
   を特徴とする異常検出装置。
7. 請求項６に記載の異常検出装置において、
   前記状態情報は、画像情報、振動情報及び温度情報の少なくともいずれかを含むこと、
   を特徴とする異常検出装置。
8. 請求項５から請求項７までのいずれかに記載の異常検出装置において、
   前記生産装置の稼働情報を取得する稼働情報取得手段と、
   前記異常度判定手段により判定された前記異常度が異常を示す場合に、前記稼働情報取得手段が取得した前記稼働情報を出力する稼働情報出力手段と、
   を備えること、
   を特徴とする異常検出装置。
9. 請求項８に記載の異常検出装置において、
   前記稼働情報は、前記生産装置に設置されたセンサが測定した測定データを含むこと、
   を特徴とする異常検出装置。
10. 請求項１から請求項４までのいずれかに記載の学習モデル構築装置と、
    請求項５から請求項９までのいずれかに記載の異常検出装置と、
    を備えた異常検出システム。
11. 請求項１０に記載の異常検出システムにおいて、
    前記学習モデル構築装置及び前記異常検出装置が、前記生産装置に設けられていること、
    を特徴とする異常検出システム。
12. 請求項１から請求項４までのいずれかに記載の学習モデル構築装置を複数有し、複数の前記学習モデル構築装置に対して通信ネットワークを介して接続されたサーバであって、
    一の前記学習モデル構築装置の前記音声データ取得手段が取得した前記音声データ及び前記ラベル取得手段が取得した前記ラベルの組みからなる教師データを受信し、他の前記学習モデル構築装置に対して受信した前記教師データを送信するデータ送受信手段を備えること、
    を特徴とするサーバ。
13. 請求項１から請求項４までのいずれかに記載の学習モデル構築装置を複数有し、複数の前記学習モデル構築装置に対して通信ネットワークを介して接続されたサーバであって、
    各学習モデル構築装置の前記音声データ取得手段が取得した前記音声データ及び前記ラベル取得手段が取得した前記ラベルの組みからなる教師データを受信するデータ受信手段と、
    前記データ受信手段により受信した前記教師データを用いて教師あり学習を行うことにより、異常度についての学習モデルを構築する学習手段と、
    前記学習手段により構築された前記学習モデルを、各学習モデル構築装置に送信するモデル送信手段と、
    を備えること、
    を特徴とするサーバ。

Images