JP2020149208A - 異常検出装置および異常検出方法 - Google Patents

Abstract

【課題】時系列データ上で、所要時間異常を考慮した異常検出を可能とする異常検出装置および方法を提供する。【解決手段】異常検出装置は、基準となる時系列データを状態モデル化した標準時系列モデル数値パラメータと、各状態の持続時間をモデル化した標準遷移時間モデル数値パラメータと、を記憶するモデル記憶部１０２と、異常検出の対象となる時系列データの入力を受け付ける時系列データ入力部１０３と、異常検出の対象となる時系列データに対して、標準時系列モデル数値パラメータによる状態推定を行い、各データ点の状態変数を推定する状態推定部１０１と、標準遷移時間モデル数値パラメータと、状態推定部が推定した各データ点の状態変数と、を用いて各データ点のうち所定の状態から別の状態への遷移に要する所要時間の異常度を算出する異常度計算部１００と、異常度を経過時間ごとの遅延度としてグラフ化して出力する異常度出力部１０４と、を備える。【選択図】図１

Description

本発明は、異常検出装置および異常検出方法に関する。

特許文献１には、「前記標準時系列データ算出ステップで算出された標準時系列データを一軸に配置し前記異常検出対象データ取得ステップで取得された対象時系列データを他軸に配置したＤＴＷ表記において該標準時系列データと該対象時系列データとの間の距離を算出する距離算出ステップと、前記距離算出ステップで算出された距離が該時系列データ中で予め規定された基準よりも大きいものを異常として検出する異常データ点検出ステップとを有する異常検出方法」が開示されている。

特開２００９−２４５２２８号公報

上述の特許文献１は、時系列データの異常を検出するために、システムがＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ：動的時間伸縮法）によって標準時系列データと対象時系列データを時間伸縮することで双方のデータ間の整合点を求め、距離を算出して合計することで異常の度合いを測り、異常か否かの判定を行っている。これにより、時間的なずれを度外視して比較することが可能となっている。その反面、所要時間異常（ある動作の遅延等）を検出するのが困難となっている。

本発明の目的は、時系列データ上で、遅延や前倒し等の所要時間異常を考慮した異常検出を可能とする技術を提供することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

本発明の一態様は、異常検出装置であって、基準となる時系列データを状態モデル化した標準時系列モデル数値パラメータと、各状態の持続時間をモデル化した標準遷移時間モデル数値パラメータと、を記憶するモデル記憶部と、異常検出の対象となる時系列データの入力を受け付ける時系列データ入力部と、上記異常検出の対象となる時系列データに対して、上記標準時系列モデル数値パラメータによる状態推定を行い、各データ点の状態変数を推定する状態推定部と、上記標準遷移時間モデル数値パラメータと、上記状態推定部が推定した上記各データ点の状態変数と、を用いて上記各データ点のうち所定の状態から別の状態への遷移に要する所要時間の異常度を算出する異常度計算部と、上記異常度を経過時間ごとの遅延度としてグラフ化して出力する異常度出力部と、を備える。

本発明によれば、時系列データ上で、所要時間異常を考慮した異常検出を可能とする技術を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第一の実施形態における所要時間異常検出部の例の概要を示す図である。 標準時系列モデル数値パラメータ記憶部の初期確率表の例を示す図である。 標準時系列モデル数値パラメータ記憶部の出力確率表の例を示す図である。 標準時系列モデル数値パラメータ記憶部の遷移確率表の例を示す図である。 標準遷移時間モデル数値パラメータ記憶部の遷移時間表の例を示す図である。 異常度計算部の異常度記憶表の例を示す図である。 平滑化処理の効果の例を示す図である。 異常度出力画面（ピークリスト）の例を示す図である。 異常度出力画面（遅延時点推定）の例を示す図である。 異常度出力画面（遅延度合）の例を示す図である。 第二の実施形態における所要時間異常検出部の例の概要を示す図である。 第三の実施形態における所要時間異常検出部の例の概要を示す図である。 整合演算の結果の例を示す図である。 第四の実施形態における所要時間異常検出システムの例を示す図である。 第四の実施形態における作業異常検出システムの構成例を示す図である。 第五の実施形態における所要時間異常検出システムの例を示す図である。 第五の実施形態における骨格認識処理の例を示す図である。 第六の実施形態における所要時間異常検出システムの例を示す図である。 第七の実施形態における異常度出力部の構成例を示す図である。 異常度出力画面（作業対照）の例を示す図である。

以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。

ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）は、整合演算という上位概念で表すことができる。本実施形態では、時系列データの時間伸縮を行い、整合点を算出する手法を整合演算としている。整合演算は時間伸縮を伴い、標準時系列データと対象時系列データにおける変化の速度が異なる場合でも、整合点を求めることができる。

一般に、標準時系列データと整合演算はそれぞれ、標準時系列モデルと状態推定という上位概念で表すことができる。ここでは、状態推定は時系列データを入力として数値パラメータを用いて各データ点に対応する状態変数を推定する演算方法であり、用いられる数値パラメータと演算方法を標準時系列モデルとしている。整合演算は標準時系列データの各データ点を異なる状態として扱い、与えられた対象時系列データの各データ点をそのどれかに整合させるという意味で、状態推定の一種として考えることができる。しかし、遷移時間に遅延等の異常が見られる場合にこれを異常として検出することはできない。

そこで、本発明に係る実施形態においては、新たに、各状態の標準的な遷移時間を表現した標準遷移時間モデルを導入する。対象時系列データの異常度を算出する任意のデータ点Ａからデータ点Ｂまでの区間について、対象時系列データに対する状態推定の結果から取得した対象区間に含まれる状態と、標準遷移時間モデルを参照して得た各状態の遷移時間分布から、区間についての遷移時間分布もしくはその代表値を算出する。対象時系列データにおけるデータ点Ａからデータ点Ｂまでの区間遷移時間の区間遷移時間分布への不適合の度合い、もしくは遷移時間と区間遷移時間分布の代表値と差異を算出して異常度とする。

［第一の実施形態］図１は、第一の実施形態における所要時間異常検出部の例の概要を示す図である。ここでは、時系列データ入力部１０３によって入力を受け付ける時系列データは、データ点が得られた時点から経過時間順に複数連なっているものとする。データ点が得られた時点を表す変数をタイムスタンプ、データ点で測定された値を表す変数をデータ値とする。データ値とタイムスタンプをそれぞれ時間順に並べたものをデータ値系列、タイムスタンプ系列とし、この二つによって時系列データを保持・表現することが可能である。ただし、時系列データの表現において、タイムスタンプ系列を用いることは必須ではなく、データ点が一定の規則にしたがってサンプリングされている場合は、タイムスタンプ系列の代わりにサンプリング規則を保持しておけば後から算出可能である。また、データ値についてはスカラーだけでなくベクトルや画像なども含まれる。

また、モデル記憶部１０２には事前に所定の単一のまたは複数の基準となる時系列データを状態モデル化した情報がプリセットされているものとする。プリセットの方法については、第二の実施形態に示すような方法により実現可能である。

図２は、標準時系列モデル数値パラメータ記憶部の初期確率表の例を示す図である。初期確率表１０２１は、単一の時系列データにおける標準時系列モデルの初期状態の確率を示す表である。初期確率表１０２１には、状態１０２１Ａと、初期確率１０２１Ｂと、が対応付けて含まれている。すなわち、状態ごとにその状態が初期状態である確率が格納されているといえる。

図３は、標準時系列モデル数値パラメータ記憶部の出力確率表の例を示す図である。出力確率表１０２２は、単一の時系列データにおける標準時系列モデルの出力確率を示す表である。出力確率表１０２２には、状態１０２２Ａと、平均値１０２２Ｂと、分散１０２２Ｃと、が対応付けて含まれている。すなわち、状態ごとにその状態で取りうる値の分布が格納されているといえる。

図４は、標準時系列モデル数値パラメータ記憶部の遷移確率表の例を示す図である。遷移確率表１０２３は、単一の時系列データにおける標準時系列モデルの状態間の遷移の確率を示す表である。遷移確率表１０２３には、元の状態１０２３Ａと、遷移先の状態１０２３Ｂと、の組み合わせについて遷移する確率が対応付けて含まれている。すなわち、状態ごとにその状態が別の状態に遷移する確率が格納されているといえる。

図５は、標準遷移時間モデル数値パラメータ記憶部の遷移時間表の例を示す図である。遷移時間表１０２４は、単一の時系列データにおける標準時系列モデルのある状態ごとにその状態が持続する持続時間の分布をモデル化して示す表である。遷移時間表１０２４には、状態１０２４Ａと、平均値１０２４Ｂと、分散１０２４Ｃと、が対応付けて含まれている。すなわち、状態ごとにその状態が持続する時間の取りうる値の分布が格納されているといえる。

所要時間異常検出部１０８は、時系列データ入力部１０３から時系列データを受け付けて、異常度出力部１０４へ異常度の情報を受け渡す。時系列データ入力部１０３には、異常検出の対象となる時系列データが入力される。所要時間異常検出部１０８は、時系列データをモデル記憶部１０２にプリセットされたモデル情報との整合演算を行い、異常度を特定して異常度出力部１０４へ受け渡す。異常度出力部１０４は、異常度の情報を用いて表示、あるいは記憶領域にその異常度の情報を記録する等の出力処理を行う。異常度出力部１０４は、このとき、特定の基準よりも異常度が大きい場合は警告を出力するようにしても良い。

所要時間異常検出部１０８には、異常度計算部１００と、状態推定部１０１と、モデル記憶部１０２と、タイムスタンプ取得部１０５と、が含まれる。

タイムスタンプ取得部１０５は、時系列データ入力部１０３から受け付けた対象時系列データのタイムスタンプ系列を取得し、異常度計算部１００へ送る。

状態推定部１０１は、モデル記憶部１０２より読み出した標準時系列モデル数値パラメータ（図２の初期確率表１０２１と、図３の出力確率表１０２２と、図４の遷移確率表１０２３と、を含む）を用いて、時系列データ入力部１０３が受け付けた時系列データに対して、標準時系列モデルによる状態推定を行い、各データ点の状態変数を推定し、推定した状態変数について、異常度計算部１００へ送る。なお、状態変数の推定には、状態推定部１０１は標準時系列モデルと対応した状態推定手法を用いる。例えば、標準時期系列モデルとして隠れマルコフモデルを用いる場合、状態推定部１０１は、ビタビアルゴリズムを用いて状態推定を行う。

また、状態推定部１０１は、複数の標準時系列モデル数値パラメータによる状態推定を行った結果を統合して状態変数を推定する。例えば、状態推定部１０１は、複数の推定された状態変数の平均値や中央値を状態変数として推定してもよいし、平均値と分散を求めて確率として推定するようにしてもよい。

異常度計算部１００は、モデル記憶部１０２から標準遷移時間モデル数値パラメータを読み出し、状態推定部１０１から送られてきた各データ点の状態変数と、タイムスタンプ取得部１０５から受け取ったタイムスタンプ系列と、を用いて異常度を算出し、異常度記憶表１００１に記憶させる。

異常度計算部１００は、対象時系列データの異常度を算出するデータ点Ａからデータ点Ｂまでの対象区間について、データ点Ａからデータ点Ｂに遷移するのに所要する遷移時間Ｔ１をタイムスタンプ系列から求め、対象時系列データに対する状態推定の結果から対象区間に含まれる状態を取得する。さらに、異常度計算部１００は、標準遷移時間モデルを参照して得た各状態の遷移時間分布もしくはその代表値（平均値や最頻値など）から、区間全体にわたる遷移時間の分布である区間遷移時間分布もしくはその代表値Ｔ２を導出または近似させる。異常度計算部１００は、遷移時間Ｔ１と代表値Ｔ２、または遷移時間Ｔ１と区間遷移時間分布の差異を、異常度として算出する。

区間遷移時間分布の近似方法として、異常度計算部１００は、サンプリングによる方法を採用する。代表値の近似方法としては、異常度計算部１００は、代表値が平均値であるとき累積和をとる方法を採用する。

区間遷移時間分布と遷移時間Ｔ１の差異を算出する方法としては、遷移時間Ｔ１が区間遷移時間分布にどのくらい適合しているかを尤度等によって評価し、逆数や正負反転等を行ったものを異常度として用いる方法を採用する。

また、遷移時間Ｔ１と代表値Ｔ２の差異を算出する方法としては、例えば、遷移時間Ｔ１を代表値Ｔ２で除す方法を採用する。この方法では、除した結果の商である異常度が「１」より大きくなった場合には、対象時系列データにおいてデータ点Ａからデータ点Ｂへ遷移する間に遅れが生じたか、もしくは標準時系列データとは異なる事象がデータ点Ａからデータ点Ｂの間に挿入された可能性が高いことを示す。つまり、作業動作が遅延したか、作業動作の間に別の作業動作が行われた可能性が高いことを示す。逆に、異常度が「１」より小さくなった場合には、対象時系列データにおいてデータ点Ａからデータ点Ｂへの変化が早まったか、もしくは標準時系列データでは存在した事象がデータ点Ａからデータ点Ｂの間で欠落した可能性が高いことを示す。つまり、作業動作が通常よりも前倒して行われたか、作業動作が省略された可能性が高いことを示す。

また、上記では任意の２点間（データ点Ａとデータ点Ｂ間）について異常度（遅延度あるいは前倒し度）を算出する例を示したが、これに限られず、異常度計算部１００は、対象時系列データ上の十分に短い時間間隔にある２点についての異常度計算を繰り返すことで、異常度を系列として算出することも可能である。

図６は、異常度計算部の異常度記憶表の例を示す図である。異常度記憶表１００１には、時点を特定する情報である時点１００１Ａと、これに対応付けられた異常度１００１Ｂと、が含まれる。

また、異常度計算部１００は、算出した異常度の系列に対して、平滑化などの事後処理を行うようにしてもよい。平滑化のアルゴリズムとしては、移動平均法等の公知の方法を採用する。

図７は、平滑化処理の効果の例を示す図である。図７では、平滑化前を点線で、平滑化後を実線で表している。例えば時系列データにノイズ等の影響があった場合、異常度のばらつきが大きくなる。このような場合であっても、平滑化を行うことで、図７に示すようにばらつきを抑えた異常度の情報を得ることが可能となる。

異常度計算部１００は、算出した異常度の系列またはこれを平滑化した情報を異常度記憶表１００１に記憶させるとともに、異常度出力部１０４へ受け渡す。

図８は、異常度出力画面（ピークリスト）の例を示す図である。異常度出力画面（ピークリスト）１０４１は、異常度出力部１０４が異常度の系列またはこれを平滑化した情報をグラフ化して作成する画面情報である。異常度出力画面（ピークリスト）１０４１には、製品ごとに発生した遅延度（異常度）の大きさを示す遅延度グラフを表示する遅延度表示領域１０４１Ａと、製品ごとに遅延度の大きい順に遅延度のピーク値を取った時点を表示するピークリスト１０４１Ｂと、画面表示を終える指示を受け付ける確認ボタン１０４１Ｃと、が含まれる。この画面により、利用者は製品毎の遅延度のピークを比較することが可能となる。なお、これに限られず、異常度出力部１０４は、以下のような出力画面を作成して出力するものであってもよい。

図９は、異常度出力画面（遅延時点推定）の例を示す図である。異常度出力画面（遅延時点推定）１０４２は、異常度出力部１０４が異常度の系列またはこれを平滑化した情報をグラフ化して作成する画面情報である。異常度出力画面（遅延時点推定）１０４２には、製品に発生した遅延度（異常度）の大きさを示す遅延度グラフを表示する遅延度表示領域１０４２Ａと、特に遅延度が大きく検出された時点（ピーク）に遅延発生を表示するコメント１０４２Ｂと、画面表示を終える指示を受け付ける確認ボタン１０４２Ｃと、が含まれる。この画面により、利用者は対象の製品について、大きな遅延が発生した時点を知り、作業内容を改善するヒントを得ることができる。

図１０は、異常度出力画面（遅延度合）の例を示す図である。異常度出力画面（遅延度合）１０４３は、異常度出力部１０４が異常度の系列またはこれを平滑化した情報をグラフ化して作成する画面情報である。異常度出力画面（遅延度合）１０４３には、製品に発生した遅延度（異常度）の大きさを示す遅延度グラフを表示する遅延度表示領域１０４３Ａと、遅延度が検出された時間帯とその時間における遅延量を表示するコメント１０４３Ｂと、画面表示を終える指示を受け付ける確認ボタン１０４３Ｃと、が含まれる。この画面により、利用者は対象の製品について、連続的に遅延が発生した時点を知り、作業内容を改善するヒントを得ることができる。

なお、異常度出力画面（遅延度合）１０４３を作成するためには、遅延度が検出された時間帯における遅延量を特定する必要がある。この特定処理では、異常度計算部１００が遷移時間Ｔ１と代表値Ｔ２との差（Ｔ１−Ｔ２）を算出することにより遅延量を特定する。このようにすることで、遅延量を特定可能となり異常度出力画面（遅延度合）１０４３を作成することが可能となる。また、利用者も、グラフが異常度の量について作成され、グラフ上の幾何的情報（具体的には、遅延度の量を示す面積）により遅延度の量を把握することができる。

［第二の実施形態］図１１は、第二の実施形態における所要時間異常検出部の例の概要を示す図である。第二の実施形態に係る所要時間異常検出部１０８´は、基本的に第一の実施形態にかかる所要時間異常検出部１０８と同様であるが、一部相違がある。以下、第一の実施形態にかかる所要時間異常検出部との相違を中心に説明する。

第二の実施形態においては、モデル記憶部１０２に記憶される標準モデルを、時系列データ入力部１０３から得た単一あるいは複数の標準時系列データから学習可能としている。

第二の実施形態にかかる所要時間異常検出部１０８´には、さらに、標準時系列モデル推定部１０６と、標準遷移時間モデル推定部１０７と、が含まれる。

時系列データ入力部１０３から入力された標準時系列データは、標準時系列モデル推定部１０６と、状態推定部１０１と、タイムスタンプ取得部１０５と、に受け渡される。タイムスタンプ取得部１０５は、タイムスタンプ系列を算出もしくは取得し、標準遷移時間モデル推定部１０７に受け渡す。

標準時系列モデル推定部１０６では、受け渡された単一または複数の標準時系列データを用いて、標準時系列モデルの数値パラメータを単一または複数推定してモデル記憶部１０２へ記憶させる。標準時系列モデルの学習は、隠れマルコフモデルや確率的オートマトンといった機械学習の枠組み等、ＡＩ（人工知能）等を用いて数値パラメータを推定するなどする。例えば隠れマルコフモデルを用いた場合、初期確率、遷移確率、出力確率が数値パラメータとして推定され、モデル記憶部１０２は、推定された数値パラメータ（初期確率表１０２１、出力確率表１０２２、遷移確率表１０２３）を標準時系列データごとに格納する。

状態推定部１０１では、モデル記憶部１０２より読み出した標準時系列データの数値パラメータを用いて、時系列データ入力部１０３から入力された標準時系列データのセットに対して、標準時系列モデルを用いた状態推定を行い、時系列データの各データ点の状態変数を推定する。推定した状態変数について、状態推定部１０１は、標準遷移時間モデル推定部１０７に受け渡す。状態変数の推定には、標準時系列モデルと対応した状態推定手法を用いる。例えば隠れマルコフモデルであれば、ビタビアルゴリズムを用いて状態推定が可能である。また、複数の標準時系列データの数値パラメータを用いる場合、複数の状態が推定されるため、状態推定部１０１はその分布を求めるようにしてもよい。

標準遷移時間モデル推定部１０７は、状態推定部１０１から各データ点の状態変数を受け取り、タイムスタンプ取得部１０５から各点のタイムスタンプを受け取る。状態とタイムスタンプとを対応づけることで、標準遷移時間モデル推定部１０７は、対象の時系列データにおいて特定の状態が始まってから次の状態へ遷移するまでの遷移時間を算出する。

そして、標準遷移時間モデル推定部１０７は、各データ点の状態変数とタイムスタンプとの複数の標準遷移時間モデルにおけるすべてのペアに対して遷移時間の算出を行うことで、各状態についての遷移時間の分布を求め、モデル記憶部１０２の標準遷移時間モデル（遷移時間表１０２４）として記憶させる。なお、遷移時間の分布については、標準遷移時間モデル推定部１０７は、ガウス分布等で近似させてそのパラメータ（平均と分散など）を代表値として記憶する。これに限られず、すべての算出した遷移時間をそのまま保存しても良い。

このようにすることで、モデル記憶部１０２に記憶される単一または複数の標準モデルを、時系列データ入力部１０３から得た標準時系列データを用いて学習することができる。

［第三の実施形態］図１２は、第三の実施形態における所要時間異常検出部の例の概要を示す図である。第三の実施形態に係る所要時間異常検出部１０８´´は、基本的に第二の実施形態にかかる所要時間異常検出部１０８と同様であるが、一部相違がある。以下、第二の実施形態にかかる所要時間異常検出部との相違を中心に説明する。

第三の実施形態においては、所要時間異常検出部１０８´´では、単一の（一連の）標準時系列データを受け取り標準モデルとすることで、標準時系列モデル推定部１０６および標準遷移時間モデル推定部１０７を不要とする例である。

第三の実施形態にかかる所要時間異常検出部１０８´´には、異常度計算部１００と、状態推定部１０１と、モデル記憶部１０２と、タイムスタンプ取得部１０５と、が含まれる。

時系列データ入力部１０３は、単一の標準時系列データの入力を受け付ける。時系列データ入力部１０３は、データ値を時系列に並べたデータ値系列はモデル記憶部１０２に、タイムスタンプ系列はタイムスタンプ取得部１０５に、それぞれ送る。

タイムスタンプ取得部１０５は、入力された標準時系列データのタイムスタンプ系列を取得し、モデル記憶部１０２に受け渡す。

そして、モデル記憶部１０２は、時系列データ入力部１０３から受け渡された標準時系列データのデータ値系列と、タイムスタンプ取得部１０５から受け渡されたタイムスタンプ系列と、を記憶する。これが、単一の標準モデルの学習の流れとなる。次に、異常度計算時の流れを説明する。

時系列データ入力部１０３において異常検出の対象となる対象時系列データを受け付けると、時系列データ入力部１０３は、データ値系列は状態推定部１０１に、タイムスタンプ系列もしくはその算出に必要な情報はタイムスタンプ取得部１０５にそれぞれ送る。タイムスタンプ取得部１０５では、対象時系列データのタイムスタンプ系列を取得もしくは算出し、異常度計算部１００へ受け渡す。

状態推定部１０１は、受け渡された対象時系列データのデータ値系列と、モデル記憶部１０２から読み出した標準時系列データのデータ値系列について整合演算を行い、整合演算の結果を異常度計算部１００へ受け渡す。

図１３は、整合演算の結果の例を示す図である。この結果は、第三の実施形態に限定されるものではなく、第一の実施形態から後述する第七の実施形態まで全ての実施形態において同様である。実線で示した対象時系列データのデータ値系列と、標準時系列データのデータ値系列について、整合する点を斜線で結んでいる。この結びつく点を特定するのが、整合演算であり、状態推定部１０１は、例えばＤＴＷ等の既知のアルゴリズムを採用して特定する。

なお、異常度計算部１００による異常度の算出に関しては、基本的に第一の実施形態および第二の実施形態と同様である。第三の実施形態の構成においては、標準時系列モデルの数値パラメータとして単一の標準時系列データを用いるため、第二の実施形態に示した複数の標準時系列データを用いてモデリングを行う標準時系列モデル推定部１０６が不要となる。また、標準時系列データの各データ点を異なる状態として扱い、整合演算によって対象時系列の各データ点を対応付けることで状態推定を実現しているため、各状態の標準遷移時間は単一の値であり、タイムスタンプ系列の隣り合ったタイムスタンプの差分と同一となる。そのため、標準遷移時間モデルとしてはタイムスタンプ系列をそのまま記憶すればよく、標準遷移時間モデル推定部１０７についても不要である。したがって、第三の実施形態に係る所要時間異常検出部１０８´´は、その構成を簡便なものとすることができる。

［第四の実施形態］図１４は、第四の実施形態における所要時間異常検出システムの例を示す図である。第四の実施形態においては、ウェアラブルセンサ（位置の変化量を取得する着脱可能なセンサ）による人手作業の異常検出を行う作業異常検出システム２０５を対象として、所要時間異常検出部を適用する例である。

作業者２０１は、ウェアラブルセンサ２０２を身体に取り付けて、繰り返し作業を行っているものとする。ウェアラブルセンサ２０２にて計測した作業者２０１の動きのセンサデータを情報処理端末２０３へ無線通信を介して送る。動きを計測するウェアラブルセンサ２０２としては、加速度センサやジャイロセンサなどの位置の変化量を取得するセンサを用いることができる。情報処理端末２０３は、センサ受信部２０４でセンサデータを受け取ると、作業異常検出システム２０５へセンサデータを入力する。

図１５は、第四の実施形態における作業異常検出システムの構成例を示す図である。センサ受信部２０４からセンサデータ（時系列データ）が特徴量抽出部２０６に受け渡され、特徴量抽出部２０６は、センサデータを異常検出に適した特徴量からなる時系列データに変換する。例えば、特徴量抽出部２０６は、センサデータに欠落がある場合には、補完処理を行い、センサデータに含まれるノイズをローパスフィルタ等のフィルタで除去することで、異常検出の精度向上が期待できる。また、特徴量抽出部２０６は、センサデータをフーリエ変換することで特徴量を得る。

特徴量抽出部２０６により特徴量が抽出された時系列データは、系列区間切り出し部２０７へ受け渡され、切り出し制御部２１０からの制御信号を元に、繰り返し作業における一回の作業に対応する区間が切り出されて、所要時間異常検出部１０８へ受け渡される。

所要時間異常検出部１０８は、上述の第一、第二、第三の実施形態に示したように、受け取った時系列データに対して異常度を算出し、異常度出力部１０４へ算出結果を送る。異常度出力部１０４は、異常度を記録し、ディスプレイ等に表示する。このようにすることで、例えば、画面に表示された異常度を確認することで、正常に作業が行われているかを判断することが可能となる。特定の基準よりも異常度が大きい場合は警告を出力し、作業者や監督者などが対処を容易となるように支援するようにしても良い。

［第五の実施形態］図１６は、第五の実施形態における所要時間異常検出システムの例を示す図である。第五の実施形態においては、カメラによる人手作業の異常検出を行う作業異常検出システム２０５を対象として、所要時間異常検出部を適用する例である。

作業者３０１は、繰り返し作業を行っているものとする。カメラ３０２にて撮影した作業者３０１の動画データを情報処理端末３０３へ有線通信または無線通信を介して送る。カメラ３０２としては、可視光を撮影するカメラに限られず、赤外線等の不可視光を撮影するものであってもよく、時系列に静止画を並べて動画とするものであれば足りる。

情報処理端末３０３は、カメラ３０２から動画データを受け取ると、作業異常検出システム２０５へセンサデータを入力する。

情報処理端末３０３は、動画データを、フレームデータが時間順に並んだ時系列データとみなすことができる。本実施形態に係る作業異常検出システム２０５は、基本的に第四の実施形態に係る作業異常検出システム２０５と同様であるが、一部相違がある。以下、第四の実施形態にかかる作業異常検出システム２０５との相違を中心に説明する。

特徴量抽出部２０６は、動画データ内の被写体の関節位置を特徴量として抽出する。具体的には、特徴量抽出部２０６は、動画データを解析して骨格認識を行う。例えば、骨格認識アルゴリズムを用いて、特徴量抽出部２０６は、骨格を認識する。

図１７は、第五の実施形態における骨格認識処理の例を示す図である。骨格認識処理においては、作業者３０１の映った動画データの各フレーム３１０に対して骨格認識を実施し、作業者の関節位置を抽出する（フレーム３１１）。関節位置を特徴量とすることで、作業者３０１の動きを反映した時系列データへ変換することができ、異常検出が容易となる。

特徴量抽出された時系列データが系列区間切り出し部２０７へ受け渡された後の処理は、第四の実施形態と同様である。

第五の実施形態によれば、例えば、画面に表示された異常度を確認することで、正常な速度で作業が行われているかを判断することが可能となる。特定の基準よりも異常度が大きい場合は警告を出力し、作業者や監督者などがカメラ３０２の撮影した映像で動作を確認しながら対処を容易となるように支援するようにしても良い。

［第六の実施形態］図１８は、第六の実施形態における所要時間異常検出システムの例を示す図である。第六の実施形態においては、電流センサによる工作機械作業の異常検出を行う作業異常検出システム２０５を対象として、所要時間異常検出部を適用する例である。

工作機械５０１は、切削加工を行う機械であり、主軸電力線の電流値の大きさは、切削・アイドリング・停止という工作機械５０１の動作状態に応じたものである。電流センサ５０２は、計測した電流値を、情報処理端末５０３へ有線通信または無線通信を介して送る。

情報処理端末５０３は、電流センサ５０２から電流値の時系列データを受け取ると、作業異常検出システム２０５へセンサデータを入力する。

本実施形態に係る作業異常検出システム２０５は、基本的に第四の実施形態に係る作業異常検出システム２０５と同様であるが、一部相違がある。以下、第四の実施形態にかかる作業異常検出システム２０５との相違を中心に説明する。

特徴量抽出部２０６は、電流値の時系列データを対象として、センサデータを異常検出に適した特徴量からなる時系列データに変換する。例えば、センサデータに含まれるノイズをローパスフィルタ等のフィルタで除去することで、異常検出の精度向上が期待できる。例えば、特徴量抽出部２０６は、センサデータに欠落がある場合には、補完処理を行い、センサデータに含まれるノイズをローパスフィルタ等のフィルタで除去することで、異常検出の精度向上が期待できる。また、特徴量抽出部２０６は、センサデータをフーリエ変換することで特徴量を得る。

特徴量抽出された時系列データが系列区間切り出し部２０７へ受け渡された後の処理は、第四の実施形態と同様である。

第六の実施形態によれば、例えば、画面に表示された異常度を確認することで、正常な速度で工作機械５０１が作業動作を行っているか否かを判断することが可能となる。特定の基準よりも異常度が大きい場合は警告を出力し、工作機械の修理や状態維持作業の手配等の対処を容易となるように支援するようにしても良い。

［第七の実施形態］図１９は、第七の実施形態における異常度出力部の構成例を示す図である。第七の実施形態においては、異常度の出力を拡張するものである。第七の実施形態は、第一から第六の実施形態に示したいずれかの実施形態に係る所要時間異常検出システムと基本的に同様の構成を備えるものであるが、一部相違がある。以下、その相違について説明する。

図１９に示すように、第七の実施形態においては、異常度出力部１０４は、標準時系列データ上で発生する事象の識別子と、該事象の発生時点および継続期間についての時間情報と、を保持した標準識別情報４０２を備え、標準識別情報４０２は、異常度表示部４０１と連結している。標準識別情報４０２は、例えば、第四の実施形態〜第六の実施形態に示したような工場における作業の例では、一連の作業における作業の順番とそれぞれの標準作業時間が予め定められていることが多く、これに基づき予め情報が格納されている。

所要時間異常検出部１０８から特定時間の異常度についての情報が渡されると、異常度表示部４０１は、標準識別情報４０２を参照し、標準時系列データ上において該当時間に発生する事象の識別子を検索し、異常度と識別子を対応付けて表示画面を作成する。

図２０は、異常度出力画面（作業対照）の例を示す図である。異常度出力画面（作業対照）１０４４は、異常度出力部１０４が異常度の系列またはこれを平滑化した情報をグラフ化して作成する画面情報である。異常度出力画面（作業対照）１０４４には、製品に発生した遅延度（異常度）の大きさを示す遅延度グラフを表示する遅延度表示領域１０４４Ａと、時点ごとの作業識別子を表示する識別子表示領域１０４４Ｂと、画面表示を終える指示を受け付ける確認ボタン１０４４Ｃと、が含まれる。この画面により、利用者は対象の製品について、大きな遅延が発生した時点の作業を知り、作業内容を改善するヒントを得ることができる。

ここで、標準識別情報４０２が保持する識別子に対する時間情報は、あくまで標準時のものであり、対象時系列データにおいて時間異常が頻発した場合は、その誤差が無視できないほど大きい可能性がある。そこで、異常度表示部４０１は、異常度を元に対象時系列データにおける標準の場合との時間のずれを算出し、時間情報を補正した上で識別子を用いるようにしても良い。具体的には、異常度計算部１００において、開始時刻から特定経過時刻までの区間を局所区間に区切り、各局所区間ＡＢの異常度をＴ１およびＴ２の差分で求めた場合（Ｔ１、Ｔ２の定義は第一の実施形態と同様）、この累積値を算出することで、特定時間までの標準時に対する時間のずれを算出することができ、これを用いて時間情報を補正した上で表示に用いることができる。以上が、第七の実施形態である。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、異常検出部、異常検出装置及び異常検出方法に限られず、異常検出システム、コンピュータ読み取り可能なプログラム、画像処理回路などの様々な態様で提供できる。

１００・・・異常度計算部、１０１・・・状態推定部、１０２・・・モデル記憶部、１０３・・・時系列データ入力部、１０４・・・異常度出力部、１０５…タイムスタンプ取得部、１０８…所要時間異常検出部。

Claims (13)

1. 基準となる時系列データを状態モデル化した標準時系列モデル数値パラメータと、各状態の持続時間をモデル化した標準遷移時間モデル数値パラメータと、を記憶するモデル記憶部と、
   異常検出の対象となる時系列データの入力を受け付ける時系列データ入力部と、
   前記異常検出の対象となる時系列データに対して、前記標準時系列モデル数値パラメータによる状態推定を行い、各データ点の状態変数を推定する状態推定部と、
   前記標準遷移時間モデル数値パラメータと、前記状態推定部が推定した前記各データ点の状態変数と、を用いて前記各データ点のうち所定の状態から別の状態への遷移に要する所要時間の異常度を算出する異常度計算部と、
   前記異常度を経過時間ごとの遅延度としてグラフ化して出力する異常度出力部と、
   を備えることを特徴とする異常検出装置。
2. 請求項１に記載の異常検出装置であって、
   前記異常検出の対象となる時系列データからタイムスタンプを取得するタイムスタンプ取得部を備え、
   前記異常度計算部は、前記標準遷移時間モデル数値パラメータと、前記状態推定部が推定した前記各データ点の状態変数と、前記タイムスタンプと、を用いて各状態から別の状態への遷移に要する所要時間の異常度を算出する、
   ことを特徴とする異常検出装置。
3. 請求項１に記載の異常検出装置であって、
   前記標準時系列モデル数値パラメータと、前記標準遷移時間モデル数値パラメータとは、前記モデル記憶部にそれぞれ複数記憶されており、
   前記状態推定部は、複数の前記標準時系列モデル数値パラメータによる状態推定を行った結果を統合して前記状態変数を推定する、
   ことを特徴とする異常検出装置。
4. 請求項１に記載の異常検出装置であって、
   受け渡された単一または複数の標準時系列データを用いて、標準時系列モデルの数値パラメータを単一または複数推定して前記標準時系列モデル数値パラメータとして前記モデル記憶部へ記憶させる標準時系列モデル推定部、
   を備えることを特徴とする異常検出装置。
5. 請求項１に記載の異常検出装置であって、
   受け渡された単一または複数の標準時系列データにおいて特定の状態が始まってから次の状態へ遷移するまでの遷移時間を算出して前記標準遷移時間モデル数値パラメータとして前記モデル記憶部へ記憶させる標準遷移時間モデル推定部、
   を備えることを特徴とする異常検出装置。
6. 請求項１に記載の異常検出装置であって、
   前記時系列データ入力部は、位置の変化量を取得するセンサから出力される時系列データの入力を受け付ける、
   ことを特徴とする異常検出装置。
7. 請求項１に記載の異常検出装置であって、
   動画データを解析して骨格認識を行う特徴量抽出部を備え、
   前記時系列データ入力部は、カメラから出力される動画データの入力を受け付け、
   前記状態推定部は、前記特徴量抽出部により前記動画データを解析した結果得られる骨格の関節位置の変化を時系列データとして状態を推定する、
   ことを特徴とする異常検出装置。
8. 請求項１に記載の異常検出装置であって、
   前記時系列データ入力部は、電流値を取得するセンサから出力される時系列データの入力を受け付ける、
   ことを特徴とする異常検出装置。
9. 請求項１に記載の異常検出装置であって、
   前記異常度出力部は、前記基準となる時系列データ上で発生する事象の識別子と、該事象の発生時点および継続期間についての時間情報と、を含む標準識別情報を予め記憶しており、
   前記グラフ化において前記所定の状態に対応した前記事象の識別子を対応付ける、
   ことを特徴とする異常検出装置。
10. 請求項１に記載の異常検出装置であって、
    前記異常度出力部は、前記グラフに対応付けて、前記遅延度のピーク値が大きくなる経過時間を示す、
    ことを特徴とする異常検出装置。
11. 請求項１に記載の異常検出装置であって、
    前記異常度出力部は、前記グラフの遅延度のピーク値が大きくなる経過時間の位置に、遅延発生のコメントを示す、
    ことを特徴とする異常検出装置。
12. 請求項１に記載の異常検出装置であって、
    前記異常度出力部は、前記グラフを前記異常度の量について作成し、前記グラフ上の幾何的情報により遅延度の量を示す、
    ことを特徴とする異常検出装置。
13. 情報処理装置を用いた異常検出方法であって、
    前記情報処理装置は、
    基準となる時系列データを状態モデル化した標準時系列モデル数値パラメータと、各状態の持続時間をモデル化した標準遷移時間モデル数値パラメータと、を記憶するモデル記憶部と、制御部と、を備え、
    前記制御部は、
    異常検出の対象となる時系列データの入力を受け付ける時系列データ入力ステップと、
    前記異常検出の対象となる時系列データに対して、前記標準時系列モデル数値パラメータによる状態推定を行い、各データ点の状態変数を推定する状態推定ステップと、
    前記標準遷移時間モデル数値パラメータと、前記状態推定ステップで推定した前記各データ点の状態変数と、を用いて前記各データ点のうち所定の状態から別の状態への遷移に要する所要時間の異常度を算出する異常度計算ステップと、
    前記異常度を経過時間ごとの遅延度としてグラフ化して出力する異常度出力ステップと、
    を実施することを特徴とする異常検出方法。

Images