JP2004349852A

JP2004349852A - 外れ値検出方法

Info

Publication number: JP2004349852A
Application number: JP2003142294A
Authority: JP
Inventors: Hiromichi Kawano; 弘道川野; Yoko Hoshiai; 擁湖星合; Akiko Takahashi; 彰子高橋; Ken Nishimatsu; 研西松
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-05-20
Filing date: 2003-05-20
Publication date: 2004-12-09

Abstract

【課題】検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能な外れ値検出方法を提供する。
【解決手段】周期性のある時系列データの外れ値検出方法であって、１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして主成分分析を行う主成分分析手順と、前記主成分分析手順で算出された主成分得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、周期性のある時系列データの外れ値検出方法に係わり、本発明は、通信網の異常状態検出、誤測定データ検出に適用される。
【０００２】
【従来の技術】
網設備管理・計画業務の遂行にあたり、基礎トラフィックを適切に算出するためには、トラフィックデータから異常値（外れ値）を自動検出して排除する必要がある。
従来の外れ値検出方法として、測定データが正規分布に従うことを仮定して、グラブス検定を適用して外れ値候補データを抽出する方法が知られている（下記、非特許文献１、２参照）。
従来の方法は、検定対象であるデータが正規分布に従うことを前提にしており、検定対象であるトラヒックデータが正規分布に従わない場合には適用できない。
音声通信を対象とした固定電話のトラヒックでは、測定データが正規分布に従うが、近年の非音声通信に代表されるブロードバンドトラヒックでは、測定データが正規分布に従う保証はない。
【０００３】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【非特許文献１】
井上，星合“設備管理用データを対象としたはずれ値検出方法”，２００１信学ソ大，ｎｏ，Ｂ−７−７１，ｐ．２６０，Ｓｅｐｔ．２００１．
【非特許文献２】
星合，井上，”網設備計画用トラヒックデータの外れ値検出に関する一考察”，２００２信学総大，ｎｏ．Ｂ−７−３７，ｐ．２６４、Ｍａｒ．２００２．
【０００４】
【発明が解決しようとする課題】
前述したように、従来の方法は、検定対象であるデータが正規分布に従うことを前提にしており、そのため、検定対象であるトラヒックデータ（例えば、ブロードバンドトラヒックなど）が正規分布に従わない場合には適用できないという問題点があった。
前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能な外れ値検出方法を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００５】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
即ち、本発明は、周期性のある時系列データの外れ値検出方法であって、１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして主成分分析を行う主成分分析手順と、前記主成分分析手順で算出された主成分得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有する。
また、本発明では、１周期がｎ個のデータから構成されるｍ周期分の時系列データ（Ｘ_１１，Ｘ_１２，Ｘ_１３，．．．，Ｘ_１ｎ，Ｘ_２１，Ｘ_２２，Ｘ_２３，．．．，Ｘ_２ｎ，．．．，Ｘ_ｍ１，Ｘ_ｍ２，Ｘ_ｍ３，．．．，Ｘ_ｍｎ）から、ｎ変量から成るｍ個の新たなデータ｛Ｙ_ｌ，Ｙ_２，．．．，Ｙ_ｍ、但し、Ｙ_ｉ＝（Ｘ_ｉ１，Ｘ_ｉ２，Ｘ_ｉ３，．．．，Ｘ_ｉｎ）｝を生成し、当該データ（Ｙ_ｌ，Ｙ_２．．．，Ｙ_ｍ）に対して主成分分析を行う。
【０００６】
また、本発明では、ｐ次元の主成分に縮約された各サンプルの主成分得点を算出し、主成分得点を用いてサンプル間の距離を算出することにより、外れ値を含むサンプルを検出する。
また、本発明は、ｐ次元の主成分に縮約された各サンプルの主成分得点を算出し、主成分得点を用いてサンプルをクラスターに分類し、クラスター間の距離とクラスター内のサンプル数とを用いて、外れ値を含むサンプルを検出する。
また、本発明では、ｐ次元の主成分に縮約された各サンプルの主成分得点を算出し、主成分得点を用いてサンプルをクラスターに分類し、クラスター間の距離とクラスター内のサンプル数の比率とを用いて、外れ値を含むサンプルを検出する。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の実施の形態の外れ値検出方法を実施するための外れ値検出装置の概略構成を示すブロック図である。
同図において、１は外れ値検出装置、２はデータ入力装置、３は主成分分析装置、４は外れ値判断装置である。
データ入力装置２は、入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）からｎ変量からなるｍ個のデータを生成する。
主成分分析装置３は、ｎ変量からなるｍ個の観測データを、ｐ次元の主成分に縮約しｐ個の主成分得点を計算する。
外れ値判断装置４は、主成分分析装置３の出力であるｐ個の主成分得点より、各サンプル間の距離を算出し、各サンプルの中に外れ値が存在するか否かを判断する。
【０００８】
図２は、本実施の形態の外れ値検出装置の処理手順を示すフローチャートである。以下、本実施の形態の外れ値検出装置の処理手順を説明する。
始めに、データ入力装置２が、入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）からｎ変量からなるｍ個のデータを生成する（ステップＳ０）。
データ入力装置２は、下記（１１）式で表される入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）から、下記（１２）式で表されるｎ変量から成るｍ個の新たなデータ（Ｙ_ｌ，Ｙ_２，．．．，Ｙ_ｍ）を生成する。
【数５】
Ｘ_１１，Ｘ_１２，Ｘ_１３，．．．，Ｘ_１ｎ，Ｘ_２１，Ｘ_２２，Ｘ_２３，．．．，Ｘ_２ｎ，．．．，Ｘ_ｍ１，Ｘ_ｍ２，Ｘ_ｍ３，．．．，Ｘ_ｍｎ・・・・・・・・・・・・・・（１１）
Ａ＝｛Ｙ_ｌ，Ｙ_２，．．．，Ｙ_ｍ｝、但し、Ｙ_ｉ＝（Ｘ_ｉ１，Ｘ_ｉ２，Ｘ_ｉ３，．．．，Ｘ_ｉｎ）・・・・・・・・・・・・・・・・・・・・（１２）
次に、主成分分析装置３が、ｎ変量からなるｍ個の観測データ（前記（１２）式で表されるデータ）を、ｐ次元の主成分に縮約しｐ個の主成分得点を計算する（ステップＳ１）。
主成分分析装置３は、前記（１２）式をベクトルと見なして下記（１３）式で表される相関行列Ｒを求める。
【０００９】
【数６】

【００１０】
相関行列Ｒの固有値を求め、降順にλ_１，λ_２，．．．．，λ_ｎに並べ、固有値に対して、下記（１４）式で表される寄与率（Ｃ_ｉ）を求める。
【数７】
Ｃ_ｉ＝λ_ｉ／ｎ・・・・・・・・・・・・・・・・・・・・（１４）
寄与率が０．８以上となる固有値（λ_１，λ_２，．．．．，λ_ｐ；但し、ｐ≦ｎ）を抽出し、下記（１５）式で表される固有ベクトル（Ｗ_１，Ｗ_２，．．．．，Ｗ_ｐ）を求める。
【数８】

前記（１２）式と、前記固有ベクトルから、下記（１６）式で表されるＺ_ｉｊを求める。
【００１１】
【数９】

Ｚ_ｉｊより、下記（１７）式を求める。
【数１０】
Ｙｐ_ｉ＝（Ｚ_ｉ１，Ｚ_ｉ２，Ｚ_ｉ３，．．．，Ｚｉｐ）、但し、Ｐ＜ｎ、ｉ＝１，２，．．．，ｍ・・・・・・・・・・・・・・・・・・・・・（１７）
この（１７）式は、前記（１２）式で表される、ｎ個のデータで表現されるデータの持つ情報の損失をなるべく少なくして次元をＰ個（Ｐ＜ｎ）に縮退させたものである。
次に、外れ値判断装置４が、ｐ個の主成分得点を用いてｍ個のデータ間の距離を求め、外れ値を検出する（ステップＳ２）。
外れ値判断装置４の判断手法は３つあり、一番目の判断手法（請求項３に記載の発明）は、前記（１７）式で表されるデータ（Ｙｐ_１，Ｙｐ_２，．．．，Ｙｐ_ｍ）に対し、データ間の距離を、下記（１８）式で与え、当該（１８）式より、下記（１９）式を算出し、下記（２０）式を満たす時、データＹｉは外れ値であると判断する。
【００１２】
【数１１】

【００１３】
外れ値判断装置４の二番目の判断手法（請求項４に記載の発明）は、前記（１７）式で表されるデータ（Ｙｐ_ｌ，Ｙｐ_２，．．．，Ｙｐ_ｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ_１，Ｙｐ_２，．．．，Ｙｐ_ｍ）を、下記（２１）式で表されるｑ個のクラスターに分類する。
【数１２】
Ｃ１，Ｃ２，．．．，Ｃｑ・・・・・・・・・・・・・・・・・・・（２１）
例えば、初期値として、１つのデータを構成単位とするｍ個のクラスター｛Ｙｐ_ｌ｝、｛Ｙｐ_２｝，．．．，｛Ｙｐ_ｍ｝を設定する。
ｍ個のクラスター（Ｃ１，Ｃ２，．．．，Ｃｍ）に対して、非類似度行列ｄ_ｉｊ（ｉ，ｊ＝１，２，．．．，ｍ）を、最短距離法、最長距離法、群平均法、重心法、ウォード法等を用いて計算する。
例えば、最短距離法の場合、クラスターＣｉ、Ｃｊの非類似度行列ｄ_ｉｊは、クラスターＣｉ、Ｃｊ内の構成要素を、それぞれ（Ｙｐ_１，Ｙｐ_２，．．．，Ｙｐ_ｉ）、（Ｙｐ’_１，Ｙｐ’_２，．．．，Ｙｐ’_ｊ）とすると、下記（２２）式により表される。
【数１３】
ｄ_ｉｊ＝ｍｉｎ（Ｌ_ｋ１，Ｌ_ｋ２）ｋ１＝１，２，．．．，ｉ、ｋ２＝１，２，．．．，ｊ・・・・・・・・・・・・・・・・・・・・（２２）
ここで、Ｌ_ｉｊは、クラスターを構成する要素（Ｙｐ_ｉ，Ｙｐ’_ｊ）間の距離で、ユークリッド平方距離、マハラビノスの距離、シンコフスキー距離等がある。
ユークリッド平方距離の場合、Ｌ_ｉｊは、下記（２３）式で与えられる。
【００１４】
【数１４】

非類似度行列ｄ_ｉｊの全ての値がしきい値Ｄ’よりも大きければ、クラスター分析を終了する。そうでなければ、非類似度行列ｄ_ｉｊが最も小さいクラスターＣｉ、Ｃｊとを融合して、１つのクラスターを生成する。
この処理によって、新しく生成された（ｍ−１）個のクラスターに対して、非類似度行列ｄ_ｉｊ（ｉ，ｊ＝１，２，．．．，ｍ−１）を計算し、非類似度行列ｄ_ｉｊの全ての値がしきい値Ｄ’よりも大きくなるまで前述の処理を続行する。これにより、前述の（２１）式で表されるクラスターに分類する。
そして、下記（２４）式で表されるクラスター間距離Ｌ_ｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、下記（２５）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断する。
【数１５】
Ｌ_ｉｊ＝Ｄ（Ｙｐ_ｉ、Ｙｐ_ｊ）・・・・・・・・・・・・・・（２４）
Ｌ_ｉｊ＞Ｔ、かつ、｜Ｃｉ｜＞｜Ｃｊ｜、但し、Ｔはしきい値、｜Ｃｉ｜はクラスターＣｉの要素の数・・・・・・・・・・・・・・・・・（２５）
【００１５】
外れ値判断装置４の三番目の判断手法（請求項５に記載の発明）は、前記（１７）式で表されるデータ（Ｙｐ_ｌ，Ｙｐ_２，．．．，Ｙｐ_ｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ_１，Ｙｐ_２，．．．，Ｙｐ_ｍ）を、前記（２１）式で表されるｑ個のクラスターに分類し、前記（２４）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、下記（２６）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断する。
【数１６】
Ｌ_ｉｊ＞Ｔ１、かつ、｜Ｃｉ｜／ｍ＞Ｔ２但し、Ｔ１、Ｔ２はしきい値・・・・・・・・・・・・・・・・・・・・（２６）
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００１６】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の外れ値検出方法によれば、検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の外れ値検出方法を実施するための外れ値検出装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態の外れ値検出装置の処理手順を示すフローチャートである。
【符号の説明】
１…外れ値検出装置、２…入力装置、３…主成分分析装置、４…外れ値判断装置。

Claims

周期性のある時系列データの外れ値検出方法であって、
１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして主成分分析を行う主成分分析手順と、
前記主成分分析手順で算出された主成分得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有することを特徴とする外れ値検出方法。
前記主成分分析手順において、下記（１）式で表される１周期がｎ個のデータから構成されるｍ周期分の時系列データから、下記（２）式で表されるｎ変量から成るｍ個の新たなデータ（Ｙ_ｌ，Ｙ_２，．．．，Ｙ_ｍ）を生成し、当該データ（Ｙ_ｌ，Ｙ_２．．．，Ｙ_ｍ）に対して主成分分析を行うことを特徴とする請求項１に記載の外れ値検出法。
前記主成分分析手順において、前記（２）式で表されるデータに対して主成分分析を行い、前記主成分得点として、下記（３）式で表されるデータであって、前記（２）式で表されるデータ（Ｙ_ｌ，Ｙ_２，．．．，Ｙ_ｍ）の次元をｐ（ｐ＜ｎ）個に縮退させたデータ（Ｙｐ_ｌ，Ｙｐ_２，．．．，Ｙｐ_ｍ）を求め、
前記外れ値判断手順において、下記（３）式で与えられるデータに対して、下記（４）式によりデータ間の距離を定義し、当該（４）式より下記（５）式を算出し、当該（５）式が下記（６）式を満たす時、データＹｉは外れ値であると判断することを特徴とする請求項２に記載の外れ値検出法。
前記外れ値判断手順において、前記（３）式で表されるデータ（Ｙｐ_ｌ，Ｙｐ_２，．．．，Ｙｐ_ｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ_１，Ｙｐ_２，．．．，Ｙｐ_ｍ）を、下記（７）式で表されるｑ個のクラスターに分類し、
下記（８）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、
下記（９）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断することを特徴とする請求項３に記載の外れ値検出法。
前記外れ値判断手順において、前記（３）式で表されるデータ（Ｙｐ_ｌ，Ｙｐ_２，．．．，Ｙｐ_ｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ_１，Ｙｐ_２，．．．，Ｙｐ_ｍ）を、下記（７）式で表されるｑ個のクラスターに分類し、
下記（８）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、
下記（１０）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断することを特徴とする請求項３に記載の外れ値検出法。