JP2005141601A - モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム - Google Patents

モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム Download PDF

Info

Publication number
JP2005141601A
JP2005141601A JP2003379273A JP2003379273A JP2005141601A JP 2005141601 A JP2005141601 A JP 2005141601A JP 2003379273 A JP2003379273 A JP 2003379273A JP 2003379273 A JP2003379273 A JP 2003379273A JP 2005141601 A JP2005141601 A JP 2005141601A
Authority
JP
Japan
Prior art keywords
model
storage means
series
data
transition probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003379273A
Other languages
English (en)
Inventor
Yuko Matsunaga
祐子 松永
Kenji Yamanishi
健司 山西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2003379273A priority Critical patent/JP2005141601A/ja
Priority to US10/976,787 priority patent/US7660707B2/en
Priority to DE602004023170T priority patent/DE602004023170D1/de
Priority to EP04026202A priority patent/EP1530149B1/en
Publication of JP2005141601A publication Critical patent/JP2005141601A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

【課題】与えられた時系列データの構造的な変化を適応的に分析する。
【解決手段】
時系列データを入力として、予測分布更新手段３１は、入力データを逐次読み込み、複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段３２の内容を更新する。モデル遷移確率推定手段４１は、モデル系列記憶手段３４から最適モデル系列の候補を読み込み、これをもとにモデル遷移確率を推定する。モデル系列更新手段３３は、入力データを逐次読み込み、モデル遷移確率推定手段４１からモデル遷移確率を読み込み、モデル系列記憶手段３４から最適モデル系列の候補を読み込み、モデル系列記憶手段３４の内容を更新する。最適モデル系列計算手段３５は、モデル系列記憶手段３４から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する。
【選択図】図３

Description

本発明はモデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラムに関し、特に与えられた時系列データの構造的な変化を適応的に分析するモデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラムに関する。
従来、統計学や計算論的学習理論、データマイニングの分野で幾つかの動的モデル選択方式が提案されている。
まず、モデル選択方式として、定常性を仮定してデータに最適なモデルを選択するモデル選択方式がある（例えば、非特許文献１，非特許文献２参照）。
非定常な状況における逐次予測方式としては、時系列データに対して複数のモデルの候補があるとき、各時点で最適なモデルを用いた場合と同程度の累積予測損失を持つ逐次予測方式がある（例えば、非特許文献３参照）。
また、異常行動検出方式として、行動データに対し、予測的確率的コンプレキシティを用いた動的モデル選択によって異常行動検出を行う異常行動検出方式がある（例えば、非特許文献４参照）。
H. Akaike, Information Theory and anExtension of the Maximum Likelihood Principle, in Proceedings of 2ndInternational Symposium on Information Theory, edited by B.N. Petrov and F. Csaki(Budapest: Akademia Kiado), pp:267-281,1973. J. Rissanen, Modeling by shortest datadescription. Automatica, vol.14, pp:465-471, 1978. M. Herbster and M. K. Warmuth,Tracking the Best Expert, Journal of Machine Learning, 32(2), pp:151-178, 1998. 松永祐子，山西健司，情報理論的手法に基づく異常行動検出，第2回情報科学技術フォーラム予稿集(情報技術レターズ)，pp:123-124, 2003.
従来技術の問題点は、データを発生させる情報源の変化に対して適応的なモデル選択を行うことができないことである。その理由は、非特許文献１や非特許文献２の方式では、定常性を仮定するためである。
また、非特許文献３の方式では、適応的に逐次予測を行うことはできるが、最適なモデルを選択することはできない。
さらに、非特許文献４の方式は、適応的かつ逐次的にモデル選択を行うことはできるが、最初から現時点までのデータ全てについて最適なモデルを１つ選択する方式であるため、非定常な状況においてよい精度を持たない。
本発明の第１の目的は、情報源の変化に適応しながら精度のよいモデル選択を行うモデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラムを提供することにある。
本発明の第２の目的は、最適なモデルが変化した時点でリアルタイムにアラームを出すモデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラムを提供することである。
本発明の第３の目的は、最適なモデルが変化した時、構造的な変化を表すパタンを抽出するモデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラムを提供することにある。
本発明の請求項１のモデル選択計算装置（図１）は、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段（図１の３２）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段（図１の３１）と、最適モデル系列の候補を記憶するモデル系列記憶手段（図１の３４）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新するモデル系列更新手段（図１の３３）と、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する最適モデル系列計算手段（図１の３５）とを備えることを特徴とする。
本発明の請求項２のモデル選択計算装置（図１）は、請求項１記載のモデル選択計算装置のモデル系列記憶手段（図１の３４）において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする。
本発明の請求項３のモデル選択計算装置（図３）は、請求項１記載のモデル選択計算装置にモデル遷移確率推定手段（図３の４１）をさらに備えることを特徴とする。
本発明の請求項４のモデル選択計算装置（図３）は、モデル系列記憶手段（図３の３４）において、各時点でデータ数の定数倍のモデル系列を記憶することを特徴とする。
本発明の請求項５のモデル選択計算装置（図５）は、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段（図５の３２）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段（図５の３１）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する確からしさ計算手段（図５の５１）と、該確からしさ計算手段で計算された確からしさを記憶する確からしさ記憶手段（図５の５２）と、モデルの遷移確率分布の予測分布を記憶するモデル遷移確率記憶手段（図５の５４）と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新するモデル遷移確率推定手段（図５の５３）と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する最適モデル系列計算手段（図５の５５）とを備えることを特徴とする。
本発明の請求項６のモデル選択計算装置（図３）は、請求項３記載のモデル選択計算装置のモデル遷移確率推定手段（図３の４１）において、ウィンドウ付推定を行うことを特徴とする。
本発明の請求項７のモデル選択計算装置（図５）は、請求項５記載のモデル選択計算装置のモデル遷移確率推定手段（図５の５３）において、ウィンドウ付推定を行うことを特徴とする。
本発明の請求項８のモデル選択計算装置（図３）は、請求項６記載のモデル選択計算装置のモデル系列記憶手段（図３の３４）において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする。
本発明の請求項９のモデル選択計算装置（図５）は、請求項７記載のモデル選択計算装置の確からしさ記憶手段（図５の５２）において、各時点でデータ数によらない一定数の確からしさを記憶することを特徴とする。
本発明の請求項１０の動的モデル選択装置（図１）は、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段（図１の３２）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段（図１の３１）と、最適モデル系列の候補を記憶するモデル系列記憶手段（図１の３４）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新するモデル系列更新手段（図１の３３）と、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する最適モデル系列計算手段（図１の３５）とを備えることを特徴とする。
本発明の請求項１１の動的モデル選択装置（図１）は、請求項１０記載の動的モデル選択装置のモデル系列記憶手段（図１の３４）において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする。
本発明の請求項１２の動的モデル選択装置（図３）は、請求項１０記載の動的モデル選択装置にモデル遷移確率推定手段（図３の４１）をさらに備えることを特徴とする。
本発明の請求項１３の動的モデル選択装置（図３）は、モデル系列記憶手段（図３の３４）において、各時点でデータ数の定数倍のモデル系列を記憶することを特徴とする。
本発明の請求項１４の動的モデル選択装置（図５）は、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段（図５の３２）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段（図５の３１）と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する確からしさ計算手段（図５の５１）と、該確からしさ計算手段で計算された確からしさを記憶する確からしさ記憶手段（図５の５２）と、モデルの遷移確率分布の予測分布を記憶するモデル遷移確率記憶手段（図５の５４）と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新するモデル遷移確率推定手段（図５の５３）と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する最適モデル系列計算手段（図５の５５）とを備えることを特徴とする。
本発明の請求項１５の動的モデル選択装置（図３）は、請求項１２記載の動的モデル選択装置のモデル遷移確率推定手段（図３の４１）において、ウィンドウ付推定を行うことを特徴とする。
本発明の請求項１６の動的モデル選択装置（図５）は、請求項１４記載の動的モデル選択装置のモデル遷移確率推定手段（図５の５３）において、ウィンドウ付推定を行うことを特徴とする。
本発明の請求項１７の動的モデル選択装置（図３）は、請求項１５記載の動的モデル選択装置のモデル系列記憶手段（図３の３４）において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする。
本発明の請求項１８の動的モデル選択装置（図５）は、請求項１６記載の動的モデル選択装置の確からしさ記憶手段（図５の５２）において、各時点でデータ数によらない一定数の確からしさを記憶することを特徴とする。
本発明の請求項１９の動的モデル選択装置（図７）は、請求項１０ないし請求項１８のいずれかに記載された動的モデル選択装置において、オンラインでモデル系列を出力するオンラインモデル系列出力手段（図７の６）をさらに備えることを特徴とする。
本発明の請求項２０の動的モデル選択装置（図９）は、請求項１９に記載された動的モデル選択装置において、オンラインでモデルが変化したときに検知するオンライン構造変化検出手段（図９の７）をさらに備えることを特徴とする。
本発明の請求項２１の動的モデル選択装置（図１１）は、請求項１０ないし請求項１８のいずれかに記載された動的モデル選択装置において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段（図１１の８）をさらに備えることを特徴とする。
本発明の請求項２２の動的モデル選択装置（図１３）は、請求項１９に記載された動的モデル選択装置において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段（図１３の８）をさらに備えることを特徴とする。
本発明の請求項２３の動的モデル選択方法は、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ予測分布記憶手段に記憶させる工程と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する工程と、最適モデル系列の候補をモデル系列記憶手段に記憶させる工程と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新する工程と、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する工程を含むことを特徴とする。
本発明の請求項２４の動的モデル選択方法は、請求項２３記載の動的モデル選択方法において、前記モデル系列記憶手段に対し、各時点でデータ数によらない一定数のモデル系列を記憶させる工程を含むことを特徴とする。
本発明の請求項２５の動的モデル選択方法は、請求項２３記載の動的モデル選択方法において、モデルの遷移確率を推定する工程をさらに含むことを特徴とする。
本発明の請求項２６の動的モデル選択方法は、請求項２５記載の動的モデル選択方法において、前記モデル系列記憶手段に対し、各時点でデータ数の定数倍のモデル系列を記憶させる工程を含むことを特徴とする。
本発明の請求項２７の動的モデル選択方法は、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布を予測分布記憶手段に記憶させる工程と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する工程と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する工程と、該確からしさ計算手段で計算された確からしさを確からしさ記憶手段に記憶させる工程と、モデルの遷移確率分布の予測分布をモデル遷移確率記憶手段に記憶させる工程と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新する工程と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する工程とを含むことを特徴とする。
本発明の請求項２８の動的モデル選択方法は、請求項２５記載の動的モデル選択方法において、モデル遷移確率のウィンドウ付推定を行う工程を含むことを特徴とする。
本発明の請求項２９の動的モデル選択方法は、請求項２７記載の動的モデル選択方法において、モデル遷移確率のウィンドウ付推定を行う工程を含むことを特徴とする。
本発明の請求項３０の動的モデル選択方法は、請求項２８記載の動的モデル選択方法において、前記モデル系列記憶手段に対し、各時点でデータ数によらない一定数のモデル系列を記憶させる工程を含むことを特徴とする。
本発明の請求項３１の動的モデル選択方法は、請求項２９記載の動的モデル選択方法において、前記確からしさ記憶手段に対し、各時点でデータ数によらない一定数の確からしさを記憶させる工程を含むことを特徴とする。
本発明の請求項３２の動的モデル選択方法は、請求項２３ないし請求項３１のいずれかに記載された動的モデル選択方法において、オンラインでモデル系列を出力する工程をさらに含むことを特徴とする。
本発明の請求項３３の動的モデル選択方法は、請求項３２に記載された動的モデル選択方法において、オンラインでモデルが変化したときに検知する工程をさらに含むことを特徴とする。
本発明の請求項３４の動的モデル選択方法は、請求項２３ないし請求項３１のいずれかに記載された動的モデル選択方法において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する工程をさらに含むことを特徴とする。
本発明の請求項３５の動的モデル選択方法は、請求項３２に記載された動的モデル選択方法において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する工程をさらに含むことを特徴とする。
本発明の請求項３６のプログラムは、コンピュータを、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、最適モデル系列の候補を記憶するモデル系列記憶手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新するモデル系列更新手段と、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する最適モデル系列計算手段として動作させることを特徴とする。
本発明の請求項３７のプログラムは、前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする。
本発明の請求項３８のプログラムは、モデル遷移確率を推定するモデル遷移確率推定手段をさらに備えることを特徴とする。
本発明の請求項３９のプログラムは、前記モデル系列記憶手段において、各時点でデータ数の定数倍のモデル系列を記憶することを特徴とする。
本発明の請求項４０のプログラムは、コンピュータを、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する確からしさ計算手段と、該確からしさ計算手段で計算された確からしさを記憶する確からしさ記憶手段と、モデルの遷移確率分布の予測分布を記憶するモデル遷移確率記憶手段と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新するモデル遷移確率推定手段と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する最適モデル系列計算手段として動作させることを特徴とする。
本発明の請求項４１のプログラムは、前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする。
本発明の請求項４２のプログラムは、前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする。
本発明の請求項４３のプログラムは、前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする。
本発明の請求項４４のプログラムは、前記確からしさ記憶手段において、各時点でデータ数によらない一定数の確からしさを記憶することを特徴とする。
本発明の請求項４５のプログラムは、請求項３６ないし請求項４４のいずれかに記載されたプログラムにおいて、オンラインでモデル系列を出力するオンラインモデル系列出力手段をさらに備えることを特徴とする。
本発明の請求項４６のプログラムは、請求項４５に記載されたプログラムにおいて、オンラインでモデルが変化したときに検知するオンライン構造変化検出手段をさらに備えることを特徴とする。
本発明の請求項４７のプログラムは、請求項３６ないし請求項４４のいずれかに記載されたプログラムにおいて、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段をさらに備えることを特徴とする。
本発明の請求項４８のプログラムは、請求項４５に記載されたプログラムにおいて、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段をさらに備えることを特徴とする。
本発明の第１の効果は、情報源の変化に適応しながら精度のよいモデル選択を行うことができることである。その理由は、モデル遷移確率を推定しながら逐次的に効率よく最適モデル系列を選択するからである。
本発明の第２の効果は、最適なモデルが変化した時点でリアルタイムにアラームを出すことができることである。その理由は、現在の時点で最も良いとされるモデルをリアルタイムに最適モデル系列から計算して出力し、これが変化したときにアラームを出すからである。
本発明の第３の効果は、最適なモデルが変化した時、構造的な変化を表すパタンを抽出できることである。その理由は、モデル系列の変化点においてその変化の原因となる特徴的なパタンを変化点前後の予測分布またはデータから抽出するからである。
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。本実施の形態に係る動的モデル選択装置は、入力装置１と、出力装置２と、モデル選択計算装置３とから構成されている。
モデル選択計算装置３は、複数の予測分布更新手段３１と、複数の予測分布記憶手段３２と、モデル系列更新手段３３と、モデル系列記憶手段３４と、最適モデル系列計算手段３５とから構成されている。
入力装置１は、時系列データを入力する装置である。
出力装置２は、モデル選択計算装置３の処理結果を出力する装置である。
予測分布更新手段３１は、予測分布記憶手段３２に記憶されている予測分布を更新する手段である。
予測分布記憶手段３２は、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する。
モデル系列更新手段３３は、モデル系列記憶手段３４に記憶されている最適モデル系列の候補となるモデル系列を更新する手段である。
モデル系列記憶手段３４は、最適モデル系列の候補を記憶する。
最適モデル系列計算手段３５は、モデル系列記憶手段３４に記憶されているモデル系列の中から最適なモデル系列を計算して出力する手段である。
図２は、図１の動的モデル選択装置の概略動作を表すフロー図であり、図１の動的モデル選択装置は、以下のように動作する。
まず、データが読み込まれる前に、複数個の相異なる予測分布をそれぞれ記憶するための予測分布記憶手段３２に格納されている各予測分布が初期化される（ステップＳ１０）。
次に、新たなデータｘが入力される度に、以下のように動作をする。
まず、データｘが予測分布更新手段３１およびモデル系列更新手段３３に渡されて格納される（ステップＳ１１）。
次に、モデル系列更新手段３３は、予測分布記憶手段３２より現在の予測分布を読み込み、これらの予測分布を用いてデータｘを発生した確からしさを計算する。また、モデル系列記憶手段３４に記憶されているモデル系列とこれらの確からしさとを用いて、現時点で最適モデル系列の候補となるモデル系列を計算し、モデル系列記憶手段３４の内容を書き換える（ステップＳ１２）。
続いて、最適モデル系列計算手段３５は、モデル系列記憶手段３４に記憶されているモデル系列を読み込み、これらの中から現時点で最適なモデル系列を計算して出力する（ステップＳ１３）。
そして、予測分布更新手段３１は、予測分布記憶手段３２より現在の予測分布を読み込み、データｘを使用して予測分布記憶手段３２に記憶されている予測分布の内容を書き換える（ステップＳ１４）。
以下でより具体的に説明する。
Ｋ個の確率モデルｋ（ｋ＝１，…，Ｋ）があるとする。時系列データｘｎ＝ｘ1，…，ｘｎがこの順に逐次的に与えられるとする。現在の時点をｎとする。予測分布更新手段３１は、各確率モデルｋ（ｋ＝１，…，Ｋ）を推定するためのあらゆる予測分布推定方式であってよい。例えば、最尤推定法とする。時点ｔの確率モデルをｋｔ（ｋｔ∈｛１，…，Ｋ｝）とする。時点ｔ−１までのモデル系列ｋｔ−１＝ｋ1，…，ｋｔ−１と時系列データｘｔ−１＝ｘ1，…，ｘｔ−１とが与えられたときに、ｋｔ＝ｋとなる条件付確率Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）が既知であるとする。
このとき、時系列データｘｎの同時確率は、数１で与えられる。
Figure 2005141601
ここで、Σの添え字ｋｎは、全てのｋｎの組み合わせについて和をとることを意味する。また、ｘｔの確率は、各時点ｔの予測分布記憶手段３２に記憶されている予測分布を用いて計算される。このとき、−ｌｏｇ２Ｐ（ｘｎ）は、ｘｎを符号化するときの符号長という意味を持つ。以降では、ｌｏｇの底を全て２とし、これを省略して表記する。−ｌｏｇＰ（ｘｎ）について、数２の関係が成り立つ。
Figure 2005141601
したがって、数３を動的モデル選択規準として定義し、これを最小化するｋｎを最適モデル系列とする。
Figure 2005141601
モデル系列更新手段３３およびモデル系列記憶手段３４は、数３を最小化する最適モデル系列ｋｎを逐次的に計算して出力するための手段である。モデル系列記憶手段３４は、最適モデル系列の候補として必要な数のモデル系列およびそれぞれのモデル系列についての数３の値を記憶する。モデル系列更新手段３３は、モデル系列記憶手段３４に記憶されているモデル系列およびそれぞれのモデル系列についての数３の値を読み込み、これらを用いて現時点で最適モデル系列の候補として必要な数のモデル系列およびそれぞれのモデル系列についての数３の値を計算し、モデル系列記憶手段３４の内容を書き換える。
最適モデル系列計算手段３５は、モデル系列記憶手段３４に記憶されているモデル系列およびそれぞれのモデル系列についての数３の値を読み込み、これらの中で数３の値が最小となるモデル系列を最適モデル系列として出力する。
例えば、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）＝Ｐ（ｋｔ＝ｋ｜ｋｔ−１）が成り立つときには、ViterbiによるViterbiアルゴリズム（Error bounds for convolutional codes and an asymptotically optimum decoding algorithm, IEEE Transactions on Information Theory, 13, pp:260-267, 1967）を用いて、モデル系列記憶手段３４において、各時点でＫ個のモデル系列のみを記憶しながら、数３を最小化する最適モデル系列ｋｎをＯ（Ｋ２ｎ）の計算量で逐次的に効率良く計算することができる。このとき、モデル系列更新手段３３では、各時点ｔでのモデルがｋｔ＝ｋ（ｋ＝１，…，Ｋ）となるＫ通りの場合についてそれぞれ最適な系列を１つだけ記憶する。数４において、Ｓ（ｋ，ｔ）は、時刻ｔでｋｔ＝ｋとなるモデル系列の中で最適な系列についての数３の値を表す。
Figure 2005141601
すなわち、モデル系列更新手段３３は、モデル系列記憶手段３４に記憶されているｋｔ−１＝ｋ’（ｋ’＝１，…，Ｋ）となるＫ個のモデル系列およびそれぞれのモデル系列についてのＳ（ｋ’，ｔ−１）の値を読み込み、これらを用いて数４に従って時刻ｔでｋｔ＝ｋとなる最適なモデル系列およびＳ（ｋ，ｔ）を計算し、モデル系列記憶手段３４の内容を書き換える。
最適モデル系列計算手段３５は、モデル系列記憶手段３４に記憶されているＫ個のモデル系列およびそれぞれのモデル系列についてのＳ（ｋ，ｔ）の値を読み込み、これらの中でＳ（ｋ，ｔ）の値が最小となるモデル系列を最適モデル系列として出力する。
特に、Ｐ（ｋｔ＝ｋ｜ｋｔ−１）が数５となる場合、数３は、Rissanenの予測的確率的コンプレキシティ（Universal coding, information, prediction, and estimation, IEEE
Transactions on Information Theory, 30, pp:629-636, 1984）に一致する。
Figure 2005141601
また、Ｐ（ｋｔ＝ｋ｜ｋｔ−１）が数６となる場合、モデルは隣接するモデルにのみ遷移する。後ほど実施例において述べるように、数６は、全体のデータの構造の変化を調べることに有効である。
Figure 2005141601
第１の実施の形態によれば、モデルの遷移確率が既知である場合に、情報源の変化に適応しながら精度のよいモデル選択を行うことができる。
［第２の実施の形態］
次に、本発明の第２の発明を実施するための最良の形態について図面を参照して詳細に説明する。
図３は、本発明の第２の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。本実施の形態に係る動的モデル選択装置は、入力装置１と、出力装置２と、モデル選択計算装置４とから構成されている。
図３を参照すると、第２の実施の形態に係る動的モデル選択装置におけるモデル選択計算装置４は、図１に示された第１の実施の形態に係る動的モデル選択装置におけるモデル選択計算装置３に対して、モデル遷移確率推定手段４１を付加した点だけが異なる。
予測分布更新手段３１および予測分布記憶手段３２の動作は、図１の動的モデル選択装置における各手段３１および３２の動作と同一のため、説明は省略する。
図４は、図３の動的モデル選択装置の概略動作を表すフロー図である。ステップＳ２２では、モデル遷移確率が未知である場合に、モデル遷移確率推定手段４１によりモデル遷移確率の推定を行う。ステップＳ２０，Ｓ２１およびＳ２３〜Ｓ２５の動作は、図２のステップＳ１０〜Ｓ１４の動作と同一のため、説明は省略する。
以下でより具体的に説明する。
時点ｔ−１までのモデル系列ｋｔ−１＝ｋ1，…，ｋｔ−１と時系列データｘｔ−１＝ｘ1，…，ｘｔ−１とが与えられたときに、ｋｔ＝ｋとなる条件付確率Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）が未知であるとする。モデル遷移確率推定手段４１は、このＰｔを推定する手段である。ここでは、数７のように、推定された確率分布を用いて動的モデル選択規準を定義し、これを最小化するｋｎを最適モデル系列とする。
Figure 2005141601
モデル系列更新手段３３およびモデル系列記憶手段３４は、数７を最小化する最適モデル系列ｋｎを逐次的に計算して出力するための手段である。モデル系列記憶手段３４は、最適モデル系列の候補として必要な数のモデル系列およびそれぞれのモデル系列についての数７の値を記憶する。モデル系列更新手段３３は、モデル系列記憶手段３４に記憶されているモデル系列およびそれぞれのモデル系列についての数７の値を読み込み、これらを用いて現時点で最適モデル系列の候補として必要な数のモデル系列およびそれぞれのモデル系列についての数７の値を計算し、モデル系列記憶手段３４の内容を書き換える。
最適モデル系列計算手段３５は、モデル系列記憶手段３４に記憶されているモデル系列およびそれぞれのモデル系列についての数７の値を読み込み、これらの中で数７の値が最小となるモデル系列を最適モデル系列として出力する。
例えば、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）＝Ｐｔ（ｋｔ＝ｋ）が成り立つときには、数８から数１０を用いて、Ｐｔ（ｋｔ＝ｋ）を推定しながら数７を最小化する最適モデル系列ｋｎを効率良く計算することができる。
Figure 2005141601
Figure 2005141601
Figure 2005141601
モデル遷移確率推定手段４１では、数８および数９を計算する。ただし、過去のデータの忘却の速さを表す定数ｒ（０＜ｒ＜１；ｒが大きい程、過去のデータを速く忘却する）は予め与えられているものとし、データが読み込まれる前にＰｔ（ｋｔ）の全てのパラメータは初期化されているものとする。モデル系列更新手段３３において、各時点で数１０が最小となるｋを選び、これをモデル系列記憶手段３４にて記憶する。
以上のアルゴリズムを用いれば、後ほど実施例において述べるように、各時点でモデルが独立に発生し、その発生確率が未知の場合に全体のデータの構造の変化を効率よく分析することができる。特に、定数ｒによって過去のデータをほどよく忘れながら適応的に推定を行うため、モデルの発生確率が時間とともに変化する場合においても精度よくモデル選択を行うことができる。
また、例えば、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）＝Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）が成り立ち、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）が一定で数６（ただし、αを未知とする）の形で与えられる場合には、数１１および数１２を用いて、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）を推定しながら数７を最小化する最適モデル系列ｋｎをＯ（Ｋｎ）の計算量で逐次的に効率良く計算することができる。
Figure 2005141601
Figure 2005141601
ただし、データが読み込まれる前にＰｔ（ｋｔ＝ｋ｜ｋｔ−１）の全てのパラメータは初期化されているものとする。
数１１では、αについて、Krichevsky and Trofimov型の推定（The performance of universal encoding, IEEE Transactions on Information Theory, 27, pp:199-207, 1981）を行う。ここで、Ｎｋ，ｔは、時点ｔでモデルｋとなるまでにモデルが変化した回数を表す。また、数１２の第３項目は、数６のαに数１１のα（Ｎｋ，ｔ）を代入した値とする。このとき、モデル系列記憶手段３４においては、各時点でＫｔ個のモデル系列のみを記憶する。また、モデル系列更新手段３３においては、各時点ｔで３（ｔ−１）個のパスの比較を行う。
以上のアルゴリズムについて、データ数が十分大きいところでは、数７の最適値の上界が数１３の理論的な限界値と一致する。
Figure 2005141601
ただし、数１３において、ｍをモデルが変化した回数、ｔ１，…，ｔｍを変化が起きた時点とする（ｔｋ＝１，tｍ＋１＝ｎ＋１）。ｋ（ｊ）をｔ＝ｔｊ，…ｔｊ＋１−１のモデルとする（ｊ＝０，…ｍ）。
また、以上のアルゴリズムを用いれば、後ほど実施例において述べるように、モデル遷移確率が未知かつ一定の場合に全体のデータの構造の変化を効率よく分析することができる。
また、例えば、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）＝Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）が成り立ち、数６（ただし、αを未知とする）の形で与えられるＰｔ（ｋｔ＝ｋ｜ｋｔ−１）が時間とともに変化する場合には、モデル遷移確率推定手段４１において、ウィンドウ付のKrichevsky and Trofimov型の推定を行う。数１４および数１５を用いて、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）を推定しながら数７を最小化する最適モデル系列ｋｎをＯ（ＫＢ＋１ｎ）の計算量で逐次的に効率良く計算することができる。
Figure 2005141601
Figure 2005141601
ただし、データが読み込まれる前にＰｔ（ｋｔ＝ｋ｜ｋｔ−１）の全てのパラメータは初期化されているものとする。
ここで、Ｂはウィンドウの大きさであり、現時点からＢ時点前以降のデータのみを推定に用いる。数１４では、Ｂ時点前から現時点までにモデルが変化した回数を用いてαの推定を行う。また、数１５の第３項目は、数６のαに数１４での推定値を代入した値とする。モデル系列記憶手段３４においては、各時点でＫＢ個のモデル系列のみを記憶する。また、モデル系列更新手段３３においては、各時点ｔで３ＫＢ個のパスの比較を行う。
以上のアルゴリズムを用いれば、後ほど実施例において述べるように、モデル遷移確率が未知かつ時間とともに変化する場合に全体のデータの構造の変化を効率よく分析することができる。
第２の実施の形態によれば、モデルの遷移確率が未知である場合に、情報源の変化に適応しながら精度のよいモデル選択を行うことができる。
［第３の実施の形態］
次に、本発明の第３の発明を実施するための最良の形態について図面を参照して詳細に説明する。
図５は、本発明の第３の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。本実施の形態に係る動的モデル選択装置は、入力装置１と、出力装置２と、モデル選択計算装置５とから構成されている。
モデル選択計算装置５は、複数の予測分布更新手段３１と、複数の予測分布記憶手段３２と、複数の確からしさ計算手段５１と、複数の確からしさ記憶手段５２と、モデル遷移確率推定手段５３と、モデル遷移確率記憶手段５４と、最適モデル系列計算手段５５とから構成されている。
予測分布更新手段３１および予測分布記憶手段３２の動作は、図１の動的モデル選択装置における各手段３１および３２の動作と同一のため、説明は省略する。
確からしさ計算手段５１は、入力データを読み込み、予測分布記憶手段３２に記憶されている予測分布を読み込み、この予測分布を用いてデータの確からしさを計算する。
確からしさ記憶手段５２は、確からしさ計算手段５１で計算された確からしさを記憶する。
モデル遷移確率推定手段５３は、確からしさ記憶手段５２に記憶されている確からしさを用いてモデル遷移確率を推定する。
モデル遷移確率記憶手段５４は、モデル遷移確率推定手段５３で計算されたモデル遷移確率を記憶する。
最適モデル系列計算手段５５は、モデル遷移確率記憶手段５４に記憶されているモデル遷移確率を読み込み、この確率を用いて最適モデル系列を計算し、これを出力する。
図６は、図５の動的モデル選択装置の概略動作を表すフロー図である。
ステップＳ３２では、確からしさ計算手段５１において確からしさを計算する。ステップＳ３３では、モデル遷移確率推定手段５３においてモデル遷移確率の推定を行う。ステップＳ３４では、最適モデル系列計算手段５５において最適モデル系列の候補を計算する。ステップＳ３５では、計算された最適モデル系列を出力する。
ステップＳ３０，Ｓ３１およびＳ３６の動作は、図２のステップＳ１０，Ｓ１１およびＳ１４の動作と同一のため、説明は省略する。
以下でより具体的に説明する。
モデル遷移確率推定手段５３では、数１のモデル遷移確率を現時点までの全てのデータの確からしさを用いて計算する。
また、最適モデル系列計算手段５５では、モデル遷移確率推定手段５３で推定された予測分布による確率値を用いて数７を最小化するモデル系列を選択する。
例えば、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）＝Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）が成り立ち、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）が未知かつ一定の場合、モデル遷移確率推定手段５３では、隠れマルコフモデルのパラメータ推定ではよく用いられるBaumらによるBaum‐Welchアルゴリズム（A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains, The Annals of Mathematical Statistics, 41(1), pp:164-171, 1970）を用いてこれを推定することができる。ただし、データが読み込まれる前にＰｔ（ｋｔ＝ｋ｜ｋｔ−１）の全てのパラメータは初期化されているものとする。また、時点ｔにおけるＰｔ（ｋｔ＝ｋ｜ｋｔ−１）の推定パラメータは、時点ｔ＋１におけるBaum‐Welchアルゴリズムの初期値に用いることもできる。また、最適モデル系列計算手段５５では、Viterbiアルゴリズムを用いて数７を最小化するモデル系列を選択することができる。
また、例えば、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１，ｘｔ−１）＝Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）が成り立ち、Ｐｔ（ｋｔ＝ｋ｜ｋｔ−１）が未知かつ時間とともに変化する場合には、モデル遷移確率推定手段５３において、ウィンドウ付の遷移確率推定を行う。すなわち、Ｂ時点前から現時点までのデータの確からしさを用いて、Baum‐Welchアルゴリズムによるモデル遷移確率の推定を行う。この場合、確からしさ記憶手段５２では、現時点よりＢ時点前以降のデータの確からしさを記憶しておけば十分である。
以上の第３の実施の形態は、第２の実施の形態とはモデル遷移確率の推定方法が異なる。第３の実施の形態では、第２の実施の形態に比べてデータの確からしさを記憶する必要があり、また計算時間も増加するが、より精度のよいモデル選択を行うことができる可能性がある。
第３の実施の形態によれば、モデルの遷移確率が未知である場合に、情報源の変化に適応しながら精度のよいモデル選択を行うことができる。
［第４の実施の形態］
次に、本発明の第４の発明を実施するための最良の形態について図面を参照して詳細に説明する。
図７は、本発明の第４の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。第４の実施の形態に係る動的モデル選択装置は、入力装置１と、モデル選択計算装置３〜５のいずれかと、オンラインモデル系列出力手段６と、出力装置２とから構成されている。
モデル選択計算装置３〜５のいずれかの動作は、第１〜第３の実施の形態と同一のため、説明は省略する。
図８は、図７の動的モデル選択装置の概略動作を表すフロー図である。
ステップＳ４２では、第１〜第３の実施の形態に係るモデル選択計算装置３〜５のいずれかを用いて最適モデル系列の計算を行う。ステップＳ４３では、ステップＳ４２で計算された最適モデル系列を用いて、オンラインモデル系列出力手段６によりリアルタイムに選択結果のモデルを出力する。ステップＳ４０およびＳ４１の動作は、図２のステップＳ１０およびＳ１１の動作と同一のため、説明は省略する。
オンラインモデル系列出力手段６では、各時点において、第１〜第３の実施の形態に係るモデル選択計算装置３〜５のいずれかを用いて出力される最適モデル系列の最終要素を出力することにより、リアルタイムでモデル選択を行うことができる。また、最終要素の代わりに最後の数個の要素を出力してもよい。第１〜第３の実施の形態に係るモデル選択計算装置３〜５のいずれかを用いて出力される最適モデル系列とオンラインモデル系列出力手段６により各時点で出力したモデルを並べてできるモデル系列とは一致するとは限らず、後者は前者に比べてある程度精度が落ちるが効率的なモデル選択を実現する。
第４の実施の形態によれば、情報源の変化に適応しながらリアルタイムに精度よくモデル選択を行うことができる。
［第５の実施の形態］
次に、本発明の第５の発明を実施するための最良の形態について図面を参照して詳細に説明する。
図９は、本発明の第５の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。第５の実施の形態に係る動的モデル選択装置は、入力装置１と、モデル選択計算装置３〜５のいずれかと、オンラインモデル系列出力手段６と、オンライン構造変化検出手段７と、出力装置２とから構成されている。
モデル選択計算装置３〜５のいずれかの動作は、第１〜第３の実施の形態と同一のため、説明は省略する。
図１０は、図９の動的モデル選択装置の概略動作を表すフロー図である。
ステップＳ５２では、第１〜第３の実施の形態に係るモデル選択計算装置３〜５のいずれかを用いて最適モデル系列の計算を行う。ステップＳ５４では、ステップＳ５３で出力されたモデル系列を用いて、オンライン構造変化検出手段７によりリアルタイムにモデルの変化に対してアラームを挙げるなどの検知を行う。ステップＳ５０〜Ｓ５３の動作は、図８のステップＳ４０〜Ｓ４３の動作と同一のため、説明は省略する。
オンライン構造変化検出手段７では、各時点においてオンラインモデル系列出力手段６において出力されるモデルを受け取り、これが前時点に受け取ったモデルと異なったときにアラームを挙げる等により変化を通知する。
第５の実施の形態によれば、最適なモデルが変化した時点でリアルタイムにアラームを出すことができる。
［第６の実施の形態］
次に、本発明の第６の発明を実施するための最良の形態について図面を参照して詳細に説明する。
図１１は、本発明の第６の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。第６の実施の形態に係る動的モデル選択装置は、入力装置１と、モデル選択計算装置３〜５のいずれかと、特徴パタン抽出手段８と、出力装置２とから構成されている。
モデル選択計算装置３〜５のいずれかの動作は、第１〜第３の実施の形態と同一のため、説明は省略する。
図１２は、図１１の動的モデル選択装置の概略動作を表すフロー図である。
ステップＳ６２では、第１〜第３の実施の形態に係るモデル選択計算装置３〜５のいずれかを用いて最適モデル系列の計算を行う。ステップＳ６３では、ステップＳ６２で出力されたモデル系列を用いて、特徴パタン抽出手段８によりモデルの変化点で特徴パタンを出力する。ステップＳ６０およびＳ６１の動作は、図１のステップＳ１０およびＳ１１の動作と同一のため、説明は省略する。
特徴パタン抽出手段８では、最適モデル系列を受け取り、モデルの変化点でその変化の特徴を表す特徴パタンを出力する。
第６の実施の形態によれば、最適なモデルが変化した時、構造的な変化を表すパタンを抽出することができる。
［第７の実施の形態］
次に、本発明の第７の発明を実施するための最良の形態について図面を参照して詳細に説明する。
図１３は、本発明の第７の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。第７の実施の形態に係る動的モデル選択装置は、入力装置１と、モデル選択計算装置３〜５のいずれかと、オンラインモデル系列出力手段６と、特徴パタン抽出手段８と、出力装置２とから構成されている。
モデル選択計算装置３〜５のいずれかの動作は、第１〜第３の実施の形態と同一のため、説明は省略する。
図１４は、図１３の動的モデル選択装置の概略動作を表すフロー図である。
ステップＳ７２では、第１〜第３の実施の形態に係るモデル選択計算装置３〜５のいずれかを用いて最適モデル系列の計算を行う。ステップＳ７４では、ステップＳ７３で出力されたモデル系列を用いて、特徴パタン抽出手段８によりモデルの変化点で特徴パタンを出力する。ステップＳ７０，Ｓ７１およびＳ７３の動作は、図５のステップＳ５０，Ｓ５１およびＳ５３の動作と同一のため、説明は省略する。
特徴パタン抽出手段８では、最適モデル系列を受け取り、モデルの変化点でその変化の特徴を表す特徴パタンを出力する。
第７の実施の形態によれば、最適なモデルが変化した時、構造的な変化を表すパタンを抽出することができる。
［第８の実施の形態］
図１５は、本発明の第８の実施の形態に係るモデル選択計算装置３の構成を示すブロック図である。本実施の形態に係るモデル選択計算装置３は、図１に示した第１の実施の形態に係るモデル選択計算装置３に対してモデル選択計算プログラム１００を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には同一符号を付して、それらの詳しい説明を省略する。
モデル選択計算プログラム１００は、コンピュータでなるモデル選択計算装置３に読み込まれ、モデル選択計算装置３の動作を、複数の予測分布更新手段３１，複数の予測分布記憶手段３２，モデル系列更新手段３３，モデル系列記憶手段３４，および最適モデル系列計算手段３５として制御する。モデル選択計算プログラム１００の制御によるモデル選択計算装置３の動作は、第１の実施の形態に係るモデル選択計算装置３の動作と全く同様になるので、その詳しい説明を割愛する。
［第９の実施の形態］
図１６は、本発明の第９の実施の形態に係るモデル選択計算装置４の構成を示すブロック図である。本実施の形態に係るモデル選択計算装置４は、図３に示した第２の実施の形態に係るモデル選択計算装置４に対してモデル選択計算プログラム１０１を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には同一符号を付して、それらの詳しい説明を省略する。
モデル選択計算プログラム１０１は、コンピュータでなるモデル選択計算装置４に読み込まれ、モデル選択計算装置４の動作を、複数の予測分布更新手段３１，複数の予測分布記憶手段３２，モデル系列更新手段３３，モデル系列記憶手段３４，最適モデル系列計算手段３５，およびモデル遷移確率推定手段４１として制御する。モデル選択計算プログラム１０１の制御によるモデル選択計算装置４の動作は、第２の実施の形態に係るモデル選択計算装置４の動作と全く同様になるので、その詳しい説明を割愛する。
［第１０の実施の形態］
図１７は、本発明の第１０の実施の形態に係るモデル選択計算装置５の構成を示すブロック図である。本実施の形態に係るモデル選択計算装置５は、図５に示した第３の実施の形態に係るモデル選択計算装置５に対してモデル選択計算プログラム１０２を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には同一符号を付して、それらの詳しい説明を省略する。
モデル選択計算プログラム１０２は、コンピュータでなるモデル選択計算装置５に読み込まれ、モデル選択計算装置５の動作を、複数の予測分布更新手段３１，複数の予測分布記憶手段３２，複数の確からしさ計算手段５１，複数の確からしさ記憶手段５２，モデル遷移確率推定手段５３，モデル遷移確率記憶手段５４，および最適モデル系列計算手段５５として制御する。モデル選択計算プログラム１０２の制御によるモデル選択計算装置５の動作は、第３の実施の形態に係るモデル選択計算装置５の動作と全く同様になるので、その詳しい説明を割愛する。
［第１１の実施の形態］
図１８は、本発明の第１１の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。本実施の形態に係る動的モデル選択装置は、図７に示した第４の実施の形態に係る動的モデル選択装置に対して動的モデル選択プログラム２００を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には同一符号を付して、それらの詳しい説明を省略する。
動的モデル選択プログラム２００は、コンピュータでなる動的モデル選択装置に読み込まれ、動的モデル選択装置の動作を、モデル選択計算装置３ないし５のいずれか，およびオンラインモデル系列出力手段６として制御する。動的モデル選択プログラム２００の制御による動的モデル選択装置の動作は、第４の実施の形態に係る動的モデル選択装置の動作と全く同様になるので、その詳しい説明を割愛する。
［第１２の実施の形態］
図１９は、本発明の第１２の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。本実施の形態に係る動的モデル選択装置は、図９に示した第５の実施の形態に係る動的モデル選択装置に対して動的モデル選択プログラム２０１を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には同一符号を付して、それらの詳しい説明を省略する。
動的モデル選択プログラム２０１は、コンピュータでなる動的モデル選択装置に読み込まれ、動的モデル選択装置の動作を、モデル選択計算装置３ないし５のいずれか，オンラインモデル系列出力手段６，およびオンライン構造変化検出手段７として制御する。動的モデル選択プログラム２０１の制御による動的モデル選択装置の動作は、第５の実施の形態に係る動的モデル選択装置の動作と全く同様になるので、その詳しい説明を割愛する。
［第１３の実施の形態］
図２０は、本発明の第１３の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。本実施の形態に係る動的モデル選択装置は、図１１に示した第６の実施の形態に係る動的モデル選択装置に対して動的モデル選択プログラム２０２を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には同一符号を付して、それらの詳しい説明を省略する。
動的モデル選択プログラム２０２は、コンピュータでなる動的モデル選択装置に読み込まれ、動的モデル選択装置の動作を、モデル選択計算装置３ないし５のいずれか，および特徴パタン抽出手段８として制御する。動的モデル選択プログラム２０２の制御による動的モデル選択装置の動作は、第６の実施の形態に係る動的モデル選択装置の動作と全く同様になるので、その詳しい説明を割愛する。
［第１４の実施の形態］
図２１は、本発明の第１４の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。本実施の形態に係る動的モデル選択装置は、図１３に示した第７の実施の形態に係る動的モデル選択装置に対して動的モデル選択プログラム２０３を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には同一符号を付して、それらの詳しい説明を省略する。
動的モデル選択プログラム２０３は、コンピュータでなる動的モデル選択装置に読み込まれ、動的モデル選択装置の動作をモデル選択計算装置３ないし５のいずれか，オンラインモデル系列出力手段６，および特徴パタン抽出手段８として制御する。動的モデル選択プログラム２０３の制御による動的モデル選択装置の動作は、第７の実施の形態に係る動的モデル選択装置の動作と全く同様になるので、その詳しい説明を割愛する。
次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。
本発明の第１の実施の形態に係る動的モデル選択装置（図１）および第１の実施の形態に係る動的モデル選択方法（図２）の実施例について説明する。本実施例では、例として、データを離散値ベクトルデータとし、確率分布を混合マルコフモデルとして説明する。
あるユーザーのコマンド履歴を一定時間ごとに記録したものが１入力データとして入力装置１から得られる。ここで、各入力データの長さは異なっていてもよい。例えば、コマンド列“（ｃｄ，ｌｓ，ｃｐ，…）”を１入力データとする。このとき、混合分布の各マルコフモデルは、例えばこれらの各コマンド列のうち類似するものを集めた集合となり、複数のユーザーの行動パタンを表現する。ここで、混合分布の混合の数ｋをｋ＝１，…，Ｋとして、予測分布更新手段３１および予測分布記憶手段３２によって、Ｋ通りの予測分布を並列に逐次計算する。動的モデル選択装置は、このＫ通りの予測分布の中から各時点でデータに最も適しているものを選択するための手段である。各時点で最初から現時点までの最適なモデル系列を出力する。逐次的に、モデル系列記憶手段３４による最適モデルの候補となるモデル系列の記憶とモデル系列更新手段３３によるそれらのモデル系列の更新とを繰り返しながら、各時点で最適なモデル系列を最適モデル系列計算手段３５によって計算して出力する。例えば、１，１，１，２，２，…というモデル系列が出力されたとき、これはユーザーの行動パタンが１個から２個に増えたことを意味する。
以上の第１の実施の形態に係る動的モデル選択装置および第１の実施の形態に係る動的モデル選択方法の実施例は、例えばユーザーの使うコマンドが周期性を持って変化しているなど、あらかじめ行動パタンの増減のタイミング、すなわちモデルの遷移確率が分かっている場合に特に有効である。
図２２は、コマンド履歴データからなりすまし者が入ったときのコマンドパタンの変化を調べた実験結果である。使用したデータは、Shonlau et al. (Computer Intrusion: Detecting masquerades, Statistical Science. 16(1), pp:58-74, 2001)によって集められたなりすまし検出のベンチマークデータである。図２２において、横軸はデータ数、縦軸はコマンドパタン数を表す。図に示されているように、途中になりすまし者のコマンドデータが混入しており、非特許文献４の手法と本手法とを比較したところ、非特許文献４の手法ではなりすまし区間ではパタンの数が変化せず、しばらく時間が経過してからパタン数の増加が見られるのに対し、本手法では精度よくなりすまし者のコマンドデータが混入されている区間を検出した。
本発明の第２の実施の形態に係る動的モデル選択装置（図３）および第２の実施の形態に係る動的モデル選択方法（図４）の実施例について説明する。例えば、上の例において、行動パタンの増減のタイミングが未知である場合に、モデル遷移確率推定手段４１によってモデル遷移確率の推定を行う。
本発明の第３の実施の形態に係る動的モデル選択装置（図５）および第３の実施の形態に係る動的モデル選択方法（図６）の実施例について説明する。本実施例も、例えば、上の例において、行動パタンの増減のタイミングが未知である場合に、モデル遷移確率推定手段４１によってモデル遷移確率の推定を行う。第２の実施の形態に係る動的モデル選択装置および第２の実施の形態に係る動的モデル選択方法とは、モデル遷移確率の推定方法が異なる。
本発明の第４の実施の形態に係る動的モデル選択装置（図７）および第４の実施の形態に係る動的モデル選択方法（図８）の実施例について説明する。本実施例では、オンラインモデル出力手段６により、リアルタイムに現在の時点に良いとされるモデルを出力する。これにより、例えば、上の例においては、ユーザーの行動パタンの増加をオンラインで知ることができる。
本発明の第５の実施の形態に係る動的モデル選択装置（図９）および第５の実施の形態に係る動的モデル選択方法（図１０）の実施例について説明する。本実施例では、オンラインモデル出力手段６によりリアルタイムに出力されるモデルを用いて、オンライン構造変化検出手段７によりモデルが変化した時点でアラームを出す。例えば、上の例においては、新しいコマンドパタンの増加には他のユーザーが正規ユーザーになりすましている可能性があり、パタンの増減に対してアラームを挙げることでなりすましを検出することができる。
本発明の第６の実施の形態に係る動的モデル選択装置（図１１）および第６の実施の形態に係る動的モデル選択方法（図１２）の実施例について説明する。本実施例では、最適モデル系列の変化点において特徴パタン抽出手段８によって変化の原因となるパタンを抽出する。例えば、上の例において、１，１，１，２，２，…というモデル系列が出力されたとき、パタンの個数が１から２に変化した前後の予測分布やデータを比較することで新たに生成されたコマンドパタンを知ることができる。また、新たに生成されたコマンドパタンがなりすまし者のコマンドパタンであった場合には、特徴パタン抽出手段８によって新しく増えたコマンドパタンを抽出することにより、なりすまし者のコマンドの使い方のくせをとらえることができる。
本発明の第７の実施の形態に係る動的モデル選択装置（図１３）および第７の実施の形態に係る動的モデル選択方法（図１４）の実施例について説明する。本実施例では、オンラインモデル出力手段６によりリアルタイムに出力されるモデルを用いて、モデルの変化点において特徴パタン抽出手段８によって変化の原因となるパタンを抽出する。例えば、上の例において、１，１，１，２，２，…というモデル系列が出力されたとき、パタンの個数が１から２に変化した前後の予測分布やデータを比較することで新たに生成されたコマンドパタンをリアルタイムに知ることができる。
以上のコマンド履歴解析およびなりすまし検出への応用の他の応用例を挙げる。
例えば、Ｗｅｂサイトへのアクセスパタン分析に応用される。あるＷｅｂサイトにアクセスする顧客の行動を分析し、新しく生成あるいは消滅する行動パタンを知ることで全体の顧客行動を理解することができ、Ｗｅｂデザインの評価等のＣＲＭ（Customer Relationship Management）に有効である。
また、例えば、障害検出に応用される。ＣＰＵ（Central Processing Unit）の使用率などのリソース使用量を監視して、新しく生成あるいは消滅するパタンを知ることで障害のパタン発見，障害予防等に有効である。
この他に、経済データ解析，署名認証，ビデオ画像等の動画を用いた動体解析等において新しいパタンの把握に有効である。
本発明の第１の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る動的モデル選択装置の動作を示すフロー図である。 本発明の第２の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る動的モデル選択装置の動作を示すフロー図である。 本発明の第３の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第３の実施の形態に係る動的モデル選択装置の動作を示すフロー図である。 本発明の第４の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第４の実施の形態に係る動的モデル選択装置の動作を示すフロー図である。 本発明の第５の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第５の実施の形態に係る動的モデル選択装置の動作を示すフロー図である。 本発明の第６の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第６の実施の形態に係る動的モデル選択装置の動作を示すフロー図である。 本発明の第７の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第７の実施の形態に係る動的モデル選択装置の動作を示すフロー図である。 本発明の第８の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第９の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第１０の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第１１の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第１２の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第１３の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の第１４の実施の形態に係る動的モデル選択装置の構成を示すブロック図である。 本発明の実施例を説明するための図である。
符号の説明
１ 入力装置
２ 出力装置
３，４，５ モデル選択計算装置
６ オンラインモデル系列出力手段
７ オンライン構造変化検出手段
８ 特徴パタン抽出手段
３１ 予測分布更新手段
３２ 予測分布記憶手段
３３ モデル系列更新手段
３４ モデル系列記憶手段
３５，５５ 最適モデル系列計算手段
４１ モデル遷移確率推定手段
５１ 確からしさ計算手段
５２ 確からしさ記憶手段
５３ モデル遷移確率推定手段
５４ モデル遷移確率記憶手段
１００，１０１，１０２ モデル選択計算プログラム
２００，２０１，２０２，２０３ 動的モデル選択プログラム

Claims (48)

  1. 時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、
    最適モデル系列の候補を記憶するモデル系列記憶手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新するモデル系列更新手段と、
    前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する最適モデル系列計算手段と
    を備えることを特徴とするモデル選択計算装置。
  2. 前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする請求項１記載のモデル選択計算装置。
  3. モデル遷移確率を推定するモデル遷移確率推定手段をさらに備えることを特徴とする請求項１記載のモデル選択計算装置。
  4. 前記モデル系列記憶手段において、各時点でデータ数の定数倍のモデル系列を記憶することを特徴とする請求項３記載のモデル選択計算装置。
  5. 時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する確からしさ計算手段と、
    該確からしさ計算手段で計算された確からしさを記憶する確からしさ記憶手段と、
    モデルの遷移確率分布の予測分布を記憶するモデル遷移確率記憶手段と、
    前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新するモデル遷移確率推定手段と、
    前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する最適モデル系列計算手段と
    を備えることを特徴とするモデル選択計算装置。
  6. 前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする請求項３記載のモデル選択計算装置。
  7. 前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする請求項５記載のモデル選択計算装置。
  8. 前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする請求項６記載のモデル選択計算装置。
  9. 前記確からしさ記憶手段において、各時点でデータ数によらない一定数の確からしさを記憶することを特徴とする請求項７記載のモデル選択計算装置。
  10. 時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、
    最適モデル系列の候補を記憶するモデル系列記憶手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新するモデル系列更新手段と、
    前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する最適モデル系列計算手段と
    を備えることを特徴とする動的モデル選択装置。
  11. 前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする請求項１０記載の動的モデル選択装置。
  12. モデル遷移確率を推定するモデル遷移確率推定手段をさらに備えることを特徴とする請求項１０記載の動的モデル選択装置。
  13. 前記モデル系列記憶手段において、各時点でデータ数の定数倍のモデル系列を記憶することを特徴とする請求項１２記載の動的モデル選択装置。
  14. 時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する確からしさ計算手段と、
    該確からしさ計算手段で計算された確からしさを記憶する確からしさ記憶手段と、
    モデルの遷移確率分布の予測分布を記憶するモデル遷移確率記憶手段と、
    前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新するモデル遷移確率推定手段と、
    前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する最適モデル系列計算手段と
    を備えることを特徴とする動的モデル選択装置。
  15. 前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする請求項１２記載の動的モデル選択装置。
  16. 前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする請求項１４記載の動的モデル選択装置。
  17. 前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする請求項１５記載の動的モデル選択装置。
  18. 前記確からしさ記憶手段において、各時点でデータ数によらない一定数の確からしさを記憶することを特徴とする請求項１６記載の動的モデル選択装置。
  19. 請求項１０ないし請求項１８のいずれかに記載された動的モデル選択装置において、オンラインでモデル系列を出力するオンラインモデル系列出力手段をさらに備えることを特徴とする動的モデル選択装置。
  20. 請求項１９に記載された動的モデル選択装置において、オンラインでモデルが変化したときに検知するオンライン構造変化検出手段をさらに備えることを特徴とする動的モデル選択装置。
  21. 請求項１０ないし請求項１８のいずれかに記載された動的モデル選択装置において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段をさらに備えることを特徴とする動的モデル選択装置。
  22. 請求項１９に記載された動的モデル選択装置において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段をさらに備えることを特徴とする動的モデル選択装置。
  23. 時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ予測分布記憶手段に記憶させる工程と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する工程と、
    最適モデル系列の候補をモデル系列記憶手段に記憶させる工程と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新する工程と、
    前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する工程
    を含むことを特徴とする動的モデル選択方法。
  24. 前記モデル系列記憶手段に対し、各時点でデータ数によらない一定数のモデル系列を記憶させる工程を含むことを特徴とする請求項２３記載の動的モデル選択方法。
  25. モデルの遷移確率を推定する工程をさらに含むことを特徴とする請求項２３記載の動的モデル選択方法。
  26. 前記モデル系列記憶手段に対し、各時点でデータ数の定数倍のモデル系列を記憶させる工程を含むことを特徴とする請求項２５記載の動的モデル選択方法。
  27. 時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布を予測分布記憶手段に記憶させる工程と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する工程と、
    入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する工程と、
    該確からしさ計算手段で計算された確からしさを確からしさ記憶手段に記憶させる工程と、
    モデルの遷移確率分布の予測分布をモデル遷移確率記憶手段に記憶させる工程と、
    前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新する工程と、
    前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する工程と
    を含むことを特徴とする動的モデル選択方法。
  28. モデル遷移確率のウィンドウ付推定を行う工程を含むことを特徴とする請求項２５記載の動的モデル選択方法。
  29. モデル遷移確率のウィンドウ付推定を行う工程を含むことを特徴とする請求項２７記載の動的モデル選択方法。
  30. 前記モデル系列記憶手段に対し、各時点でデータ数によらない一定数のモデル系列を記憶させる工程を含むことを特徴とする請求項２８記載の動的モデル選択方法。
  31. 前記確からしさ記憶手段に対し、各時点でデータ数によらない一定数の確からしさを記憶させる工程を含むことを特徴とする請求項３０記載の動的モデル選択方法。
  32. 請求項２３ないし請求項３１のいずれかに記載された動的モデル選択方法において、オンラインでモデル系列を出力する工程をさらに含むことを特徴とする動的モデル選択方法。
  33. 請求項３２に記載された動的モデル選択方法において、オンラインでモデルが変化したときに検知する工程をさらに含むことを特徴とする動的モデル選択方法。
  34. 請求項２３ないし請求項３１のいずれかに記載された動的モデル選択方法において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する工程をさらに含むことを特徴とする動的モデル選択方法。
  35. 請求項３２のいずれかに記載された動的モデル選択方法において、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する工程をさらに含むことを特徴とする動的モデル選択方法。
  36. コンピュータを、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、最適モデル系列の候補を記憶するモデル系列記憶手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、該モデル系列記憶手段の内容を更新するモデル系列更新手段と、前記モデル系列記憶手段から最適モデル系列の候補を読み込み、現時点での最適モデル系列を計算して出力する最適モデル系列計算手段として動作させるためのプログラム。
  37. 前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする請求項３６記載のプログラム。
  38. モデル遷移確率を推定するモデル遷移確率推定手段をさらに備えることを特徴とする請求項３６記載のプログラム。
  39. 前記モデル系列記憶手段において、各時点でデータ数の定数倍のモデル系列を記憶することを特徴とする請求項３８記載のプログラム。
  40. コンピュータを、時系列データを入力として、各データの発生を説明する複数個の相異なる予測分布をそれぞれ記憶する予測分布記憶手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、該予測分布記憶手段の内容を更新する予測分布更新手段と、入力データを読み込み、前記予測分布記憶手段から予測分布を読み込み、入力データの確からしさを計算する確からしさ計算手段と、該確からしさ計算手段で計算された確からしさを記憶する確からしさ記憶手段と、モデルの遷移確率分布の予測分布を記憶するモデル遷移確率記憶手段と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、該モデル遷移確率記憶手段の内容を更新するモデル遷移確率推定手段と、前記確からしさ記憶手段から記憶されている全ての確からしさを読み込み、前記モデル遷移確率記憶手段から予測分布を読み込み、最適モデル系列を計算して出力する最適モデル系列計算手段として動作させるためのプログラム。
  41. 前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする請求項３８記載のプログラム。
  42. 前記モデル遷移確率推定手段において、ウィンドウ付推定を行うことを特徴とする請求項４０記載のプログラム。
  43. 前記モデル系列記憶手段において、各時点でデータ数によらない一定数のモデル系列を記憶することを特徴とする請求項４１記載のプログラム。
  44. 前記確からしさ記憶手段において、各時点でデータ数によらない一定数の確からしさを記憶することを特徴とする請求項４２記載のプログラム。
  45. 請求項３６ないし請求項４４のいずれかに記載されたプログラムにおいて、オンラインでモデル系列を出力するオンラインモデル系列出力手段をさらに備えることを特徴とするプログラム。
  46. 請求項４５に記載されたプログラムにおいて、オンラインでモデルが変化したときに検知するオンライン構造変化検出手段をさらに備えることを特徴とするプログラム。
  47. 請求項３６ないし請求項４４のいずれかに記載されたプログラムにおいて、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段をさらに備えることを特徴とするプログラム。
  48. 請求項４５に記載されたプログラムにおいて、モデルが変化したときの特徴的な時系列データパタンを抽出して出力する特徴パタン抽出手段をさらに備えることを特徴とするプログラム。
JP2003379273A 2003-11-10 2003-11-10 モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム Pending JP2005141601A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003379273A JP2005141601A (ja) 2003-11-10 2003-11-10 モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム
US10/976,787 US7660707B2 (en) 2003-11-10 2004-11-01 Dynamic model detecting apparatus
DE602004023170T DE602004023170D1 (de) 2003-11-10 2004-11-04 Vorrichtung zur Detektion eines dynamischen Modells
EP04026202A EP1530149B1 (en) 2003-11-10 2004-11-04 Dynamic model detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003379273A JP2005141601A (ja) 2003-11-10 2003-11-10 モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2005141601A true JP2005141601A (ja) 2005-06-02

Family

ID=34431376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003379273A Pending JP2005141601A (ja) 2003-11-10 2003-11-10 モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム

Country Status (4)

Country Link
US (1) US7660707B2 (ja)
EP (1) EP1530149B1 (ja)
JP (1) JP2005141601A (ja)
DE (1) DE602004023170D1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548831B2 (en) 2006-12-13 2009-06-16 Kabushiki Kaisha Toshiba Apparatus and method for detecting abnormal sign
WO2009090939A1 (ja) * 2008-01-15 2009-07-23 Nec Corporation ネットワーク異常検出装置及び方法
WO2009107313A1 (ja) * 2008-02-28 2009-09-03 日本電気株式会社 確率モデル選択装置、確率モデル選択方法、およびプログラム
WO2010131746A1 (ja) * 2009-05-15 2010-11-18 日本電気株式会社 障害原因推定システム、障害原因推定方法、及び障害原因推定プログラム
KR101590896B1 (ko) 2014-11-26 2016-02-02 경북대학교 산학협력단 일반화 성능을 갖는 심화학습 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 및 장치
JPWO2016151637A1 (ja) * 2015-03-26 2017-12-14 日本電気株式会社 学習モデル生成システム、方法およびプログラム
JP2020107218A (ja) * 2018-12-28 2020-07-09 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法とプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265296B2 (ja) * 2003-06-13 2009-05-20 日本電気株式会社 変化点検出装置，変化点検出方法および変化点検出用プログラム
US20050283337A1 (en) * 2004-06-22 2005-12-22 Mehmet Sayal System and method for correlation of time-series data
US8782201B2 (en) * 2005-10-28 2014-07-15 Bank Of America Corporation System and method for managing the configuration of resources in an enterprise
JP2013523043A (ja) 2010-03-22 2013-06-13 エルアールディシー システムズ、エルエルシー ソースデータセットの完全性を識別及び保護する方法
US9805143B2 (en) 2013-01-25 2017-10-31 International Business Machines Corporation Composite simulation modeling and analysis
US9201989B2 (en) 2013-01-25 2015-12-01 Globalfoundries Inc. Interpolation techniques used for time alignment of multiple simulation models
US9607067B2 (en) 2013-01-25 2017-03-28 International Business Machines Corporation Synchronization of time between different simulation models
US10019486B2 (en) 2016-02-24 2018-07-10 Bank Of America Corporation Computerized system for analyzing operational event data
US10430743B2 (en) 2016-02-24 2019-10-01 Bank Of America Corporation Computerized system for simulating the likelihood of technology change incidents
US10275182B2 (en) 2016-02-24 2019-04-30 Bank Of America Corporation System for categorical data encoding
US10387230B2 (en) 2016-02-24 2019-08-20 Bank Of America Corporation Technical language processor administration
US10366367B2 (en) 2016-02-24 2019-07-30 Bank Of America Corporation Computerized system for evaluating and modifying technology change events
US10223425B2 (en) 2016-02-24 2019-03-05 Bank Of America Corporation Operational data processor
US10216798B2 (en) 2016-02-24 2019-02-26 Bank Of America Corporation Technical language processor
US10366338B2 (en) 2016-02-24 2019-07-30 Bank Of America Corporation Computerized system for evaluating the impact of technology change incidents
US10067984B2 (en) 2016-02-24 2018-09-04 Bank Of America Corporation Computerized system for evaluating technology stability
US10275183B2 (en) 2016-02-24 2019-04-30 Bank Of America Corporation System for categorical data dynamic decoding
US10366337B2 (en) 2016-02-24 2019-07-30 Bank Of America Corporation Computerized system for evaluating the likelihood of technology change incidents
US11238105B2 (en) * 2019-03-29 2022-02-01 Salesforce.Com, Inc. Correlating user device attribute groups
US11595434B2 (en) 2019-05-30 2023-02-28 Morgan State University Method and system for intrusion detection

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3003276B2 (ja) * 1991-06-19 2000-01-24 松下電器産業株式会社 信号解析装置
US5465321A (en) * 1993-04-07 1995-11-07 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hidden markov models for fault detection in dynamic systems
JP2871561B2 (ja) * 1995-11-30 1999-03-17 株式会社エイ・ティ・アール音声翻訳通信研究所 不特定話者モデル生成装置及び音声認識装置
US6725208B1 (en) * 1998-10-06 2004-04-20 Pavilion Technologies, Inc. Bayesian neural networks for optimization and control
US6681331B1 (en) * 1999-05-11 2004-01-20 Cylant, Inc. Dynamic software system intrusion detection
US6366885B1 (en) * 1999-08-27 2002-04-02 International Business Machines Corporation Speech driven lip synthesis using viseme based hidden markov models
US7181768B1 (en) * 1999-10-28 2007-02-20 Cigital Computer intrusion detection system and method based on application monitoring
US6499012B1 (en) * 1999-12-23 2002-12-24 Nortel Networks Limited Method and apparatus for hierarchical training of speech models for use in speaker verification
US7219056B2 (en) * 2000-04-20 2007-05-15 International Business Machines Corporation Determining and using acoustic confusability, acoustic perplexity and synthetic acoustic word error rate
US6993452B2 (en) * 2000-05-04 2006-01-31 At&T Corp. Distance measure for probability distribution function of mixture type
US6742124B1 (en) * 2000-05-08 2004-05-25 Networks Associates Technology, Inc. Sequence-based anomaly detection using a distance matrix
KR100400500B1 (ko) * 2000-08-21 2003-10-08 삼성전자주식회사 특징 벡터 데이터 공간의 인덱싱 방법
US7475405B2 (en) * 2000-09-06 2009-01-06 International Business Machines Corporation Method and system for detecting unusual events and application thereof in computer intrusion detection
US7016825B1 (en) * 2000-10-26 2006-03-21 Vextec Corporation Method and apparatus for predicting the failure of a component
US6983380B2 (en) * 2001-02-06 2006-01-03 Networks Associates Technology, Inc. Automatically generating valid behavior specifications for intrusion detection
US20030055640A1 (en) * 2001-05-01 2003-03-20 Ramot University Authority For Applied Research & Industrial Development Ltd. System and method for parameter estimation for pattern recognition
US7162741B2 (en) * 2001-07-30 2007-01-09 The Trustees Of Columbia University In The City Of New York System and methods for intrusion detection with dynamic window sizes
US7487544B2 (en) * 2001-07-30 2009-02-03 The Trustees Of Columbia University In The City Of New York System and methods for detection of new malicious executables
US7424619B1 (en) * 2001-10-11 2008-09-09 The Trustees Of Columbia University In The City Of New York System and methods for anomaly detection and adaptive learning
US20030101260A1 (en) * 2001-11-29 2003-05-29 International Business Machines Corporation Method, computer program element and system for processing alarms triggered by a monitoring system
US7448084B1 (en) * 2002-01-25 2008-11-04 The Trustees Of Columbia University In The City Of New York System and methods for detecting intrusions in a computer system by monitoring operating system registry accesses
US7225343B1 (en) * 2002-01-25 2007-05-29 The Trustees Of Columbia University In The City Of New York System and methods for adaptive model generation for detecting intrusions in computer systems
KR100472904B1 (ko) * 2002-02-20 2005-03-08 안호성 음악 부분을 자동으로 선별해 저장하는 디지털 음악 재생장치 및 그 방법
US6892163B1 (en) * 2002-03-08 2005-05-10 Intellectual Assets Llc Surveillance system and method having an adaptive sequential probability fault detection test
GB2387008A (en) * 2002-03-28 2003-10-01 Qinetiq Ltd Signal Processing System
JP3649328B2 (ja) * 2002-04-10 2005-05-18 日本電気株式会社 画像領域抽出方法および装置
US7007001B2 (en) * 2002-06-26 2006-02-28 Microsoft Corporation Maximizing mutual information between observations and hidden states to minimize classification errors
CA2495147C (en) * 2002-08-09 2013-02-12 O. Patrick Kreidl Control systems and methods using a partially-observable markov decision process (po-mdp)
US7293290B2 (en) * 2003-02-06 2007-11-06 Symantec Corporation Dynamic detection of computer worms
JP2004309998A (ja) * 2003-02-18 2004-11-04 Nec Corp 確率分布推定装置および異常行動検出装置，ならびにその確率分布推定方法および異常行動検出方法
US20050071432A1 (en) * 2003-09-29 2005-03-31 Royston Clifton W. Probabilistic email intrusion identification methods and systems
US8185348B2 (en) * 2003-10-31 2012-05-22 Hewlett-Packard Development Company, L.P. Techniques for monitoring a data stream
US7487542B2 (en) * 2004-01-14 2009-02-03 International Business Machines Corporation Intrusion detection using a network processor and a parallel pattern detection engine
US7426301B2 (en) * 2004-06-28 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Usual event detection in a video using object and frame features
US7464068B2 (en) * 2004-06-30 2008-12-09 International Business Machines Corporation System and method for continuous diagnosis of data streams
US20070028219A1 (en) * 2004-10-15 2007-02-01 Miller William L Method and system for anomaly detection
US7716011B2 (en) * 2007-02-28 2010-05-11 Microsoft Corporation Strategies for identifying anomalies in time-series data

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548831B2 (en) 2006-12-13 2009-06-16 Kabushiki Kaisha Toshiba Apparatus and method for detecting abnormal sign
WO2009090939A1 (ja) * 2008-01-15 2009-07-23 Nec Corporation ネットワーク異常検出装置及び方法
WO2009107313A1 (ja) * 2008-02-28 2009-09-03 日本電気株式会社 確率モデル選択装置、確率モデル選択方法、およびプログラム
WO2010131746A1 (ja) * 2009-05-15 2010-11-18 日本電気株式会社 障害原因推定システム、障害原因推定方法、及び障害原因推定プログラム
US8484514B2 (en) 2009-05-15 2013-07-09 Nec Corporation Fault cause estimating system, fault cause estimating method, and fault cause estimating program
JP5489085B2 (ja) * 2009-05-15 2014-05-14 日本電気株式会社 障害原因推定システム、障害原因推定方法、及び障害原因推定プログラム
KR101590896B1 (ko) 2014-11-26 2016-02-02 경북대학교 산학협력단 일반화 성능을 갖는 심화학습 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 및 장치
JPWO2016151637A1 (ja) * 2015-03-26 2017-12-14 日本電気株式会社 学習モデル生成システム、方法およびプログラム
JP2020107218A (ja) * 2018-12-28 2020-07-09 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法とプログラム
JP7256364B2 (ja) 2018-12-28 2023-04-12 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法とプログラム

Also Published As

Publication number Publication date
EP1530149A2 (en) 2005-05-11
EP1530149A3 (en) 2006-11-15
US20050102122A1 (en) 2005-05-12
EP1530149B1 (en) 2009-09-16
DE602004023170D1 (de) 2009-10-29
US7660707B2 (en) 2010-02-09

Similar Documents

Publication Publication Date Title
JP2005141601A (ja) モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム
US20180136617A1 (en) Systems and methods for continuously modeling industrial asset performance
JP2004309998A (ja) 確率分布推定装置および異常行動検出装置，ならびにその確率分布推定方法および異常行動検出方法
Valpola et al. An unsupervised ensemble learning method for nonlinear dynamic state-space models
İlhan et al. Predicting community evolution based on time series modeling
US11620474B2 (en) Model reselection for accommodating unsatisfactory training data
CN111950810B (zh) 一种基于自演化预训练的多变量时间序列预测方法和设备
JP4265296B2 (ja) 変化点検出装置，変化点検出方法および変化点検出用プログラム
CN110781818B (zh) 视频分类方法、模型训练方法、装置及设备
CN110162972B (zh) 一种基于语句联合编码深度神经网络的uaf漏洞检测方法
US20230316720A1 (en) Anomaly detection apparatus, anomaly detection method, and program
KR101785547B1 (ko) 주기성 시계열 데이터의 변동 추정 장치 및 방법
US20210365813A1 (en) Management computer, management program, and management method
CN116383096B (zh) 基于多指标时序预测的微服务系统异常检测方法及装置
Lee et al. Learning in the wild: When, how, and what to learn for on-device dataset adaptation
CN113850364A (zh) 非暂态计算机可读记录介质、学习方法和信息处理设备
CN114202123A (zh) 业务数据预测方法、装置、电子设备及存储介质
JP6665071B2 (ja) 人流量予測装置、人流量予測方法、及び人流量予測プログラム
KR20220145007A (ko) 텐서 스트림 데이터에서 손실, 이상치, 패턴을 검출 및 복구하는 데이터 처리 방법
JP6846216B2 (ja) シーン変化点モデル学習装置、シーン変化点検出装置およびそれらのプログラム
JP4268500B2 (ja) プロセスの状態類似事例検索方法および状態予測方法並びに記憶媒体
Zhang et al. LIFE: Learning individual features for multivariate time series prediction with missing values
Iglesias et al. Modelling evolving user behaviours
JP6407205B2 (ja) ラベル列生成装置、ラベル列生成方法、及びプログラム
JP4202339B2 (ja) 類似事例に基づく予測を行う予測装置および方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090812

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090813

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090908

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091120