JP2012243256A - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】少数データに対してもパラメータの設定や調節を経ずともロバストに確率関数を推定することができるようにする。
【解決手段】データから最も尤度の高い確率関数を計算し、統計物理学における正準分布と、正準分布における温度パラメータをデータの持つ揺らぎとして計算する。そして、計算された最も尤度の高い確率関数、計算されたデータの揺らぎ、および正準分布が用いられて、確率関数が推定される。本技術は、確率関数を推定して用いる装置に適用できる。
【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、並びにプログラムに関する。詳しくは、データから確率関数を推定する際に、パラメータなどの設定を行わなくても、最適な確率関数を推定できる情報処理装置、情報処理方法、並びにプログラムに関する。

予め与えられたデータから学習して得られた分類のルールを用い、その後得られたデータの分類を行う技術がある。こうした技術においては、データの背後にあるデータ生成源の真の、あるいは真に近い確率分布を推定することが行われる。かかる確率分布の推定には、混合ガウス分布、隠れマルコフモデル、ベイジアンネットワークなど多くのモデルが検討されている。

特開2008-299524号公報

東京大学教養学部統計学教室編，「自然科学の統計学」，東京大学出版会，1992年． C. P. Robert著，「The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation」， Springer-Verlag, New York, NY, second edition, 2007年. S. Yang and K. C. Chang, 「Comparison of Score Metrics for Bayesian Network Learning」， IEEE Transactions on Systems, Man, and Cybernetics Part A: Systems and Humans, Vol. 32, No. 3, pp. 419-428, 2002年. T. Silander, P. Kontkane, and P. Myllymaki著，「On sensitivity of the map Bayesian network structure to the equivalent sample size parameter」， Proceedings of Conference on Uncertainty in Artificial Intelligence, pp. 360367, 2007年. H. Steck著，「Learning the Bayesian network structure: Dirichlet prior versus data」， Proceedings of Conference on Uncertainty in Artificial Intelligence, pp. 511518, 2008年. T.Isozaki, N. Kato, and M. Ueno著，「"Data Temperature" in Minimum Free Energies for Parameter Learning of Bayesian networks」， International Journal on Artificial Intelligence Tools, Vol. 18, No. 5, pp. 653671, 2009年.

非特許文献１には、データから確率関数を推定する場合に、相対頻度から計算することが開示されている。しかしながら、この方法では、データが少ないときに過学習が起こり、ロバストな推定ではないことが、数多くの実験から明らかになっている。

非特許文献２には、データではなく、分析者の事前の信念（事前頻度あるいは仮想頻度と呼ばれる）を、頻度に付け加えることに相当する事前分布を用いるベイズ統計学についての開示があり、この方法によれば、過学習を避けることは可能である。しかしながら、分析者に事前の知識がない場合や客観的な分析を行う必要がある場合に、客観的な事前の信念や事前頻度を定量的に設定することは困難である。

また、非特許文献３では、多変数のベイジアンネットワーク構造を推測するなどの観点では、ある特定の値が推奨されていることが開示されている。しかしながら、非特許文献３で推奨された値も理論的な根拠はないうえに、様々なデータセットでの十分な調査はされていないので最適性は未だ不明である。

さらに上記のパラメータでは多変数の場合に理論的な不整合もあり、ESS(Equivalent Sample Size)と呼ばれる別のパラメータが推奨されている。しかしこのパラメータの最適値は、データセット毎に最適な値の変動が大きく、最適化が難しいことが非特許文献４で開示されている。この最適化の手法が、非特許文献５で提案されている。非特許文献５では、BDeuというベイズ統計の手法と AIC という非ベイズ統計の手法の組合せという点で理論的な一貫性が欠ける手法であることと、AIC が少数データでは精度が悪いことから、やはり少数データでの最適な推定は難しい。さらにはこの方法は多変数のネットワーク構造の推定に特化しており、一般の確率関数の推定には使えないため汎用性が低い。

また、特許文献１や非特許文献６には、自由エネルギー最小原理を用いた確率の推定方法が開示されている。この方法は、ベイズ推定と同様に最尤推定よりロバストであることが知られている。しかしながら、温度の設定が、データ数に陽に依存した関数を仮定している点で最適とは限らないことと、さらに最適な決定が難しいパラメータをも有するため、ベイズ統計と似た状況になっている。

本技術は、このような状況に鑑みてなされたものであり、データから確率関数を推定する際に、パラメータなどの設定を行わなくても、自由エネルギーを最小化する観点で最適な確率関数を推定できるようにするものである。

本技術の一側面の情報処理装置は、データから最も尤度の高い確率関数を計算する第１の計算部と、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算する第２の計算部と、前記第１の計算部により計算される最も尤度の高い確率関数、前記第２の計算部により計算される揺らぎ、および前記正準分布を用いて、確率関数を推定する推定部とを備える。

前記第１の計算部は、経験分布関数を計算するようにすることができる。

前記最も尤度の高い確率関数は、ベイズの事後確率関数で置き換えられるようにすることができる。

前記第２の計算部は、データの揺らぎを前記正準分布の温度に相当するパラメータとして計算で求める。データの持つ揺らぎは前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算されるようにすることができる。

前記データの持つ揺らぎは、予め設定される他のパラメータあるいは、データセット毎に計算されるパラメータを含まないようにすることができる。

前記第２の計算部は、前記データの持つ揺らぎを、カルバック・ライブラー情報量を用いて計算するようにすることができる。

前記第２の計算部は、前記データの持つ揺らぎを計算する際、n個のデータを用いて前記計算を行うに当たり、n個のデータから計算される前記最も尤度の高い確率関数、ベイズ事後確率関数、または経験分布関数のうちのいずれか１つと、前記推定部により推定される（ｎ−１）個のデータから計算される確率関数とによって、カルバック・ライブラー情報量を計算するようにすることができる。

前記（ｎ−１）個のデータから計算される確率関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される確率関数の幾何平均によって置き換えるようにすることができる。なおｊ＝０の場合は一様分布関数を用いることができる。

ｎ個のデータから計算される前記最も尤度の高い確率関数、前記ベイズ事後確率関数、あるいは前記経験分布関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される前記最も尤度の高い確率関数あるいは前記ベイズ事後確率関数あるいは前記経験分布関数の幾何平均で置き換えるようにすることができる。

（ｎ−１）個のデータから計算される確率関数を前記揺らぎの計算を、ｎ個のデータから計算される確率関数に置き換えることによって計算される前記データの持つ揺らぎと前記正準分布とを用いた再帰的計算を用いて、確率関数を推定するようにすることができる。

前記推定部により推定された前記確率関数を用いて、統計的仮説検定を行うようにすることができる。

前記推定部により推定された確率関数から計算される相互情報量、Ｇ二乗統計量、または確率関数比を用いるようにすることができる。

前記推定部により推定された確率関数から計算されるカイ二乗統計量を用いるようにすることができる。

前記推定部により推定された前記確率関数を用いて、統計的モデルの選択を行うようにすることができる。

前記推定部により推定された確率関数から計算されるエントロピーの最も小さいモデルを選択するようにすることができる。

前記推定部により推定される確率関数は、条件付き確率関数または多変量結合確率関数であるようにすることができる。

統計的因果を発見する因果発見装置、または分類器であるようにすることができる。

前記多変量確率関数は、ベイジアンネットワーク、因果ベイジアンネットワーク、マルコフネットワーク、マルコフロジックネットワークのいずれかであるようにすることができる。

本技術の一側面の情報処理方法は、データから最も尤度の高い確率関数を計算し、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定するステップを含む。

本技術の一側面のプログラムは、データから最も尤度の高い確率関数を計算し、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定するステップを含む処理をコンピュータに実行させるためのプログラムである。

本技術の一側面においては、データから最も尤度の高い確率関数が計算され、統計物理学における正準分布と、正準分布におけるパラメータがデータの持つ揺らぎとして計算され、最も尤度の高い確率関数、データの揺らぎ、および正準分布が用いられて、確率関数が推定される。

本技術の一側面によれば、データから確率関数を推定する際に、パラメータなどの設定を行わなくても、最適な確率関数を推定できるようになる。

本技術を適用した確率関数を推定する情報処理装置の一実施の形態の構成を示す図である。 本技術を適用した確率関数を推定する情報処理装置の他の実施の形態の構成を示す図である。 本技術を適用した確率関数を推定する情報処理装置のさらに他の実施の形態の構成を示す図である。 記録媒体について説明するための図である。

以下に、本技術の実施の形態について図面を参照して説明する。

［情報処理装置の構成について］
図１は、本技術を適用した情報処理装置の一実施の形態の構成を示す図である。図１に示した情報処理装置１０は、入力部２１、制御部２２、記憶部２３、および出力部２４から構成されている。また、制御部２２は、最尤推定部４１、温度決定部４２、および確率関数推定部４３から構成されている。以下の説明では、予め定められたＮ個の離散確率変数の場合を例に挙げて説明するが、Ｎ＝１の場合も含んでいる。

制御部２２は、ＣＰＵ (Central Processing Unit) 等のプログラム制御デバイスであり、記憶部２３に格納されているプログラムに従って動作する。記憶部２３には、離散確率変数の数Ｎと、それぞれの離散確率変数の内部状態が記憶されている。また記憶部２３には、データベースとしてデータが格納されている。

入力部２１には、確率変数のどの確率関数を計算するかを指定する引数が入力される。または、データベース中のデータの直近のｍ個を利用する、あるいはどのデータを利用するかの詳細な情報が引数として入力されるように構成することもできる。また確率関数は、複数の変数を含む結合確率関数を指定することもできるし、条件付き確率関数を指定することもできる。入力部２１は、入力された情報を、制御部２２に出力する。

離散確率変数を、｛Ｘ_ｉ｝（ｉ＝１，・・・，ｎ）と表記した場合、所定の変数Ｘ_ｉの内部状態ｊの確率を、ここではＰ（Ｘ_ｉ＝ｊ）と記述する。結合確率関数として二変数であれば、Ｐ（Ｘ_ｉ＝ｋ，Ｘ_ｊ＝ｌ）と指定することもできる。また条件付き確率関数として条件を二変数とすれば、Ｐ（Ｘ_ｉ＝ｌ｜Ｘ_ｊ＝ｍ，Ｘ_ｋ＝ｑ）と指定することもできる。

入力部２１への入力に基づき、推定すべき確率関数あるいは確率値が判明される。次に、この情報に基づき，最尤推定部４１において、記憶部２３に格納されたデータベースから該当する頻度が計算され、最尤推定された確率関数あるいは確率値が計算される。次に、温度決定部４２において、この最尤推定の情報とデータベースからの情報が統合され、温度が決定される。そして、これらの情報に基づいて、確率関数推定部４３において、最終的な確率関数あるいは確率値が計算され、この計算結果が、出力部２４を通して外部に出力される。

本技術を適用した実施の形態においては、決まっていないパラメータが存在しないために、ユーザがパラメータを調節し、設定するということを行わなくても良くなり、ユーザの手間を省かせることが可能となる。また、最尤推定量よりロバストな推定ができるようになる。本技術によれば、このような両立性の利点を有する。以下に、さらに具体的に説明を加える。

［第１の実施の形態について］
第１の実施の形態として、一変数の確率関数を推定する場合を例に挙げ、図１に示した情報処理装置１０が実行する処理について説明する。

まず、記憶部２３には確率変数の一つとして｛ｘ｝が記憶されており、その内部状態が３であることも記憶されている。そして入力部２１には、この変数についてのデータの事例が１０個入力されるとする。この事例は、記憶部２３に記憶することができる。内部状態とは、例えば、高、中、低といった状態である。また事例としては、高という状態が、４回、中という状態が３回、低という状態が３回起きたといった事例である。このような情報が、入力部２１に入力され、記憶部２３に記憶される。

次に最尤推定部４１において、３つの状態毎に入力された事例を参照して各状態Ｘ_ｉ（ｉ＝１，２，３）の頻度ｎ_ｉが数え上げられる。次にデータ数ｎ＝１０が用いられて相対頻度、すなわち最尤推定による確率関数が次式（１）に従って求められる。

式（１）において、

を、以下、Ｐハットと記述する。最尤推定部４１は、式（１）で表される確率関数Ｐハットに基づく計算を、記憶部２３に記憶されている上述した情報を用いて行う。

次に、温度決定部４２は、データの揺らぎを定量化する。以後このデータの揺らぎを温度と呼ぶ。温度が高い状態は、データの揺らぎが大きい状態であり、温度が低い状態は、データの揺らぎが小さい状態である。データ数が少ない場合、推定される関数が適切でない可能性があるが、以下に説明するように温度という概念を導入し、データ数が少ないときでも、推定される関数が適切となるようにすることができる。

ｎ個のデータのうち、ｎ＞ｊなるｊ個のデータによって推定される確率関数Ｐ_ｊ（Ｘ）を用いて、次式（２）のようにそれらの幾何平均を定義する。

ここで Ｐ_０（Ｘ_ｉ）＝１／｜Ｘ｜ と定義する。また、 ｜Ｘ｜ は、変数Ｘの内部状態数を示す。従って、 Ｐ_０（Ｘ） は、一様確率関数である。ここでは ｜Ｘ｜＝３ であるため、状態ｉに依らず、 Ｐ_０（Ｘ_ｉ）＝１／３ である。そしてデータ数ｎ（ｎ≧１）における温度Ｔを式（１）と式（２）を用いた次式（３）で定義する。

式（３）において温度Ｔは、右辺がカルバック・ライブラー情報量で定義されており、その性質からＴ≧０である。またｎ≧１において、βを次式（４）で定義する。
β＝１／（１＋Ｔ） ・・・（４）
温度Ｔが、式（４）で定義されるβという量に変換される。ｎ＝０のときには、β＝０と定義する。

次に確率関数推定部４３において、ｎ≧１における確率関数の推定が行われる。ここでは、自由エネルギー最小原理を用いることで導かれる次式（５）で表される正準分布を用いて、推定結果Ｐ（Ｘ_ｉ）が得られる。

式（５）において、ｎ＝０のときには、 Ｐ_０（Ｘ_ｉ）＝１／｜Ｘ｜ を推定結果とする。このようにして推定された関数が、推定結果として、出力部２４に出力され、図示していない後段の処理に供給される。

このように、利用できるデータから最も尤度の高い確率関数を最尤推定部４１で計算し、統計物理学における正準分布と、正準分布におけるパラメータをデータの持つ揺らぎとして温度設定部４２で計算し、最も尤度の高い確率関数、計算された揺らぎ、および正準分布とを使って確率関数を確率関数推定部４３で推定することで、データの持つ揺らぎを正準分布のパラメータとして計算することでき、最尤推定量を自動補正することができる。

また最尤推定部４１を、利用できるデータから経験分布関数を計算するように構成することもできる。そして、利用できるデータから経験分布関数を最尤推定部４１で計算し、統計物理学における正準分布と、正準分布におけるパラメータをデータの持つ揺らぎとして温度設定部４２で計算し、この正準分布を使って推定される確率関数を確率関数推定部４３で推定するように構成することも可能である。このように構成した場合、データの持つ揺らぎを正準分布のパラメータとして計算することから経験分布を自動補正した推定を行うことできる。

また、最尤推定部４１が、最も尤度の高い確率関数を計算するように構成してもよいし、ベイズの事後確率関数を計算するように構成することも可能である。ベイズの事後確率関数を計算するようにした場合、事前の知識を反映することもできる。

また、温度決定部４２が、温度の計算（データの揺らぎの計算）をする際、正準分布の温度に相当するパラメータとして計算で求める。データの持つ揺らぎは最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、あるいは推定される確率関数の少なくとも一つを用いて計算するように構成することができる。このように構成することで、データの持つ揺らぎから具体的にパラメータを計算することができる。

また、温度決定部４２がデータの持つ揺らぎ（温度）を計算する際、予め設定される他のパラメータあるいは、データセットごとに計算されるパラメータを含まないで計算を行うため、ユーザにパラメータを設定するという余計な手間をかけさせずに、簡単に精度のよい推定ができるようになる。

また、温度決定部４２が、データの持つ揺らぎを計算する際、データの持つ揺らぎを、カルバック・ライブラー情報量を用いて計算する。カルバック・ライブラー情報量を使うことで、揺らぎを０以上の量に限定でき、正準分布と共に使って精度の高い推定ができるようになる。

また、温度決定部４２が、データの持つ揺らぎを計算する際、ｎ個のデータを用いて計算を行うに当たり、ｎ個のデータから計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数と、（ｎ−１）個のデータから計算される確率関数とによってカルバック・ライブラー情報量を計算する構成とすることができる。このような構成とした場合、上述した式（３）は、次式（６）となる。

このような構成とすることで、一つ前のデータでの推定からの違いを揺らぎとして具体的に計算することができるようになる。

また、温度決定部４２が、データの持つ揺らぎを計算する際、上記した式（３）のように、ｎ個のデータを用いて計算を行うに当たり、ｎ個のデータから計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数と、（ｎ−１）個のデータから計算される確率関数をｊ個（０≦ｊ≦ｎ−１のいずれか)までのデータで同様に計算される確率関数の幾何平均によって計算する構成とすることができる。この際、ｊ＝０の場合には、一様分布関数を用いることができる。このような構成とすることで、過去のデータを使った平均からのずれを揺らぎとして具体的に計算することができるようになる。

また、温度決定部４２が、データの持つ揺らぎを計算する際、ｎ個のデータから計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数をｊ個（０≦ｊ≦ｎ−１のいずれか)までのデータで同様に計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数の幾何平均によって計算する構成とすることができる。このような構成とした場合、上述した式（３）は、次式（７）となる。

このような構成とすることで、過去のデータを使った平均からのずれを揺らぎとして具体的に計算することできるようになる。

さらに、温度決定部４２が、データの持つ揺らぎを計算する際、（ｎ−１）個のデータから計算される確率関数を揺らぎの計算を、n個のデータから計算される確率関数に置き換えることによって計算される揺らぎと正準分布とを用いて再帰的計算を用いて、確率関数を推定するように構成することも可能である。このように、再帰的に計算することで、計算量は増えることになるが、精度を高めることができる。

［第２の実施の形態について］
第１の実施の形態を、条件付き確率と二変数以上の結合確率の場合にまで容易に拡張することができ、この条件付き確率と二変数以上の結合確率の場合を、第２の実施の形態として以下に説明する。結合確率は、
Ｐ（Ｘ_１，Ｘ_２，・・・，Ｘ_ｎ）
＝Ｐ（Ｘ_ｎ｜Ｘ_ｎ−１，・・・，Ｘ_２，Ｘ_１）・・・Ｐ（Ｘ_２｜Ｘ_１）Ｐ（Ｘ_１）
と、条件付き確率の積に分解して表現し、計算できるので、条件付き確率の場合のみ考えれば良い。

条件付き確率の場合は、変数｛Ｘ｝のある変数の組｛Ｙ，Ｚ｝についての条件付き確率を例とすれば、条件の全ての特定の状態｛Ｙ＝ｙ，Ｚ＝ｚ｝毎に独立に変数｛Ｘ｝の確率を推定することにすぎない。このことから、条件の変数｛Ｙ，Ｚ｝の特定の状態にインデックスを付け、これをｊとすれば、｛Ｙ，Ｚ｝の状態がｊという条件が成り立つデータの数をｎｊとして、その中で変数Ｘの各状態のインデックスをｉとし、Ｘ＝ｉであるデータの頻度をｎｉｊとすれば、最尤推定による条件付き確率関数Ｐハット（Ｘ｜Ｙ，Ｚ）は、式（１）と同様に次式（８）と求められる。

式（２）も同じく、次式（９）と求められる。

さらに式（３）は、ｊというインデックス付きで、次式（１０）と求められる。

式（４）で、温度β_ｊを定義する。そして、正規分布の式（５）は、次式（１１）と求められる。

または、温度Ｔ_ｊに関しては、ｊについても平均をとり、これをＴとすれば、次式（１２）と表される。

このＴから式（４）で計算されるβを、式（１１）でβ_ｊの代わりに用いてもよい。

［第３の実施の形態について］
次に、第３の実施の形態として、Ｇ^２統計量を用いた三変数の条件付き独立性検定の場合について説明する。三変数の条件付き独立性検定を行う情報処理装置は、図２に示すような構成とされる。図２に示した情報処理装置１００は、入力部１２１、制御部１２２、記憶部１２３、出力部１２４から構成される。また、制御部１２２は、最尤推定部１４１、温度決定部１４２、確率関数推定部１４３、統計量計算部１４４、閾値決定部１４５、および独立性判定部１４６から構成される。

情報処理装置１００における処理について説明する。記憶部１２３には確率変数｛Ｘ，Ｙ，Ｚ｝が記憶されており、その内部状態がともに３であることも記憶されている。また記憶部１２３には、データベースとして、この変数についての過去の事例が１０個格納されている状態であるとする。

入力部１２１に、｛Ｘ，Ｙ，Ｚ｝の中でＸとＹのＺを条件とする条件付き独立性検定を行うようにとの指令が入力されたとする。ただし、条件付き変数Ｚが、空集合の場合も含み、そのような場合には、ＸとＹの独立性検定となる。Ｇ^２統計量をＧ^２で表すと、情報理論における相互情報量Ｉ（Ｘ；Ｙ）との関係が、データ数をＮとして次式（１３）の関係となる。

ここで、Ｐハットは、最尤推定量を表わす。このＧ^２統計量あるいは相互情報量Ｉ（Ｘ；Ｙ）における最尤推定量Ｐハットを、推定される確率関数Ｐで置き換える。推定方法は、例えば、上述した第１または第２の実施の形態と同様の方法を用いることができる。すなわち、統計量計算部１４４は、次式（１４）に基づき統計量を算出する。

なお、この式（１４）で表されるＧ^２統計量の代わりに次式（１５）で表されるＧ^２統計量が用いられるように構成することも可能である。

確率関数の推定は、最尤推定部１４１、温度決定部１４２、および確率関数推定部１４３において行われる。この最尤推定部１４１、温度決定部１４２、および確率関数推定部１４３は、それぞれ図１に示した最尤推定部４１、温度決定部４２、および確率関数推定部４３と同じであるため、上記した第１の実施の形態や第２の実施の形態を適用して、確率関数を推定することができる。

そして検定の閾値、例えば５％といった情報が、入力部１２１に入力され、この閾値を基にχ^２分布から、このデータ数と自由度におけるＧ^２統計量、あるいはχ^２統計量の閾値Ｘ^２ _ｔｈが、閾値決定部１４５において計算される。または検定の数値表をデータベースとして記憶部１２３に格納しておき、この数値表が参照され、閾値Ｘ^２ _ｔｈが表現される構成としてもよい。そして独立性判定部１４６において、計算されたＧ^２統計量あるいはχ^２統計量の閾値Ｘ^２ _ｔｈが用いられ、条件付き独立の仮説が拒絶されるか否かが判定される。その判定結果は、出力部１２４に供給され、図示されていない後段処理に出力される。

第３の実施の形態においては、図２に示したような情報処理装置１００により処理が行われるが、情報処理装置１００の制御部１２２の最尤推定部１４１、温度決定部１４２、および確率関数推定部１４３は、図１に示した情報処理装置１０の制御部１２の最尤推定部４１、温度決定部４２、および確率関数推定部４３と同じ構成である。すなわち、情報処理装置１００においても、確率関数を推定する部分を、第１または第２の実施の形態と同じ構成とすることが可能であり、第１または第２の実施の形態として説明した確率関数の推定を第３の実施の形態に対しても適用できる。

このような確率関数の推定を行い、統計的仮説を検定することが、第３の実施の形態を適用することで可能となる。このような検定が行われることで、仮説検定の精度を高めることが可能となる。

第３の実施の形態においては、統計的仮説を検定する情報処理装置１００において、第１の実施の形態や第２の実施の形態として説明した確率関数を推定する情報処理装置１０と同じようにして推定された確率関数から、統計量計算部１４４により相互情報量、Ｇ二乗統計量、あるいは確率関数比を用いた計算を行うようにした。このように構成したことで、Ｇ二乗検定あるいは尤度比検定の精度を高めることができる。

また、推定された確率関数から計算されるカイ二乗統計量を用いた検定を行うように構成することもできる。このような構成とすることで、カイ二乗検定の精度を高めることができる。

［第４の実施の形態について］
次に、第４の実施の形態として、エントロピーを用いたモデル選択について説明する。第４の実施の形態においては、モデル選択の指針として、エントロピーが最小となるモデルを選択するという基準を採用した場合を例に挙げて説明する。

図３に示した情報処理装置２００は、入力部２２１、制御部２２２、記憶部２２３、出力部２２４から構成される。また、制御部２２２は、最尤推定部２４１、温度決定部２４２、確率関数推定部２４３、モデルエントロピー計算部２４４、モデル列挙部２４５、およびモデル比較部２４５から構成される。

情報処理装置２００における処理について説明する。記憶部２２３には確率変数｛Ｘ，Ｙ，Ｚ｝が記憶されており、その内部状態がともに３であることも記憶されている。また記憶部２２３には、データベースとして、この変数についての過去の事例が１０個格納されている状態であるとする。

入力部２２１に、｛Ｘ，Ｙ，Ｚ｝からなる確率分布表現での最適モデル選択の指令が入ったとする。同時確率分布の表現としては、全て独立な分布、すなわち、
Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ（Ｘ）Ｐ（Ｙ）Ｐ（Ｚ）
や、一部を独立とみなすような分布、例えば、
Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ（Ｘ）Ｐ（Ｙ｜Ｘ）Ｐ（Ｚ｜Ｘ）
などの複数のモデルが考えられる。

制御部２２２において、モデル列挙部２４５から、処理対象とされる所定のモデルが選択され、最尤推定部２４１に供給される。このモデル列挙部２４５からのモデルに対して、最尤推定部２４１、温度決定部２４２、および確率関数指定部２４３における各部の処理で、確率分布が計算され、全ての確率関数が推定される。

最尤推定部２４１、温度決定部２４２、および確率関数指定部２４３は、図１に示した情報処理装置１０の最尤推定部４１、温度決定部４２、および確率関数推定部４３と同じ構成であるため、第１または第２の実施の形態として説明した確率関数の推定を第４の実施の形態に対しても適用できる。

そして、推定された確率関数に基づいて、モデルエントロピー計算部２４４により、例えば、所定のモデルのエントロピーが計算される。所定のモデルが、
Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ（Ｘ）Ｐ（Ｙ｜Ｘ）Ｐ（Ｚ｜Ｘ）
であった場合、このモデルのエントロピーは、次式（１６）となる。

このようにして算出されたモデルのエントロピーは、モデル比較部２４６に格納される。全てのモデルのエントロピーが格納された時点で、モデル比較部２４６は、最もエントロピーの小さいモデルを選択し、その選択結果を、出力部２２４に出力する。このように、確率関数を推定し、その推定した確率関数を用いてモデルを選択することで、モデル選択の精度を高めることができる。

第４の実施の形態においては、モデルを選択する情報処理装置２００において、第１の実施の形態や第２の実施の形態として説明した確率関数を推定する情報処理装置１０と同じようにして推定される確率関数から計算されるエントロピーの最も小さいモデルを選択する構成とすることができる。このような構成とすることで、エントロピーを基準とするモデル選択の精度を高めることができる。

第３の実施の形態における統計的仮説検定を行う情報処理装置、あるいは第４の実施の形態における統計的モデルの選択を行う情報処理装置のうちの、少なくとも一つを用いることで、多変量確率関数の推定を行う情報処理装置を構成することができる。このような情報処理装置によれば、多変量確率関数の推定精度を高めることができる。

また、多変量確率関数の推定を行う情報処理装置は、統計的因果を発見する因果発見装置であるようにすることもできる。このように構成することで、因果発見の精度を高めることができる。

また、多変量確率関数の推定を行う情報処理装置を、分類器として構成することも可能である。このように構成することで、分類器の精度を高めることができる。

また、多変量確率関数の推定を行う情報処理装置における多変量確率関数は、ベイジアンネットワーク、因果ベイジアンネットワーク、マルコフネットワーク、マルコフロジックネットワークのいずれかであるようにすることもできる。このように構成することで、上述したモデルの推定精度を高めることができる。

［第５の実施の形態について］
以下に、第１乃至第４の実施の形態のいずれかの実施の形態を適用した具体例をさらに説明する。まず第５の実施の形態として、推定される確率関数を推薦システムに適用した場合について説明する。

推薦システムとしては、書籍、音楽、映画などを、ユーザに推薦する例が挙げられる。一般に推薦システムでは、ユーザに、そのユーザの嗜好に合った何らかの商品やサービスを推薦するが、この推薦のときに、推薦のレーティングも表示あるいは教示されることがある。この表示や教示はその商品あるいはサービスを過去に利用した別のユーザによってフィードバックされた情報が使われることがある。このようなユーザからのフィードバックとして、５つ星を最高、１つ星を最低として星の数を評価の指標としてフィードバックしてもらうシステムの例を考える。

この場合、ユーザに推薦される商品あるいはサービスの推薦のレーティングは、別のユーザからフィードバックされた評価指標の期待値であることがある。例えば、１００人からのフィードバックの期待値として４つ星が表示されたり、２人からのフィードバックの期待値として４つ星が表示されたりする。この両者の場合、前者の１００人からのフィードバックの方が、２人からのフォードバックよりも、同じ４つ星であっても情報の信頼性は高いと考えられる。

しかしながら、通常の期待値では、この違いが表現できない。分散値を表示しても差が出ないことが有りえる。しかしながら、上記したように、温度という概念を導入した確率関数の推定を適用すれば、前者（１００人からのフィードバック）の期待値の揺らぎは小さくなり（温度は低くなり）、後者（２人からのフィードバック）の期待値の揺らぎは大きくなる（温度は高くなる）。

このような温度の差により、推定される確率関数のバイアスは、温度の高い後者では補正されるため、星の数が４より小さくなり、その度合いは前者より後者の方が大きくなる。また揺らぎの大きさも表示すれば、ユーザは、データの少なさによる過大あるいは過小な評価の可能性が自動で補正されたレーティングを得ることができる。またユーザは、情報の持つ信頼性も知ることができる。これにより、ユーザは、よりフィードバックされた情報を、正確に把握し、自身の判断材料に役立てることができる。本技術によれば、このような判断材料を、適切な情報として提供することが可能となる。

［第６の実施の形態について］
次に、第６の実施の形態として、推定される確率関数を用いて病気と症状の因果関係を発見するシステムについて説明する。ここでは、確率変数として{結核(T)、肺がん(L)、気管支炎(B)、胸部X線結果(X)、呼吸困難(D)、喫煙状況(S)}が用意されているとする。()内のアルファベットを略字として以下に使用する。

こうした変数間の因果関係をデータから推定し、さらに条件付き確率関数として定量化する。因果関係の推定に、条件付き独立性の検定が有効であることが知られており、ここではこの検定を用いて推定する。検定の統計量としては第３の実施の形態で例として挙げたＧ^２統計量を用いることができる。条件変数のセットが大きくなると推定の精度が落ちることから、条件変数のセットの大きさを昇順にして評価する。この方法としてPCアルゴリズムと呼ばれる技術を適用できる。

帰無仮説として独立性を対立仮説として依存性が設定され、変数のセット、データセット、そして検定の閾値が入力とされる。全ての変数の組には依存性があるとし、独立性が棄却されなかった場合に、この組から除外される。まず条件変数のセットが、空集合の場合が調べられる。すなわち全ての変数の組｛Ｘ、Ｙ｝について、式（１３）におけるＧ^２＝２ＮＩ（Ｘ；Ｙ）の計算が実行される。この検定により独立の仮説が棄却されなければ、変数ＸとＹの間に依存性がないとして依存性を示す組から除外される。棄却された場合は、除外されない。

次に条件セットの組が一つの場合（この条件を変数Ｚとする）におけるＧ^２＝２ＮＩ（Ｘ；Ｙ｜Ｚ）が計算され、同様に棄却された場合には依存性を示す組から除外される。条件セットの組が二つの場合（この条件を変数の組｛Ｚ，Ｗ｝とする）、Ｇ^２＝２ＮＩ（Ｘ；Ｙ｜｛Ｚ，Ｗ｝）が計算され、同様に検定が行なわれる。このような処理が繰り返されることによって、最終的に全ての条件セットに対して独立性が棄却された組のセットが依存性を示す組として残る。これらの組には｛Ｘ−Ｙ｝のように、向きのない線が与えられる。

次にオリエンテーション・ルールと呼ばれる技術を適用し、向きのない線を、可能な限り｛Ｘ→Ｙ｝のように向きのある線に変更するための処理が行われる。この処理が繰り返されることにより最終的に、変数が頂点とされ、向きのある線と向きのない線がリンクとされるネットワークが形成される。このネットワークが、因果ネットワークとして出力される。例えば、｛Ｓ−Ｃ｝，｛Ｓ−Ｂ｝，｛Ｃ→Ｄ｝，｛Ｂ→Ｄ｝，｛Ｃ→Ｘ｝，｛Ｔ→Ｘ｝といった因果ネットワークが作成され、出力される。

さらにこれらの関係を確率的関係として表現することが可能である。上記のネットワークで向きのない線は統計的識別不可能な因果なので、ユーザが、変数に関する背景知識を使って指定することができる。例えば、｛Ｓ−Ｃ｝を、ユーザが｛Ｓ→Ｃ｝と指定する、または｛Ｃ→Ｓ｝と指定することにより、｛Ｓ−Ｃ｝の因果が特定されるようにすることができる。こうして全ての線が向きのある線に変更されると、全ての関係がベイジアンネットワークとして表現される。

ここまでの処理を用いることで、変数毎に親と呼ばれる変数の組を決定することができる。例えば、変数Ｄに対しては｛Ｂ，Ｃ｝が親と呼ばれる変数の組となり、変数Ｘに対しては｛Ｃ，Ｔ｝が親と呼ばれる変数の組となる。全ての変数に対して親を条件とする条件付き確率関数が推定される。親がなければ一般の確率関数となる。これら全ての確率関数はデータセットから、第１の実施の形態や第２の実施の形態と同じく推定される。こうして全ての（条件付き）確率関数が推定され、ネットワークの構造と共に出力される。

［第７の実施の形態について］
次に、第６の実施の形態として、推定される確率関数を用いた応用として文書分類システムについて説明する。本システムは教師あり学習システムと呼ばれる。そのため学習部と推定部にシステムが分けられる。そのようなシステムの学習部に本技術を適用することができる。

学習部は、入力としてテキスト文書とそのカテゴリー分類結果のｍ個のセットが入力される。入力されたテキスト文書は、形態素解析などによって単語に分割される。この単語が、分類器の確率変数として記憶される。この単語の確率変数について、各文書に生起したか否かの状態数２を持つとする。あるいは予め何回生起したかによるカテゴリーが作成されるようにしてもよい。ここでは前者を仮定する。

すると文書分類カテゴリーも確率変数として、これと各単語との確率変数の依存関係を調べることができる。ここで両者の依存関係が弱い単語については相互情報量などの利用により調べ、予め変数としては削除しておくことができる。各単語間の相関関係もあるのでこの関係をベイジアンネットワークで表現することにより、精度の高い文書分類器を生成することができる。ベイジアンネットワークのネットワーク構造を学習は統計的なモデル選択を使って実施することができる。第４の実施の形態で説明したエントロピー最小化モデル選択によってこの学習を実行することができる。

入力としては、Ｎ個の単語からなる確率変数の組、それらの状態数２、および各変数の各文書の生起の状態に関するｍ個のデータセットである。第４の実施の形態で示したようにモデル毎のエントロピーが計算されることで、エントロピー最小となるネットワーク構造を推定することができる。

全ての組合せが多すぎる場合には、予め変数を減らしておく、あるいは貪欲アルゴリズムと呼ばれる方法や依存の複雑さを予め制限する、などの方法を併用すればよい。このような処理が行われることで、出力は最適なネットワーク構造とすることが可能となる。この出力は、変数をＸとして、Ｘとその条件となる変数セット（ここでは３変数｛Ｙ，Ｚ，Ｗ｝を例とする）との組になる。これを｛Ｘ｜Ｙ，Ｚ，Ｗ｝と表す。

次に学習部は、設定されたネットワーク構造での全ての条件付き確率を計算する。入力としては全ての単語の変数Ｘに対して、ネットワークによって定まった条件セットの組｛Ｙ，Ｚ，Ｗ｝に文書分類変数Ｘ_Ｃも加えた組｛Ｙ，Ｚ，Ｗ，Ｘ_Ｃ｝がデータセットとともに与えられる。これをCondition（Ｘ）と表す。この第７の実施の形態においても、第１または第２の実施の形態に従って、条件付き確率関数Ｐ（Ｘ｜Condition（Ｘ））を推定することができる。

出力としては全ての単語変数の条件付き確率関数となる。各単語変数Ｘ_iに対する条件付き確率関数Ｐ（Ｘ｜Condition（Ｘ_ｉ））と、文書分類変数の確率関数Ｐ（Ｘ_Ｃ）が計算される。これで学習部での学習が終了し、それぞれの出力が記憶部に格納される。

推定部では、新たに分類したいテキスト文書データが入力として与えられる。このテキスト文書は、形態素解析によって単語に分割される。記憶部に記憶されている全ての単語確率変数の条件付き確率関数が参照され、新たなテキスト文書中の単語の生起情報から該当する条件付き確率関数の値が抽出される。これらを条件付き確率値と呼ぶと、これらの条件付き確率値によって入力された文書が、どのカテゴリーに分類されるかの条件付き確率関数が、次式（１７）によって計算される。

式（１７）における｛ｅ｝は、単語変数には全て状態が定まっているので、それらの組を表している。また右辺のＸ_ｉ＝ｅ_ｉは、変数単語Ｘ_ｉの状態がｅ_ｉであること、

は、文書分類変数を除いたCondition（Ｘ）の変数の組の状態が｛Ｅ｝であることを、それぞれ示している。この結果、最も確率値の高いカテゴリーに、文書が入力されればよい。従って、最も確率値の高いカテゴリーが出力として提示される。

このように、本技術は、確率関数を用いて処理を行う装置に対して適用することができ、ここでの例示は一例であり、限定を示すものではない。

本技術によれば、データ数に依存したバイアスを自動補正された確率関数の推定が可能となる。また、データセットごとにユーザが調整するパラメータがないので、少数データでの精度と低い計算コストを両立させることができる。

［記録媒体について］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
データから最も尤度の高い確率関数を計算する第１の計算部と、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算する第２の計算部と、
前記第１の計算部により計算される最も尤度の高い確率関数、前記第２の計算部により計算される揺らぎ、および前記正準分布を用いて、確率関数を推定する推定部と
を備える情報処理装置。
（２）
前記第１の計算部は、経験分布関数を計算する
前記（１）に記載の情報処理装置。
（３）
前記最も尤度の高い確率関数は、ベイズの事後確率関数で置き換えられる
前記（１）または前記（２）に記載の情報処理装置。
（４）
前記第２の計算部は、データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記データの持つ揺らぎは、予め設定される他のパラメータあるいは、データセット毎に計算されるパラメータを含まない
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記第２の計算部は、前記データの持つ揺らぎを、カルバック・ライブラー情報量を用いて計算する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記第２の計算部は、前記データの持つ揺らぎを計算する際、n個のデータを用いて前記計算を行うに当たり、n個のデータから計算される前記最も尤度の高い確率関数、ベイズ事後確率関数、または経験分布関数のうちのいずれか１つと、前記推定部により推定される（ｎ−１）個のデータから計算される確率関数とによって、カルバック・ライブラー情報量を計算する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記（ｎ−１）個のデータから計算される確率関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される確率関数の幾何平均によって置き換える
前記（７）に記載の情報処理装置。
（９）
ｎ個のデータから計算される前記最も尤度の高い確率関数、前記ベイズ事後確率関数、あるいは前記経験分布関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される前記最も尤度の高い確率関数あるいは前記ベイズ事後確率関数あるいは前記経験分布関数の幾何平均で置き換える
前記（７）に記載の情報処理装置。
（１０）
（ｎ−１）個のデータから計算される確率関数を前記揺らぎの計算を、ｎ個のデータから計算される確率関数に置き換えることによって計算される前記データの持つ揺らぎと前記正準分布とを用いた再帰的計算を用いて、確率関数を推定する
前記（７）または前記（８）に記載の情報処理装置。
（１１）
前記推定部により推定された前記確率関数を用いて、統計的仮説検定を行う
前記（１）に記載の情報処理装置。
（１２）
前記推定部により推定された確率関数から計算される相互情報量、Ｇ二乗統計量、または確率関数比を用いる
前記（１１）に記載の情報処理装置。
（１３）
前記推定部により推定された確率関数から計算されるカイ二乗統計量を用いる
前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記推定部により推定された前記確率関数を用いて、統計的モデルの選択を行う
前記（１）に記載の情報処理装置。
（１５）
前記推定部により推定された確率関数から計算されるエントロピーの最も小さいモデルを選択する
前記（１４）に記載の情報処理装置。
（１６）
前記推定部により推定される確率関数は、多変量結合確率関数あるいは条件付確率関数である
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
統計的因果を発見する因果発見装置、または分類器である
前記（１６）に記載の情報処理装置。
（１８）
前記多変量確率関数は、ベイジアンネットワーク、因果ベイジアンネットワーク、マルコフネットワーク、マルコフロジックネットワークのいずれかである
前記（１６）または（１７）に記載の情報処理装置。
（１９）
データから最も尤度の高い確率関数を計算し、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定する
ステップを含む情報処理方法。
（２０）
データから最も尤度の高い確率関数を計算し、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定する
ステップを含む処理をコンピュータに実行させるためのプログラム。

１０ 情報処理装置， ２１ 入力部， ２２ 制御部， ２３ 記憶部， ２４ 出力部， ４１ 最尤推定部， ４２ 温度決定部， ４３ 確率関数推定部， １００ 情報処理装置， １２１ 入力部， １２２ 制御部， １２３ 記憶部， １２４ 出力部， １４１ 最尤推定部， １４２ 温度決定部， １４３ 確率関数推定部， １４４ 統計量計算部， １４５ 閾値決定部， １４６ 独立性判定部， ２００ 情報処理装置， ２２１ 入力部， ２２２ 制御部， ２２３ 記憶部， ２２４ 出力部， ２４１ 最尤推定部， ２４２ 温度決定部， ２４３ 確率関数推定部， ２４４ モデルエントロピー計算部， ２４５ モデル列挙部， １４６ モデル比較部

Claims (20)

1. データから最も尤度の高い確率関数を計算する第１の計算部と、
   統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算する第２の計算部と、
   前記第１の計算部により計算される最も尤度の高い確率関数、前記第２の計算部により計算される揺らぎ、および前記正準分布を用いて、確率関数を推定する推定部と
   を備える情報処理装置。
2. 前記第１の計算部は、経験分布関数を計算する
   請求項１に記載の情報処理装置。
3. 前記最も尤度の高い確率関数は、ベイズの事後確率関数で置き換えられる
   請求項１に記載の情報処理装置。
4. 前記第２の計算部は、データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する
   請求項１に記載の情報処理装置。
5. 前記データの持つ揺らぎは、予め設定される他のパラメータあるいは、データセット毎に計算されるパラメータを含まない
   請求項１に記載の情報処理装置。
6. 前記第２の計算部は、前記データの持つ揺らぎを、カルバック・ライブラー情報量を用いて計算する
   請求項１に記載の情報処理装置。
7. 前記第２の計算部は、前記データの持つ揺らぎを計算する際、n個のデータを用いて前記計算を行うに当たり、n個のデータから計算される前記最も尤度の高い確率関数、ベイズ事後確率関数、または経験分布関数のうちのいずれか１つと、前記推定部により推定される（ｎ−１）個のデータから計算される確率関数とによって、カルバック・ライブラー情報量を計算する
   請求項１に記載の情報処理装置。
8. 前記（ｎ−１）個のデータから計算される確率関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される確率関数の幾何平均によって置き換える
   請求項７に記載の情報処理装置。
9. ｎ個のデータから計算される前記最も尤度の高い確率関数、前記ベイズ事後確率関数、あるいは前記経験分布関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される前記最も尤度の高い確率関数あるいは前記ベイズ事後確率関数あるいは前記経験分布関数の幾何平均で置き換える
   請求項７に記載の情報処理装置。
10. （ｎ−１）個のデータから計算される確率関数を前記揺らぎの計算を、ｎ個のデータから計算される確率関数に置き換えることによって計算される前記データの持つ揺らぎと前記正準分布とを用いた再帰的計算を用いて、確率関数を推定する
    請求項７に記載の情報処理装置。
11. 前記推定部により推定された前記確率関数を用いて、統計的仮説検定を行う
    請求項１に記載の情報処理装置。
12. 前記推定部により推定された確率関数から計算される相互情報量、Ｇ二乗統計量、または確率関数比を用いる
    請求項１１に記載の情報処理装置。
13. 前記推定部により推定された確率関数から計算されるカイ二乗統計量を用いる
    請求項１１に記載の情報処理装置。
14. 前記推定部により推定された前記確率関数を用いて、統計的モデルの選択を行う
    請求項１に記載の情報処理装置。
15. 前記推定部により推定された確率関数から計算されるエントロピーの最も小さいモデルを選択する
    請求項１４に記載の情報処理装置。
16. 前記推定部により推定される確率関数は、多変量結合確率関数あるいは条件付き確率関数である
    請求項１に記載の情報処理装置。
17. 統計的因果を発見する因果発見装置、または分類器である
    請求項１６に記載の情報処理装置。
18. 前記多変量確率関数は、ベイジアンネットワーク、因果ベイジアンネットワーク、マルコフネットワーク、マルコフロジックネットワークのいずれかである
    請求項１６に記載の情報処理装置。
19. データから最も尤度の高い確率関数を計算し、
    統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
    前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定する
    ステップを含む情報処理方法。
20. データから最も尤度の高い確率関数を計算し、
    統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
    前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定する
    ステップを含む処理をコンピュータに実行させるためのプログラム。

Images