JP2012212274A - 学習装置、推論装置、学習方法、及び学習プログラム - Google Patents

Abstract

【課題】 連続的な確率変数を離散化してステートとした条件付確率表について、連続値として得られる観測値の情報を有効に活かして、学習により更新させることができる学習装置を提供する。
【解決手段】 推論装置１００の学習部１０は、連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードを含むベイジアンネットワークの連続値ノードに係る条件付確率表を観測に基づく学習によって更新する学習装置であって、連続値ノードとその親ノード又は子ノードの観測値が得られたときに、連続値ノードについて、観測値を平均値とする分布に基づいて各ステートへの配分割合を決定する配分割合決定部１１と、その配分割合に応じて、条件付確率表２２の連続値ノードの複数のステートに対して条件付確率の更新を行う条件付確率表更新部１２とを備えている。
【選択図】 図１

Description

本発明は、ベイジアンネットワークの条件付確率表を観測に基づく学習によって更新する学習装置に関し、特に、連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードを含むベイジアンネットワークの条件付確率表に対して観測に基づく学習を行なう学習装置に関するものである。

従来、複数の要因の依存関係に基づいて確率計算を行う情報処理モデルとしてベイジアンネットワークが知られている。ベイジアンネットワークとは、確率変数、確率変数間の条件付依存関係、及びその条件付確率の３つによって定義されるネットワーク状の確率モデルである。

確率変数はノード、確率変数間の条件付依存関係はノード間に張った有向リンクで表され、リンクの先に来るノードを子ノード、リンクの元にあるノードを親ノードと呼ぶ。条件付確率は、親ノードがある値をとったときに、子ノードがある値をとる確率であり、離散変数の場合にはＰ（子ノード＝ｙ｜親ノード＝ｘ１，ｘ２，．．．）＝ｐのような、子ノードと親ノードがとる全ての状態のそれぞれにおける確率値を列挙した表（条件付き確率表）の形で表現される（非特許文献１）。

図２は、親ノードである「曜日」及び「時刻」からそれぞれ子ノードである「番組総時間」に有向リンクが張られたベイジアンネットワークのグラフ構造を示す図であり、図３は、このベイジアンネットワークの条件付確率表を示す図である。図３に示すように、条件付確率表では、「時刻」が２時間ごとに離散化されており、各曜日及び時刻について、３０分間ごとに離散化された「番組総時間」の確率値が列挙されている。

このようなベイジアンネットワークの確率モデルに対して、実際の観測値を用いて、学習により条件付確率表を更新していく学習装置が提案されている。図３に示す条件付確率表は、図４に示すような条件付観測回数表に基づいて作成される。即ち、条件付確率は、ある親ノードのステート（図２の例では「曜日」及び「時刻」であり、図３の列に相当する）における、子ノードの各ステート（図２の例では「番組総時間」であり、図３の行に相当する）の確率であるので、各確率は、親ノードと子ノードの観測値が得られた場合には、条件付観測回数表における該当するセルの観測回数を増加させるとともに、親ノードの当該ステートにおける子ノードの各ステートの観測回数を、それぞれ当該親ノードのステートにおける合計観測回数で割ることで、当該親ノードのステートにおける子ノードの各ステートの条件付確率を求めることができる。

具体的には、図４に示すように、日曜日の１０時〜１２時という親ノードのステートにおいて、子ノードの番組総時間の観測回数は、３０分〜１時間が４６回、１時間〜１時間３０分が２５回、１時間３０分〜２時間が１１４回、２時間〜２時間３０分が１１回、２時間３０分〜３時間が２５回、３時間以上が７回であり、合計観測回数は２２８回である。

観測に基づく学習により条件付確率表を更新する場合には、まず、図４に示す条件付観測回数表において、該当するセルの観測回数を増加させて、その条件付観測回数表に基づいて条件付確率表を作成しなおす。例えば、日曜日の１０時１５分に番組総時間が１時間５０分であるという観測データを得た場合には、条件付観測回数表において、日曜日の１０時〜１２時であって、番組総時間が１時間３０〜２時間であるセルに観測回数加算値が加算され、この加算された後の条件付観測回数表に基づいて、条件付確率表を計算しなおすことで、条件付確率表が更新される。

このように、観測に基づく学習により条件付確率表を更新することで、条件付確率表の信頼度が向上し、この条件付確率表を使った推論の精度を向上させることができる。

本村陽一「ベイジアンネットワークソフトウェア」、人工知能学会論文誌、第１７巻 ５号ａ（２００２年）

上記の例の「時刻」や「番組総時間」のように、本来は連続的な値が観測される確率変数も、ベイジアンネットワークの条件付確率表で扱うためには、それを離散的なステートをとる確率変数にする必要がある。上記の例では、「時刻」については２時間ごとに離散化され、番組総時間については３０分ごとに離散化されている。このように、本来は連続的な値が観測される事象を離散的なステートをとる確率変数で表現した場合には、学習に用いる観測値としては具体的な連続値が得られているにも関らず、それを条件付確率表の学習に利用するときには、具体的な連続値の情報を有効に活かすことができない。

例えば、図４の例では、上述のように、日曜日の１０時１５分に開始した番組の総時間が１時間５０分であった場合に、条件付観測回数表の「日曜日１０時〜１２時」の列の「１時間３０分〜２時間」の行のセルの観測回数加算値が加算されるが、このとき１０時〜１２時の間であっても１０時により近い（１０時１５分）という情報、及び１時間３０分〜２時間の間であっても２時間により近い（１時間５０分）という情報は失われてしまうことになる。例えば、日曜日の１１時４５分に開始した番組の総時間が１時間３５分であるという観測値が得られた場合にも、上記の場合と同じセルに同じ観測回数加算値が加算されて、その結果、上記の場合と同様にして条件付観測回数表及び条件付確率表が更新されることになる。

本発明は、上記の問題に鑑みてなされたものであり、連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードに係る条件付確率表について、連続値として得られる観測値の情報を有効に活かして、学習により条件付確率表を更新させることができる学習装置を提供することを目的とする。

本発明の学習装置は、連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードを含むベイジアンネットワークの前記連続値ノードに係る条件付確率表を観測に基づく学習によって更新する学習装置であって、前記連続値ノードとその親ノード又は子ノードの観測値が得られたときに、前記連続値ノードについて、前記観測値をパラメータとする分布に基づいて各ステートへの配分割合を決定する配分割合決定部と、前記配分割合決定部にて決定された配分割合に応じて、前記条件付確率表の前記連続値ノードの複数のステートに対して条件付確率の更新を行う条件付確率表更新部とを備えた構成を有している。

この構成によれば、ベイジアンネットワークに、連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードが含まれている場合において、観測に基づいて、その連続値ノードに係る条件付確率表の学習を行なうときには、学習効果をその連続値ノードの観測されたステートだけでなく所定の分布に従ってその周りのステートにも配分することで、連続的な値である観測値の情報を有効に活用して学習効果を得ることができる。

また、本発明の学習装置において、前記配分割合決定部にて決定された配分割合に従って、前記条件付確率表に対応する条件付観測回数表に所定の観測回数加算値を配分することで、前記条件付観測回数表の前記連続値ノードの複数のステートに対して観測回数の更新を行う観測回数表更新部をさらに備えていてよく、前記条件付確率更新部は、前記条件付観測回数更新部にて更新された前記条件付観測回数表に基づいて前記条件付確率表を更新してよい。

この構成によれば、観測値が得られたときに、単に条件付観測回数表におけるその観測値が属するステートにのみ観測回数加算値を加算するのではなく、観測値の具体的な値に基づいて周辺のステートにも観測回数加算値を配分するので、連続的な値である観測値の情報を有効に活用して学習効果を得ることができる。

また、本発明の学習装置において、前記分布は、前記観測値を平均値とする分布であってよい。

また、本発明の学習装置において、前記分布は正規分布であってよい。

また、本発明の学習装置において、前記分布の散らばりに関するパラメータは、予め定められた値であってよい。

また、本発明の学習装置において、前記分布の散らばりに関するパラメータは、複数の前記観測値の統計計算により求められてよい。

また、本発明の学習装置において、前記分布の散らばりに関するパラメータは、予め定められた値に対して、複数の前記観測値の統計計算により求められる推定値を、前記観測値の数が増加するに従って重みを増すように重み付けして更新した値であってよい。

また、本発明の学習装置において、前記分布は正規分布であり、前記分布の散らばりに関するパラメータは、前記正規分布の分散であってよい。

また、本発明の学習装置において、前記配分割合決定部は、前記分布における前記各ステートの累積密度関数を前記各ステートへの配分割合としてよい。

また、本発明の学習装置において、前記条件付確率表更新部は、前記配分割合決定部にて決定された配分割合に応じて、前記条件付確率表の前記連続値ノードの複数のステートに所定の確率加算値を配分し、かつ前記複数のステートを正規化することで、前記更新を行ってよい。

この構成によれば、条件付観測回数表は不要であり、条件付観測回数表を更新することなく、条件付確率表を直接更新できる。

また、本発明の別の態様は、観測値が得られた観測ノードから、ベイジアンネットワークの確率モデルを用いて、未観測ノードの推論を行なう推論装置であって、このベイズ推論装置は、上記の学習装置と、前記観測ノードの観測値を入力する入力部と、前記条件付確率表を用いて、前記観測ノードの観測値に基づいて未観測ノードの推論を行なう推論部と、前記推論部における推論結果を出力する出力部とを備えた構成を有している。

この構成によれば、上記のようにして更新された条件付確率表を用いて未観測ノードの推論が行なわれるので、精度の高い推論を行なうことができる。

また、本発明の推論装置において、前記推論部は、前記観測ノードの観測値に基づいて前記未観測ノードの事後確率の分布を求め、前記事後確率の分布のパラメータを前記推論結果として求めてよい。

また、本発明の推論装置において、前記事後確率の分布のパラメータは、事後確率の平均値であってよい。

この構成によれば、未観測のノード、即ち推論すべきノードが、連続的な値が観測される事象を離散的なステートをとる確率変数で表現したノードである場合に、その未観測のノードにおける最大事後確率のステートを求めるのではなく、その未観測のノードの具体的な推論値が復元される。

また、本発明の推論装置において、前記推論部は、前記観測ノードの観測値に基づいて前記未観測ノードの事後確率の分布を求め、前記未観測ノードの各ステートの代表値と前記事後確率との積の全ステートについての総和を前記推論結果として求めてよい。

また、本発明の推論装置において、前記未観測ノードの各ステート代表値は、前記未観測ノードの各ステートの中央値であってよい。

この構成によっても、未観測のノード、即ち推論すべきノードが、連続的な値が観測される事象を離散的なステートをとる確率変数で表現したノードである場合に、その未観測のノードにおける最大事後確率のステートを求めるのではなく、その未観測のノードの具体的な推論値が復元される。

また、本発明の別の態様は、連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードを含むベイジアンネットワークの前記連続値ノードに係る条件付確率表を学習によって更新する学習方法であって、この方法は、前記連続値ノードとその親ノード又は子ノードの観測値が得られたときに、前記連続値ノードについて、前記観測値をパラメータとする分布に基づいて各ステートへの配分割合を決定する配分割合決定ステップと、前記配分割合決定ステップにて決定された配分割合に応じて、前記条件付確率表の前記連続値ノードの複数のステートに対して条件付確率の更新を行う条件付確率表更新ステップとを含んでいる。

この構成によっても、ベイジアンネットワークに、連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードが含まれている場合において、観測に基づいて、その連続値ノードに係る条件付確率表の学習を行なうときには、学習効果を、その連続値ノードの観測されたステートだけでなく所定の分布に従ってその周りのステートにも配分することで、連続的な値である観測値の情報を有効に活用して学習効果を得ることができる。

また、本発明のさらに別の態様は、コンピュータに上記の条件付確率学習方法を実行させるための学習プログラムである。

本発明によれば、ベイジアンネットワークに連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードが含まれる場合において、観測に基づいて、その連続値ノードに係る条件付確率表の学習を行なうときに、学習効果を、その連続値ノードの観測されたステートだけでなく所定の分布に従ってその周りのステートにも配分するので、連続的な値である観測値の情報を有効に活用して学習効果を得ることができる。

本発明の実施の形態における推論装置の構成を示すブロック図 本発明の実施の形態におけるベイジアンネットワークのグラフ構造を示す図 本発明の実施の形態における条件付確率表を示す図 本発明の実施の形態における条件付観測回数表を示す図 本発明の実施の形態における条件付確率の学習例を示す図 本発明の実施の形態における更新された条件付確率表を示す図 本発明の実施の形態における事後確率分布の計算の例を示す図 本発明の実施の形態における事後確率分布の計算の変形例を示す図 本発明の実施の形態における推論値を求める他の例を示す図 本発明の実施の形態におけるベイジアンネットワークのグラフ構造の他の例を示す図

以下、本発明の実施の形態の学習装置について、図面を参照しながら説明する。図１は、本発明の実施の形態の学習装置を含む推論装置の構成を示すブロック図である。図１に示すように本実施の形態の推論装置１００は、学習部１０、モデル記憶部２０、推論部３０、入力部４０、及び出力部５０を備えている。学習部１０は、本発明の学習装置に相当する。なお、学習部１０及び推論部３０は、コンピュータがプログラムを実行することによって実現されてよい。

モデル記憶部２０は、ベイジアンネットワークの確率モデルを記憶している。学習部１０は、学習によってモデル記憶部２０に記憶された確率モデルを更新する。推論部２０は、あるノードについて観測値が得られたときに（以下、観測値が得られたノードを「観測ノード」という。）、推論すべき未観測のノード（以下、「推論ノード」という。）の推論値を求める。入力部４０は、学習の際には親ノードとその子ノードの観測値を外部から入力し、推論の際には任意の観測ノードの観測値を外部から入力する。出力部５０は、推論部３０にて推論した結果を出力する。

モデル記憶部２０は、ベイジアンネットワークの確率モデルを記憶している。この確率モデルは、「曜日」と「時間」に基づいて、「番組総時間」、即ちユーザに提供する映像コンテンツや音楽コンテンツの提供時間を推論するモデルである。推論装置１００によって推論された番組総時間の推論値は、コンテンツを提供するＡＶシステムに提供され、ＡＶシステムは番組総時間の推論値に従って、コンテンツの提供時間がその推論値になるようにコンテンツを編集ないしは構成して出力する。

モデル記憶部２０は、具体的は、確率変数間の条件付依存関係２１（即ち、ベイジアンネットワークのグラフ構造）と、条件付確率表２２と、条件付確率表２２を作成するための条件付観測回数表２３を記憶している。

図２は、条件付依存関係２１の例を示す図である。本実施の形態では、モデル記憶部２０には、条件付依存関係２１として、親ノードである「曜日」及び「時刻」から子ノードである「番組総時間」に有向リンクが張られたグラフ構造が記憶されている。

ここで、「時刻」及び「番組総時間」は、本来は連続的な値である。このような連続的な値が観測される事象は、ベイジアンネットワークの条件付確率表を作成する際に、所定の間隔で離散化されて、離散的なステートをとる確率変数で表現される。

図３は、条件付確率表２２の例を示す図である。上述のように「時刻」及び「番組総時間」は連続的な値であるので、離散化されている。具体的には、「時刻」については２時間ごとに離散化され、「番組総時間」については３０分ごとに離散化される。各セルには、該当するステートの条件付確率が規定されている。このような条件付確率表２２は、条件付観測回数表２３に基づいて作成され、更新される。

図４は、条件付観測回数表２３を示す図である。条件付観測回数表２３の構成は、条件付確率表２２の構成に対応している。各セルには、該当するステートの観測回数値が規定されている。条件付観測回数表２３において、子ノードの各ステートの観測回数値の、そのステートの合計観測回数値に対する百分率を計算することで、条件付確率表２２の各セルの条件付確率が計算されて、条件付確率表２２が作成される。

入力部４０は、ある事象が観測された場合に、学習による条件付確率表の更新のために、その事象の観測値として、確率変数の値を入力する。具体的には、入力部４０には、親ノードの観測値として曜日及び時刻、子ノードの観測値としてその曜日及び時刻における番組総時間が入力される。

学習部１０は、配分割合決定部１１、条件付観測回数表更新部１２、及び条件付確率表更新部１３を備えている。学習部１０は、ある事象が観測された場合に、入力部４０から観測値を取得する。配分割合決定部１１は、条件付確率表２２においてその事象に該当するセル及びその周辺のセルへの学習の配分割合を決定する。条件付観測回数表更新部１２は、条件付観測回数表２３を更新する。条件付確率表更新部１３は、条件付確率表２２を更新する。

図５は、条件付確率２２の学習例を示す図である。この例では、１回の観測につき、条件付観測回数表２３に観測回数加算値として１００を加算する。この例では、日曜日の１０時１５分に、１時間５０分という番組総時間が観測されている。従来の手法によって学習によって条件付観測回数表２３を更新する場合には、この事象が属するセルである日曜日の１０時〜１２時の列の１時間３０分〜２時間の行のセルにのみ、観測回数加算値（即ち１００）が加算される。

本実施の形態では、事象が観測されて、学習部１０が入力部４０から観測値を取得すると、配分割合決定部１１は、条件付観測回数表２３に対して、観測値を平均値μとして、標準偏差σの正規分布を設定し、その分布の累積密度関数を利用して、各ステートに配分する割合を求める。

具体的には、配分割合決定部１１は、「時刻」については、図５に示すように、観測値１０時１５分を平均値μ１として、標準偏差σ１の正規分布を設定する。そうすると、この分布の累積密度関数は、例えば、６時〜８時は４％、８時〜１０時は３８％、１０時〜１２時は４５％、１２時〜１４時は１３％となる。配分割合決定部１１は、この累積密度関数を、１０時１５分という観測値が所属するステート（１０時〜１２時）及び他の近隣のステートを含む各ステートへの配分割合とする。

なお、分布の散らばりに関するパラメータ（分散等）は、予め定められた任意の値であってもよいし、実際の観測値の分布に基づいて統計計算により求めた（推定された）値であってもよい。さらに、最初は予め定められた値を採用するとともに、観測値から推定される分布の散らばりを、実際の観測値の数が増加するに従って重みを増すように重み付けして最初は予め定められた値を更新していってもよい。また、分布は正規分布以外の他の分布であってもよい。例えば、分布が一次関数であってもよい。

配分割合決定部１１は、番組総時間についても同様に、図５に示すように、観測値である１時間５０分を平均値μ２として、標準偏差σ２の正規分布を設定する。そうすると、この分布の累積密度関数は、例えば、１時間〜１時間３０分は１６％、１時間３０分〜２時間は４７％、２時間〜２時間３０分は３５％、２時間３０分〜３時間は２％となる。配分割合決定部１１は、この累積密度関数を、番組総時間１時間５０分という観測値が所属するステート（１時間３０分〜２時間）及び他の近隣ステートを含むステートへの配分割合とする。

なお、分布の散らばりに関するパラメータ（分散等）は、予め定められた任意の値であってもよいし、実際の観測値の分布に基づいて統計計算により求めた（推定された）値であってもよい。さらに、最初は予め定められた値を採用するとともに、観測値から推定される分布の散らばりを、実際の観測値の数が増加するに従って重みを増すように重み付けして最初は予め定められた値を更新していってもよい。また、分布は正規分布以外の他の分布であってもよい。例えば、分布が一次関数であってもよい。

条件付観測回数表更新部１２は、配分割合決定部１１が決定した配分割合に基づいて、観測値が属するセルとその周辺のセルに、観測回数加算値を配分する。上述のように、条件付観測回数表更新部１２は、条件付観測回数表２３に対して、１回の観測につき観測回数加算値１００を加算するが、日曜日の１０時１５分に観測された１時間５０分という番組総時間という観測データに対しては、上記のようにして配分割合が決定された結果、図５に示す太枠で囲まれた複数のセルに、観測回数加算値１００が配分される。

具体的には、上記のように、４時〜６時の配分割合が４％であり、１時間〜１時間３０分の配分割合が１６％である場合には、太枠領域の左上のセル（４時〜６時／１時間〜１時間３０分）の配分割合は、４％×１６％＝０．６４％となる。従って、このセルには、１００×０．６４％＝０．６４が加算されることになる。太枠内の他のセルについても、同様にして回数加算値１００を各セルの配分割合に応じて配分する。条件付観測回数表更新部１２は、このようにして、条件付観測回数表２３を更新する。なお、各セルへの加算値は一般的には少数になるが、これを所定の位で四捨五入して加算してもよい。例えば、小数点以下を四捨五入して整数として、加算してもよい。

条件付確率表更新部１３は、上記のようにして更新された条件付観測回数表２３に基づいて、各セルの条件付確率を計算し、条件付確率表２２を更新する。これにより、日曜日の１０時１５分に観測された１時間５０分という番組総時間という１回の観測によって、複数のセルが更新される。図６は、更新された条件付確率表を示す図である。

このように、本実施の形態の学習部１０によれば、連続的な値が離散化されて条件付確率表が作成されている場合において、観測に基づく学習を行なうときに、学習効果を観測されたセルだけでなく所定の分布で周りのセルにも配分することで、連続的な値である観測値の情報を有効に活用して学習効果を得ることができる。また、１回の観測により複数の条件付確率表の複数のセルが更新されるので、観測に基づく学習の回数が少ない段階でも、より多くのセルに条件付確率を規定することができる。

なお、上記の実施の形態では、条件付確率表２２は、条件付観測回数表２３に基づいて作成されており、条件付確率表２２を更新する場合にも、条件付観測回数表２３に所定の観測回数加算値を配分して更新した後に、この更新された条件付観測回数表２３に基づいて条件付確率表２２を作成しなおすことで条件付確率表２２を更新したが、条件付確率表２２を更新する方法はこれに限られない。

条件付確率表２２を更新するために配分割合決定部１１が決定した配分割合に応じて観測値が得られた条件付確率表２２のセルとその周辺のセルに所定の確率加算値（例えば３％）を配分してもよい。この場合には、子ノードの各ステートに対する親ノードの条件付確率の合計が１００％を超えることになるので、確率加算値を配分した後に子ノードのステートごとに正規化を行なう。

また、上記の実施の形態では、「時刻」及び「番組総時間」の２つの事象が、連続的な値が観測される事象であり、観測回数加算値又は確率加算値は、時刻の周辺ステートにも番組総時間の周辺ステートにも配分した（２次元状に配分した）が、条件付確率表において１つの確率変数のみが連続的な値が観測される事象の確率変数であってもよい。この場合には、当該連続的な値が観測される事象についてのみ、観測値を平均値とする分布を設定して、配分を行なってよい。

例えば、上記の実施の形態において、「番組総時間」のノードの代わりに、「曜日」及び「時刻」を親ノードとする「シーン」（レジャー、買い物、通勤等）という子ノードがあった場合には、これらの事象のうち、「時刻」のみが連続的な値として観測される事象となる。この場合に、ある時刻におけるあるシーンの観測データが得られ、この観測に基づいて条件付確率表を更新するときは、時刻についてのみ、周辺のステートに対しても配分を行い、例えば、「シーン」について「レジャー」という観測値が得られたからといって、「買い物」にも加算値を配分することはしない。

次に、推論部３０について説明する。推論部３０は、モデル記憶部２０に記憶されたベイジアンネットワークの確率モデルを用いて推論を行なう。推論部３０は、事後確率計算部３１と復元部３２とを備えている。入力部４０は、ある観測ノードの観測値を入力する。事後確率計算部３１は、入力部４０に入力された観測ノードの観測値を受けて、この観測値について、ベイジアンネットワークの計算に従って、推論ノードの事後確率を算出する。

事後確率計算部３１は、ベイジアンネットワークにおける既知の手法で事後確率を計算する。具体的には、以下の通りである。いま、ノードＸから先の親ノードに与えられる観測値（evidence）をＥ⁺ _Xとし、ノードＸから先の子ノードに与えられる観測値（evidence）をＥ^- _Xとすると、次式（１）が成立する。

式（１）にベイズの定理を適用すると、次式（２）が得られる。

Ｘが与えられると、Ｅ⁺ _X及びＥ^- _Xは条件付独立になるので、式（２）は次式（３）で表される。

次式（４）を正規化定数とすると、式（１）は次式（５）で表される。

従って、Ｐ（Ｅ^- _X｜Ｘ）と、Ｐ（Ｘ｜Ｅ⁺ _X）の２項だけを計算すればよいことになる。

ここで、親ノードＵの値をｕとすると、Ｐ（Ｘ｜Ｅ⁺ _X）について次式（６）が成り立つ。

ｕが与えられると、Ｅ⁺ _X及びＸは条件付独立になり、独立変数の連言の確率が個々の確率の積に等しいことを利用して、式（６）は、次式（７）のように表される。

ここで、Ｘ以外でＵに接続されているすべての観測値をＥ_U＼_Xと表すことにすると、Ｅ⁺ _XをＥ_U1＼_X，Ｅ_U2＼_X，．．．Ｅ_Um＼_Xに分解することにより、式（７）は、次式（８）で表される。

式（８）において、Ｐ（Ｘ｜ｕ）は条件付確率表のデータに格納された条件付確率であり、Ｐ（Ｘ｜Ｅ_Uｉ＼X）はＰ（Ｘ｜Ｅ⁺ _X）の再起的確率である。

次に、Ｐ（Ｅ^- _X｜Ｘ）については、Ｘの子ノードＹのＸ以外の親ノードＺも考慮する必要がある。即ち、Ｐ（Ｅ^- _X｜Ｘ）は次式（９）のように表される。

Ｙ_ｉの値をｙ_ｉとし、Ｚ_ｉの値をｚ_ｉとすると、式（９）は、次式（１０）で表され
る。

Ｅ_Yｉ＼Xを２つの独立な要素Ｅ^- _YｉとＥ⁺ _Yｉ＼Xに分解すると、式（１０）は
、次式（１１）で表される。

ｙ_ｉが与えられると、Ｅ^- _YｉはＸとｚ_ｉに対して条件付独立になり、ｚ_ｉが与えら
れると、Ｅ⁺ _Yｉ＼XはＸとｙ_ｉに対して条件付独立になり、さらに、ｚ_ｉについての
和からｚ_ｉを持たない項を抜き出すことにより、式（１１）は、次式（１２）となる。

Ｐ（Ｅ⁺ _Yｉ＼X｜ｚ_ｉ）にベイズの定理を適用すると、式（１２）は、次式（１３
）で表される。

ｙ_ｉとｚ_ｉの連言を書き換えると、式（１３）は、次式（１４）となる。

条件付独立の関係Ｐ（ｚ_ｉ｜Ｘ）＝Ｐ（ｚ_ｉ）により、Ｐ（ｚ_ｉ）を消去でき、Ｅ⁺
_Yｉ＼Xは正規化定数β_ｉとおくと、式（１４）は、次式（１５）となる。

ｙ_ｉの親ノードｚ_ｉjは互いに独立であり、独立変数の連言の確率が個々の確率の積
に等しいことを利用して、さらに、β_ｉをまとめて１つの正規化定数βとおくと、Ｐ（
Ｅ^- _X｜Ｘ）は、次式（１６）にて表される。

式（１６）において、Ｐ（ｙ_ｉ｜Ｘ，ｚ_ｉ）は条件付確率表のデータに格納された条
件付確率であり、Ｐ（Ｅ^- _Yｉ｜ｙ_ｉ）はＰ（Ｅ^- _X｜Ｘ）の再起的確率であり、Ｐ（
ｚ_ｉj｜Ｅ_Zｉj＼Yｉ）は式（８）におけるＰ（Ｘ｜Ｅ⁺ _X）の再起的確率である。
即ち、観測したノードに観測値をセットした後、まず、式（８）により、条件付確率表の条件付確率と再起的確率計算により、子ノードの方向にＰ（Ｘ｜Ｅ⁺ _X）を計算していく。次に、式（１６）により、条件付確率表の条件付確率と式（８）のＰ（Ｘ｜Ｅ⁺ _X）も利用して、再起的確率計算により、親ノードの方向にＰ（Ｅ^- _X｜Ｘ）を計算していく。そして最後に、各ノードについて、Ｐ（Ｘ｜Ｅ⁺ _X）とＰ（Ｅ^- _X｜Ｘ）が求まったところで、式（５）により、各ノードにおける観測値の下での事後確率Ｐ（Ｘ｜Ｅ）を算出する。

図７は、本実施の形態の事後確率分布の計算の例を示す図である。図７の例では、「曜日」及び「時刻」という観測ノードについて、日曜日の１０時１５分という観測値が与えられている。事後確率計算部３１は、上記で説明した計算手法によって、この観測値に対する「番組総時間」という推論ノードの事後確率分布を計算する。

図７において、「曜日」及び「時刻」という観測ノードについての表は、事前確率表であり、事前確率の分布を示しており、本実施の形態では、図７に示すように、日曜日の１０時１５分という観測値が与えられた場合は、事後確率計算部３１は、曜日のノードの事前確率表については、日曜日を１００％として他の曜日は０％とし、時刻のノードの事前確率表については、１０時〜１２時を１００％として他の時間帯は０％として、即ち、事前確率に分布がないものとして、この場合の番組総時間の事後確率分布を計算する。

復元部３２は、事後確率計算部３１が算出した事後確率を用いて、推論ノードの値（推論値）を復元し、出力部５０がこれを出力する。事後確率計算部３１によって図７に示す事後確率分布が得られた場合に、従来の手法では、推論ノードの「１時間３０分〜２時間」というステートが事後確率最大のステートであるとして推論されるだけであり、具体的な時間は復元されない。これに対して、本実施の形態の復元部３２は、推論ノードの事後確率における各ステートについて、中央値×事後確率の計算を行い、それらの総和を復元値（推論値）とする。即ち、復元値＝Σ（ステートの中央値×事後確率）とする。

図７の例では、３０分〜１時間の事後確率が８％、１時間〜１時間３０分の事後確率が１７％、１時間３０分〜２時間の事後確率が２９％、２時間〜２時間３０分の事後確率が２４％、２時間３０分から３時間の事後確率が１２％、３時間以上の事後確率が１０％であるので、復元される時刻は、（４５分×８％）＋（１時間１５分×１７％）＋（１時間４５分×２９％）＋（２時間１５分×２４％）＋（２時間４５分×１２１％）＋（３時間１５分×１０％）＝約１時間５７分となる。なお、３時間以上のステートの中央値は、３時間１５分とした。

以上のように、本実施の形態の推論部３０によれば、推論ノードが連続値である場合に、最大事後確率のステートを求めるのではなく、具体的な値を推論するので、推論値として具体的な値が復元される。

なお、上記の説明では、推論部３０は、日曜日の１０時１５分という観測ノードの観測値が与えられたときに、曜日のノードの事前確率表については、日曜日を１００％とし、他の曜日をすべて０％とし、また、時刻のノードの事前確率表については、１０時〜１２時を１００％とし、他の時間帯を全て０％として、番組総時間の事後確率分布を計算したが、時刻は連続値であるので、時刻のノードについては、分布を持たせてもよい。

図８は、本実施の形態の事後確率分布の計算の変形例を示す図である。図８に示すように、時刻のノードの事前確率表に、観測値である１０時１５分を平均値μ３として、標準偏差σ３の正規分布が設定されている。時刻のノードの事前確率表に設定されたこの分布の累積密度関数は、図８の例では、６時〜８時は４％、８時〜１０時は３８％、１０時〜１２時は４５％、１２時〜１４時は１３％となる。時刻の観測値をこのように分布させた上で番組総時間の事後確率分布を求めてもよい。

なお、分布の散らばりに関するパラメータ（分散等）は、予め定められた任意の値であってもよいし、実際の観測値の分布に基づいて統計計算により求めた（推定された）値であってもよい。さらに、最初は予め定められた値を採用するとともに、観測値から推定される分布の散らばりを、実際の観測値の数が増加するに従って重みを増すように重み付けして最初は予め定められた値を更新していってもよい。また、分布は正規分布以外の他の分布であってもよい。例えば、分布が一次関数であってもよい。

以上、本発明の実施の形態の推論装置１００について説明したが、本発明の推論装置及びそれが備える学習装置は、上記の実施の形態に限られない。例えば、上記の実施の形態では、簡単のために、「番組総時間」の親ノードとして、「曜日」及び「時刻」があり、そのうちの「時刻」について分布を学習させたが、例えば、図９に示すように、「番組総時間」の親ノードとしてさらに「月」があり、この「月」についても分布を学習させてよい。この場合には、２個の親ノードで分布を学習させるので、３次元の分布計算が行なわれて、条件付確率表や条件付観測回数表が更新される。

また、上記の実施の形態では、復元部３２は、推論ノードを復元（推論）する際に、推論ノードの事後確率における各ステートについて、中央値×事後確率の計算を行い、それらの総和を復元値（推論値）としたが、推論ノードの値を復元する（推論値を求める）方法は、これに限られない。

即ち、上記の実施の形態では、推論ノードの各ステートについて、各ステートの代表値として中央値を採用し、中央値×事後確率の計算を行って、それらの総和を復元値としたが、復元値を計算するための各ステートの代表値は中央値に限られない。代表値は、例えば、各ステートの最大値又は最小値であってもよい。さらに、復元値（推論値）は、Σ（代表値×事後確率）に限られない。

図１０は、推論値を求める他の例を示す図である。復元部３２は、事後確率計算部３１にて番組総時間の事後確率が得られると、その分布を求める。復元部３２は、この分布のパラメータに基づいて、推論値を求める。具体的には、復元部３２は、この分布の平均値μ４を求めて、この平均値μ４を推論値とすることができる。このようにしても、番組総時間を復元することができる。

なお、上記の実施の形態では、推論部３０において、復元部３２が最大事後確率のステートを求めるのではなく、具体的な値を復元したが、本発明の条件付確率表学習装置を備える推論装置の構成はこれに限られない。推論部３０は、既知の方法に従って事後確率最大のステートを推論するのみであってもよいし、単に推論ノードの事後確率分布を求めるのみであってもよい。

本発明は、連続値として得られる観測値の情報を有効に活かして、学習により条件付確率表を更新できるという効果を有し、ベイジアンネットワークの条件付確率表を観測に基づく学習によって更新する学習装置等として有用である。

１０ 学習部
１１ 配分割合決定部
１２ 条件付観測回数表更新部
１３ 条件付確率表更新部
２０ モデル記憶部
２１ 条件付依存関係
２２ 条件付確率表
２３ 条件付観測回数表
３０ 推論部
３１ 事後確率計算部
３２ 復元部
４０ 入力部
５０ 出力部
１００ 推論装置

Claims (17)

1. 連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードを含むベイジアンネットワークの前記連続値ノードに係る条件付確率表を観測に基づく学習によって更新する学習装置であって、
   前記連続値ノードとその親ノード又は子ノードの観測値が得られたときに、前記連続値ノードについて、前記観測値をパラメータとする分布に基づいて各ステートへの配分割合を決定する配分割合決定部と、
   前記配分割合決定部にて決定された配分割合に応じて、前記条件付確率表の前記連続値ノードの複数のステートに対して条件付確率の更新を行う条件付確率表更新部と、
   を備えたことを特徴とする学習装置。
2. 前記配分割合決定部にて決定された配分割合に従って、前記条件付確率表に対応する条件付観測回数表に所定の観測回数加算値を配分することで、前記条件付観測回数表の前記連続値ノードの複数のステートに対して観測回数の更新を行う観測回数表更新部をさらに備え、
   前記条件付確率更新部は、前記条件付観測回数更新部にて更新された前記条件付観測回数表に基づいて前記条件付確率表を更新する
   ことを特徴とする請求項１に記載の学習装置。
3. 前記分布は、前記観測値を平均値とする分布であることを特徴とする請求項１又は２に記載の学習装置。
4. 前記分布は、正規分布であることを特徴とする請求項１ないし３のいずれか一項に記載の学習装置。
5. 前記分布の散らばりに関するパラメータは、予め定められた値であることを特徴とする請求項１ないし４のいずれか一項に記載の学習装置。
6. 前記分布の散らばりに関するパラメータは、複数の前記観測値の統計計算により求められることを特徴とする請求項１ないし４のいずれか一項に記載の学習装置。
7. 前記分布の散らばりに関するパラメータは、予め定められた値に対して、複数の前記観測値の統計計算により求められる推定値を、前記観測値の数が増加するに従って重みを増すように重み付けして更新した値であることを特徴とする請求項１ないし４のいずれか一項に記載の学習装置。
8. 前記分布は正規分布であり、前記分布の散らばりに関するパラメータは、前記正規分布の分散であることを特徴とする請求項１ないし３のいずれか一項に記載の学習装置。
9. 前記配分割合決定部は、前記分布における前記各ステートの累積密度関数を前記各ステートへの配分割合とすることを特徴とする請求項１ないし８のいずれか一項に記載の学習装置。
10. 前記条件付確率表更新部は、前記配分割合決定部にて決定された配分割合に応じて、前記条件付確率表の前記連続値ノードの複数のステートに所定の確率加算値を配分し、かつ前記複数のステートを正規化することで、前記更新を行うことを特徴とする請求項１に記載の学習装置。
11. 観測値が得られた観測ノードから、ベイジアンネットワークの確率モデルを用いて、未観測ノードの推論を行なう推論装置であって、
    請求項１ないし請求項５のいずれか一項に記載の学習装置と、
    前記観測ノードの観測値を入力する入力部と、
    前記条件付確率表を用いて、前記観測ノードの観測値に基づいて未観測ノードの推論を行なう推論部と、
    前記推論部における推論結果を出力する出力部と、
    を備えたことを特徴とする推論装置。
12. 前記推論部は、前記観測ノードの観測値に基づいて前記未観測ノードの事後確率の分布を求め、前記事後確率の分布のパラメータを前記推論結果として求めることを特徴とする請求項１１に記載の推論装置。
13. 前記事後確率の分布のパラメータは、事後確率の平均値であるとことを特徴とする請求項１２に記載の推論装置。
14. 前記推論部は、前記観測ノードの観測値に基づいて前記未観測ノードの事後確率の分布を求め、前記未観測ノードの各ステートの代表値と前記事後確率との積の全ステートについての総和を前記推論結果として求めることを特徴とする請求項１１に記載の推論装置。
15. 前記未観測ノードの各ステート代表値は、前記未観測ノードの各ステートの中央値であるとことを特徴とする請求項１４に記載の推論装置。
16. 連続的な値が観測される事象を離散的なステートをとる確率変数で表現した連続値ノードを含むベイジアンネットワークの前記連続値ノードに係る条件付確率表を学習によって更新する条件付確率学習方法であって、
    前記連続値ノードとその親ノード又は子ノードの観測値が得られたときに、前記連続値ノードについて、前記観測値をパラメータとする分布に基づいて各ステートへの配分割合を決定する配分割合決定ステップと、
    前記配分割合決定ステップにて決定された配分割合に応じて、前記条件付確率表の前記連続値ノードの複数のステートに対して条件付確率の更新を行う条件付確率表更新ステップと、
    を含むことを特徴とする条件付確率学習方法。
17. コンピュータに、請求項１６に記載の条件付確率学習方法を実行させるための学習プログラム。

Images