JP2009087235A - モデル構築装置並びにモデル構築のための方法およびプログラム - Google Patents

Abstract

【課題】モデルパラメータの多い場合にも効率的に混合モデルを構築する。
【解決手段】評価対象の性質を数値によって表した変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データと、変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報と、地理空間における位置毎に適用するべき確率モデルを表した適用モデル情報とを用意し、前記適用モデル情報に基づき、同一または異なる２つの確率モデルからなる各組について２つの確率モデル間の依存性を数値によって表したモデル依存性情報を計算し、複数の確率モデルのパラメータとモデル依存性情報との組に対する地理空間データの尤度が高くなるように、地理空間における位置毎に適用するべき確率モデルを選択し、前記適用モデル情報を更新し、地理空間データにおいて同一の確率モデルが適用される複数の各グループの各々に対応する確率モデルのパラメータを最適化し、前記パラメータ情報を更新する。
【選択図】図２

Description

本発明は、たとえばモデルパラメータ数の多い場合に用いて好適なモデル構築装置、モデル構築方法およびモデル構築プログラムに関する。

分析対象物の何らかの性質が数値として表すことができ、その性質が確率的な振る舞いをするとき、数値化された性質は確率変数と呼ばれる。いくつかのモデルパラメータθを用いて１つ以上の確率変数の振る舞いを簡潔に表すためにさまざまな確率モデルが提案されている。

例えば、下記の式(1)の正規分布モデルは平均(μ)と標準偏差(σ)という２つのモデルパラメータ(θ={μ, σ})を用いて確率変数Xが値xをとりうる確率を記述することが可能な確率モデルである。

確率モデルには大きく分けて２つの種類が存在する。１つは生成モデルと呼ばれ、もう一つは予測モデルと呼ばれる。前者の生成モデルは、対象の性質に関する１つ以上の確率変数である属性変数Xがあるとき、Xが特定の値xをとる確率(Pr(X=x))を記述するための確率モデルである。一方、後者の予測モデルは、属性変数Xの他に対象の性質に関する１つ以上の確率変数である目的変数Yを用意し、Xが特定の値xをとるときにYが特定の値yをとる確率(Pr(Y=y|X=x))を記述するための確率モデルである。例えば、式(1)の一次元正規分布モデルや多次元正規分布モデルは生成モデルであり、線形重回帰モデルや一般化線形モデルなどは予測モデルに分類される。

確率モデルのパラメータは、モデル化したい性質について数値化した情報を複数の対象物について収集した学習データから決定(学習)することができる。確率モデル構築装置は読み込んだ学習データを用いて最適な確率モデルのパラメータを決定するための装置である。

正規分布やポアソン分布などの単純な確率分布を用いて複雑な確率的現象をモデル化するために、単純な確率分布を２つ以上組み合わせた混合モデルと呼ばれる確率モデルが用いられる。混合モデルにおいて、各事例の振る舞いは複数存在する単純な確率分布のいずれか（あるいは組み合わせ）によって説明できればよい。混合モデルのモデルパラメータは学習データを用いてEMアルゴリズムなどによって決定することができる（非特許文献１）。

店舗の売り上げや地価、人口動態などの地表上で生じる現象に関する確率変数について確率モデルによって振る舞いを正確に表現できれば、対象地域における店舗の売り上げや地価の予測、人口動態の構造解析など様々な応用を行うことができる。そのためには、そのような地理空間的な現象のための確率モデルである地理空間モデルを、地理空間情報を含む学習データである地理空間データから決定することが必要になる。

複雑な地理空間的現象をモデル化するためには混合モデルを用いることが有効であるが、地理空間的現象には空間依存性が存在する場合がある。例えば、対象エリアの各地点における機器の故障発生について数値化した故障指数という確率変数が(単純な正規分布では表現しきれないといった)複雑な振る舞いを示すため、混合モデルを用いてモデル化する場合を考える。故障指数の分布が単純な正規分布にならないのは、塩害という隠れた空間的要因が存在するためであり、海に近いエリアと海から遠いエリアとでは故障指数の確率分布が異なるからだとする。そのような場合、ある地点が塩害エリアに含まれるとき隣の地点も塩害エリアに含まれる可能性は高いという点を考慮してモデルパラメータθの学習を行わなければならない。空間依存性が存在する地理空間的現象を扱うためには、このような地点と地点との位置的な関係を考慮した混合モデルである地理空間混合モデルを構築することが必要になるが、通常のEMアルゴリズムなどでは空間依存性を考慮したパラメータ学習を行うことができない。

空間依存性を考慮した確率モデルとしては、画像処理などに応用されているマルコフ確率場(Markov Random Fields, 以下MRF)が存在する（非特許文献２）。MRFでは空間依存性パラメータλ(以下MRFパラメータ)を用いることによって隣接する地点間の依存関係を考慮している。MRFパラメータは画像サンプルデータから決定することができる。一般に画像処理の学習データにはどのピクセルとどのピクセルが異なるラベルになるかに関する情報が含まれているが、地理空間データを用いて混合モデルを構築する際にはそのような領域の境界情報が得られない点が地理空間混合モデル構築の困難さのひとつである。

MRFによって空間依存性を考慮した地理空間混合モデル構築方法として非特許文献３に提案された方法がある。非特許文献３の方法ではn次元連続値ベクトルであるモデルパラメータθのすべての組み合わせについてMRFパラメータλを導入し、準ニュートン法とマルコフ連鎖モンテカルロ法(以下MCMC法)によってθとλの推定を行っている。
Finite Mixture Models, Wiley-Interscience, ISBN: 0471006262 Image Analysis, Random Fields and Markov Chain Monte Carlo Methods: A Mathematical Introduction, Springer, ISBN: 3540442138 Mark S. Kaiser, Noel Cressie, Jaehyung Lee, Spatial Mixture Models based on Exponential Family Conditional Distributions, Statistica Sinica 12, pages 449-474, 2002.

MRFを用いた地理空間混合モデル構築によって地理的な空間依存性を考慮しつつ混合モデルを構築することが可能になるが、既存手法ではモデルパラメータθの個数nに対してn×n個のMRFパラメータλが必要であった。そして、準ニュートン法とMCMC法によって厳密な最適パラメータを求めているため、個数nが多い確率モデルを用いた混合モデルでは多くの学習データと計算時間が必要になってしまうという問題点があった。

本発明は以上のような問題を解決するためになされたものであり、その目的は、モデルパラメータの多い場合にも効率的に地理空間混合モデルを構築可能なモデル構築装置、モデル構築方法およびモデル構築プログラムを提供することにある。

本発明の一態様としてのモデル構築装置は、
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出手段と、
前記モデル依存性算出手段によって算出された前記モデル依存性情報を記憶するモデル依存性情報記憶手段と、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択手段と、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習手段と、
を備える。

本発明の一態様としてのモデル構築方法は、
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
を準備する準備ステップと、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性情報算出ステップと、
前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
を備える。

本発明の一態様としてのモデル構築プログラムは、
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段にアクセスするステップと、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段にアクセスするステップと、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段にアクセスするステップと、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出ステップと、
前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
を備える。

本発明により、モデルパラメータの多い場合にも効率的に混合モデルを構築できる。

以下、図面に基づいて、本発明の実施の形態について説明する。

図２は、本発明に関わる地理空間混合モデル構築装置の一実施の形態を示した構成図である。図２に示されるように、この本発明に関わる地理空間混合モデル構築装置は、地理空間データ記憶手段（地理空間データ記憶手段）２０１、混合モデル学習手段（パラメータ学習手段）２０２、混合モデルパラメータ記憶手段（パラメータ記憶手段）２０３、地点状態最尤推定手段（確率モデル選択手段）２０４、地点状態記憶手段（適用モデル情報記憶手段）２０５、地点状態MRFパラメータ推定手段（モデル依存性算出手段）２０６、地点状態MRFパラメータ記憶手段（モデル依存性情報記憶手段）２０７を備えている。

各手段はたとえばプログラムモジュールとして実現することができ、この場合、各プログラムモジュールを含むプログラムを図１に示すコンピュータシステムおいて実行することで各手段による機能を実現することができる。このコンピュータシステムには、プログラム命令を実行するＣＰＵ１０２、メモリ等の主記憶装置１０３、ハードディスク、磁気ディスク装置または光磁気ディスク装置等の外部記憶装置１０４、ユーザによるデータ入力を行う入力装置１０５、ユーザにデータ表示を行う表示装置１０６およびこれらを互いに接続するバス１０１が備わっている。

図２において、地理空間データ記憶手段２０１には、モデル化対象の地理空間的な現象に関連する様々な性質を数値化した確率変数である対象変数データと、地理上の位置を表す位置データとを含む地理空間データが記憶される。地理空間データには複数の事例が格納されている。

生成モデルを構築したい場合には対象変数データにはひとつ以上の属性変数Xが含まれ、予測モデルを構築したい場合には対象変数データにはひとつ以上の属性変数Xとひとつ以上の目的変数Yが含まれなければならない。

背景技術の欄で説明したように、生成モデルは、対象の性質に関する１つ以上の確率変数である属性変数Xがあるとき、Xが特定の値xをとる確率(Pr(X=x))を記述するための確率モデルである。一方、予測モデルは、属性変数Xの他に対象の性質に関する１つ以上の確率変数である目的変数Yを用意し、Xが特定の値xをとるときにYが特定の値yをとる確率(Pr(Y=y|X=x))を記述するための確率モデルである。例えば、一次元正規分布モデルや多次元正規分布モデルは生成モデルであり、線形重回帰モデルや一般化線形モデルなどは予測モデルに分類される。ここで予測モデルにおいて属性変数Ｘと目的変数Ｙとの集合は、たとえばＬ個の変数に相当し、予測モデル（確率モデル）は、Ｌ−Ｓ（Ｓは１以上の整数）個の変数が与えられたときの残りのＳ個の変数の確率分布をモデル化したものといえる。

位置データは対象変数データの各事例の位置に関する情報を集めたものであり、例えば、空間を格子状に区切っていた場合には格子位置のインデックスなどが含まれる。その他、対象物の緯度経度やポリゴン情報などが含まれていてもよい。

図４（Ａ）は地理空間データの例を示し、格子位置のインデックスという位置データであるPos属性（位置属性）、各格子における機器の故障発生指数（たとえば故障発生件数）を表すX属性、および、事例番号に相当するID属性が含まれている。図４（Ｂ）はPos（位置）に従ってIDを格子状に並べたものを表し、図４（Ｃ）はPos（位置）に従ってXを格子状に並べたものを表す。この例では、５×５＝２５個の格子が存在する。

混合モデルパラメータ記憶手段２０３には、混合モデルを構成するあらかじめ定められた確率モデルの個数k（kは２以上の整数）に従って、各確率モデルのパラメータ{θ1, …, θk}が混合モデルパラメータθとして記憶される。

図５はk=3の混合モデルパラメータの例を示す。モデルパラメータθは、{a,b,c}へラベル付けされた、３つの確率モデルのモデルパラメータ{θa, θb, θc}を含む。各確率モデルのパラメータは下記の式(１)の１次元正規分布の平均μと標準偏差σから構成されており、モデルパラメータ数n=２ということになる。よって、この例では混合モデルパラメータの総数n×k=６となる。

地点状態記憶手段２０５には、各地点（Pos）において混合モデルに含まれる確率モデルのうちどれを用いるかを識別するための離散値情報が地点状態S（適用モデル情報）として格納される。図６（Ｂ）は図４の地理空間データと図５の混合モデルパラメータとを用いたときの地点状態の例であり、２５個の各格子に対して{a,b,c}のいずれかの識別ラベルが付与されている。

地点状態MRFパラメータ記憶手段２０７には、地点状態Sに関するマルコフ確率場の空間依存性パラメータλ（モデル依存性情報）が格納される。地点状態Sの空間依存関係をマルコフ確率場でモデル化すると、例えば、ある地点Siがラベルaとなる確率は式(2)のように表すことができる（非特許文献２）。

ここで、N(Si)はSiの近傍である。また、λはN(Si)(Siの近傍)のラベル値がSiのラベル値に与える影響をモデル化するためのパラメータであり、λ=0の場合には近傍のラベル値によるSiのラベル値への影響はないとみなすことができる。

以降の説明では２次元空間（平面）内において上下左右に隣り合う位置群を“近傍”（近傍範囲）と定義する。ただし、近傍の定義は、モデル構築の目的に応じて、異なってもよい。たとえばある位置からみて左隣の位置のみを近傍とし、上隣、右隣、上隣の各位置は、近傍に含めない場合も考えられる。またある位置からみて上下左右にそれぞれ２つ先の位置を近傍と定義する場合も考えられる。また、空間データが３次元の位置情報を有する場合は、３次元空間で近傍が定義されてもよい。

図１０（Ｂ）は２次の近傍を採用した場合の地点状態MRFパラメータの例を示している。ここで、(a,a)=1は、地点Siがaとなる確率は近傍にラベルaが存在すると高くなるという依存関係を表し、(a,c)=-1は、地点Siがaとなる確率は近傍にラベルcが存在すると低くなるという依存関係を表し、(a,b)=1は、地点Siがaとなる確率は近傍にラベルbが存在しても影響ないことを表す（非特許文献２参照）。

混合モデル学習手段２０２では、地理空間データ記憶手段２０１に記憶された地理空間データと地点状態記憶手段２０５に記憶された地点状態を用いて混合モデルパラメータを学習し、学習した混合モデルパラメータを混合モデルパラメータ記憶手段２０３に格納する。

図３は、本発明に関わる混合モデル学習手段の一実施の形態を示した構成図である。図３に示されるように、この本発明に関わる混合モデルパラメータ学習手段は、初期混合モデル学習手段３０１、地理空間データ分割手段３０２、分割地理空間データ記憶手段３０３、モデル学習手段３０４、を備えている。

初期混合モデル学習手段３０１では、各地点に対し地点状態の値（図６（Ｂ））が定まっていない場合に各事例に空間的依存性が存在しないと仮定して、各事例に基づき混合モデルパラメータを算出し、算出した混合モデルパラメータを混合モデルパラメータ記憶手段２０３に格納する。この際、確率モデルの個数と、確率モデルの型とはあらかじめユーザにより指定しておく。空間的依存性を無視する場合、EMアルゴリズムなどの一般的な方法によって混合モデルのモデルパラメータを得ることが可能である（非特許文献１）。なおユーザにより混合モデルのモデルパラメータを指定してもよい。

地理空間データ分割手段３０２では、各地点に対する地点状態の値が定まっている場合に、地理空間データ（図４（Ａ））の各事例を地点状態値によって排他的に分割する。すなわち、地理空間データDを地点状態Sの値({1,..k})に従って{D1,…,Dk}に分割する。{D1,…,Dk}はそれぞれ分割地理空間データ（グループ）に相当する。地理空間データ分割手段３０２は、各分割地理空間データを分割地理空間データ記憶手段３０３に格納する。

モデル学習手段３０４では、分割地理空間データのそれぞれ(Di)を用いてモデル学習を行うことによりモデルパラメータ(θi)を決定し、各分割地理空間データから得られたモデルパラメータの集合を混合モデルパラメータとして混合モデルパラメータ記憶手段２０３に格納する。つまり、モデル学習手段３０４は、各分割地理空間データ（グループ）に対して、モデル学習アルゴリズムに応じた規範（あらかじめ与えられたモデル規範）を最大化するように、各分割地理空間データに対応する確率モデルのモデルパラメータを学習（最適化）する。このモデル学習では空間依存性を考慮する必要はない。

本実施形態では確率モデルとして正規分布モデルを用いているため、モデル学習アルゴリズムとしてはたとえば最尤推定またはベイズ推定などを用いることができる。最尤推定の場合は、モデル規範を最大化することは、学習データ（分割地理空間データ）に対して、正規分布モデル（正規分布関数）に基づいた尤度関数の値（尤度）を最大化することに相当する。

確率モデルとしては、正規分布モデルの他にも、線形回帰分析、決定木、ベイジアンネットを利用した確率モデルも可能である。線形回帰分析では、モデル規範を最大化することは、学習データ（分割地理空間データ）と、線形回帰モデルの出力との自乗誤差を最小にすることに相当する。決定木では、モデル規範を最大化することは、学習データに対して情報量またはGini値などの値を最大にすることに相当する。ベイジアンネットでは、モデル規範を最大化することは、学習データに対して事後分布を最大化すること（尤度の最大化）に相当する。

地点状態最尤推定手段２０４では、混合モデルパラメータθと地点状態MRFパラメータλ、および、地理空間データDを用いて、混合モデルパラメータと地点状態MRFパラメータが与えられたときの地理空間データの尤度がなるべく高くなるような地点状態S*を推定する。すなわち、

となるS*を求める。式(3)において地点状態Sは地理空間データDにおける各事例の地点状態の集合であり、地点状態の全ての組み合わせ中から、Prが最大になるSを求める。ただし、Sの取りうる値は非常に多いため局所最適解を求めることしかできないことが多い。式(3)の局所最適解の探索方法としては、MCMC法、ICM法など様々な手法が提案されている（非特許文献２）。地点状態最尤推定手段２０４は、各事例について推定した地点状態の集合を地点状態Sとして地点状態記憶手段２０５に格納する。

地点状態MRFパラメータ推定手段２０６では、地点状態記憶手段２０５内の地点状態Sを用いて地点状態MRFパラメータλを推定し、推定した地点状態MRFパラメータλを地点状態MRFパラメータ記憶手段２０７に格納する。

図７は、本発明に関わる地点状態MRFパラメータ推定手段の一実施の形態を示した構成図である。図７に示されるように、この本発明に関わる地点状態MRFパラメータ推定手段は、１次頻度算出手段７０１、２次頻度算出手段７０２、および、空間依存パラメータ算出手段７０３を備えている。

１次頻度算出手段７０１は地点状態から各離散値（a, b, c）の頻度を算出し、２次頻度算出手段７０２は、同一または異なる離散値の組の頻度を算出する。そして、空間依存パラメータ算出手段７０３は、算出された１次頻度と２次頻度から地点状態MRFパラメータ（依存性情報）を算出し、地点状態MRFパラメータ記憶手段２０７に格納する。地点状態MRFパラメータ推定手段の詳細な動作説明は後述する。

図８は、図２の地理空間混合モデル構築装置により行われる処理の実行手順を示したフローチャートである。図８に示されるように、この地理空間混合モデル構築装置の実行手順は、初期混合モデル学習ステップ８０１、地点状態最尤推定ステップ８０２、混合モデル学習ステップ８０３、地点状態MRFパラメータ推定ステップ８０４、終了判定ステップ８０５を備えている。以下では、図４の地理空間データを用いて、図８のフローチャートの実行過程を詳しく述べる。

ステップ８０１では、混合モデル学習手段２０２における初期混合モデル学習手段３０１によって、各事例に空間的依存性が存在しないと仮定して混合モデルパラメータを算出する。図５はステップ８０１によって算出された混合モデルパラメータの一例を示す。ラベル{a,b,c}が付けられた３つの正規分布モデル({Ma,Mb,Mc}と表す)のモデルパラメータ{θa, θb, θc}が示される。

ステップ８０２では、地点状態最尤推定手段２０４によって、上述した式(3)によって表される地点状態Sの最尤推定値(現実的には近似最適値)が算出される。

より詳しくは、まず、すべての地点について、属性変数値xと{Ma,Mb,Mc}との乖離値を計算する。例えば、正規分布モデルにおける乖離値としては、式(1)のlogをとったものに-1を掛けた式(4)などを用いることができる。なお、属性変数値xが平均値のとき、乖離値は最小である。

式(4)を用いると、例えば、事例(ID=)1とモデルMaとの乖離値は、

と算出できる。

すべての事例について{Ma,Mb,Mc}とX（各事例のxの集合）との乖離値を計算した結果を図６（Ａ）の表における{Ma,Mb,Mc}にそれぞれ示す。また、最も乖離値が小さいモデルの識別値を図６（Ａ）の表におけるBestに示す。

次に、得られた乖離値と地点状態MRFパラメータλとを用いて最適な地点状態推定値を決定する。現時点では、ステップ８０２の１回目であり、λは定まっていないので、λ=0とみなされる。その場合、各地点についてBestの値が、最適な地点状態値として推定される。図６（Ｂ）はそのようにして得られた地点状態を示している。また、図６（Ｃ）は、図６（Ｂ）の地点状態値を空間的にプロットしたものを示し、図６（Ｄ）は、図６（Ｂ）の各地点状態値を、ラベルa, b, cごとに塗りつぶしパターンを変えてプロットしたものを示す。

ステップ８０３では、得られた地点状態Sと地理空間データDとを用いてモデルパラメータθの学習を行う。上記ステップ８０２の一回目における地点状態Sの算出ではλ=0とみなしたため、ステップ８０３の一回目では、ステップ８０１で得られた初期混合モデルと同じモデルパラメータθが得られる(よって、ステップ８０３の１回目はスキップしてよい。ここではスキップしたと仮定する)。

ステップ８０４では、ステップ８０２で得られた地点状態Sから地点状態MRFパラメータ推定手段２０６によって、地点状態に関する空間依存性のパラメータλ（依存性情報）が推定される。例えば、図６（Ｂ）〜図６（Ｄ）の地点状態が得られた場合、まず、地点状態MRFパラメータ推定手段２０６における１次頻度算出手段７０１によって、各格子における各ラベル（a〜c）の頻度π1（１次頻度）が算出される。次に、２次頻度算出手段７０２によって、各格子と隣接する格子とのペアについて、重複を避けてラベルペアの頻度π2（２次頻度）が算出される。図９（Ａ）と図９（Ｂ）に、１次頻度π１の例と２次頻度π２の例をそれぞれ示す。この例では図９（Ｂ）から、４０個のラベルペアが存在するこがわかる。

得られた１次頻度π1と２次頻度π2を用いて、地点状態MRFパラメータ推定手段２０６における空間依存パラメータ算出手段７０３によって、例えば以下のような手順に従って地点状態に関する空間依存性のパラメータλを推定する。

まず、ラベルペアの頻度π2と、ラベルの頻度π1から計算されるラベルペアの期待値との差をλ’として算出する。

例えば、図９（Ａ）から、ラベルaの生じる確率は12/25であり、したがってラベルペアa-aが生じる確率は(12/25)²である。一方、実際のラベルペアa-aの発生確率は図９（Ｂ）から10/40である。そこで、これらの確率の比のlogをとると、λ’(a,a)=log((10/40)/(12/25)²)≒0.035となる。λ’が正の値をとるということは１次頻度π１から算出された２次頻度の期待値よりも、実際の２次頻度π２のほうが大きいということなので、aのとなりはaになりやすいという正の自己相関が働いていると推定できる。

また、ラベルペアa-cが生じる確率は図９（Ａ）から2*(12/25)*(4/25)となるので、λ’(a,c)≒-0.311となる。λ’が負の値をとるということは１次頻度π１から算出された２次頻度の期待値よりも、実際の２次頻度π２のほうが小さいということなので、aのとなりはcになりにくいという負の相互相関が働いていると推定できる。

他のラベルペアについても同様にしてλ’を算出し、算出した全てのλ’をまとめたものを図１０（Ａ）に示す。

ここで、自己相関に関してはλ’>0となるものは+1、そうでないものは0とし、相互相関に関してはλ’<0となるものは-1、そうでないものは0とする。すなわち自己相関に関しては負の相関は考慮せず、正の相関が働くか否かのみを考慮し、相互相関に関しては正の相関は考慮せず、負の相関が働くか否かのみを考慮する。このようにしてλ’の値を変更すると、図１０（Ｂ）に示すように各ラベルペアについて空間依存性のパラメータλが得られる。

λ’およびλの算出方法は様々なバリエーションが考えられる。例えば、λ’=λとしたり、λが{0, +1, -1}以外の値をとり得るようにしたり、ユーザーパラメータαなどを導入して{0, +α, -α}の値をとるようにしたりすることができる。

ステップ８０５では、終了条件が満たされるか否かの判定が行われ終了条件が満たされる場合は処理を終了し、満たされない場合はステップ８０２に戻る。終了条件としては、図８のフローのループ回数が所定回数に達したことや、θまたはλの変化がなくなったことなどが考えられる。今回の場合（１度目のループの場合）、全てのラベルペアについてλ=0ならば終了するが、１つのラベルペアでもλ≠0であれば継続する（終了条件を満たさない）と仮定する。したがって、図１０（Ｂ）に示すようにλ≠0のペアが存在するため、ステップ８０２に戻ることにする。

ステップ８０２の２回目では、まず、最新のモデルパラメータθを用いて各モデルとデータＸとの乖離値が算出される。ステップ８０３の１回目はスキップされているので、算出される乖離値は、ステップ８０２の１回目に算出した(図６（Ａ）に示す)乖離値と同じである。ただし、今回は、１回目のステップ８０４でλが求まっているため、空間依存性も考慮して最適な地点状態Sを探索しなければならない。ここでは、近似探索手法として知られるICM（非特許文献２）を用いた例を示す。ICMではランダムに選択した地点においてある状態値（ラベル）をとった場合のペナルティを計算し、最もペナルティの低いラベルに置き換えていくという処理を繰り返す。ペナルティとしては、モデルとデータとの乖離値、または、λに負の符号を掛け合わせたものなどが考えられる。

図６（Ａ）の乖離値と図１０（Ｂ）のλとを用いたとき、例えば、地点２０（ID=20）のラベル値をaにすることを考える。このとき乖離値は(2.9-0.4=)2.5増加する。またa-bのペアは３つ減りa-aのペアが３つ増えるので、空間依存性に関するペナルティ（空間全体における依存性の変化量）は-3だけ減少する。従って合計で-0.5のペナルティ減少になる。そこで、地点２０のラベルはbからaに変更になる。すなわち合計値（演算値）が閾値（ここではゼロ）より小さいため、ラベルは変更になる。なお、地点２０（ID=20）のラベル値をラベルcに変更する場合についても同様にしてペナルティの減少を計算し、ペナルティの減少がより大きい方のラベルへ変更するようにしてもよい。

以上のような処理を他の地点（事例）についてもいくつか選択して行う。すなわち、処理効率の観点から全ての事例でなくいくつかの事例について行う。このようにして、地点状態Sを探索した結果を図１１（Ａ）〜図１１（Ｃ）に一例として示す。

ステップ８０３の２回目では、得られた地点状態Sと地理空間データDを用いてモデルパラメータθの学習を行う。まず、混合モデル学習手段２０２における地理空間データ分割手段３０２によって、地点状態の離散値（ラベル値）に応じて地理学習データDを分割する。図１１（Ａ）の地点状態を用いたときにおける、モデルMa用の学習データDaを図１２に示す。この学習データを用いて混合モデル学習手段２０２におけるモデル学習手段３０４によってモデルパラメータθaが学習される。具体的には図１２の学習データDaからXの平均と標準偏差とを計算する。なおこの計算は、最尤推定法において、尤度関数におけるパラメータの最尤推定値（尤度関数を最大にするパラメータの値）を求めていることと等化である。モデルMa, Mb用の学習データDb, Dcについても同様にしてＸの平均と標準偏差とを計算する。そのようにして得られたモデルパラメータθを図１３に示す。

ステップ８０４の２回目では、図１１（Ｂ）の地点状態を用いて、１回目と同様に地点状態MRFパラメータλの推定を行う。図１４に２ループ目の地点状態MRFパラメータλの算出結果を示す。

ステップ８０５の２回目では、終了条件が満たされずに、ステップ８０２に戻ったとする。

ステップ８０２の３回目では、図１３のモデルパラメータと図１４の地点状態MRFパラメータとを用いて最適な地点状態Sの算出を行う。まず、最新のモデルパラメータθを用いてモデルとデータＸとの乖離値を各地点について算出する。各地点について算出した乖離値のうち、地点３と地点２２のみに関する乖離値を図１５に示す。次に、最適な地点状態Sを探索する。たとえば地点３のラベル値をbにすることを考える。このとき乖離値は2.4増加する。またa-bのペアが３つ減りb-bのペアが３つ増えるので空間依存性に関するペナルティは-3減少する。従って合計で-0.6のペナルティ減少になる。そこで、地点３のラベルがaからbに変更になる。同様に地点２２もラベル値をaにすることで空間依存性が３減少するので、ラベルがbからaに変更になる。３ループ目で得られた地点状態Sを図１６に示す。

ステップ８０３の３回目の計算結果を図１７（Ａ）、ステップ８０４の３回目の計算結果を図１７（Ｂ）に示す。３ループ目でループが終了する終了条件を用いると仮定すると、図１７（Ａ）および図１７（Ｂ）が最終的に得られた地理空間混合モデルのパラメータθとλに相当する。

最終的に、本例では、図１６からも分かるように、大きく、１つのaエリア、２つのbエリア、２つのcエリアに空間が分かれ、故障指数Xの確率分布は、エリアごとに同じモデルパラメータをとる混合モデルによって表される。そこで、同一のエリアについて注意深く調べることにより、故障指数に影響を与えている隠れた要因を発見することが可能になると期待できる。

本実施形態では、モデルパラメータθに関するMRFではなく、離散値の地点状態Sに関するMRFを用いた地理空間混合モデルを採用しており、上記のような手順に従うことで、準ニュートン法などの計算コストの必要な手法を使うことなく地理空間混合モデルを構築できる。

また、本実施形態ではXが１次元であるため正規分布パラメータはn=2（μとσの２つ）であったが、例えばXが4次元連続値ベクトルの場合、多次元正規分布パラメータは最大n=4+4*4=20必要である。このとき、本実施形態では、確率モデルの個数kの増加 に対して、パラメータλの個数は2乗で増加するもののモデルパラメータ数nは線形にしか増加しないので、本実施形態は、モデルパラメータ数の多い場合に用いて効率的である。

本発明のハードウェア構成を表すブロック図。 本発明の一実施形態に関わる地理空間混合モデル構築装置の構成図。 本発明の一実施形態に関わる混合モデル学習手段の構成図。 地理空間データの例を示す図。 混合モデルパラメータの例（その１）を示す図。 地点状態の推定結果の例（その１）を示す図。 本発明の一実施形態に関わる地点状態MRFパラメータ推定手段の構成図。 本発明の一実施形態に関わる地理空間混合モデル構築装置のフローチャートを示す図。 １次頻度と２次頻度の例を示す図。 空間依存パラメータ算出手段７０３の計算結果の例（その１）を示す図。 地点状態の推定結果の例（その２）を示す図。 分割地理空間データの例を示す図。 混合モデルパラメータの例（その２）を示す図。 空間依存パラメータ算出手段７０３の計算結果の例（その２）を示す図。 モデルとデータの乖離値の算出結果の例を示す図。 地点状態の推定結果の例（その３）を示す図。 モデルパラメータθと地理状態MRFパラメータλの例を示す図。

Claims (9)

1. 評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
   前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
   前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
   前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出手段と、
   前記モデル依存性算出手段によって算出された前記モデル依存性情報を記憶するモデル依存性情報記憶手段と、
   前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択手段と、
   前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習手段と、
   を備えたモデル構築装置。
2. 前記モデル依存性算出手段は、さらに、前記更新された適用モデル情報に基づき、前記モデル依存性情報を算出し、算出したモデル依存性情報を示すように前記モデル依存性情報記憶手段内の前記モデル依存性情報を更新し、
   前記確率モデル選択手段は、更新されたパラメータ情報と、更新されたモデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを選択する、
   ことを特徴とする請求項１に記載のモデル構築装置。
3. 前記少なくとも１つの変数は、Ｌ（Ｌは２以上の整数）個の変数を含み、
   前記確率モデルは、Ｌ−Ｓ（Ｓは１以上の整数）個の前記変数が与えられたときの残りのＳ個の前記変数の確率分布をモデル化したものである、
   ことを特徴とする請求項１または２に記載のモデル構築装置。
4. 前記モデル依存性算出手段は、
   前記適用モデル情報から各前記確率モデルの頻度を１次頻度情報として算出し、
   前記地理空間における各前記位置の確率モデルと、各前記位置の前記近傍範囲に含まれる前記近傍位置の前記確率モデルとの組を求めることにより、前記同一または異なる前記２つの確率モデルの各組の頻度を２次頻度情報として算出し、
   前記１次頻度情報と前記２次頻度情報とを用いて、前記モデル依存性情報を算出する、
   ことを特徴とする請求項１ないし３のいずれか一項に記載のモデル構築装置。
5. 前記モデル依存性算出手段は、
   前記１次頻度情報から、前記同一または異なる前記２つの確率モデルからなる各組の頻度の期待値を算出し、
   各前記組の頻度の期待値と、前記２次頻度情報に示される各前記組の頻度との差に基づいて、前記モデル依存性情報を算出する、
   ことを特徴とする請求項４に記載のモデル構築装置。
6. 前記確率モデル選択手段は、
   前記地理空間における前記位置毎に、前記複数の確率モデルの各々に対する前記変数の乖離値を算出し、
   前記地理空間における前記位置毎に、前記適用モデル情報に示される前記確率モデルを他の確率モデルに変更したとして、（１）前記乖離値の差分を算出し、（２）前記同一または異なる前記２つの確率モデルからなる各組の頻度の変動量を算出し、（３）前記各組について算出した頻度の変動量に、各前記組に対応する依存性値を乗算し、（４）各前記組に対して得られた乗算値を加算し、
   前記乖離値の差分と、加算値と、を用いた演算を行い、
   演算値が閾値を満たすとき前記適用モデル情報に示される前記確率モデルを前記他の確率モデルに変更することを決定する、
   ことを特徴とする請求項４または５に記載のモデル構築装置。
7. 前記複数の確率モデルは３つ以上の確率モデルを含み、
   前記確率モデル選択手段は、
   ２つ以上の前記他の確率モデルの各々について前記演算値を求め、
   前記閾値を満たす前記他の確率モデルが複数あるときは、最大または最小の演算値が得られた前記他の確率モデルへの変更を決定する、
   ことを特徴とする請求項６に記載のモデル構築装置。
8. 評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
   前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
   前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
   を準備する準備ステップと、
   前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性情報算出ステップと、
   前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
   前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
   前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
   を備えたモデル構築方法。
9. 評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段にアクセスするステップと、
   前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段にアクセスするステップと、
   前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段にアクセスするステップと、
   前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出ステップと、
   前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
   前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
   前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
   を備えたモデル構築プログラム。

Images