JP2021197008A - 情報処理装置、学習方法、および学習プログラム - Google Patents

Abstract

【課題】Ｌ０正則化の計算のためのビット数の増加を抑止する。【解決手段】情報処理装置１０の処理部１２は、複数の検体それぞれの特性値の１／ｋ乗（ｋは実数）を成分とする特性ベクトルｙを生成する。そして情報処理装置１０の処理部１２は、複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を成分とする観測行列Ａと特性ベクトルｙとの関係を表す係数ベクトルｘを、Ｌ０正則化を用いて求解する処理を実行する。【選択図】図１

Description

本発明は、情報処理装置、学習方法、および学習プログラムに関する。

測定技術の進歩に伴い物質・材料などの試料（検体）に関する複雑で大量の分析データ（例えばスペクトルデータ、画像データなど）が生成されている。分析データが大量になると、専門的な知識を有する解析者が分析データのすべてについて一つ一つ解析するのは困難である。また、解析者による解析では、あくまでも解析者である専門家の主観や先入観に基づく解析となる。そのため、大量のデータのごく一部のみを使った解析により情報の欠落が発生したり、専門家の知識を超えた領域での解が見つからなかったりして、有益な情報の見落としが発生してしまう。

このような解析者の主観や先入観に依存しない手法として、大量のデータから本質的な要素のみを抽出して予測モデルを作成する「スパースモデリング」の手法がある。そして「スパースモデリング」の手法を使って、検体の分析データと特性との関係を関連付ける「正則化学習」が活用され始めている。

正則化学習に使われる代表的な正則化手法は、ＬＡＳＳＯ（Least Absolute Shrinkage and Selection Operator）とも呼ばれるＬ１正則化である。Ｌ１正則化は、抽出した要素の係数の絶対値の和を小さくするもので、その最適化計算においては、抽出した要素の係数の絶対値の和が大きくなるとペナルティが発生する。Ｌ１正則化を活用した正則化学習を使用すると、検体に関する分析データから特性と密接に関わる情報を、客観的かつ自動的に抽出することが比較的容易にできる。

その他のデータ分析技術としては、例えば入力データ中の複数の入力パラメータが変化することに応じて、出力データがどの程度汎化するかを予測する解析装置が提案されている。また量子プロセッサを使用して、教師なしまたは半教師あり特徴学習を達成するシステムも提案されている。さらに未知のチャネルおよび雑音条件における音声認識システムの性能を改善するシステムも提案されている。

特開２０１６−６５８７号公報 特開２０１９−９６３３４号公報 特開２０１９−５１４０４６号公報

Ｌ１正則化は、正則化の厳密な定義として利用されるＬ０正則化の制約を緩和している。そのため、Ｌ１正則化を用いると、分析データから要素を抽出する際に解を絞り切れなかったり、分析データにノイズが乗っている場合には解が得られなかったりする。このようにＬ１正則化は、厳密性に欠けてしまう場合がある。

正則化の厳密な定義は、抽出する要素をできるだけ少なくするというＬ０正則化である。Ｌ０正則化を利用した正則化学習であれば、検体に関する分析データから特性と密接に関わる情報を、客観的かつ自動的に抽出することが可能である。この場合、正則化そのものの定義を使用して最適化を行うため、正しく情報を抽出できる。このようなＬ０正則化は、いわゆる組み合わせ最適化問題に分類される。組み合わせ最適化問題は、ノイマン型の計算機では計算が困難であるが、量子現象に着想を得た非ノイマン型の計算機（例えばイジングマシンまたはアニーリングマシンと呼ばれる計算機）を用いることで計算可能である。

Ｌ０正則化の計算をイジングマシンで実行するためには、最適化する問題の定式をいわゆる制約なし２値変数二次形式最適化（ＱＵＢＯ：Quadratic Unconstrained Binary Optimization）形式で表現することが求められる。ＱＵＢＯ形式であれば次数が二次以下に抑えられているため、イジングマシンでの求解が可能となる。しかし最適化する問題を従来の手法でＱＵＢＯ形式に変換すると状態変数を示すビットの数が増加してしまう場合がある。ビット数が増加すると増加した分だけ処理負荷も増加してしまう。またビット数の増加により、イジングマシンで計算可能なビット数を超えてしまう可能性もある。

１つの側面では、本発明は、Ｌ０正則化を用いた計算のためのビット数の増加を抑止することを目的とする。

１つの案では、以下のような情報処理装置が提供される。
情報処理装置は、複数の検体それぞれの特性値の１／ｋ乗（ｋは実数）を成分とする特性ベクトルを生成する。そして情報処理装置は、複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を成分とする観測行列と特性ベクトルとの関係を表す係数ベクトルを、Ｌ０正則化を用いて求解する処理を実行する。

１態様によれば、Ｌ０正則化を用いた計算のためのビット数の増加を抑止することができる。

第１の実施の形態に係る学習方法の一例を示す図である。 第２の実施の形態のシステム構成の一例を示す図である。 サーバのハードウェアの一例を示す図である。 イジングマシンの一例を示す図である。 Ｌ０正則化学習の一例を示す図である。 求められた係数ベクトルｘの評価結果の一例を示す図である。 高次項の評価を可能としたＬ０正則化学習の一例を示す図である。 Ｌ０正則化学習のためのサーバの機能を示すブロック図である。 分析データの一例を示す図である。 特性データの一例を示す図である。 特性ベクトルｙを用いたＬ０正則化学習結果の一例を示す図である。 特性ベクトルｙを用いたＬ０正則化学習で得られたモデルの性能を示す図である。 特性ベクトルｙ^1/2を用いたＬ０正則化学習結果の一例を示す図である。 特性ベクトルｙ^1/2を用いた場合のＬ０正則化学習結果の一例を示す図である。 特性ベクトルｙ^1/2を用いたＬ０正則化学習で得られたモデルの性能を示す図である。 最適化された係数ベクトルｘの成分の値を示す図である。 Ｌ０正則化学習処理の手順の一例を示すフローチャートである。 １個抜き交差検証処理の手順の一例を示すフローチャートである。 複数のＸＲＤスペクトルデータの一例を示す図である。 指数条件ｋの値ごとに生成したモデルの性能の一例を示す図である。 指数条件ｋの更新を中止する場合の例を示す図である。

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず、第１の実施の形態について説明する。第１の実施の形態は、Ｌ０正則化を用いた機会学習を実施するためのビット数を抑制可能な学習方法である。

図１は、第１の実施の形態に係る学習方法の一例を示す図である。図１には、ビット数を抑制可能な学習方法を実施する情報処理装置１０が示されている。情報処理装置１０は、例えば学習プログラムを実行することにより、ビット数を抑制可能な学習方法を実施することができる。

情報処理装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリ、またはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサ、または演算回路である。

記憶部１１は、分析データ１１ａと特性データ１１ｂとを記憶する。分析データ１１ａは、複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を示すデータである。検体に対する観測とは、例えばＸＲＤスペクトルの観測である。ＸＲＤスペクトルの観測では、観測条件として回折角度が与えられ、回折角度ごとの観測により、その回折角度での特徴量としてＸ線の回折強度が得られる。特性データ１１ｂは、複数の検体それぞれの特性値を示すデータである。

ある検体についての特徴量からその検体の特性値を推定する場合、分析データ１１ａと特性データ１１ｂとの関係を明確にすればよい。その場合、複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を成分とする観測行列Ａと特性ベクトルｙとの関係を表す係数ベクトルｘを求めることで、分析データ１１ａと特性データ１１ｂとの関係が明確となる。

係数ベクトルｙの求解において、Ｌ０正則化を用いることで、検体の特性と密接に関わる情報（特定の観測条件で観測した特徴量）を、客観的かつ自動的に抽出することが可能である。Ｌ０正則化を用いたモデルの学習は、組み合わせ最適化問題となり、ＱＵＢＯ形式で表せることが求められる。

ＱＵＢＯ形式の式で係数ベクトルｙを求める場合、１つの成分の値は複数のビットにより表される。組み合わせ最適化問題では各ビットの値（例えば０または１）の組み合わせが求められる。例えば各ビットの値に基づいて、係数ベクトルｘの成分に用いるｘ₁，ｘ₂，・・・，ｘ_nが得られる。

係数ベクトルｘは、例えば係数ベクトルｘ＝（ｘ₁，ｘ₂，・・・，ｘ_n）と表される。また係数ベクトルｘ＝（ｘ₁ ²，ｘ₂ ²，・・・，ｘ_n ²）と、組み合わせ最適化問題を求解して得られた値のべき乗を成分とすることもできる。べき乗の指数を示す指数条件をｋとしたとき、係数ベクトルｘ＝（ｘ₁ ^k，ｘ₂ ^k，・・・，ｘ_n ^k）となる。指数条件ｋの値が異なれば、組み合わせ最適化問題の求解において、係数ベクトルｘの成分の取り得る値が異なってくる。

係数ベクトルｘ＝（ｘ₁，ｘ₂，・・・，ｘ_n）であれば、組み合わせ最適化問題の求解において各成分の値の調整できる幅は一定となる。他方、係数ベクトルｘ＝（ｘ₁ ²，ｘ₂ ²，・・・，ｘ_n ²）とした場合、組み合わせ最適化問題の求解において、値が小さい方が成分の値を細かく調整でき、値が大きくなるほど成分の値の調整可能な幅が大きくなる。そのため指数条件ｋとして適切な値を設定することで、求解して得られる係数ベクトルｘの性能の向上が見込める。ただし指数条件ｋの値として１以外の値を設定した場合、ＱＵＢＯ形式の式に変換したときにビット数が増加する。ビット数が増加すると、計算処理の負荷が増加する。

そこで処理部１２は、複数の検体それぞれの特性値の１／ｋ乗（ｋは実数）を成分とする特性ベクトルを生成する。そして処理部１２は、複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を成分とする観測行列Ａと特性ベクトルｙとの関係を表す係数ベクトルｘを、Ｌ０正則化を用いて求解する。

例えば処理部１２は、まずモデル式を生成する（ステップＳ１）。モデル式の生成では、処理部１２は、指数条件ｋの値を決定する。例えば予め設定された実数値のリストから順番に実数値が選択され、その都度、選択された値を指数条件ｋの値とするモデル生成が行われる。処理部１２は、決定された指数条件ｋの値で、特性データ１１ｂに示される検体の特性値を１／ｋ乗し、１／ｋ乗した値を成分とする特性ベクトルｙ^1/kを生成する。さらに処理部１２は、同一の検体の特徴量を観測行列Ａの同一行に並べ、複数の検体それぞれに対して同じ観測条件で観測された特徴量を観測行列Ａの同一列に並べることで、観測行列Ａを生成する。そして処理部１２は、観測行列Ａの右から列ベクトルである係数ベクトルｘを乗算した結果が特性ベクトルｙ^1/kとなるモデル式を生成する。

次に処理部１２は、Ｌ０正則化を適用した正則化式を生成する（ステップＳ２）。生成される正則化式は、観測行列Ａに係数ベクトルｘを乗算した結果と特性ベクトルｙ^1/kとの誤差が少ないほど小さい値となり、かつ係数ベクトルｘに含まれる非ゼロ成分が少ないほど小さい値となる式である。例えば後述の式（８）の括弧内の式が、Ｌ０正則化の式である。

処理部１２は、Ｌ０正則化を適用した式をＱＵＢＯ形式に変換して、ＱＵＢＯ形式の式に含まれるビットの値の組み合わせ最適化問題を求解する（ステップＳ３）。組み合わせ最適化問題の求解は、例えばイジングマシンを利用することができる。求解によって、Ｌ０正則化を適用した式の括弧内の値を最小とする係数ベクトルｘが得られる。

以上の処理が、複数の実数値それぞれを指数条件ｋの値としたときの指数条件ｋの値ごとに行われることで、指数条件ｋの値ごとの係数ベクトルｘが得られる。処理部１２は、指数条件ｋの値ごとの係数ベクトルｘそれぞれの性能を評価する（ステップＳ４）。例えば処理部１２は、指数条件ｋの値ごとの係数ベクトルｘそれぞれを用いて検証用の検体の測定値から特性値を推定した場合の推定値と、検証用の検体の特性値との誤差を計算する。処理部１２は、指数条件ｋの値ごとの係数ベクトルｘそれぞれの誤差に基づいて、解として出力する係数ベクトルｘと指数条件ｋの値とを決定する。例えば誤差が最も少なくなる係数ベクトルｘと、その係数ベクトルｘを得たときの指数条件ｋの値とが、学習結果として出力される。

このようにして、検体の観測条件ごとの特徴量からその検体の特性値を推定するための係数ベクトルｘが得られる。例えば特性値を推定する検体の観測条件ごとの特徴量を成分とするベクトルと学習結果として得られた系列ベクトルとの内積が、推定される特性値を１／ｋ乗した値となる。この値をｋ乗すれば、推定される特性値となる。

上記の学習処理では、Ｌ０正則化を行っており、係数ベクトルｘには多くのゼロ成分が含まれ、非ゼロ成分が少なくなる。モデル式において非ゼロ成分に乗算される特徴量が、特性値に密接に関係する特徴量である。このように特性値に密接に関係する特徴量（どのような観測条件で観測した特徴量なのか）が自動で特定できる。しかも特性値を１／ｋ乗して求解することで、指数条件ｋの値として１以外の値を用いた場合でも、ＱＵＢＯ形式の式で使用するビット数の増加が抑止される。その結果、組み合わせ最適化問題としてビットの値を計算する処理負荷が軽減される。

なお処理部１２は、一定の条件が満たされた場合、予め用意された実数値のすべてを指数条件ｋの値とした求解の完了前に、処理を停止することもできる。例えば処理部１２は、複数の実数値を順番に選択し、選択された実数値を指数条件ｋの値として係数ベクトルを求解する。処理部１２は、得られた係数ベクトルｘを用いて検証用の検体の測定値から特性値を推定した場合の推定値と、検証用の検体の特性値との誤差が所定の条件を満たすか否かを判断する。処理部１２は、誤差が所定の条件を満たした場合、以後、複数の実数値の選択と、選択された実数とを指数条件ｋの値とする係数ベクトルｘの求解とを抑止する。これにより、得られる係数ベクトルｘの性能の向上の見込みがない場合にまで処理が続行されることを抑止することができ、処理の効率化が図られる。

〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、目的関数の値が最小となる各状態変数の値の組み合わせを計算するイジングマシンを用いたシステムの例である。イジングマシンでは、求解対象の問題をイジングモデルで表し、そのイジングモデルのエネルギーが最小値となるビットの値の組み合わせを探索する。イジングモデルのエネルギーを計算する式（ハミルトニアン）が、目的関数である。

図２は、第２の実施の形態のシステム構成の一例を示す図である。サーバ１００には、ネットワーク２０を介して端末装置３１，３２，・・・が接続されている。端末装置３１，３２，・・・は、Ｌ０正則化学習を依頼するユーザが使用するコンピュータである。サーバ１００は、端末装置３１，３２，・・・からＬ０正則化学習の依頼を受け付け、Ｌ０正則化学習の対象となる検体の分析データと統制データとに基づいて、モデル式を生成する。さらにサーバ１００は、生成したモデル式のＬ０正則化学習のための組み合わせ最適化問題の求解を制御装置２００に依頼する。

制御装置２００は、サーバ１００が生成したモデル式を、Ｌ０正則化を用いて解くためのＱＵＢＯ形式の式を生成する。そして制御装置２００は、イジングマシン３００を制御し、イジングマシン３００にＱＵＢＯ形式に含まれるビットの値の組み合わせ最適化問題を解かせる。

イジングマシン３００は、制御装置２００からの制御に基づいて、デジタル回路を用いて、ＱＵＢＯ形式の式に対応するイジングモデルの状態遷移のシミュレーションを行い、エネルギーの最小値を探索する。エネルギーが最小値となったときのビットの値の組み合わせが、ＱＵＢＯ形式の式に含まれる各ビットの値であり、そのビットの値に基づいてＬ０正則化学習結果を示すモデルが生成される。

図３は、サーバのハードウェアの一例を示す図である。サーバ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

メモリ１０２は、サーバ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

グラフィック処理装置１０４には、モニタ２１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取り、または光ディスク２４へのデータの書き込みを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

機器接続インタフェース１０７は、サーバ１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。

ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。ネットワークインタフェース１０８は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース１０８は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。

サーバ１００は、以上のようなハードウェアによって、第２の実施の形態の処理機能を実現することができる。なお、制御装置２００も、サーバ１００と同様のハードウェアにより実現することができる。

図４は、イジングマシンの一例を示す図である。イジングマシン３００は、ニューロン回路３１１，３１２，…，３１ｎ、制御回路３２０、およびメモリ３３０を有する。
ニューロン回路３１１〜３１ｎはそれぞれ、自身以外の複数の他のニューロン回路との接続の有無を示す複数の重み係数の値と、複数の他のニューロン回路の複数の出力信号との積の総和に基づく第１の値を算出する。そしてニューロン回路３１１〜３１ｎそれぞれは、第１の値にノイズ値を加算した第２の値と閾値との比較結果に基づき、０または１のビット値を出力する。

制御回路３２０は、制御装置２００から供給される情報に基づいて、イジングマシン３００の初期設定処理などを行う。さらに、制御回路３２０は、更新対象ニューロンを決定する処理が所定回数だけ繰り返された後、メモリ３３０に保持されているイジングモデルの状態変数に対応する各ニューロンのビット値を取得し、最適化問題に対する解として制御装置２００に送信する。

制御回路３２０は、例えばＡＳＩＣやＦＰＧＡなどの特定用途の電子回路にて実現できる。なお、制御回路３２０は、ＣＰＵやＤＳＰなどのプロセッサであってもよい。その場合、プロセッサは、図示しないメモリに記憶されたプログラムを実行することで、上記の処理を行う。

メモリ３３０は、例えば各ニューロンのビット値を保持する。メモリ３３０は、例えばレジスタやＲＡＭなどによって実現できる。メモリ３３０には、エネルギーの最小値や最小値が得られたときの各ニューロンのビット値を保持しておくこともできる。この場合、制御回路３２０は、更新対象ニューロンを決定する処理が所定回数だけ繰り返された後に、エネルギーの最小値や最小値が得られたときの各ニューロンのビット値をメモリ３３０から取得して、制御装置２００に送信してもよい。

図４に示したイジングマシンを用いて、Ｌ０正則化の計算を行うことができる。Ｌ０正則化の計算をイジングマシンで実行する際には、最適化する問題の定式をＱＵＢＯ形式で表現することとなる。このとき、ＱＵＢＯ形式で最適化するビット変数に対しては、次数の制限がある。

以下、次数の制限があることにより発生する問題について具体的に説明する。
図５は、Ｌ０正則化学習の一例を示す図である。図５には、Ｌ０正則化学習を活用して、複数の検体（材料・デバイスなど）に関する分析データ４１から、検体の特性に密接に関わる要素のみを抽出する例が示されている。ここで、検体に関する分析データ４１は、検体ごとのＸ線回折（ＸＲＤ：X‐Ray Diffraction）スペクトルデータを有する。また各検体について実測された特性値を示す特性データ４２が予め用意される。

複数の検体のＸＲＤスペクトルデータは、観測行列Ａで表すことができる。観測行列Ａの各行は、検体に対応する。観測行列Ａの各列は、ＸＲＤスペクトルの回折角度に対応する。観測行列Ａの成分は、その成分が設定された行に対応する検体において、その成分が設定された列に対応する回折角度でのＸ線の強度である。観測行列Ａは、検体の数（もしくは分析回数）をＭ（Ｍは１以上の整数）、スペクトルを観測した回折角度の数をＮ（Ｎは１以上の整数）とすると、Ｍ×Ｎの行列となる（Ｍ＜Ｎ）。観測行列Ａを式で表すとＡ∈Ｒ^M×Nとなる（Ｒは実数を示す）。観測行列Ａの各成分はａ_mnと表される（ｍは１以上Ｍ以下の整数、ｎは１以上Ｎ以下の整数）。

特性データ４２は、特性ベクトルｙで表される。特性ベクトルｙの成分は、各検体の特性値である。特性ベクトルｙはＭ個の成分を有し、特性ベクトルｙを式で表すとｙ∈Ｒ^Mとなる。特性ベクトルｙの各成分はｙ_mと表される。

Ｌ０正則化を用いて最適化するのは、Ｎ個の成分で構成される非ゼロ成分が少ない未知の係数ベクトルｘである。係数ベクトルｘを式で表すとｘ∈Ｒ^Nとなる。これは、特性ベクトルｙと観測行列Ａとの間にモデル式「ｙ＝Ａｘ」の関係が成り立つと仮定した場合、この関係を満足させる係数ベクトルｘを求める問題である。この問題は、以下の式（１）を解くことに相当する。

式（１）は、括弧内の式を最小にする係数ベクトルｘを求める式である。括弧内の第１項「||ｙ−Ａｘ||₂ ²」はｙ−ＡｘのＬ２ノルム（ユークリッドノルム）の２乗である。括弧内の第２項「λ||ｘ||₀」はＬ０正則化の項である。第２項の「||ｘ||₀」は係数ベクトルｘのＬ０ノルムである。係数ベクトルｘのＬ０ノルムは、係数ベクトルｘに含まれる非ゼロ成分の個数である。第２項のλは、正則化の強さを決めるハイパーパラメータである。

式（１）をＱＵＢＯ形式で表現すると、式（２）となる。

式（２）におけるｘ_nは、以下の式（３）で表現される離散値である。

式（３）におけるｄ，Ｌ，Ｃは、予め与えられるパラメータである。ｑ_n,lは、ｎ番目のビットを示している。式（１）は、ビットｑ_n,lに対して２次までで表現できる。そのため式（１）は、式（２）のようなＱＵＢＯ形式に変換することで、イジングマシン３００によって求解することができる。得られた係数ベクトルｘの性能は、検体の実測された特性値と、Ａｘによって算出される特性値の推定値との誤差の大きさによって評価できる。

図６は、求められた係数ベクトルｘの評価結果の一例を示す図である。図６では、横軸が実測された特性値（Ｔｒｕｅ）であり、縦軸が予測された特性値（Ｐｒｅｄｉｃｔｅｄ）である。分析データに示される各検体に対応する点が図中にプロットされている。係数ベクトルｘが正確である程、各点は傾き１で原点を通る直線の近くにプロットされる。その直線と各点との二乗平均平方根誤差（ＲＭＳＥ：Root Mean Square Error）または平均二乗誤差（ＭＳＥ：Mean Square Error）を求めることで、係数ベクトルｘの性能が評価できる。

このようにｙ＝Ａｘの場合の係数ベクトルｘを求め、その性能を評価できる。しかし、特性ベクトルｙと観測行列Ａとの間の関係は、ｙ＝Ａｘであることが保証されているわけではない。そのため、ｙ＝Ａｘ²、ｙ＝Ａｘ^1/2などの複数のモデル式で問題を解き、各モデル式の性能を比較することで、最適なモデル式を決めることになる。なおｘ²は、係数ベクトルｘの各成分の値を２乗したベクトルである。同様にｘ^1/2は、係数ベクトルｘの各成分の値を１／２乗したベクトルである。

係数ベクトルｘの成分の値は式（３）に示されるようにＬ個のビットから得られる値であり、取り得る値は一定間隔の離散的な値である。ｙ＝Ａｘ²とすると、係数ベクトルｘの成分の値が大きくなるほど特性ベクトルｙと観測行列Ａの関係を定義するためのｘ²の成分の取り得る値の幅は大きくなる。このようにｙ＝Ａｘ²とした方が、特性ベクトルｙと観測行列Ａの関係をより正確に係数ベクトルｘでモデル化できる可能性がある。

例えばｙ＝Ａｘ²の場合は、以下の式（４）に変換できる。

式（４）の括弧内の第３項「ｘ_n ²ｘ_n' ²」に式（３）を代入して展開すると、４次の項が発生する。そのため式（４）は、いわゆるＨＯＢＯ（Higher Order Binary Optimization）形式となる。イジングマシン３００で問題を解くには、ＨＯＢＯ形式からＱＵＢＯ形式への変換が要求される。

一般に次数下げの手法として、ｑ₀ｑ₁ｑ₂で表される３次の項は、補助ビットｚ₀を導入し、以下の式（５）、式（６）により２次式で表現できる。

ηは所定のパラメータである。Ｈ_cは制約条件式である。式（５）を利用すれば、４次の場合も、式（７）のように、２つの補助ビットｚ₀，ｚ₁を導入して２次式で表現できる。

式（７）の知見を式（４）の括弧内の第３項のｘ_n ²ｘ_n' ²の展開式に適用し、係数部を省略して表記すると、Ｌの値に応じて以下のように変換される。
Ｌ＝１のときは、ｑ_n,1 ²ｑ_n’,1 ²の項がもともと０または１の値なので、Ｑ≡ｑ_n,1 ²のような変換で対応可能である。

Ｌ＝２のときは、ｑ_n,1ｑ_n,2ｑ_n',1ｑ_n',2の項がＮ個導かれ、都合２Ｎ個の追加の補助ビットが用いられる。
Ｌ＝３のときは、「ｑ_n,1ｑ_n,2ｑ_n',1ｑ_n',2」、「ｑ_n,1ｑ_n,2ｑ_n',1ｑ_n',3」、「ｑ_n,1ｑ_n,2ｑ_n',2ｑ_n',3」、「ｑ_n,1ｑ_n,3ｑ_n',1ｑ_n',2」、「ｑ_n,1ｑ_n,3ｑ_n',1ｑ_n',3」、「ｑ_n,1ｑ_n,3ｑ_n',2ｑ_n',3」、「ｑ_n,2ｑ_n,3ｑ_n',1ｑ_n',2」、「ｑ_n,2ｑ_n,3ｑ_n',1ｑ_n',3」、「ｑ_n,1ｑ_n,2ｑ_n',1ｑ_n',2」の項が発生する。この場合、１８Ｎ個の追加の補助ビットが用いられる。これはＮ＝１００とするとｙ＝Ａｘであれば４００ビットの問題であるところ、ｙ＝Ａｘ²の場合には少なくとも２２００ビット規模の問題になることを意味する。ｙ＝Ａｘの標準的な問題は、Ｎ＝１００、Ｌ＝９であるため、ｙ＝Ａｘ²のモデル式で解くにはさらに膨大な量のビットを利用することとなり、イジングマシン３００が最先端の規模を有していても解くことが困難となる。

以上のような理由から、上記の様なＱＵＢＯ式への変換では、組み合わせ最適化問題の一つであるＬ０正則化学習を活用して、検体の分析データからその検体の特性に密接に関わる要素のみを抽出する問題において、評価式の高次項を評価するのが困難である。

そこで第２の実施の形態では、Ｌ０正則化を利用して、観測行列Ａと特性ベクトルｙを関係づける、非ゼロ成分が少ない未知の係数ベクトルｘを推定する問題において、観測行列Ａと特性ベクトルｙの間の高次の関係の評価・推定を可能とするシステムを提供する。具体的には、指数条件をｋ（ｋは実数）とし、各検体の特性値を１／ｋ乗にした値を特性ベクトルｙの成分とすることによって、１次以外の次数の関係を解析する。

以下、図を参照して、第２の実施の形態における学習方法を詳細に説明する。
図７は、高次項の評価を可能としたＬ０正則化学習の一例を示す図である。図７に示すように、特性データ４２に示される各検体の特性値ｙ_mのｋ乗根（ｙ_m ^1/k）を、特性ベクトルｙの成分とする。この場合、モデル式は「Ａｘ＝ｙ^1/k」となる。指数条件ｋに様々な実数値を設定することで、ｋの値ごとのモデル式を生成することができる。ｙ_m ^1/kは、あらかじめ０〜１、もしくは−１〜１の範囲になるようにスケーリングを行ってもよい。このような特性ベクトルｙを用いてＬ０正則化学習を行うことは、これによりｙ＝ＡｘのＱＵＢＯ形式を利用して、以下の式（８）を解くことに相当する。

式（８）における「ｙ^1/k」は、特性ベクトルｙの各成分を１／ｋ乗したベクトルを表している。これにより、高次から低次への変換をせずにＱＵＢＯ形式の式が得られる。その結果、補助ビットの増加が抑止され、イジングマシン３００で求解を行うことが可能となる。Ｌ０正則化学習用のモデル式の生成は、サーバ１００で行われる。そしてイジングマシン３００によって、サーバ１００が生成したモデル式の係数ベクトルｘを求解する。特定の指数条件ｋの値に応じて得られた係数ベクトルｘは、その指数条件ｋの値において検体の特徴量と特性値との関係を表すモデルである。

図８は、Ｌ０正則化学習のためのサーバの機能を示すブロック図である。サーバ１００は、記憶部１１０、モデル式生成部１２０、最適化要求部１３０、および評価部１４０を有する。

記憶部１１０は、分析データ１１１と特性データ１１２とを記憶する。分析データ１１１は、例えば複数の検体それぞれのＸＲＤスペクトルデータである。特性データ１１２は、複数の検体それぞれの特性値を示すデータである。

モデル式生成部１２０は、最適化対象のモデル式「ｙ^1/k＝Ａｘ」（ｋ＝１，２，・・・）を生成する。例えばモデル式生成部１２０は、分析データ１１１と特性データ１１２とに基づいて、指数条件ｋの値を１から順にカウントアップしながら、対応するモデル式に観測行列Ａと特性ベクトルｙ^1/kとの成分値を設定する。例えばモデル式生成部１２０は、分析データ１１１に示されているＸＲＤスペクトルデータのうち、評価用の検体のＸＲＤスペクトルデータを除外し、残りのＸＲＤスペクトルデータに基づいて観測行列Ａの成分値を設定する。またモデル式生成部１２０は、特性データ１１２に示されている特性値（評価用の検体の特性値を除く）のｋ乗根を計算し、計算した結果を、特性ベクトルｙ^1/2の成分値として設定する。モデル式生成部１２０は、特性ベクトルｙ^1/kの成分値を所定の値の範囲内にスケーリングしてもよい。モデル式生成部１２０は、観測行列Ａと特性ベクトルｙ^1/kとの成分値が設定されたモデル式を、最適化要求部１３０に送信する。

最適化要求部１３０は、イジングマシン３００を用いたモデル式の最適化要求を制御装置２００に送信する。例えば最適化要求部１３０は、生成されたモデル式の観測行列Ａ、特性ベクトルｙ^1/2、正則化学習のためのハイパーパラメータλを制御装置２００に送信する。すると制御装置２００がイジングマシン３００を制御し、式（８）の係数ベクトルｘを計算し、計算結果を最適化要求部１３０に送信する。最適化要求部１３０は、ハイパーパラメータλの値を変えながら、モデル式の最適化要求を繰り返し送信してもよい。最適化要求部１３０は、最適化要求に対して応答された係数ベクトルｘを評価部１４０に送信する。

評価部１４０は、評価用の検体のＸＲＤスペクトルデータを用いて、最適化対象のモデル式を用いて係数ベクトルｘの性能を評価する。評価には、例えば平均二乗誤差が用いられる。評価部１４０は、モデル式の指数条件ｋの値と、評価した係数ベクトルｘと、評価結果とをメモリに格納する。そして評価部１４０は、評価結果が所定の汎化誤差判定条件を満たした場合、Ｌ０正則化学習を終了させ、最も評価が高い係数ベクトルｘとモデル式の指数条件ｋの値とを出力する。

このような機能をサーバ１００が有することで、分析データ１１１と特性データ１１２とに基づくＬ０正則化学習が可能となる。なお図８に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。

図９は、分析データの一例を示す図である。分析データ１１１には、複数の検体それぞれのＸＲＤスペクトルデータ１１１ａ，１１１ｂ，・・・が含まれている。ＸＲＤスペクトルデータ１１１ａ，１１１ｂ，・・・には例えば検体の名称が設定されており、その検体のＸＲＤスペクトルの回折角度ごとの回折強度が設定されている。ここで、ＸＲＤスペクトルデータ１１１ａ，１１１ｂ，・・・それぞれに含まれる回折角度ごとの回折強度の数をＮとする。モデル式生成部１２０は、このような分析データ１１１からＭ個のＸＲＤスペクトルデータを抽出し、観測行列Ａを生成する。

図９の分析データ１１１の下には、回折強度を０〜１の範囲にスケーリングしたときのＸＲＤスペクトルの波形を示している。各検体のＸＲＤスペクトルを示す波形は多数の波（回折強度の高い部分）で構成されるが、それらの波の一部（図９で矢印で示した波）のみが、特性データに示される特性値を予測するのに有用な場合がある。Ｌ０正則化学習を行うことで、特性値を予測するのに有用な情報のみを利用した、特性値予測用のモデルを生成することができる。

図１０は、特性データの一例を示す図である。特性データ１１２には、検体の名称に対応付けて、その検体の特性値が設定されている。特性データ１１２に含まれる特性値のうち、学習用に抽出されたＭ個の検体の特性値に基づいて、特性ベクトルｙが生成される。図１０の下側には、特性ベクトルｙに設定された特性値のヒストグラムが示されている。図１０の例では特性値が０〜１の範囲にスケーリングされ、０．１刻みでの各値域に含まれる特性値の数（頻度）が示されている。

ここで図９に示した観測行列Ａと図１０に示した特性ベクトルｙとを用いたＬ０正則化学習により、特性ベクトルｙと観測行列Ａを関連付ける未知の係数ベクトルｘを求める場合を想定する。観測行列Ａの生成元となったＸＲＤスペクトルデータでは、図９の矢印で示された回折角度における回折強度と検体の特性値との間にｙ≒Ａｘ²の関係が存在する。また特性ベクトルｙとは無関係なダミーのＸＲＤスペクトルデータが、分析データ１１１に含まれている。さらにＸＲＤスペクトルデータには、人工的に０．１％程度のガウシアンノイズが付加されている。

分析データ１１１に含まれるＸＲＤスペクトルデータの総数は２１である。モデル式生成部１２０は、モデルを生成すると共に、１個抜き交差検証で生成したモデルを検証する。すなわちモデル式生成部１２０は、モデルの性能評価用に、分析データ１１１からダミー以外の１つのＸＲＤスペクトルデータを、検証データとして抜きとる。モデル式生成部１２０は、検証データ以外のＸＲＤスペクトルデータを、学習に使用するデータ（訓練データ）とする。訓練データの数は２０個（Ｍ＝２０）である。また、ＸＲＤスペクトルデータは、４００個の回折角度における回折強度が含まれている（Ｎ＝４００）。この場合、係数ベクトルｘは、４００個の成分を含む列ベクトルである。

このようなデータセット（分析データ１１１と特性データ１１２）を用いて、まず特性ベクトルｙを用いた式（１）の求解結果を示す。なお式（１）は、式（８）において指数条件ｋ＝１とした場合に相当する。

図１１は、特性ベクトルｙを用いたＬ０正則化学習結果の一例を示す図である。図１１では、Ｌ０正則化の学習結果を散布図５１で表している。散布図５１には、１個抜き交差検証を式（１）のλを変えながら実施することで作成したλの値ごとのモデル（求められた係数ベクトルｘ）の評価結果が示されている。生成されたモデルの評価方法としては、検証データに対するＲＭＳＥが用いられている。

散布図５１の横軸はλの値である。λの値は、仮数部と指数部の間にＥを挟んだ指数表記である。縦軸の左側の目盛りはＲＭＳＥの値である。縦軸の右側の目盛りは特徴ベクトル内の非ゼロ成分数である。散布図５１内の網掛けの丸が訓練データのＲＭＳＥを示し、白丸が検証データのＲＭＳＥを示し、黒丸が非ゼロ成分数を示す。

散布図５１に示すような評価結果が得られた場合、通常、最終的に採用されるモデルは、検証データに対するＲＭＳＥが最小になるλに対応するモデルである。採用されるモデルの性能は、例えば検証データのＲＭＳＥによって表される。

図１２は、特性ベクトルｙを用いたＬ０正則化学習で得られたモデルの性能を示す図である。図１２では、特性ベクトルｙを用いたＬ０正則化学習で得られたモデルの性能が散布図５２で表されている。散布図５２の横軸が実測値（特性データに示される特性値）であり、縦軸が予測値（モデルを用いて算出される特性値）である。散布図５２内の黒丸が訓練データであり、白丸が検証データである。検証データに対するＲＭＳＥは９．３である。

次に式（８）に従い、特性ベクトルｙの成分を１／２乗した特性ベクトルｙ^1/2を用いて、Ｌ０正則化学習を行った場合の学習結果について説明する。
図１３は、特性ベクトルｙ^1/2を用いたＬ０正則化学習結果の一例を示す図である。図１３に示すように、特性ベクトルｙ^1/2では各成分が１／２乗されることで、成分の値（特性値の１／２乗）を０〜１にスケーリングして、その分布をヒストグラムで表すと、図１０に示した特性ベクトルｙとは異なる分布となる。

以下に、特性ベクトルｙ^1/2を用いた式（８）（ｋ＝２）について、１個抜き交差検証を繰り返しながらＬ０正則化学習による求解作業を行った場合の学習結果について説明する。

図１４は、特性ベクトルｙ^1/2を用いた場合のＬ０正則化学習結果の一例を示す図である。図１４では、Ｌ０正則化の学習結果を散布図５３で表している。散布図５３には、１個抜き交差検証を式（８）のλを変えながら実施することで作成したλの値ごとのモデル（求められた係数ベクトルｘ）の評価結果が示されている。生成されたモデルの評価方法としては、検証データに対するＲＭＳＥが用いられている。散布図５３の各軸の意味、丸印の意味は図１１に示した散布図５１と同様である。

散布図５３と散布図５１とを比較すると、特性ベクトルｙ^1/2を用いた場合の方が特性ベクトルｙを用いた場合よりも検証データのＲＭＳＥが小さくなっていることが分かる。そして検証データに対するＲＭＳＥが最小になるλに対応する係数ベクトルｘが、指数条件ｋ＝２のときの最適化されたモデルとなる。

図１５は、特性ベクトルｙ^1/2を用いたＬ０正則化学習で得られたモデルの性能を示す図である。図１５では、特性ベクトルｙ^1/2を用いたＬ０正則化学習で得られたモデルの性能が散布図５４で表されている。散布図５４の横軸が実測値（特性データに示される特性値）であり、縦軸が予測値（モデルを用いて算出される特性値）である。散布図５４内の黒丸が訓練データであり、白丸が検証データである。検証データに対するＲＭＳＥは４．１である。図１２に示した散布図５２と図１５の散布図５４とを比較すると分かるように、特性ベクトルｙ^1/2を用いた場合の方が、特性ベクトルｙを用いた場合よりも優れた評価結果となる。

図１６は、最適化された係数ベクトルｘの成分の値を示す図である。図１６では、回折角度ごとの対応する係数ベクトルｘの成分の値がグラフ５５で表されている。グラフ５５の横軸が回折角度であり、縦軸が係数ベクトルｘの成分の値である。なお回折角度に対応する係数ベクトルｘの成分とは、図７に示したモデル式においてその回折角度で観測された回折強度に乗算される、係数ベクトルｘ内の成分である。最適化された係数ベクトルｘは、多くの成分の値が０となっている。そして１つの成分だけが、特に大きな値となっている。この成分が、検体の特性に強く関連する成分である。

このように、最適化された係数ベクトルｘにより、重要な成分が正しく抽出されていることが分かる。すなわち、特性ベクトルｙ^1/2を用いることによって、ビット数を増加させることなく、ＸＲＤスペクトルの一部の回折強度がｙ≒Ａｘ²の関係にあることを正しく推定できている。

次に、Ｌ０正則化学習処理の手順について詳細に説明する。
図１７は、Ｌ０正則化学習処理の手順の一例を示すフローチャートである。以下、図１７に示す処理をステップ番号に沿って説明する。

［ステップＳ１０１］モデル式生成部１２０は、調査対象の複数の検体それぞれから取得したＸＲＤスペクトルデータ及び特性データを、記憶部１１０から読み込む。このとき、検体数をＭ＋１、ＸＤスペクトルデータの要素（回折角度ごとの回折強度）の数をＮとする。

［ステップＳ１０２］モデル式生成部１２０は、指数条件ｋのリストに示されているすべての指数条件ｋの値を１つずつ選択し、ステップＳ１０３〜Ｓ１１０の処理を実行する。指数条件ｋのリストには、例えば１から順番に所定数の自然数（１，２，・・・）が設定されている。

［ステップＳ１０３］モデル式生成部１２０は、ハイパーパラメータλのリストに示されているすべてのハイパーパラメータλについて、ステップＳ１０４〜Ｓ１０７の処理を実行する。

［ステップＳ１０４］モデル式生成部１２０は、検体ごとに、その検体のＸＲＤスペクトルデータを検証データとして、ステップＳ１０５の処理を実行する。例えばモデル式生成部１２０は、ループ処理の繰り返し回数制御用の変数ｊに初期値１を設定する。そして変数ｊをカウントアップしながらｊ番目の検体のＸＲＤスペクトルデータを検証データとして、ステップＳ１０５の処理を実行する。モデル式生成部１２０は、この処理をｊ＝Ｍ＋１となるまで繰り返す。

［ステップＳ１０５］モデル式生成部１２０、最適化要求部１３０、および評価部１４０が連係し、１個抜き交差検証処理を実行する。この処理の詳細は後述する（図１８参照）。１個抜き交差検証処理によって、特定の指数条件ｋの値、および特定のハイパーパラメータλの値において、ｊ番目の検体のＸＲＤスペクトルデータを検証データとした場合にモデル式を最適化することで得られた係数ベクトルｘと評価結果が得られる。評価結果は、最適化された係数ベクトルを用いて検証データから予測した特性値と、検証データに対応する検体の実際の特性値との二乗誤差（差分の２乗）である。

［ステップＳ１０６］モデル式生成部１２０は、すべての検体についてステップＳ１０５の処理が終了した場合、処理をステップＳ１０７に進める。
［ステップＳ１０７］評価部１４０は、すべての検体それぞれの二乗誤差の平均（平均二乗誤差（σ_λ,k）を計算する。

［ステップＳ１０８］モデル式生成部１２０は、すべてのハイパーパラメータλについて、ステップＳ１０４〜Ｓ１０７の処理が完了した場合、処理をステップＳ１０９に進める。

［ステップＳ１０９］評価部１４０は、すべてのハイパーパラメータλそれぞれの平均二乗誤差のうちの、最小の平均二乗誤差（σ_k）を決定する。
［ステップＳ１１０］評価部１４０は、汎化誤差判定条件を満たすか否かを判断する。汎化誤差判定条件は、例えば選択中の指数条件ｋの最小の平均二乗誤差が、計算済みの指数条件ｋについての最小の平均二乗誤差のうちの小さい方から４番以内であることである。評価部１４０は、汎化誤差判定条件が満たされる場合、処理をステップＳ１１１に進める。評価部１４０は、汎化誤差判定条件が満たされない場合、指数条件ｋについてのループ処理を抜け、処理をステップＳ１１２に進める。

［ステップＳ１１１］モデル式生成部１２０は、すべての指数条件ｋについてステップＳ１０３〜Ｓ１１０の処理が完了した場合、処理をステップＳ１１２に進める。
［ステップＳ１１２］評価部１４０は、評価が最も良い指数条件ｋの値と係数ベクトルｘ_nを決定する。評価が最も良いとは、最小の平均二乗誤差が最も小さいことである。評価部１４０は、決定した指数条件ｋと係数ベクトルｘ_nとをモデルとして出力する。

このようにして、指数条件ｋごとに最適なハイパーパラメータλの値を用いて最適化された係数ベクトルが得られ、そのうち評価が最も良い係数ベクトルｘとそのときの指数条件ｋとが学習結果として出力される。

次に、１個抜き交差検証処理について詳細に説明する。
図１８は、１個抜き交差検証処理の手順の一例を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。

［ステップＳ１２１］モデル式生成部１２０は、検体ごとのＸＲＤスペクトルデータを訓練データと検証データとに分離する。検証データは、ｊ番目の検体のＸＲＤスペクトルデータである。訓練データは、ｊ番目の検体のＸＲＤスペクトルデータ以外のＭ個のＸＲＤスペクトルデータである。

［ステップＳ１２２］モデル式生成部１２０は、訓練データに基づいて観測行列Ａを生成する。またモデル式生成部１２０は、訓練データに含まれるＸＲＤスペクトルデータに対応する検体の特性値に基づいて特性ベクトルｙを生成する。

［ステップＳ１２３］モデル式生成部１２０は、ステップＳ１２２で生成した特性ベクトルｙの各成分を１／ｋ乗して、特性ベクトルｙ^1/kを生成する。
［ステップＳ１２４］モデル式生成部１２０は、特性ベクトルｙ^1/kの成分を０〜１の範囲にスケーリングする。例えばモデル式生成部１２０は、特性ベクトルｙ^1/kの成分の値の最小値を、各成分の値から減算する。そしてモデル式生成部１２０は、各成分の減算後の値の最大値で、各成分の値を除算する。これにより、特性ベクトルｙ^1/kの成分の値が、最小値が０、最大値が１となるようにスケーリングされる。

［ステップＳ１２５］最適化要求部１３０は、観測行列Ａ、特性ベクトルｙ^1/k、ハイパーパラメータλを、制御装置２００に送信する。すると制御装置２００が、受信した情報に基づいてイジングマシン３００を制御し、係数ベクトルｘの最適化を行う。

［ステップＳ１２６］イジングマシン３００は、制御装置２００からの制御に従って、式（８）から変換されたＱＵＢＯ形式の式を求解対象とし、その式で使用するビットの初期値を、各ビットのニューロン回路に設定する。またイジングマシン３００は、求解対象の式に基づいて、ニューロン回路間の接続の有無を示す重み係数などの情報をニューロン回路に設定する。

［ステップＳ１２７］イジングマシン３００は、Ｌ０正則化により係数ベクトルｘを推定する。具体的には、イジングマシン３００は、量子現象をデジタル回路で再現することで、アニーリング方式によりビットの値の組み合わせの最適化を行う。組み合わせ最適化では、式（８）の括弧内の値が小さいほど各ビットの値に基づくエネルギーが小さくなるような条件で、エネルギーが最小となるビットの値の組み合わせが求められる。

ここで、式（３）に示すように、Ｌ個のビットｑ_n,lの値に基づいて、係数ベクトルｘの１つの成分ｘ_nの値が求まる。すなわちエネルギーが最小となる各ビットの値に基づいて、式（８）の括弧内を最小とする係数ベクトルｘの各成分の値が得られる。なお、対応するビットの値がすべて０の成分はゼロ成分となる。イジングマシン３００は、最適化した係数ベクトルｘを、制御装置２００を介してサーバ１００に送信する。

［ステップＳ１２８］サーバ１００の最適化要求部１３０は、イジングマシン３００から、最適化されたモデルとして係数ベクトルｘを受け取る。
［ステップＳ１２９］評価部１４０は、検証データを用いて、取得した係数ベクトルｘの二乗誤差（σ_j,λ,ｋ）を計算する。例えば評価部１４０は、検証データに示されるＸＲＤスペクトルデータの回折強度の値を成分とするベクトルに係数ベクトルｘを右側から乗算する。評価部１４０は、乗算の結果得られた値のｋ乗を予測した特性値とする。評価部１４０は、予測した特性値と、特性データ１１２に示される実際の特性値との差分の２乗を計算する。この計算で得られた値が二乗誤差（σ_j,λ,ｋ）である。

このようにしてイジングマシン３００を用いて、Ｌ０正則化による式（８）を満たす係数ベクトルｘを探索することができる。
Ｌ０正則化学習を行っているため、得られたモデルに示される係数ベクトルｘは、少量の非ゼロ成分が含まれる。ＸＲＤスペクトルデータ内の特定の要素（特定の回折角度における回折強度）が、特性値に対してｙ＝Ａｘ^kの関係を持つ場合、その要素に対応する係数ベクトルｘ内の成分が非ゼロ成分となる。そのため係数ベクトルｘの非ゼロ成分がどの成分かを確認すれば、特性値と関係する要素が分かる。

図１９は、複数のＸＲＤスペクトルデータの一例を示す図である。図１９では、回折角度ごとの対応する係数ベクトルｘの成分の値がグラフ５６で表されている。グラフ５６の横軸が回折角度であり、縦軸が回折強度である。

図１９に示すように、ＸＲＤスペクトルでは回折強度が高くなる回折角度が多数存在する。これらの回折角度のうち、回折強度と検体の特性値との間に何らかの関係が存在するのは、一部の回折角度のみである。図１９の例では、拡大図５７の矢印で示された部分の回折角度における回折強度が、特性値との間に強い関係を有する。Ｌ０正則化学習を行うことで、得られる回折強度と特性値との関係が強い回折角度が明確になる。

また図１７に示したＬ０正則化学習では、サーバ１００は、指数条件ｋの値ごとに特性ベクトルｙ^1/kを計算し、最小値が０で最大値が１となるようにスケーリングを行った後、Ｌ０正則化学習を実施し推定したモデルの性能を評価している。その際、サーバ１００は、最良のモデルを決定するために、複数のハイパーパラメータλに対して、学習データと検証データを入れ替えながらその都度Ｌ０正則化学習を実施し、検証データに対する平均二乗誤差を評価している。検証データに対する平均二乗誤差が、推定した係数ベクトルｘの性能の評価値である。複数のハイパーパラメータλに対するモデルを生成し、評価していることで、ハイパーパラメータλで示される正則化の強さの適性化を図ることができ、適切な強度のＬ０正則化により、高精度で予測可能なモデルを生成することができる。

なお実際の問題では、適切な指数条件ｋの値があらかじめ確定していることは少ない。そのため図１７に示した処理では、指数条件ｋの値をある範囲で変更し、指数条件ｋの値ごとに求解作業を行い、その中で最良のモデルを採用している。これにより最良の指数条件ｋの値と、そのときのモデルを得ることができる。

図２０は、指数条件ｋの値ごとに生成したモデルの性能の一例を示す図である。図２０には、図１９に示した複数のＸＲＤスペクトルデータに基づく各指数条件ｋに対してのモデルの実測値と予測値の誤差を、散布図６１，６２，６３，・・・で示している。図２０の例では、１／ｋ＝０．５，０．７，０．９，・・・において生成されたモデルの誤差が示されている。例えば各モデルの生成時に検証データとされたＸＲＤスペクトルデータの二乗誤差が、そのモデルの性能を表す数値となる。

適切なハイパーパラメータλの値については、分析データ１１１に依存するが、サーバ１００は、例えば５〜６桁の値域内のλの値が用いられる。図１４で示す例では、λの値として、１０^-5〜１０⁰の値域内の複数の値が用いられている。

またサーバ１００は、学習データと検証データとを入れ替えることで交差検証を行っている。これにより、推定したモデルの学習データ依存度を小さくすることができる。例えばサーバ１００は、分析データ１１１内のＸＲＤスペクトルデータのうち検証データを一つ取り置き、残りのＸＲＤスペクトルデータで学習させ、一つの検証データでモデルを評価する。その後、サーバ１００は、ＸＲＤスペクトルデータの数に応じた回数だけ学習データと検証データを入れ替えてモデル作成及び検証作業を行う、いわゆる１個抜き交差検証を実施している。なおサーバ１００は、ＸＲＤスペクトルデータの数が多い場合には、５分割交差検証をはじめとしたｎ分割交差検証を行うこともできる。

さらにサーバ１００は、量子アニーリングを行うイジングマシン３００との連係処理により、Ｌ０正則化学習を実現している。具体的には、サーバ１００は、データの読み込み、訓練データと検証データとの分割、指数条件ｋとハイパーパラメータλの設定、及びイジングマシン３００で推定したモデルの評価を行う。イジングマシン３００は、ビットの初期化の後、受け取ったデータセットとパラメータに基づく求解作業を行う。このようにイジングマシン３００を利用することで、モデル式に応じて最適化したモデル（係数ベクトルｘ）の探索処理を高速に行うことができる。

なおサーバ１００は、あらかじめ準備した指数条件ｋの値すべてについてモデルの推定と検証作業を行うのではなく、主にイジングマシン３００による総計算時間の短縮を目的として、指数条件ｋの最適値が得られる程度に処理を行えばよい。例えばサーバ１００は、指数条件ｋの値を増加させていき、それ以上、指数条件ｋの値を増加させてもＲＭＳＥの小さいモデルが生成される見込みがない場合、処理を終了させる。

図２１は、指数条件ｋの更新を中止する場合の例を示す図である。図２１の散布図７１は、指数条件ｋの値ごとの、得られたモデルのＲＭＳＥの推移を示している。散布図７１の横軸は１／ｋの値であり、縦軸はＲＭＳＥの値である。散布図７１に示した例では、指数条件ｋを大きな値から順に低下させている。

適切な指数条件ｋのリストを準備しておけば、指数条件ｋに対してプロットしたＲＭＳＥの点を結ぶ曲線は、多くの場合において散布図７１に示されるような下に凸の形状となる。そのため、誤差が最小となる指数条件ｋの値が決定できる程度に、指数条件ｋの値の更新を繰り返せばよい。図１７に示した処理では、各指数条件ｋのモデル性能の最終結果がこれまで得られたモデル性能の上位の所定番以内に入っているかどうかでモデルの推定・検証作業を続行するかどうかが判断される。図２１の例では、最終的に指数条件ｋの最適値としてｋ＝１．４１が得られている。指数条件ｋの最適値が得られてから指数条件ｋの値の更新を繰り返してもモデル性能は悪化していく。そのため生成されるモデルの性能の悪化が繰り返され、これまでに得られたモデルの中で上位所定番内の性能のモデルが得られなくなると、サーバ１００はそれ以上指数条件ｋを更新せずに、Ｌ０正則化学習における新たなモデルの生成を中止する。これにより、生成されるモデルの性能を落とさずに、処理量を低減することができる。

〔その他の実施の形態〕
第２の実施の形態では、複数のニューロン回路３１１，３１２，・・・，３１ｎを有するイジングマシン３００で組み合わせ最適化問題の解探索を行っているが、同じ処理をサーバ１００と同様のノイマン型コンピュータで実現することも可能である。例えば、ノイマン型コンピュータを用いて量子アニーリングの状態遷移過程をソフトウェアシミュレーションで再現することで、組み合わせ最適化問題の解を求解することができる。その場合、サーバ１００が組み合わせ最適化問題の解探索を行ってもよい。

また第２の実施の形態ではサーバ１００と制御装置２００が分かれているが、制御装置２００の機能をサーバ１００内に実装することも可能である。
また第２の実施の形態では、ＸＲＤスペクトルデータを分析データ１１１としているが、他の種類のデータを分析データ１１１とすることもできる。例えば使用中のリチウムイオン電池を所定の時間だけ観測することで得られる該当時間分のＸ線スペクトルの強度を示すデータを分析データ１１１とすることができる。

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

１０ 情報処理装置
１１ 記憶部
１１ａ 分析データ
１１ｂ 特性データ
１２ 処理部

Claims (8)

1. 複数の検体それぞれの特性値の１／ｋ乗（ｋは実数）を成分とする特性ベクトルを生成し、
   前記複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を成分とする観測行列と前記特性ベクトルとの関係を表す係数ベクトルを、Ｌ０正則化を用いて求解する処理を実行する、
   ことを特徴とする情報処理装置。
2. 同一の検体の特徴量を前記観測行列の同一行に並べ、前記複数の検体それぞれに対して同じ観測条件で観測された特徴量を前記観測行列の同一列に並べ、前記観測行列の右から列ベクトルである前記係数ベクトルを乗算した場合に前記特性ベクトルを得ることができる前記係数ベクトルの成分の値を求解する、
   請求項１記載の情報処理装置。
3. 前記観測行列に前記係数ベクトルを乗算した結果と前記特性ベクトルとの誤差が少ないほど小さい値となり、かつ前記係数ベクトルに含まれる非ゼロ成分が少ないほど小さい値となる正則化式を生成し、前記正則化式の値を最小とする前記特性ベクトルを求解する、
   請求項２記載の情報処理装置。
4. 前記正則化式をＱＵＢＯ（Quadratic Unconstrained Binary Optimization）形式に変換し、ＱＵＢＯ形式の式に含まれるビットの値の組み合わせ最適化問題を求解することで、前記特性ベクトルを求解する、
   請求項３記載の情報処理装置。
5. 所定の複数の実数値それぞれを前記ｋの値とし、前記ｋの値ごとに前記係数ベクトルを求解し、前記ｋの値ごとの前記係数ベクトルそれぞれを用いて検証用の検体の測定値から特性値を推定した場合の推定値と、前記検証用の検体の特性値との誤差に基づいて、解として出力する前記係数ベクトルと前記ｋの値とを決定する、
   請求項１ないし４のいずれかに記載の情報処理装置。
6. 前記複数の実数値を順番に選択し、選択された実数値を前記ｋの値として前記係数ベクトルを求解し、得られた前記係数ベクトルを用いて前記検証用の検体の測定値から特性値を推定した場合の推定値と、前記検証用の検体の特性値との誤差が所定の条件を満たした場合、以後、前記複数の実数値の選択と、選択された実数値を前記ｋの値とする前記係数ベクトルの求解とを抑止する、
   請求項５記載の情報処理装置。
7. コンピュータが、
   複数の検体それぞれの特性値の１／ｋ乗（ｋは実数）を成分とする特性ベクトルを生成し、
   前記複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を成分とする観測行列と前記特性ベクトルとの関係を表す係数ベクトルを、Ｌ０正則化を用いて求解する、
   学習方法。
8. コンピュータに、
   複数の検体それぞれの特性値の１／ｋ乗（ｋは実数）を成分とする特性ベクトルを生成し、
   前記複数の検体それぞれに対して行われた複数回の観測で得られた特徴量を成分とする観測行列と前記特性ベクトルとの関係を表す係数ベクトルを、Ｌ０正則化を用いて求解する、
   処理を実行させる学習プログラム。

Images