JP2021108121A - 様々な空間解像度および時間解像度の予報を組み合わせる方法、装置、及び、プログラム - Google Patents

Abstract

【課題】シームレス、かつ、精度の低下を抑えることが可能な、様々な空間解像度および時間解像度の予報を組み合わせる方法、装置、及び、プログラムを提供する。【解決手段】方法、装置、及び、プログラムによれば、複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得する。１地点における、複数の時間ステップでの複数の学習用状態を取得する。複数の学習用予報及び複数の学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練する。訓練済みの機械学習アルゴリズムを実行して、複数の予報に基づいて統合済予報を出力する。ここで、複数の学習用予報及び複数の予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっている。また、複数の学習用予報及び複数の予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む。【選択図】図１

Description

本開示は、様々な空間解像度および時間解像度の予報を組み合わせる方法、装置、及び、プログラムに関する。

コンピューティングシステムは、大規模データセットを含む複雑なシステムの予報モデリングに頻繁に適用される。コンピュータは、複雑なシステムの複数のモデルを組み合わせて、システムの将来の挙動に関する一致した見積りを得るために使用されることがある。ここで、複数のモデルのうちの１つまたは複数のモデルが、その空間解像度または時間解像度において、複数のモデルのうちの他のモデルと異なる場合が起こりうる。

天気予報を例に挙げて説明する。現在の天気予報は、天気予報が作成された時点での天気を反映する初期条件に基づいて、大気、海洋、それらの相互作用などの挙動を記述する物理方程式を解く数値天気予報（ＮＷＰ）システムによって生成される。言い換えると、ＮＷＰシステムは、ある時点の地球と大気の状態を考慮し、将来の地球と大気の状態を予報する方程式を解く。このようなシステムの出力は、空間的および時間的に連続的ではなく、離散的であり、したがって空間解像度および時間解像度の両方によって特徴付けられる。

さらに、運用中のＮＷＰシステムは、一定の定期的なスケジュールで予報結果を発行する。システムによっては、これが日に数回（例えば６時間毎)の場合もあれば、週に数回の場合もある。予報システムに依存して、予報期間、つまり予報を発行する将来の最大時間ステップは異なりうる。

最後に、多くのＮＷＰシステムは、単一の予報を行うだけでなく、複数の予報を組み合わせて予報を行う。つまり、各パラメータに対して複数の予報を発行する。ここで「パラメータ」とは、温度や圧力などのことを指す。その後、様々なアンサンブルメンバーによってなされた様々な予報を比較して、平均化された予報の尤度を計算することができる。これらの特性は、天気予報（またはＮＷＰモデル出力）だけでなく、他の多くの予報システムにも適用できる。

一部のタイプの予報（例えば、指定された配送場所での商品価格）には、空間依存性がない場合もあるが、時間依存性を有している。他には、純粋に空間依存性のみを有するものもありうる。

複数のモデルを組み合わせる際に、モデル間での空間解像度または時間解像度の違いに起因して、シームレスな組み合わせが困難であったり、又は、組み合わせ後の精度が低下したりする懸念がある。

本開示は上述の状況を鑑みて成されたものである。即ち、本開示は、シームレス、かつ、精度の低下を抑えることが可能な、様々な空間解像度および時間解像度の予報を組み合わせる方法、装置、及び、プログラムを提供することを目的とする。

本開示に係る、様々な空間解像度および時間解像度の予報を組み合わせる方法は、複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得する。１地点における、複数の時間ステップでの複数の学習用状態を取得する。複数の学習用予報及び複数の学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練する。訓練済みの機械学習アルゴリズムを実行して、複数の予報に基づいて統合済予報を出力する。ここで、複数の学習用予報及び複数の予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっている。また、複数の学習用予報及び複数の予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む。

上記機械学習アルゴリズムは、複数の学習用予報及び複数の学習用状態の異なる時間解像度に対応する、複数のウェイト行列と複数のバイアスベクトルとを含む再帰型ニューラルネットワークであってもよい。

上記機械学習アルゴリズムは、複数の学習用予報及び複数の学習用状態の異なる空間解像度に対応する複数のカーネルを含む再帰型畳込ニューラルネットワークであってもよい。

上記複数の学習用予報は、時間解像度において互いに異なっていてもよい。機械学習アルゴリズムの訓練において、複数の学習用予報のうちの第１予報グループ及び複数の学習用状態のうちの第１状態グループに対して機械学習アルゴリズムを実行することで、第１ウェイト行列及び第１バイアスベクトルを生成するものであってもよい。複数の学習用予報のうちの第２予報グループ及び複数の学習用状態のうちの第２状態グループに対して機械学習アルゴリズムを実行することで、第２ウェイト行列及び第２バイアスベクトルを生成するものであってもよい。

上記複数の学習用予報は、空間解像度において互いに異なっていてもよい。機械学習アルゴリズムの訓練において、複数の学習用予報のうちの第１予報グループ及び複数の学習用状態のうちの第１状態グループに対して機械学習アルゴリズムを実行することで、第１カーネルを生成するものであってもよい。複数の学習用予報のうちの第２予報グループ及び複数の学習用状態のうちの第２状態グループに対して機械学習アルゴリズムを実行することで、第２カーネルを生成するものであってもよい。

上記機械学習アルゴリズムの実行には、第１時間ステップにおいて有効な複数の予報に対する、第１カーネルの実行が含まれていてもよい。また、第２時間ステップにおいて有効な複数の予報に対する、第２カーネルの実行が含まれていてもよい。

上記訓練済みの機械学習アルゴリズムを実行して、複数の予報に加えて複数の学習用状態のうちの１つの学習用状態に基づいて、複数の予報を出力するものであってもよい。

本開示に係る、様々な空間解像度および時間解像度の予報を組み合わせる装置は、メモリと、少なくとも１つ以上のプロセッサとを有する。ここで、メモリは、コンピュータを操作する方法を実行するための実行可能命令を格納する。プロセッサは、メモリに接続され、実行可能命令を処理可能である。上記方法によれば、複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得する。１地点における、複数の時間ステップでの複数の学習用状態を取得する。複数の学習用予報及び複数の学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練する。訓練済みの機械学習アルゴリズムを実行して、複数の予報に基づいて統合済予報を出力する。ここで、複数の学習用予報及び複数の予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっている。また、複数の学習用予報及び複数の予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む。

本開示に係る、様々な空間解像度および時間解像度の予報を組み合わせるプログラムは、コンピュータを操作する方法を実行するための実行可能命令を備える。上記方法によれば、複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得する。１地点における、複数の時間ステップでの複数の学習用状態を取得する。複数の学習用予報及び複数の学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練する。訓練済みの機械学習アルゴリズムを実行して、複数の予報に基づいて統合済予報を出力する。ここで、複数の学習用予報及び複数の予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっている。また、複数の学習用予報及び複数の予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む。

本開示によれば、シームレス、かつ、精度の低下を抑えて、様々な空間解像度および時間解像度の予報を組み合わせることができる。

時間的又は空間的な分布を有する変数について複数のモデルの予報を統合する方法を示す図である。 複数のモデルの間での時間スケールでの予報の統合を示す図である。 複数のモデルの間での空間スケールでの予報の統合を示す図である。 図１に示す方法を実行するための再帰型ニューラルネットワークの構成の一例を示す図である。 予報の統合のために用いる再帰型畳込ニューラルネットワーク（ＲＣＮＮ）を示す図である。 予報の統合のためのニューラルネットワークを訓練するための、入力データの順列組合せを示す図である。 入力データの利用可能性に対応した異なるニューラルネットワークフィルタの使用を示す図である。 予報の統合のための方法を示す図である。 入力データの利用可能性に従ってニューラルネットワークの訓練可能パラメータを選択する際のフローチャートを示す図である。

以下、いくつかの例示的な実施形態について、図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複する説明を省略する。

図１は、時間的又は空間的な分布を有する変数について複数のモデルの予報を統合する方法１００（予報を組み合わせる方法）を示す図である。処理１０１にて、ニューラルネットワーク１０２（すなわち機械学習アルゴリズム）が、予報１０４（例えば、天気予報）及び、状態１０６（例えば、気象状況）を取得する。ここで、予報１０４及び状態１０６は、様々な空間解像度および時間解像度を有しうる。

処理１０８にて、ニューラルネットワーク１０２は、予報１０４及び状態１０６に基づいて訓練される。つまり、予報１０４、状態１０６は、それぞれニューラルネットワーク１０２の訓練のために用いられる、「学習用予報」、「学習用状態」である。「学習用予報」及び「学習用状態」からなる組は、「教師データ」と呼ばれる。

状態１０６は、センサ測定値（例えば、静止した気象観測所、静止していないセンサ、衛星からのデータ）、その他、利用可能であれば気候を再分析して得られるデータなどを含む。予報１０４は、状態１０６に基づいてモデルが発行した予報である。

処理１１０にて、ニューラルネットワーク１０２は、タイムスタンプごとに、予報を生成する。すなわち、ニューラルネットワーク１０２は、複数の予報１０４のいずれかにおいて予報が与えられているタイムスタンプに対して、当該タイムスタンプ又はそれ以前の予報１０４の一部または全部に基づいて、統合済予報１１２を出力する。

一般に、ニューラルネットワーク１０２は、予報１０４及び状態１０６に基づいて、予報１０４を考慮すべきか、又は、考慮すべきではないかに関して学習を行う。図４及び図５に、実施形態に係るニューラルネットワークを例示する。図４は、図１に示す方法を実行するための再帰型ニューラルネットワークの構成の一例を示す図である。図５は、予報の統合のために用いる再帰型畳込ニューラルネットワーク（ＲＣＮＮ）を示す図である。

一般に、複数のモデルは同じタイムスタンプでの予報を提供するとは限らない。毎日の予報を６時間の時間ステップで生成するモデルもあれば、隔週の予報を２４時間の時間ステップで生成するモデルもある。例えば、図２は、複数のモデルの間での、時間スケールでの予報の統合を示す図である。図２には、複数のモデルとしてＡ_１，Ａ_２，・・・，Ａ_Ｍが挙げられており、そのうち、の４つのモデルをモデル２０１、２０２、２０３、２０４として説明する。一方、タイムスタンプは、Ｘ_０，Ｘ_１，Ｘ_２，・・・，Ｘ_Ｎによって示されている。

図２において、モデル２０１は、Ｘ_０，Ｘ_１，Ｘ_５，・・・，Ｘ_８のタイムスタンプの予報を発行しており、それ以外のタイムスタンプの予報を発行していないとする。一方。モデル２０２は、Ｘ_１，Ｘ_３，Ｘ_４，Ｘ_６，Ｘ_８，Ｘ_Ｎのタイムスタンプの予報を発行しており、それ以外のタイムスタンプの予報を発行していないとする。同様に、その他のモデルも、一部のタイムスタンプの予報を発行しているものとする。ニューラルネットワーク１０２は、複数のモデルとしてＡ_１，Ａ_２，・・・，Ａ_Ｍによって予報が与えられたタイムスタンプの全てに対して、時間スケールでの統合済予報（複数の予報を統合した予報）である予報２００を発行する。

次に、図３は、複数のモデルの間での空間スケールでの予報の統合を示す図である。図３に示されたモデルであるＡ_１，Ａ_２，Ａ_３は、図２に示したモデルであるＡ_１，Ａ_２，Ａ_３と対応している。モデル２０１は、８×８のグリッド解像度を有している。モデル２０２は、４×４のグリッド解像度を有している。モデル２０３は、４×４のグリッド解像度を有している。しかしながら、モデル２０３は、モデル２０１、２０２と比較して、モデル２０３のグリッドは０．５グリッド幅の分だけ垂直方向・水平方向にずれているものとする。

ニューラルネットワーク１０２は、大部分を占めているモデル２０１，２０２のグリッドに合わせてグリッドを生成し、空間スケールでの統合済予報（複数の予報を統合した予報）である予報３００を発行する。ニューラルネットワーク１０２が生成するグリッドの解像度は、モデル２０１〜２０３の中で最も細かい８×８のグリッド解像度に設定される。

より具体的な例を挙げて説明する。気象のモデルＡ及び気象のモデルＢがあると想定する。モデルＡは６時間おきに実行され、毎日、協定世界時で０時、６時、１２時、１８時における予報があるものとする。一方、モデルＢは２４時間おきに実行され、毎日、協定世界時で０時における予報があるものとする。議論を簡単にするため、両モデルは日曜日に稼働を開始し、月曜日の０時から予報の発行を始めたとする。

月曜日の０時における予報に関しては、モデルＡでの予報とモデルＢでの予報が利用可能であり、これらの予報を統合することが考えられる。ここで、予報の統合を行う正確な数学的演算はニューラルネットワークの実装に依存する。一般に、予報は関数ｆ（Ａ，Ｂ）によって記述される。状態１０６（例えば、天気状況）に対して予報１０４（例えば、気象予報）を用いてニューラルネットワーク１０２を訓練することで、関数ｆ（Ａ，Ｂ）のパラメータを学習することができる。

月曜日の６時における予報に関しては、モデルＡによる予報のみが利用可能である。ニューラルネットワークが出力する予報は、モデルＡの出力の他、０時におけるモデルＡ及びモデルＢの入力データに依存する（なぜなら、ニューラルネットワークは再帰型であるため）。月曜日の１２時及び１８時における予報に関しても同様である。

火曜日の０時における予報に関しては、再び、モデルＡでの予報とモデルＢでの予報が利用可能である。よって、ニューラルネットワークが出力する予報は、モデルＡ及びモデルＢの出力の他、モデルＡ及びモデルＢの予報の履歴に依存することになる。したがって、ニューラルネットワークが出力する統合済予報１１２の時間解像度は、入力された予報１０４における利用可能なタイムスタンプの和集合に対応する。つまり、ニューラルネットワークが出力する統合済予報１１２の時間解像度は、入力されたデータにおいて最も細かい時間解像度に対応する。

ニューラルネットワーク１０２は処理１０８によって訓練され、処理１０８は、目的関数を使用して、状態１０６の履歴（気象状況の履歴）について、ニューラルネットワークが出力する統合済予報１１２からの（過去の時刻における）分散を最小化する。

以下の説明では、次の表記を用いる。本開示は、数値天気予報システム（又は、その他の予報システム、例えば、商品価格の予報システム）によって算出された予報１０４に関する。そこで、以下では、予報１０４を文字「ｐ」で表す。予報システムは、温度や価格といった１つのパラメータのみの予報を行うものではなく、多くの場合、温度、圧力、湿度、風速、価格、利用可能性といった複数のパラメータからなるベクトルの予報を行う。そこで、下付きの添字「ａ」を付加して、予報１０４のうちの特定のパラメータを示すものとする。このような表記によれば、予報１０４のうちの特定のパラメータは「ｐ_ａ」のように表される。

予報１０４は、特定の時刻（「有効時刻」）と関連付けられる概念である（予報とは、特定の日時における状況を表すものである）。この点を明示するため、下付きの添字「ｔ」を付加して、予報１０４のうちの特定のパラメータを「ｐ_ａｔ」のように表すものとする。

しかしながら、予報と関連付けられる時刻は、有効時刻だけではない。予報１０４と関連付けられる時刻として、予報が発行された時刻（「発行時刻」）が挙げられる。発行時刻を予報にラベリングする代わりに、有効時刻と発行時刻の差（有効時刻−発行時刻）をラベリングする。この点を明示するため、下付きの添字「ｈ」を付加して、予報１０４のうちの特定のパラメータを「ｐ_ａｔｈ」のように表すものとする。

さらに、予報機関は、所定の上記ベクトル、有効時刻、発行時刻に関する予報を得るために、１つの予報モデルだけでなく異なる複数の予報モデルを実行する場合も考えられる。基本的には、予報機関は各予報モデルの実行に関してわずかに異なる初期条件（例えば、予報が算出される時点で測定された状態１０６（気象条件）の周りの変動の分だけ異なる初期条件）を用いて、各予報１０４を生成するシミュレーションを再度実行する。これにより、予報機関は、予報１０４に関するアンサンブルを生成する。生成されたアンサンブルのうちどのメンバーを対象としているかを明示するために、下付きの添字「ｉ」を付加して、ｉ番目のメンバーに関する予報１０４のうちの特定のパラメータを「ｐ_ａｔｈｉ」のように表すものとする。

さらに、予報１０４を算出したモデルの違いを明示するため、上付きの添字「Ａ」を付与して、モデル「Ａ」で得られた予報１０４のうちの特定のパラメータを「ｐ^Ａ _ａｔｈｉ」のように表すものとする。

上付きの添字を付加する理由を説明する。原理的に、下付き添字「ａ」「ｔ」「ｈ」「ｉ」の可能な選択の幅は、モデル「Ａ」に依存する。例えば、５０のアンサンブルメンバーを持つ大規模のアンサンブルによる予報を行うモデルでは、添字「ｉ」は１から５０の値をとることができる。その他のモデルは、小規模のアンサンブルメンバーによる予報を行うものか、単一の予報を行うものである。同様に、例えば、２４時間おきに連続３０日分の予報を行うモデルもれあれば、１時間おきに連続５日分の予報を行うモデルも有りうる。

このように、異なる予報モデルは異なるパラメータを有しうる。従って、形式的にはモデルを区別する表記を行う必要があるため、下付き添字「ａ」「ｔ」「ｈ」「ｉ」の他に、上付き添字を付加するのである。「ｐ^Ａ _ａｔｈｉ」のように表すことで、モデル「Ａ」への依存性があることを理解できる。

時刻ｔ_１；ｔ_２；ｔ_３；・・・などにおける測定値ｙ_ｔが与えられたとする（すなわち、状態１０６の履歴が与えられたとする）。そして、予報されるパラメータ「ｐ^Ａ _ａｔｈｉ」（各時刻ｔにおいて有効な予報１０４の履歴）に基づいて測定値ｙ_ｔの履歴（状態１０６の履歴）を推定できるよう、処理１０８は、ニューラルネットワーク１０２を訓練する。一般に、ｙは、気象観測所によって測定された温度、または分析または再分析データ製品によって報告された温度などの値になる。ただし、多くの場合、温度は、天気予報である「ｐ^Ａ _ａｔｈｉ」に含まれうる。そのため、「ｐ^Ａ _ａｔｈｉ」は、推定される変数と同じ変数を含む必要はない。したがって、変数Ｘを含む測定値ｙの履歴（状態１０６の履歴）が与えられた場合には、変数Ｘ以外の、予報されるパラメータ「ｐ^Ａ _ａｔｈｉ」に基づいて、変数Ｘを推定できるようにニューラルネットワーク１０２は訓練される。

つまり、深層学習における入力データには、データの欠落がある可能性がある。深層学習のコンテキストでこれを処理する従来の方法は、欠落している値をいくつかのダミー値（０など）に置き換えてから、入力にマスクを追加して、どの値が欠落していると見なされるかをニューラルネットワークに通知することである。この方法の明らかな欠点は、入力の数が２倍になり、それによってニューラルネットワークのパラメータの数が増えることである。ただし、上記のコンテキストでは、欠落しているデータと欠落していないデータの違いは明確であり、規則的なパターンに従う。そのため、データの欠落をダミー値で置き換えて入力にマスクを追加する方法の代わりの方法を採用することが可能となる。

時間次元において例を挙げる。ここで、予報を行う２つのモデルＡとモデルＢがあるとする。モデルＡは、時刻ｔ_１；ｔ_２；ｔ_３；・・・での予報を発行し、モデルＢは、時刻ｔ_２；ｔ_４；ｔ_６；・・・での予報を発行するとする。時刻ｔ_１では、ｙ_ｔ１の推定のためにｐ^Ａ _{ａｔ１ｈｉ}を利用することが可能であり、次の時刻ｔ_２では、ｐ^Ａ _{ａｔ２ｈｉ}およびｐ^Ｂ _{ａｔ２ｈｉ}を利用することが可能となる。単純な再帰型ニューラルネットワークは、時刻ｔにおける入力ｘ_ｔおよび前の時刻のステップに由来する内部状態ベクトルｈ_ｔ−１に基づいて、出力Ｏ_ｔおよび新しい内部状態ベクトルｈ_ｔを生成する（以下では、ｈ_ｔ＝Ｏ_ｔとする）。このようなニューラルネットワークは、ウェイト行列Ｗ、バイアスベクトルｂ、活性化関数φを用いて出力Ｏ_ｔを生成する。出力Ｏ_ｔは次の計算式（数１）によって生成される。

再帰型ニューラルネットワークでは、このような構造が複数重なっていることが多い。すなわち、出力Ｏ_ｔは、次のレイヤへの入力Ｘ_ｔ＋１となる。最下層のウェイト行列はＷ_０、次の最下層のウェイト行列はＷ_１というようになっている。

しかしながら、本開示の実施形態では、同じ単一のウェイト行列はＷ_０を使用せず、代わりに、入力Ｘ_ｔの次元数に基づいて複数のウェイト行列から選択して使用する。モデルＡ及びモデルＢに関する上述した例によれば、２種類のウェイト行列、および、可能な２種類のバイアスベクトルのセットを用いる。

時刻ｔ_１における出力は、ウェイト行列Ｗ_０ ^Ａを用いて、次の計算式（数２）によって生成される。

一方、時刻ｔ_２における出力は、ウェイト行列Ｗ_０ ^ＡＢを用いて、次の計算式（数３）によって生成される。

言い換えると、複数のウェイト行列の組は、利用可能な複数の入力を適切な潜在空間に埋め込む機能を有する。時刻ｔ_１と時刻ｔ_２とを比較すると、入力データにおける空間の次元数は変動するが、潜在空間の次元数は変動しない。つまり、ウェイト行列Ｗ_０ ^Ｌがα_Ｌ×β_Ｌの構造を有する場合、α_ＬはモデルＬとは無関係であるが、β_ＬはモデルＬに依存する。

訓練に用いるニューラルネットワーク１０２として、図４に示すような再帰型ニューラルネットワーク４００を用いることができる。図４は、図１に示す方法を実行するためのニューラルネットワークの構成の一例を示す図である。再帰型ニューラルネットワーク４００は、一連の時間ステップｔ＝ｔ_１；ｔ_２；ｔ_３；・・・での処理を行うものであり、各時間ステップｔにおいて、予報１０４（すなわち、「ｐ^Ａ _ａｔｈｉ」）を入力とする。

ニューラルネットワーク１０２のために使用される入力は、特定の日時ごとに異なる気象モデルによって発行された予報１０４である。ただし、予報機関は、気象モデルを１日、１週間、または１か月に数回実行するため、通常、同じモデルによって、同じ日時に異なる期間ｈで行われた複数の予報１０４が存在しうる。したがって、最新の予報１０４だけでなく、古い予報１０４も入力として使用することが可能である。使用する各モデルからの過去の予報の数の選択は、手動で、または学習されるべきパラメータとして、トレーニング中に調整することができるハイパー・パラメータ１１４である。予報１０４（天気予報）が行われた時点で優勢であった状態１０６（気象条件）は、機械学習システムへの追加の入力として使用することができる。

その他、ニューラルネットワーク１０２は、深い階層構造を有するものであってもよく、例えば、ニューラルネットワーク１０２は、再帰型ニューラルネットワークであってもよい。時間解像度が異なる予測を統合するための実装の例として、シンプルなＥｌｍａｎ、ＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ）、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）などの機械学習における手法を組み合わせてもよい。

図４は、図１に示す方法１００を実行するための再帰型ニューラルネットワーク４００（シンプルな再帰型ニューラルネットワーク）の構成の一例を示す図である。本開示に係る再帰型ニューラルネットワーク４００は、一般的な再帰型ニューラルネットワークとは異なる。本開示に係る再帰型ニューラルネットワーク４００では、再帰型ニューラルネットワークの最も下位のレベル４０１におけるウェイト行列が複数のウェイト行列４０２（例えば、Ｗ_０ ^Ａ、Ｗ_０ ^ＡＢ、Ｗ_０ ^ＡＣ）に置き換えられている。さらには、本開示に係る再帰型ニューラルネットワーク４００では、バイアスベクトルが複数のバイアスベクトル（ｂ_０ ^Ａ、ｂ_０ ^ＡＢ、ｂ_０ ^ＡＣ）に置き換えられている。複数のウェイト行列、複数のバイアスベクトルのうちのいずれを使用するかは、利用可能な複数の入力に依存する。

ＬＳＴＭ、ＧＲＵの一般化は以下のようにして行う。ＬＳＴＭとＧＲＵのいずれも、再帰型ニューラルネットワークの一例であり、計算式（数１）の原理に基づいて行う。計算式（数１）において特徴的な部分は、時間に依存する入力Ｘ_ｔ、ｈ_ｔ−１を有し、時間に依存する出力ｈ_ｔを算出する点である。一方で、ウェイト行列およびバイアス行列は時間に依存しない点である。ＬＳＴＭ及びＧＲＵはこのような概念を一般化しており、多数の数式、内部状態、ウェイト行列、バイアスベクトルを有する。

具体的なＬＳＴＭは、次の一連の式（数４〜８）によって定義される。

ここで、σ_ｇ、σ_ｃ、σ_ｈは、異なる活性化関数を表している（通常は、シグモイド関数、又は、双曲線正接関数である）。Ｗ、及び、Ｕは、活性化行列を表し、ｂは訓練において学習されるバイアスベクトルを表す。Ｘ_ｔは入力であり、ｈ_ｔ、ｃ_ｔ、ｆ_ｔ、ｉ_ｔ、ｏ_ｔは、内部状態ベクトルである。

ここで、ウェイト行列Ｗ、及び、場合によってはバイアスベクトルｂを、利用可能な入力によって定まるウェイト行列（例えば、例えばＷ_０ ^Ａ、Ｗ_０ ^ＡＢ、Ｗ_０ ^ＡＣ）、及び、バイアスベクトルに置き換える必要がある。必要に応じて、Ｕについても同じように置き換えをする。ここでも、考え方は先の説明と同じである。ＬＳＴＭの最下位レベルは、使用可能な入力データとは無関係に上位レベルが動作する潜在的な空間に対して、使用可能な入力データを埋め込む。

予報１０４（天気予報に限定されない）および状態１０６（気象状況に限定されない）が空間成分を有する場合には、全結合層のそれぞれを畳込層に置き換えることができる。この場合、全結合層に対応するウェイト行列及びバイアスベクトルは、畳込層に対応する畳み込みのためのカーネルに置き換えられる。図５は、予報の統合のために用いる再帰型畳込ニューラルネットワーク（ＲＣＮＮ）を示す図である。

再帰型畳込ニューラルネットワーク５００は、層５０４ａ、層５０４ｂ、層５０４ｃとして並べられた、複数の畳込層５０２を有する。最も下の層５０４ａでは、畳込層５０２は複数のカーネル５０６（例えば、ｋ^Ａ _ａ、ｋ^Ａ _ｂｃ）を有している。再帰型畳込ニューラルネットワーク５００は、与えられた時間スタンプにおいて利用可能な予報１０４及び状態１０６に対して、どのカーネル５０６を選択するべきかを学習する。使用可能な空間解像度よりも粗い空間解像度を持つデータソースは、使用可能な空間解像度となるようにデータが補間される。補間の方法としては、例えば、最近傍補間または双一次補間のような単純な補間アルゴリズムが挙げられる。

図６は、予報の統合のためのニューラルネットワークを訓練するための、入力データの順列組合せを示す図である。図６では、予報１０４がアンサンブル予測であって、システムが複数のサンプル６０５、６０６、６０７（サンプル数は３）での訓練を行う際の様子が示されている。システムは、訓練中、モデルからの入力６０１、６０２、６０３、６０４（図中のＥＭ１，ＥＭ２，ＥＭ３，ＥＭ４）を継続的に並べ替える。一方、予報を生成する際には、アンサンブルメンバーの順序は元の順序のまま維持される。継続的な並べ替えを行うことにより、訓練に利用できるデータの数を、アンサンブルメンバーの数をｎとして、ｎの階乗倍に増やすことができる。図６では、アンサンブルメンバーの数は４であるため、訓練時に使用できるデータの数は４！＝２４倍となる。

ニューラルネットワーク１０２は、予報の時間、時間ステップに関してどの予報が利用可能であるかに応じて、異なるフィルタ（すなわち、ウェイト行列及びバイアスベクトル）を使用する。例えば、フィルタは、予報の特性（例えば、時間解像度、空間解像度）に応じて選択される。図７は、入力データの利用可能性に対応した異なるニューラルネットワークフィルタの使用を示す図である。図７では、データの利用可能性に応じて、再帰型畳込ニューラルネットワーク（ＲＣＮＮ）のための異なるフィルタまたはカーネルの使用の様子が示されている。

Ａ_１，Ａ_２，Ａ_３，Ａ_４などの入力された予報に基づいて、複数のカーネル７０１，７０２，７０３（行列Ｗ１，Ｗ２，Ｗ３）のいずれか１つが選択される。そして、選択されたカーネルを用いて、時間ステップごとにニューラルネットワークの内部状態ベクトルｈ_ｔは更新される。なお、システムは複数の行列間でウェイトを共有するよう構成されていてもよい。

図８は、予報の統合のための方法８００を示す図である。方法８００により、統合済予報８０１を得ることができる。処理８０２にて、複数の地点のうちの少なくとも１地点における、複数の時間ステップ（例えば、図２に示すような時間ステップ）での複数の学習用の予報２１１，２１２などを取得する。処理８０４にて、複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用の状態８０５，８０６などを取得する。

処理８０８にて、複数の学習用予報及び複数の学習用状態に基づいて、統合済予報が出力されるようニューラルネットワーク１０２（機械学習アルゴリズム）を訓練する。ニューラルネットワーク１０２の例として、図４に示す再帰型ニューラルネットワーク４００、図５に示す再帰型畳込ニューラルネットワーク５００が挙げられる。

処理８１２にて、訓練済みのニューラルネットワーク１０２を実行して、複数の予報８１３，８１４に基づいて統合済予報８０１を出力する。ニューラルネットワーク１０２は、複数の予報８１３，８１４だけでなく、複数の学習用の予報２１１，２１２、かつ／または、複数の学習用の状態８０５，８０６に基づいて、統合済予報８０１を出力するものであってもよい。

図２、図３に示すように、複数の学習用予報及び複数の予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっているものであってもよい。また、複数の学習用予報及び複数の予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含むものであってもよい。第１予報、第２予報としては、例えば、図２のＡ_１，Ａ_２の例が挙げられる。

図９は、入力データの利用可能性に従ってニューラルネットワークの訓練可能パラメータを選択する際のフローチャートを示す図である。図９において、処理９０２にて、事前に発行された予報及び観測（すなわち、学習用予報及び学習用状態）を取得する。処理９０４にて、予報及び観測に基づいて再帰型ニューラルネットワークを訓練する。すなわち、各時間ステップ（ｔ＝ｔ_１；ｔ_２；ｔ_３；・・・）において、モデルＡからの予報があるか否か、モデルＢからの予報があるか否か、を判定する。そして、利用可能な複数の入力に基づいて、複数のウェイト行列、複数のバイアスベクトルのうちのいずれを使用するかを決定する。例えば、モデルＡからの予報、モデルＢからの予報の両方が、利用可能な複数の入力である場合には、次の計算式（数９）で示されるように、複数のウェイト行列、複数のバイアスベクトルを選択する。

なお、時間ステップｔにおけるニューラルネットワークの出力は、次の計算式（数１０）に基づいて決定する。

損失は標準的な方法で計算され、パラメータは、確率勾配降下または任意の標準的な最適化手法によって最適化される。処理９０６にて、追加の予報を取得する。そして、処理９０８にて、訓練済みのニューラルネットワークを用いて、追加の予報に基づいた予報の統合を実施する。

［実施形態による効果］
以上詳細に説明したように、本開示に係る、様々な空間解像度および時間解像度の予報を組み合わせる方法は、複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得する。１地点における、複数の時間ステップでの複数の学習用状態を取得する。複数の学習用予報及び複数の学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練する。訓練済みの機械学習アルゴリズムを実行して、複数の予報に基づいて統合済予報を出力する。ここで、複数の学習用予報及び複数の予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっている。また、複数の学習用予報及び複数の予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む。

これにより、シームレス、かつ、精度の低下を抑えて、様々な空間解像度および時間解像度の予報を組み合わせることができる。さらに言えば、異なるモデルによる複数の予報を組み合わせることで、信頼性の高い統合済予報を得ることができる。

上記機械学習アルゴリズムは、複数の学習用予報及び複数の学習用状態の異なる時間解像度に対応する、複数のウェイト行列と複数のバイアスベクトルとを含む再帰型ニューラルネットワークであってもよい。これにより、時間解像度の異なる予報同士を組み合わせて、最も高い時間解像度を有する予報に合わせた時間解像度での統合済予報を得ることができる。

上記機械学習アルゴリズムは、複数の学習用予報及び複数の学習用状態の異なる空間解像度に対応する複数のカーネルを含む再帰型畳込ニューラルネットワークであってもよい。これにより、空間解像度の異なる予報同士を組み合わせて、最も高い空間解像度を有する予報に合わせた空間解像度での統合済予報を得ることができる。

上記複数の学習用予報は、時間解像度において互いに異なっていてもよい。機械学習アルゴリズムの訓練において、複数の学習用予報のうちの第１予報グループ及び複数の学習用状態のうちの第１状態グループに対して機械学習アルゴリズムを実行することで、第１ウェイト行列及び第１バイアスベクトルを生成するものであってもよい。複数の学習用予報のうちの第２予報グループ及び複数の学習用状態のうちの第２状態グループに対して機械学習アルゴリズムを実行することで、第２ウェイト行列及び第２バイアスベクトルを生成するものであってもよい。これにより、時間解像度の異なる予報同士を組み合わせることができる。

上記複数の学習用予報は、空間解像度において互いに異なっていてもよい。機械学習アルゴリズムの訓練において、複数の学習用予報のうちの第１予報グループ及び複数の学習用状態のうちの第１状態グループに対して機械学習アルゴリズムを実行することで、第１カーネルを生成するものであってもよい。複数の学習用予報のうちの第２予報グループ及び複数の学習用状態のうちの第２状態グループに対して機械学習アルゴリズムを実行することで、第２カーネルを生成するものであってもよい。これにより、空間解像度の異なる予報同士を組み合わせることができる。

上記機械学習アルゴリズムの実行には、第１時間ステップにおいて有効な複数の予報に対する、第１カーネルの実行が含まれていてもよい。また、第２時間ステップにおいて有効な複数の予報に対する、第２カーネルの実行が含まれていてもよい。これにより、空間解像度の異なる予報同士を組み合わせることができ、さらに、時間解像度の異なる予報同士を組み合わせることができる。

上記訓練済みの機械学習アルゴリズムを実行して、複数の予報に加えて複数の学習用状態のうちの１つの学習用状態に基づいて、複数の予報を出力するものであってもよい。これにより、学習用状態を機械学習アルゴリズムの訓練に用いるだけでなく、機械学習アルゴリズムによる統合済予報の出力の際にも利用でき、統合済予報の精度を向上させることができる。

本開示に係る装置は、メモリと、少なくとも１つ以上のプロセッサとを有する。ここで、メモリは、上述した方法を実行するための実行可能命令を格納する。プロセッサは、メモリに接続され、実行可能命令を処理可能である。

本開示に係るプログラムは、コンピュータを操作する方法である上述した方法を実行するための実行可能な命令を備える。なお、本開示に係るプログラムは、コンピュータによって読み書き可能な記録媒体に格納されるものであってもよい。

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサ、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置、又は、記載された機能を実行するよう配置された回路構成要素なども含まれる。

いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正または変形をすることが可能である。上記実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。

１０２ ニューラルネットワーク
１０４ 予報
１０６ 状態
１１２，８０１ 統合済予報
４００ 再帰型ニューラルネットワーク
５００ 再帰型畳込ニューラルネットワーク

Claims (9)

1. 複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得し、
   前記１地点における、複数の前記時間ステップでの複数の学習用状態を取得し、
   複数の前記学習用予報及び複数の前記学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練し、
   訓練済みの前記機械学習アルゴリズムを実行して、複数の予報に基づいて前記統合済予報を出力する方法であって、
   複数の前記学習用予報及び複数の前記予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっており、
   複数の前記学習用予報及び複数の前記予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む、方法。
2. 請求項１に記載の方法であって、
   前記機械学習アルゴリズムは、複数の前記学習用予報及び複数の前記学習用状態の異なる時間解像度に対応する、複数のウェイト行列と複数のバイアスベクトルとを含む再帰型ニューラルネットワークである、方法。
3. 請求項１に記載の方法であって、
   前記機械学習アルゴリズムは、複数の前記学習用予報及び複数の前記学習用状態の異なる空間解像度に対応する複数のカーネルを含む再帰型畳込ニューラルネットワークである、方法。
4. 請求項１に記載の方法であって、
   複数の前記学習用予報は、前記時間解像度において互いに異なっており、
   前記機械学習アルゴリズムの訓練において、
   複数の前記学習用予報のうちの第１予報グループ及び複数の前記学習用状態のうちの第１状態グループに対して前記機械学習アルゴリズムを実行することで、第１ウェイト行列及び第１バイアスベクトルを生成し、
   複数の前記学習用予報のうちの第２予報グループ及び複数の前記学習用状態のうちの第２状態グループに対して前記機械学習アルゴリズムを実行することで、第２ウェイト行列及び第２バイアスベクトルを生成する、方法。
5. 請求項１に記載の方法であって、
   複数の前記学習用予報は、前記空間解像度において互いに異なっており、
   前記機械学習アルゴリズムの訓練において、
   複数の前記学習用予報のうちの第１予報グループ及び複数の前記学習用状態のうちの第１状態グループに対して前記機械学習アルゴリズムを実行することで、第１カーネルを生成し、
   複数の前記学習用予報のうちの第２予報グループ及び複数の前記学習用状態のうちの第２状態グループに対して前記機械学習アルゴリズムを実行することで、第２カーネルを生成する、方法。
6. 請求項５に記載の方法であって、
   前記機械学習アルゴリズムの実行には、
   前記第１時間ステップにおいて有効な複数の前記予報に対する、前記第１カーネルの実行、及び、
   前記第２時間ステップにおいて有効な複数の前記予報に対する、前記第２カーネルの実行
   が含まれる、方法。
7. 請求項１〜６のいずれか一項に記載の方法であって、
   訓練済みの前記機械学習アルゴリズムを実行して、複数の前記予報に加えて複数の前記学習用状態のうちの１つの学習用状態に基づいて、複数の前記予報を出力する方法。
8. コンピュータを操作する方法を実行するための実行可能命令を格納するメモリと、
   前記メモリに接続され、前記実行可能命令を処理可能な少なくとも１つ以上のプロセッサと、
   を有する装置であって、
   前記方法により、
   複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得し、
   前記１地点における、複数の前記時間ステップでの複数の学習用状態を取得し、
   複数の前記学習用予報及び複数の前記学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練し、
   訓練済みの前記機械学習アルゴリズムを実行して、複数の予報に基づいて前記統合済予報を出力し、
   複数の前記学習用予報及び複数の前記予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっており、
   複数の前記学習用予報及び複数の前記予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む、装置。
9. コンピュータを操作する方法を実行するための実行可能な命令を備えるプログラムであって、
   前記方法により、
   複数の地点のうちの少なくとも１地点における、複数の時間ステップでの複数の学習用予報を取得し、
   前記１地点における、複数の前記時間ステップでの複数の学習用状態を取得し、
   複数の前記学習用予報及び複数の前記学習用状態に基づいて、統合済予報が出力されるよう機械学習アルゴリズムを訓練し、
   訓練済みの前記機械学習アルゴリズムを実行して、複数の予報に基づいて前記統合済予報を出力し、
   複数の前記学習用予報及び複数の前記予報は、空間解像度又は時間解像度のうちの少なくとも１つにおいて互いに異なっており、
   複数の前記学習用予報及び複数の前記予報は、第１時間ステップにおいて有効な第１予報と、第２時間ステップにおいて有効な第２予報と、を含む、プログラム。

Images