JP2019219959A - 評価システム、評価方法およびプログラム - Google Patents

Abstract

【課題】機械学習を継続しながら、機械学習アルゴリズムを評価できる評価システム、評価方法およびプログラムを提供すること。【解決手段】評価システムは、第１データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行う予測部と、第１時間後に得られた第２データが、予測部が予測することによって得られた第１予測値と一致するか否かによって、第１機械学習エンジンを評価する評価部とを備える。【選択図】図２

Description

本発明の実施形態は、評価システム、評価方法およびプログラムに関する。

近年、深層学習を用いた人工知能(artificial intelligence: AI）の学習性能が飛躍的に向上しており、様々な分野で実用的な導入が進んでいる。特に、金融業界では、ブロックチェーンとＡＩとを組み合わせることで、ヘッジファンドで、新たな動きが生じている。
また、多数のＡＩアルゴリズムの予測性能を競わせる仕組みが稼働している（例えば、非特許文献１参照）。
一方、電力市場取引システムでは、参加企業の担当者の判断で、現時点の電力量の需要に基づいて、数日、数時間単位の市場における電力取引の将来の電力量の需要を、地域別や、時間帯別に予測している。

"ＮＵＭＥＲＡＩ"、［ｏｎｌｉｎｅ］、ＮＵＭＥＲＡＩ、［平成３０年 ３月１４日検索］、インターネット＜ｈｔｔｐｓ：／／ｎｕｍｅｒ．ａｉ／＞

電力市場取引システムでは、分散電源などの普及に伴い、地域別、時間帯別にさらに細かく、電力の需要予測を行うことが重要になると想定される。このため、参加企業の担当者の判断では、電力の需要予測が難しくなっていくと想定される。地域別、時間帯別にさらに細かく、電力の需要予測を行うには、電力量の履歴、電力量の予測値、電力量の計画値、気象条件、イベントなどの従来参照していた情報に加え、予測者の常識の範囲を超えた様々な情報を用いて予測することが重要になると想定される。
予測者の常識の範囲を超えた様々な情報を用いて予測する技術として、ＡＩ技術を取り入れることが検討されている。

仮に、電力の需要予測に、ＡＩ技術を採り入れて、多数のＡＩアルゴリズムの予測性能を競わせる場合に、以下の（１）〜(３)が懸念される。
（１）学習済みモデルがアップロードされ、アップロードされた学習済みモデルが評価されるので、新たなデータによって学習された結果は反映されない。
（２）学習済みモデルは個別に評価されるので、複数のモデルを組み合わせた複合モデルは評価されない。
（３）報酬は評価順位に基づいて、固定的に支払われるため、実際の取引結果に基づいて配分されない。
本発明は、前述した点に鑑みてなされたものであり、その目的は、機械学習を継続しながら、機械学習アルゴリズムを評価できる評価システム、評価方法およびプログラムを提供することである。

本発明の一態様は、第１データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行う予測部と、前記第１時間後に得られた第２データが、前記予測部が予測することによって得られた第１予測値と一致するか否かによって、前記第１機械学習エンジンを評価する評価部とを備える、評価システムである。
本発明の一態様の評価システムにおいて、前記第１機械学習エンジンを取得する取得部を備え、前記予測部は、前記取得部が取得した前記第１機械学習エンジンによって、前記第１時間後に得られるデータの予測を行う。
本発明の一態様の評価システムにおいて、前記取得部は、第２機械学習エンジンを取得し、前記予測部は、前記第１データを入力として、前記取得部が取得した前記第２機械学習エンジンによって、前記第１時間後に得られるデータの予測を行い、前記評価部は、前記第２データが、前記第２機械学習エンジンが予測することによって得られた第２予測値と一致するか否かによって、前記第２機械学習エンジンを評価する。
本発明の一態様の評価システムにおいて、前記評価部は、評価結果に基づいて、前記第１機械学習エンジンと前記第２機械学習エンジンとをランキングし、前記ランキングの結果に基づいて、報酬を与える。
本発明の一態様の評価システムにおいて、前記評価部は、予測精度又は予測精度と予測に要した時間とに基づいて、ランキングを行う。
本発明の一態様の評価システムにおいて、前記ランキングの時間変化に基づいて、予測の結果に影響を与えるデータを導出する導出部を備える。
本発明の一態様の評価システムにおいて、前記取得部は、第３機械学習エンジンを取得し、前記予測部は、前記第１データを入力として、前記取得部が取得した前記第３機械学習エンジンによって、前記第１時間後に得られるデータの予測を行い、前記評価部は、前記第２データが、前記第３機械学習エンジンが予測することによって得られた第３予測値と一致するか否かによって、前記第３機械学習エンジンを評価し、前記評価システムは、前記第１予測値と前記第２予測値と前記第３予測値のうち、少なくとも２つを入力として、第１時間後に得られるデータの予測を行う機械学習エンジンであるアンサンブル機械学習エンジンを備える。
本発明の一態様の評価システムにおいて、前記評価部は、評価結果に基づいて、前記第１機械学習エンジンと前記第２機械学習エンジンと前記第３機械学習エンジンとをランキングし、前記アンサンブル機械学習エンジンは、前記ランキングの結果に基づいて、前記第１予測値と前記第２予測値と前記第３予測値とのうちの２つを入力として、第１時間後に得られるデータの予測を行う。
本発明の一態様の評価システムにおいて、前記予測部は、前記第２データを入力として、前記第１機械学習エンジンによって、第１時間後に得られるデータの予測を行い、前記評価部は、前記第１時間後に得られた第３データが、前記第２データを入力として、前記第１機械学習エンジンが予測することによって得られた第４予測値と一致するか否かによって、前記第１機械学習エンジンを評価する。
本発明の一態様は、第１データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行うステップと、前記第１時間後に得られた第２データが、前記予測を行うステップで予測することによって得られた第１予測値と一致するか否かによって、前記第１機械学習エンジンを評価するステップとを有する、コンピュータが実行する評価方法である。
本発明の一態様は、コンピュータに、第１データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行うステップと、前記第１時間後に得られた第２データが、前記予測を行うステップで予測することによって得られた第１予測値と一致するか否かによって、前記第１機械学習エンジンを評価するステップとを実行させるプログラムである。

本発明の実施形態によれば、機械学習を継続しながら、機械学習アルゴリズムを評価できる、評価システム、評価方法およびプログラムを提供できる。

第１の実施形態の評価システムの一例を示す図である。 第１の実施形態の評価システムに含まれる評価装置の一例を示すブロック図である。 第１の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。 第１の実施形態の評価システムの動作の一例を示すシーケンスチャートである。 第２の実施形態の評価システムの一例を示す図である。 第２の実施形態の評価システムに含まれる評価装置の一例を示すブロック図である。 第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。 第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。 第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。 第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。 第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。 第２の実施形態の評価システムの動作の一例を示すシーケンスチャートである。

次に、本実施形態の評価システム、評価方法およびプログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

（第１の実施形態）
（評価システム）
図１は、第１の実施形態の評価システムの一例を示す図である。
第１の実施形態の評価システムは、評価装置１００と、ホームエネルギーマネジメントシステム(ＨＥＭＳ: Home Energy Management System)サーバー２００と、端末装置３００と、電動輸送機器(EV: Electric Vehicle)４００とを備える。
評価装置１００と、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００との間は、インターネットなどのネットワーク５０を介して接続される。具体的には、評価装置１００とＨＥＭＳサーバー２００とは、ネットワーク５０に有線接続され、端末装置３００とＥＶ４００とは、ネットワーク５０に無線接続される。

ＨＥＭＳサーバー２００は、定期的に、電気使用量情報を、評価装置１００へ送信する。
端末装置３００は、センサーによって構成され、定期的に、設置環境のデータを計測する。端末装置３００は、設置環境の計測結果を含むセンサー情報を、定期的に、評価装置１００へ送信する。
ＥＶ４００は、充電データを示す情報を、定期的に、評価装置１００へ送信する。

評価装置１００は、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信する。評価装置１００は、受信した電気使用量情報、センサー情報、充電データなどの計測データと、その計測データを取得した日時を示す情報とを関連付けて、記憶する。
評価装置１００は、一又は複数の機械学習エンジンを備えている。評価装置１００は、記憶した計測データから、電気使用量情報を取得し、取得した電気使用量情報に基づいて、一又は複数の機械学習エンジンの各々に、第１時間後の電気使用量を予測させる。ここで、第１時間とは、概念的な単位時間であり、実際の尺度は一秒よりも短い場合もあれば、数日の場合もあり得る。以下、第１時間後の電気使用量の予測値を第１電気使用量予測値という。
ここで、機械学習エンジンは、電気使用量情報毎に、過去の各種計測データを教師データとして構築されたものである。具体的には機械学習エンジンは、電気使用量情報、センサー情報、充電データなどの計測データから導出された特徴量に基づいて、電気使用量情報から、将来の電気使用量情報を導出する機械学習アルゴリズムを含む。一又は複数の機械学習エンジンの各々は、機械学習された計測データを使用して、機械学習アルゴリズムによって、将来の電気使用量情報を予測する。複数の機械学習エンジンの各々は、電気使用量情報を予測するときに使用する計測データの種類が異なっていたり、機械学習アルゴリズムが異なっていたりする。
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００へ送信し続けている。
端末装置３００は、設置環境の計測結果を含むセンサー情報を、評価装置１００へ送信し続けている。
ＥＶ４００は、充電データを示す情報を、評価装置１００へ送信し続けている。

評価装置１００は、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信する。評価装置１００は、受信した電気使用量情報、センサー情報、充電データなどの計測データと、その計測データを取得した日時を示す情報とを関連付けて、記憶する。
評価装置１００は、記憶している電気使用量情報のうち、第１電気使用量予測値を予測してから、第１時間後に取得した電気使用量情報を取得する。評価装置１００は、取得した電気使用量情報と第１電気使用量予測値とを比較する。評価装置１００は、比較結果に基づいて、一又は複数の機械学習エンジンの各々を評価する。評価装置１００は、複数の機械学習エンジンの各々の評価結果又は評価結果と評価に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価装置１００は、ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬を支払う。
さらに、一又は複数の機械学習エンジンの各々は、記憶した電気使用量情報とセンサー情報に含まれる設置環境の計測結果と充電データとを教師データとして機械学習を行う。一又は複数の機械学習エンジンの各々は、機械学習の結果に基づいて、自機械学習エンジンを更新する。
評価装置１００は、第１時間後に取得した電気使用量情報に基づいて、一又は複数の機械学習エンジンの各々に、さらに、第１時間後の電気使用量を予測させる。以下、ここで予測した第１時間後の電気使用量の予測値を第２電気使用量予測値という。
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００へ送信し続けている。
端末装置３００は、設置環境の計測結果を含むセンサー情報を、評価装置１００へ送信し続けている。
ＥＶ４００は、充電データを示す情報を、評価装置１００へ送信し続けている。

評価装置１００は、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信する。評価装置１００は、受信した電気使用量情報、センサー情報、充電データなどの計測データと、その計測データを取得した日時を示す情報とを関連付けて、記憶する。
評価装置１００は、記憶している電気使用量情報のうち、第２電気使用量予測値を予測してから、第１時間後に取得した電気使用量情報を取得する。評価装置１００は、取得した電気使用量情報と第２電気使用量予測値とを比較する。評価装置１００は、比較結果に基づいて、一又は複数の機械学習エンジンの各々を評価する。評価装置１００は、複数の機械学習エンジンの各々の評価結果又は評価結果と評価に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価装置１００は、ランキングの結果に基づいて、上位から所定の数の順位の学習エンジンを提供したコンテスタントに報酬を支払う。以降、予測と評価とを繰り返す。

以下、評価システム１０を構成する評価装置１００と、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００とのうち、評価装置１００について、詳細に説明する。
図２は、第１の実施形態の評価システムを構成する評価装置１００を示すブロック図である。
（評価装置）
評価装置１００は、パーソナルコンピュータ、サーバー、スマートフォン、タブレット端末、又は産業用コンピュータ等の装置によって実現される。
評価装置１００は、通信部１１０と、通信部１１５と、記憶部１２０と、情報処理部１３０と、各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン１５０とを備える。

通信部１１０は、通信モジュールによって実現される。通信部１１０はネットワーク５０を介して、ＨＥＭＳサーバー２００などの外部の通信装置と通信する。具体的には、通信部１１０は、ＨＥＭＳサーバー２００が送信した電気使用量情報を示す情報を受信し、受信した電気使用量情報を、情報処理部１３０へ出力する。
通信部１１５は、通信モジュールによって実現される。通信部１１5はネットワーク５０を介して、端末装置３００、ＥＶ４００などの外部の通信装置と通信する。通信部１１５は、例えば無線ＬＡＮ（Local Area Network）、又はＬＴＥ（Long Term Evolution）（登録商標）などの通信方式で通信してもよい。具体的には、通信部１１５は、端末装置３００が送信したセンサー情報を受信し、受信したセンサー情報を、情報処理部１３０へ出力する。通信部１１５は、ＥＶ４００が送信した充電データを受信し、受信した充電データを情報処理部１３０へ出力する。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部１２０の一部または全部は、評価装置１００の一部として設けられる場合に代えて、ＮＡＳ（Network Attached Storage）や外部のストレージサーバなど、評価装置１００のプロセッサがネットワーク５０を介してアクセス可能な外部装置により実現されてもよい。記憶部１２０には、情報処理部１３０により実行されるプログラム１２１と、アプリ１２２と、学習データ１２３とが記憶される。

アプリ１２２は、評価装置１００に、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信させる。アプリ１２２は、評価装置１００に、受信させた電気使用量情報、センサー情報、充電データなどの計測データを、受信した日時と関連付けて、記憶部１２０の学習データ１２３に記憶させる。
アプリ１２２は、評価装置１００に、電気使用量情報に基づいて、一又は複数の機械学習エンジンの各々に、第１電気使用量予測値を予測させる。アプリ１２２は、評価装置１００に、記憶させた電気使用量情報のうち、第１電気使用量予測値を予測してから、第１時間後に取得した電気使用量情報を取得させる。アプリ１２２は、評価装置１００に、取得させた電気使用量情報と一又は複数の機械学習エンジンの各々が予測した第１電気使用量予測値とを比較させる。アプリ１２２は、評価装置１００に、比較結果に基づいて、一又は複数の機械学習エンジンの各々を評価させる。アプリ１２２は、評価装置１００に、複数の機械学習エンジンの各々の評価結果又は評価結果と評価に要した時間に基づいて、複数の機械学習エンジンをランキングさせる。
さらに、アプリ１２２は、一又は複数の機械学習エンジンの各々に、記憶させた電気使用量情報と、センサー情報に含まれる設置環境の計測結果と、充電データとを教師データとして機械学習を行わせ、機械学習の結果に基づいて、一又は複数の機械学習エンジンの各々に、更新させる。
また、アプリ１２２は、評価装置１００に、第１時間後に取得した電気使用量情報に基づいて、一又は複数の機械学習エンジンの各々に、第２電気使用量予測値を予測させる。アプリ１２２は、評価装置１００に、記憶させた電気使用量情報のうち、第２電気使用量予測値を予測してから、第１時間後に取得した電気使用量情報を取得させる。アプリ１２２は、評価装置１００に、取得させた電気使用量情報と一又は複数の機械学習エンジンの各々が予測した第２電気使用量予測値とを比較させる。アプリ１２２は、評価装置１００に、比較結果に基づいて、一又は複数の機械学習エンジンの各々を評価させる。アプリ１２２は、評価装置１００に、複数の機械学習エンジンの各々の評価結果又は評価結果と評価に要した時間に基づいて、複数の機械学習エンジンをランキングさせる。
学習データ１２３は、電気使用量情報、センサー情報、充電データなどの計測データを、取得した日時と関連付けて、記憶する。

情報処理部１３０は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１２０に格納されたプログラム１２１や、アプリ１２２を実行することにより実現される機能部（以下「ソフトウェア機能部」という）である。なお、情報処理部１３０の全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部１３０は、例えば、取得部１３１と、予測部１３２と、評価部１３３と、学習部１３４とを備える。

取得部１３１は、通信部１１０が出力した電気使用量情報と、通信部１１５が出力したセンサー情報と充電データとを取得する。取得部１３１は、取得した電気使用量情報、センサー情報、充電データなどの計測データと、計測データを取得した日時を示す情報とを関連付けて、記憶部１２０の学習データ１２３に記憶する。
予測部１３２は、一又は複数の機械学習エンジンを備える。一又は複数の機械学習エンジンの各々は、記憶部１２０の学習データ１２３に記憶された電気使用量情報とその電気使用量情報を取得した日時を示す情報とを取得し、取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、第１電気使用量予測値を予測する。予測部１３２は、予測することによって得られた第１電気使用量予測値と電気使用量情報を取得した日時に第１時間を加算した日時（以下「第１予測対象日時」という）を示す情報とを、評価部１３３へ出力する。
また、予測部１３２では、一又は複数の機械学習エンジンの各々は、評価部１３３が取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、第２電気使用量予測値を予測する。予測部１３２は、予測することによって得られた第２電気使用量予測値と電気使用量情報を取得した日時に第１時間を加算した日時（以下「第２予測対象日時」という）を示す情報とを、評価部１３３へ出力する。
以降、予測部１３２は、以下の処理を繰り返す。予測部１３２は、評価部１３３が取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、電気使用量予測値を予測する。予測部１３２は、予測することによって得られた電気使用量予測値と電気使用量情報を取得した日時に第１時間を加算した日時（予測対象日時）を示す情報とを、評価部１３３へ出力する。

評価部１３３は、予測部１３２が出力した一又は複数の機械学習エンジンの各々が予測した第１電気使用量予測値と第１予測対象日時を示す情報とを取得する。評価部１３３は、記憶部１２０の学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第１予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３は、取得した電気使用量情報と、一又は複数の機械学習エンジンの各々が予測した第１電気使用量予測値とを比較する。評価部１３３は、電気使用量情報と、第１電気使用量予測値との比較結果に基づいて、一致する割合（以下「予測精度」という）を導出する。評価部１３３は、複数の機械学習エンジンの各々の予測精度（評価結果）又は予測結果と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価部１３３は、ランキングの結果に基づいて、上位から所定の数の順位の学習エンジンを提供したコンテスタントに報酬を支払う。
また、評価部１３３は、予測部１３２が出力した一又は複数の機械学習エンジンの各々が予測した第２電気使用量予測値と第２予測対象日時を示す情報とを取得する。評価部１３３は、記憶部１２０の学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第２予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３は、取得した電気使用量情報と、一又は複数の機械学習エンジンの各々が予測した第２電気使用量予測値とを比較する。評価部１３３は、電気使用量情報と、第２電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３は、複数の機械学習エンジンの各々の予測精度（評価結果）又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価部１３３は、ランキングの結果に基づいて、上位から所定の数の順位の学習エンジンを提供したコンテスタントに報酬を支払う。
その後、評価部１３３は、以下の処理を繰り返す。評価部１３３は、予測部１３２が出力した一又は複数の機械学習エンジンの各々が予測した電気使用量予測値と予測対象日時を示す情報とを取得する。評価部１３３は、記憶部１２０の学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、その予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３は、取得した電気使用量情報と、一又は複数の機械学習エンジンの各々が予測した電気使用量予測値とを比較する。評価部１３３は、電気使用量情報と、電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３は、複数の機械学習エンジンの各々の予測精度（評価結果）又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価部１３３は、ランキングの結果に基づいて、上位から所定の数の順位の学習エンジンを提供したコンテスタントに報酬を支払う。
学習部１３４は、定期的に、評価部１３３が備える一又は複数の機械学習エンジンの各々に、記憶部１２０の学習データ１２３に記憶した電気使用量情報と設置環境の計測結果と充電データとを教師データとして機械学習を行わせる。一又は複数の機械学習エンジンの各々は、機械学習の結果に基づいて、自機械学習エンジンを更新する。

（評価システムの動作）
図３は、第１の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。
図３の左上に示されるように、予測部１３２に、電気使用量情報ｄ（ｔ）が入力され、電気使用量の予測値Ｐ（ｔ＋１）が出力される。
図３の左下に示されるように、記憶部１２０の学習データ１２３に、電気使用量情報、設置環境の計測結果、充電データなどの計測データｄｓ（ｔ）が記憶されることによって、学習データＤｌに更新される。
図３の右に示されるように、取得部１３１は、記憶部１２０の学習データ１２３から、時刻ｔに電気使用量情報ｄ（ｔ）を取得し、取得した電気使用量情報ｄ（ｔ）を、予測部１３２へ出力する（１）。
予測部１３２の一又は複数の機械学習エンジンの各々は、取得部１３１が出力した電気使用量情報ｄ（ｔ）に基づいて、第１時間後の時間であるｔ＋１の電気使用量を予測する（２）。ここでは、予測精度を導出するまでの処理については、一つの機械学習エンジンについて説明を続ける。予測部１３２が複数の機械学習エンジンを備える場合、複数の機械学習エンジンの各々は、同様の処理を行う。
予測部１３２は、電気使用量の予測値Ｐ（ｔ＋１）と予測対象日時ｔ＋１とを、評価部１３３へ出力する（３）。

取得部１３１は、取得した電気使用量情報、センサー情報、充電データなどの計測データｄｓ（ｔ＋１）と、計測データｄｓ（ｔ＋１）を取得した日時を示す情報ｔ＋１とを関連付けて、記憶部１２０の学習データ１２３に記憶する（４）。
評価部１３３は、記憶部１２０の学習データ１２３に記憶されている電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、予測対象日時を示す情報と一致する電気使用量情報ｄｓ（ｔ＋１）を取得する（５）。ここでは、計測データｄｓ（ｔ＋１）が、予測対象日時を示す情報と一致する電気使用量情報である場合について説明を続ける。
評価部１３３は、予測部１３２が出力した電気使用量の予測値Ｐ（ｔ＋１）と予測対象日時を示す情報ｔ＋１とを取得する。評価部１３３は、取得した電気使用量ｄｓ（ｔ＋１）と、電気使用量の予測値Ｐ（ｔ＋１）とを比較する。評価部１３３は、所定の期間の間に行われた比較結果に基づいて、予測精度を導出する（６）。
評価部１３３は、予測精度を、記憶部１２０の学習データ１２３に記憶する（７）。
評価部１３３は、導出した予測精度ａ（Ｐ（ｔ＋１），ｄｓ（ｔ＋１））に基づいて、一又は複数の機械学習エンジンのうち、いずれかの機械学習エンジンを採用する（８）。例えば、評価部１３３は、予測精度ａ（Ｐ（ｔ＋１），ｄｓ（ｔ＋１））又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価部１３３は、複数の機械学習エンジンをランキングした結果に基づいて、上位から所定の数の機械学習エンジンを採用する。評価部１３３は、採用した機械学習エンジンを提供したコンテスタントに対して、報酬を支払う。
評価部１３３が採用した機械学習エンジンと、その機械学習エンジンの予測情報（電気使用量の予測値Ｐ（ｔ＋１））とのいずれか一方又は両方は、販売されてもよい（９）。

図４は、第１実施形態の評価システムの動作の一例を示すシーケンスチャートである。
（ステップＳ１）
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００へ送信する。
（ステップＳ２）
端末装置３００は、センサー情報を、評価装置１００へ送信する。
（ステップＳ３）
ＥＶ４００は、充電データを、評価装置１００へ送信する。
（ステップＳ４）
評価装置１００の通信部１１０は、ＨＥＭＳサーバー２００が送信した電気使用量情報を受信し、受信した電気使用量情報を、情報処理部１３０へ出力する。評価装置１００の通信部１１５は、端末装置３００が送信したセンサー情報を受信し、受信したセンサー情報を、情報処理部１３０へ出力する。評価装置１００の通信部１１５は、ＥＶ４００が送信した充電データを受信し、受信した充電データを、情報処理部１３０へ出力する。
情報処理部１３０の取得部１３１は、通信部１１０が出力した電気使用量情報と、通信部１１５が出力したセンサー情報と充電データとを取得する。
取得部１３１は、取得した電気使用量情報、センサー情報、充電データなどの計測データと、計測データを取得した日時を示す情報とを関連付けて、記憶部１２０の学習データ１２３に記憶する。

（ステップＳ５）
予測部１３２では、一又は複数の機械学習エンジンの各々は、記憶部１２０の学習データ１２３に記憶された電気使用量情報とその電気使用量情報を取得した日時を示す情報とを取得する。予測部１３２は、取得した電気使用量情報に基づいて第１電気使用量予測値を予測し、取得した電気使用量情報を取得した日時を示す情報に基づいて第１予測対象日時を導出する。予測部１３２は、予測することによって得られた第１電気使用量予測値と第１予測対象日時を示す情報とを、評価部１３３へ出力する。
（ステップＳ６）
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００へ送信する。
（ステップＳ７）
端末装置３００は、センサー情報を、評価装置１００へ送信する。
（ステップＳ８）
ＥＶ４００は、充電データを、評価装置１００へ送信する。

（ステップＳ９）
評価装置１００の通信部１１０は、ＨＥＭＳサーバー２００が送信した電気使用量情報を受信し、受信した電気使用量情報を、情報処理部１３０へ出力する。評価装置１００の通信部１１５は、端末装置３００が送信したセンサー情報を受信し、受信したセンサー情報を、情報処理部１３０へ出力する。評価装置１００の通信部１１５は、ＥＶ４００が送信したセンサー情報を受信し、受信した充電データを、情報処理部１３０へ出力する。
情報処理部１３０の取得部１３１は、通信部１１０が出力した電気使用量情報と、通信部１１５が出力したセンサー情報と充電データとを取得する。
取得部１３１は、取得した電気使用量情報、センサー情報、充電データなどの計測データと、計測データを取得した日時を示す情報とを関連付けて、記憶部１２０の学習データ１２３に記憶する。

（ステップＳ１０）
評価部１３３は、予測部１３２が出力した第１電気使用量予測値と第１予測対象日時を示す情報とを取得する。評価部１３３は、記憶部１２０の学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第１予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３は、取得した電気使用量情報と、第１電気使用量予測値とを比較することによって評価する。評価部１３３は、電気使用量情報と、第１電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３は、複数の機械学習エンジンの各々の予測精度（評価結果）又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価部１３３は、ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬を支払う。
その後、予測部１３２は、評価部１３３が取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、電気使用量予測値を予測する。予測部１３２は、予測することによって得られた電気使用量予測値と電気使用量情報を取得した日時に第１時間を加算した日時（予測対象日時）を示す情報とを、評価部１３３へ出力する。
評価部１３３は、予測部１３２が出力した一又は複数の機械学習エンジンの各々が予測した電気使用量予測値と予測対象日時を示す情報とを取得する。評価部１３３は、記憶部１２０の学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、その予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３は、取得した電気使用量情報と、一又は複数の機械学習エンジンの各々が予測した電気使用量予測値とを比較する。評価部１３３は、電気使用量情報と、電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価装置１００は、複数の機械学習エンジンの各々の予測精度（評価結果）又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価装置１００は、ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬を支払う。
学習部１３４は、評価部１３３が備える一又は複数の機械学習エンジンの各々に、記憶部１２０の学習データ１２３に記憶した電気使用量情報と設置環境の計測結果と充電データとを教師データとして機械学習を行わせる。一又は複数の機械学習エンジンの各々は、機械学習の結果に基づいて、自機械学習エンジンを更新する。
図４に示されるシーケンス図において、ステップＳ１−Ｓ３の順序を入れ替えてもよいし、ステップＳ６−Ｓ８の順序を入れ替えてもよい。

前述した第１の実施形態では、評価システムに、評価装置１００と、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００とを備える場合について説明したが、この限りでない。例えば、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００とのうち、いずれか一つを備えるようにしてもよいし、気象衛星が取得するデータを取得するサーバーや、電力取引データを取得するサーバーや、太陽光発電(PV: photovoltaics）の設置データを取得するサーバーなどを備えていてもよい。
この場合、評価装置１００は、気象衛星が取得するデータ（例えば、気象データ）、電力取引データ、ＰＶの設置データなどを取得し、取得したデータに基づいて、第１時間後のデータを予測したり、学習を行って機械学習エンジンを更新したりする。また、ＨＥＭＳサーバー２００とともに、又はＨＥＭＳサーバー２００の代わりに、スマートメータを備えていてもよい。この場合、評価装置１００は、スマートメータが取得するデータ（例えば、電気使用量情報）などを取得し、取得したデータに基づいて、第１時間後のデータを予測したり、学習を行って機械学習エンジンを更新したりする。
また、例えば、ＨＥＭＳサーバー２００が複数であってもよいし、端末装置３００が複数であってもよいし、ＥＶ４００が複数であってもよい。ＨＥＭＳサーバー２００、端末装置３００、ＥＶ４００の各々を複数とすることによって、機械学習エンジンが、多くのデータを教師データとして学習できるため、電気使用量を予測する精度を向上させることができる。

前述した第１の実施形態では、機械学習エンジンが、電気使用量情報、センサー情報、充電データなどの計測データから導出された特徴量に基づいて、電気使用量情報から、将来の電気使用量情報を導出する場合について説明したが、この例に限られない。例えば、機械学習エンジンが、電気使用量情報、センサー情報、充電データなどの計測データから導出された特徴量に基づいて、センサー情報から、将来のセンサー情報を導出してもよいし、充電データから、将来の充電データを導出してもよい。
また、例えば、機械学習エンジンが、電気使用量情報、センサー情報、充電データに限らず、複数のデータから導出された特徴量に基づいて、複数のデータに含まれるあるデータから、将来のあるデータを導出してもよい。具体的には、電力市場全体の価格を予測するようにしてもよい。
前述した第１の実施形態では、評価装置１００と、ＨＥＭＳサーバー２００とが、ネットワーク５０を介して有線接続される場合について説明したが、この例に限られない。例えば、評価装置１００と、ＨＥＭＳサーバー２００とが、ネットワーク５０を介して無線接続されてもよい。
前述した実施形態では、評価装置１００と、端末装置３００と、ＥＶ４００とが、ネットワーク５０を介して無線接続される場合について説明したが、この例に限られない。例えば、評価装置１００と、端末装置３００と、ＥＶ４００とが、ネットワーク５０を介して有線接続されてもよい。

前述した第１の実施形態では、評価装置１００と、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００との間が、インターネットなどのネットワーク５０を介して接続される場合について説明したが、この限りでない。例えば、評価装置１００と、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００との間の少なくとも一部が、携帯電話網を介して接続されてもよい。
前述した第１の実施形態では、ＨＥＭＳサーバー２００が、定期的に、電気使用量情報を、評価装置１００へ送信する場合について説明したが、この例に限られない。例えば、評価装置１００がＨＥＭＳサーバー２００に、電気使用量情報要求を定期的に送信し、電気使用量情報要求に対して、ＨＥＭＳサーバー２００が送信した電気使用量情報を、評価装置１００が取得するようにしてもよい。
前述した第１の実施形態では、端末装置３００が、定期的に、センサー情報を、評価装置１００へ送信する場合について説明したが、この例に限られない。例えば、評価装置１００が端末装置３００に、センサー情報要求を定期的に送信し、センサー情報要求に対して、端末装置３００が送信したセンサー情報を、評価装置１００が取得するようにしてもよい。
前述した第１の実施形態では、ＥＶ４００が、定期的に、充電データを示す情報を、評価装置１００へ送信する場合について説明したが、この例に限られない。例えば、評価装置１００がＥＶ４００に、充電データ要求を定期的に送信し、充電データ要求に対して、ＥＶ４００が送信した充電データを示す情報を、評価装置１００が取得するようにしてもよい。

第１の実施形態の評価システム１０によれば、評価装置１００は、電気使用量情報を取得し、取得した電気使用量情報に基づいて、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行い、第１時間後に得られた電気使用量情報が、予測することによって得られた第１電気使用量予測値と一致するか否かによって、第１機械学習エンジンを評価できる。第１時間後に得られた電気使用量情報に基づいて、機械学習エンジンを評価できるため、新たなデータによって学習された結果を反映できる。また、電力取引市場など、現実の膨大な事象に基づく予測が必要となる取引において、優れた予測アルゴリズムを、経時的な環境変化への対応性（学習）を含めて評価できる。
多くのビッグデータを保有する企業は、どのデータサイエンティストと組むべきなのかを見極める手段を欠く。また、実際のデータを公開することによる機密情報の流出の恐れから、積極的にデータの提供ができないでいる。このようなニーズに対して、データをコンテスト向けに抽象化し、オープンに複数の機械学習エンジンのコンテストを行なうことで、機密情報の漏洩を最小限に食い止めつつ、データサイエンティストを募集することができる。その上で、優秀な相手にのみ、秘密保持契約(NDA: Non-disclosure agreement)を結んだうえで、過去データを提供するクローズドなコンテストを実施することで、課題解決をすることができる。
また、データサイエンティストから、計算モデルのライセンス供給をうけた上で、自社のサーバーで演算することで、実際の事業で使用するデータにデータサイエンティストがアクセスすることなくデータ活用を進めることができる。

＜構成例＞
一構成例として、第１データ（実施形態では、電気使用量情報）を入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行う予測部（実施形態では、予測部１３２）と、第１時間後に得られた第２データ（実施形態では、電気使用量情報）が、予測部が予測することによって得られた第１予測値（実施形態では、第１電気使用量予測値）と一致するか否かによって、第１機械エンジンを評価する評価部（実施形態では、評価部１３３）とを備える、評価システム（実施形態では、評価システム１０）である。

（第２の実施形態）
（評価システム）
図５は、第２の実施形態の評価システムの一例を示す図である。
第２の実施形態の評価システムは、評価装置１００ａと、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００と、サーバー５００とを備える。
評価装置１００ａと、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００と、サーバー５００との間は、インターネットなどのネットワーク５０を介して接続される。具体的には、評価装置１００ａとＨＥＭＳサーバー２００とサーバー５００とは、ネットワーク５０に有線接続され、端末装置３００とＥＶ４００とは、ネットワーク５０に無線接続される。

サーバー５００は、機械学習エンジンを、評価装置１００ａへ送信する。ここで、機械学習エンジンは、機械学習エンジン自体の情報（データ）である。また、サーバー５００は、アンサンブル機械学習エンジンを、評価装置１００ａへ送信する。ここで、アンサンブル機械学習エンジンは、アンサンブル機械学習エンジン自体の情報（データ）である。ここで、アンサンブル機械学習エンジンは、電気使用量情報毎に、過去の電気使用量情報を教師データとして構築されたものである。具体的にはアンサンブル機械学習エンジンは、過去の電気使用量情報から導出された特徴量に基づいて、電気使用量情報から、将来の電気使用量情報を導出する機械学習アルゴリズムを含む。アンサンブル機械学習エンジンは、一又は複数の機械学習エンジンの少なくとの一部によって計測データから導出された電気使用量情報を使用して、機械学習アルゴリズムによって、将来の電気使用量情報を予測する。複数のアンサンブル機械学習エンジンがある場合、複数のアンサンブル機械学習エンジンの各々は、電気使用量情報を予測するときに使用する電気使用量情報が異なっていたり、機械学習アルゴリズムが異なっていたりする。
ＨＥＭＳサーバー２００は、定期的に、電気使用量情報を、評価装置１００ａへ送信する。
端末装置３００は、センサーによって構成され、定期的に、設置環境のデータを計測する。端末装置３００は、設置環境の計測結果を含むセンサー情報を、定期的に、評価装置１００ａへ送信する。
ＥＶ４００は、充電データを示す情報を、定期的に、評価装置１００ａへ送信する。

評価装置１００ａは、サーバー５００が送信した機械学習エンジンを受信し、受信した機械学習エンジンを設定する。第２の実施形態では、評価装置１００ａは、サーバー５００が送信した機械学習エンジンを受信し、受信した機械学習エンジンをインストールし、設定する。このように構成することによって、評価装置１００ａに、機械学習エンジンが構築される。
また、評価装置１００ａは、サーバー５００が送信したアンサンブル機械学習エンジンを受信し、受信したアンサンブル機械学習エンジンを設定する。このように構成することによって、評価装置１００ａに、アンサンブル機械学習エンジンが構築される。
また、評価装置１００ａは、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信する。評価装置１００ａは、受信した電気使用量情報、センサー情報、充電データなどの計測データと、その計測データを取得した日時を示す情報とを関連付けて、記憶する。
評価装置１００ａには、複数の機械学習エンジンが構築される。評価装置１００ａは、記憶した計測データから、電気使用量情報を取得する。評価装置１００ａでは、取得した電気使用量情報に基づいて、複数の機械学習エンジンの各々が、第１時間後の第１電気使用量予測値を予測する。評価装置１００ａは、第１電気使用量予測値を販売する。
評価装置１００ａには、一又は複数のアンサンブル機械学習エンジンが構築される。評価装置１００ａでは、一又は複数のアンサンブル機械学習エンジンの各々が、複数の機械学習エンジンの少なくとも一部が出力した第１電気使用量予測値と第１予測対象日時を示す情報とを取得し、取得した複数の第１電気使用量予測値と第１予測対象日時を示す情報とに基づいて、第１時間後の電気使用量予測値（以下「第１アンサンブル電気使用量予測値」という）を予測する。評価装置１００ａは、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値の予測精度を導出する。評価装置１００ａは、アンサンブル機械学習エンジンが複数である場合、導出した予測精度又は予測精度と予測に要した時間に基づいて、複数のアンサンブル機械学習エンジンをランキングする。評価装置１００ａは、上位のランキングのアンサンブル機械学習エンジンが予測した第１アンサンブル電気使用量予測値を販売してもよい。また、評価装置１００ａは、上位のランキングのアンサンブル機械学習エンジンを販売してもよい。
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００ａへ送信し続けている。
端末装置３００は、設置環境のデータの計測結果を含むセンサー情報を、評価装置１００ａへ送信し続けている。
ＥＶ４００は、充電データを示す情報を、評価装置１００ａへ送信し続けている。

評価装置１００ａは、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信する。評価装置１００ａは、受信した電気使用量情報、センサー情報、充電データなどの計測データと、その計測データを取得した日時を示す情報とを関連付けて、記憶する。
評価装置１００ａは、記憶している電気使用量情報のうち、第１電気使用量予測値を予測してから、第１時間後に取得した電気使用量情報を取得する。評価装置１００ａは、取得した電気使用量情報と複数の機械学習エンジンの各々が予測した第１電気使用量予測値とを比較する。評価装置１００ａは、電気使用量情報と複数の機械学習エンジンの各々が予測した電気使用量の予測値との比較結果に基づいて、複数の機械学習エンジンの各々について、予測精度を導出する。

評価装置１００ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数の機械学習エンジンの各々をランキングする。評価装置１００ａは、ランキングの結果に基づいて、上位から所定の数の順位の学習エンジンを提供したコンテスタントに報酬を支払う。
評価装置１００ａは、記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第１予測対象日時を示す情報と一致する電気使用量情報を取得する。評価装置１００ａは、取得した電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値とを比較する。評価装置１００ａは、電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価装置１００ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数のアンサンブル機械学習エンジンの各々をランキングする。評価装置１００ａは、アンサンブル機械学習エンジンが複数である場合、導出した予測精度又は予測精度と予測に要した時間に基づいて、複数のアンサンブル機械学習エンジンをランキングする。評価装置１００ａは、上位のランキングのアンサンブル機械学習エンジンが予測した第１アンサンブル電気使用量予測値を販売してもよい。また、評価装置１００ａは、上位のランキングのアンサンブル機械学習エンジンを販売してもよい。
評価装置１００ａは、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、予測の結果に影響を与えるデータを導出する。また、評価装置１００ａは、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、時間変化が類似しない部分を抽出することなどによって、新たな評価軸を導出する。
さらに、複数の機械学習エンジンの各々は、記憶した電気使用量情報とセンサー情報に含まれる設置環境のデータの計測結果と充電データとを教師データとして機械学習を行う。複数の機械学習エンジンの各々は、機械学習の結果に基づいて、自機械学習エンジンを更新する。
評価装置１００ａは、第１時間後に取得した電気使用量情報に基づいて、複数の機械学習エンジンの各々に、さらに第１時間後の第２電気使用量予測値を予測させる。
評価装置１００ａは、複数の機械学習エンジンの少なくとの一部に予測させた第２電気使用量情報に基づいて、一又は複数のアンサンブル機械学習エンジンの各々に、さらに第１時間後の電気使用量予測値（以下「第２アンサンブル電気使用量予測値」という）を予測させる。
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００ａへ送信し続けている。
端末装置３００は、設置環境の計測結果を含むセンサー情報を、評価装置１００ａへ送信し続けている。
ＥＶ４００は、充電データを示す情報を、評価装置１００ａへ送信し続けている。

評価装置１００ａは、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信する。評価装置１００ａは、受信した電気使用量情報、センサー情報、充電データなどの計測データと、その計測データを取得した日時を示す情報とを関連付けて、記憶する。
評価装置１００ａは、記憶している電気使用量情報のうち、第２電気使用量予測値を予測してから、第１時間後に取得した電気使用量情報を取得する。評価装置１００ａは、取得した電気使用量情報と第２電気使用量予測値とを比較することによって、複数の機械学習エンジンの各々を評価する。
評価装置１００ａは、記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、その予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第２アンサンブル電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と、第２アンサンブル電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数のアンサンブル機械学習エンジンの各々をランキングする。以降、予測と評価とを繰り返す。

以下、評価システム１０ａを構成する評価装置１００ａと、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００と、サーバー５００とのうち、評価装置１００ａについて、詳細に説明する。
図６は、第２の実施形態の評価システムに含まれる評価装置１００ａの一例を示すブロック図である。
（評価装置）
評価装置１００ａは、パーソナルコンピュータ、サーバー、スマートフォン、タブレット端末、又は産業用コンピュータ等の装置によって実現される。
評価装置１００ａは、通信部１１０と、通信部１１５と、記憶部１２０ａと、情報処理部１３０ａと、各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン１５０とを備える。
通信部１１０は、ＨＥＭＳサーバー２００が送信した電気使用量情報を示す情報を受信し、受信した電気使用量情報を、情報処理部１３０ａへ出力する。通信部１１０は、サーバー５００が送信した機械学習エンジンを示す情報を受信し、受信した機械学習エンジンを示す情報を、情報処理部１３０ａへ出力する。

記憶部１２０ａは、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部１２０ａの一部または全部は、評価装置１００ａの一部として設けられる場合に代えて、ＮＡＳや外部のストレージサーバなど、評価装置１００ａのプロセッサがネットワーク５０を介してアクセス可能な外部装置により実現されてもよい。記憶部１２０ａには、情報処理部１３０ａにより実行されるプログラム１２１と、アプリ１２２ａと、学習データ１２３とが記憶される。

アプリ１２２ａは、評価装置１００ａに、サーバー５００が送信した機械学習エンジンとアンサンブル機械学習エンジンと、ＨＥＭＳサーバー２００が送信した電気使用量情報と、端末装置３００が送信したセンサー情報と、ＥＶ４００が送信した充電データとを受信させる。アプリ１２２ａは、評価装置１００ａに、受信させた機械学習エンジンとアンサンブル機械学習エンジンとをインストールさせ、設定させる。アプリ１２２ａは、評価装置１００ａに、受信させた電気使用量情報、センサー情報、充電データなどの計測データを、受信した日時と関連付けて、記憶部１２０ａの学習データ１２３に記憶させる。
アプリ１２２ａは、電気使用量情報に基づいて、複数の機械学習エンジンの各々に、第１電気使用量予測値を予測させる。アプリ１２２ａは、評価装置１００ａに、第１電気使用量予測値を販売させる。
アプリ１２２ａは、一又は複数のアンサンブル機械学習エンジンの各々に、複数の機械学習エンジンの少なくとも一部が出力した第１電気使用量予測値と第１予測対象日時を示す情報とに基づいて、第１アンサンブル電気使用量予測値を予測させる。アプリ１２２ａは、評価装置１００ａに、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値を販売させる。
アプリ１２２ａは、評価装置１００ａに、記憶させた電気使用量情報のうち、第１電気使用量予測値を予測してから、第１時間後に取得した電気使用量情報を取得させる。
アプリ１２２ａは、評価装置１００ａに、取得させた電気使用量情報と複数の機械学習エンジンの各々が予測した第１電気使用量予測値とを比較させる。アプリ１２２ａは、評価装置１００ａに、電気使用量情報と複数の機械学習エンジンの各々が予測した第１電気使用量予測値との比較結果に基づいて、複数の機械学習エンジンの各々の予測精度を導出させる。アプリ１２２ａは、評価装置１００ａに、予測精度又は予測精度と予測に要した時間とに基づいて、複数の機械学習エンジンの各々をランキングさせる。アプリ１２２ａは、評価装置１００ａに、ランキングの結果に基づいて、上位から所定の数の順位の学習エンジンを提供したコンテスタントに報酬を支払わせる。
アプリ１２２ａは、評価装置１００ａに、取得させた電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値とを比較させる。アプリ１２２ａは、評価装置１００ａに、電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値との比較結果に基づいて、予測精度を導出させる。アプリ１２２ａは、評価装置１００ａに、複数のアンサンブル機械学習エンジンの各々をランキングさせる。アプリ１２２ａは、評価装置１００ａに、ランキングの結果に基づいて、上位から所定の数の順位のアンサンブル機械学習エンジンを提供したコンテスタントに報酬を支払わせてもよい。
アプリ１２２ａは、評価装置１００ａに、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、予測の結果に影響を与える計測データを導出させる。また、アプリ１２２ａは、評価装置１００ａに、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、時間変化が類似しない部分を抽出することなどによって、新たな評価軸を導出させる。

アプリ１２２ａは、複数の機械学習エンジンの各々に、記憶した電気使用量情報と設置環境のデータの計測結果と充電データとを教師データとして機械学習を行わせる。アプリ１２２ａは、複数の機械学習エンジンの各々に、機械学習の結果に基づいて、自機械学習エンジンを更新させる。
また、アプリ１２２ａは、評価装置１００ａに、第１時間後に取得した電気使用量情報に基づいて、一又は複数の機械学習エンジンの各々に、第２電気使用量予測値を予測させる。アプリ１２２ａは、評価装置１００ａに、記憶させた電気使用量情報のうち、第２電気使用量予測値を予測してから、さらに第１時間後に取得した電気使用量情報を取得させる。アプリ１２２ａは、評価装置１００ａに、取得させた電気使用量情報と一又は複数の機械学習エンジンの各々が予測した第２電気使用量予測値とを比較させることによって、一又は複数の機械学習エンジンの各々を評価させる。

情報処理部１３０ａは、例えば、ＣＰＵなどのプロセッサが記憶部１２０ａに格納されたプログラム１２１や、アプリ１２２ａを実行することにより実現されるソフトウェア機能部である。なお、情報処理部１３０ａの全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部１３０ａは、例えば、取得部１３１ａと、予測部１３２ａと、評価部１３３ａと、学習部１３４と、導出部１３５とを備える。
取得部１３１ａは、通信部１１０が出力した機械学習エンジンを取得し、取得した機械学習エンジンを、予測部１３２ａへ出力する。また、取得部１３１ａは、通信部１１０が出力した電気使用量情報と、通信部１１５が出力したセンサー情報と充電データとを取得する。取得部１３１ａは、取得した電気使用量情報、センサー情報、充電データなどの計測データと、計測データを取得した日時を示す情報とを関連付けて、記憶部１２０の学習データ１２３に記憶する。

予測部１３２ａは、取得部１３１ａが出力した機械学習エンジンを取得し、取得した機械学習エンジンをインストールし、設定する。予測部１３２ａは、複数の機械学習エンジンを備える。複数の機械学習エンジンの各々は、記憶部１２０ａの学習データ１２３に記憶された電気使用量情報とその電気使用量情報を取得した日時を示す情報とを取得し、取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、第１電気使用量予測値を予測する。予測部１３２ａは、複数の機械学習エンジンの各々が予測した第１電気使用量予測値を販売する。予測部１３２ａは、複数の機械学習エンジンの各々が予測した第１電気使用量予測値と第１予測対象日時を示す情報とを、評価部１３３ａへ出力する。
また、予測部１３２ａでは、複数の機械学習エンジンの各々は、評価部１３３ａが取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、第２電気使用量予測値を予測する。予測部１３２ａは、複数の機械学習エンジンの各々が予測した第２電気使用量予測値と電気使用量情報を取得した日時に第１時間を加算した第２予測対象日時を示す情報とを、評価部１３３ａへ出力する。
以降、予測部１３２ａは、以下の処理を繰り返す。予測部１３２ａは、評価部１３３ａが取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、電気使用量予測値を予測する。予測部１３２ａは、予測することによって得られた電気使用量予測値と電気使用量情報を取得した日時に第１時間を加算した日時（予測対象日時）を示す情報とを、評価部１３３ａへ出力する。
予測部１３２ａは、取得部１３１ａが出力した一又は複数のアンサンブル機械学習エンジンを取得し、取得した一又は複数の機械学習エンジンをインストールし、設定する。予測部１３２ａは、一又は複数のアンサンブル機械学習エンジンを備える。一又は複数のアンサンブル機械学習エンジンの各々は、複数の機械学習エンジンの少なくとの一部が出力した第１電気使用量予測値と第１予測対象日時を示す情報とを取得し、取得した複数の第１電気使用量予測値と第１予測対象日時を示す情報とに基づいて、第１アンサンブル電気使用量予測値を予測する。予測部１３２ａは、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値を販売する。予測部１３２ａは、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値と第１予測対象日時を示す情報とを、評価部１３３ａへ出力する。
また、予測部１３２ａでは、一又は複数のアンサンブル機械学習エンジンの各々は、評価部１３３ａが取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、第２アンサンブル電気使用量予測値を予測する。予測部１３２ａは、一又は複数のアンサンブル機械学習エンジンの各々が予測した第２アンサンブル電気使用量予測値と電気使用量情報を取得した日時に第１時間を加算した第２予測対象日時を示す情報とを、評価部１３３ａへ出力する。
以降、予測部１３２ａは、以下の処理を繰り返す。予測部１３２ａは、評価部１３３ａが取得した電気使用量情報とそのアンサンブル電気使用量情報を取得した日時を示す情報とに基づいて、アンサンブル電気使用量予測値を予測する。予測部１３２ａは、予測することによって得られたアンサンブル電気使用量予測値とアンサンブル電気使用量情報を取得した日時に第１時間を加算した日時（予測対象日時）を示す情報とを、評価部１３３ａへ出力する。

評価部１３３ａは、予測部１３２ａが出力した複数の機械学習エンジンの各々が予測した第１電気使用量予測値と第１予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第１予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、複数の機械学習エンジンの各々が予測した第１電気使用量予測値とを比較する。評価部１３３は、電気使用量情報と、複数の機械学習エンジンの各々が予測した第１電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数の機械学習エンジンの各々をランキングする。評価部１３３ａは、複数の機械学習エンジンの各々の予測精度又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬が支払われる。
また、評価部１３３ａは、予測部１３２ａが出力した複数の機械学習エンジンの各々が予測した第２電気使用量予測値と第２予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第２予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、複数の機械学習エンジンの各々が予測した第２電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と、複数の機械学習エンジンの各々が予測した第２電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数の機械学習エンジンの各々をランキングする。評価部１３３ａは、複数の機械学習エンジンの各々の予測精度又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価部１３３ａは、ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬を支払う。
その後、評価部１３３ａは、以下の処理を繰り返す。評価部１３３ａは、予測部１３２ａが出力した複数の機械学習エンジンの各々が予測した電気使用量予測値と予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、その予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、複数の機械学習エンジンの各々が予測した電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と、電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数の機械学習エンジンの各々をランキングする。評価部１３３ａは、複数の機械学習エンジンの各々の予測精度又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンをランキングする。評価部１３３ａは、ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬を支払う。

評価部１３３ａは、予測部１３２ａが出力した一又は複数のアンサンブル機械学習エンジン（アンサンブル機械学習エンジンα、アンサンブル機械学習エンジンβ、アンサンブル機械学習エンジンγ）の各々が予測した第１アンサンブル電気使用量予測値と第１予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第１予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第１アンサンブル電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数のアンサンブル機械学習エンジンの各々をランキングする。第１アンサンブル電気使用量予測値は、複数の機械学習エンジンの少なくとも一部が出力した第１電気使用量予測値と第１予測対象日時を示す情報とに基づいて予測されているため、第１電気使用量予測値よりも予測精度が高いと想定される。
また、評価部１３３ａは、予測部１３２ａが出力した一又は複数のアンサンブル機械学習エンジンの各々が予測した第２アンサンブル電気使用量予測値と第２予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第２予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第２アンサンブル電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測した第２アンサンブル電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数のアンサンブル機械学習エンジンの各々をランキングする。第２アンサンブル電気使用量予測値は、複数の機械学習エンジンの少なくとも一部が出力した第２電気使用量予測値と第２予測対象日時を示す情報とに基づいて予測されているため、第２電気使用量予測値よりも予測精度が高いと想定される。
その後、評価部１３３ａは、以下の処理を繰り返す。評価部１３３ａは、予測部１３２ａが出力した一又は複数のアンサンブル機械学習エンジンの各々が予測したアンサンブル電気使用量予測値と予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、その予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、一又は複数のアンサンブル機械学習エンジンの各々が予測したアンサンブル電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と、アンサンブル電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数のアンサンブル機械学習エンジンの各々をランキングする。評価部１３３ａは、ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬を支払う。
導出部１３５は、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、予測の結果に影響を与える計測データを導出する。具体的には、導出部１３５は、所定の期間のランキングの結果に基づいて、ランキングが一位であることが多い機械学習エンジンに対応する予測精度の時系列データと、その機械学習エンジン以外に対応する予測精度の時系列データとに基づいて、ランキングが一位であることが多い機械学習エンジンに対応する予測精度が下がった時間に、その予測精度よりも予測精度が高い機械学習エンジンを取得する。導出部１３５は、ランキングが一位であることが多い機械学習エンジンと、取得した機械学習エンジンとの間で、特徴量を比較することによって、予測の結果に影響を与える計測データを導出する。
また、導出部１３５は、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、時間変化が類似しない部分を抽出することなどによって、新たな評価軸を導出する。例えば、複数の機械学習エンジンの各々のランキングの結果の時間変化が、平日と平日以外とで異なる場合に、平日と平日以外という新たな評価軸を導出する。また、複数の機械学習エンジンの各々のランキングの結果の時間変化が、早朝と早朝以外とで、異なる場合に、早朝と早朝以外という新たな評価軸を導出する。

（評価システムの動作）
図７は、第２の実施形態の評価システムに含まれる評価装置１００ａの動作の一例を示す図である。図７を参照して、第１の実施形態の評価システム１０と異なる点について、主に説明する。
評価装置１００ａの予測部１３２ａは、記憶部１２０ａの学習データ１２３に記憶された電気使用量情報とその電気使用量情報を取得した日時を示す情報とを取得する。複数の機械学習エンジンの各々は、予測部１３２ａが取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、第１電気使用量予測値を予測する。予測部１３２ａは、第１電気使用量予測値を販売する（予測結果の販売）。
評価装置１００ａの評価部１３３ａは、記憶している電気使用量情報のうち、電気使用量を予測してから、第１時間後に取得した電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と複数の機械学習エンジンの各々が予測した第１電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と複数の機械学習エンジンの各々が予測した第１電気使用量予測値との比較結果に基づいて、複数の機械学習エンジンの各々について、コンテストを開催する（コンテストの開催）。
ここで、評価部１３３ａは、複数の機械学習エンジンの各々が予測した第１電気使用量予測値の販売による売り上げを賞金として、不特定多数の人の寄与を募り、必要とするサービス、アイデア、またはコンテンツを取得するプロセスであるクラウドソーシングを通じて、第１電気使用量予測値を予測するたびに、コンテストを実施するようにしてもよい。図７に示される例では、モデルである機械学習エンジン「Ａ」の提供元であるコンテスタントから機械学習エンジン「Ｚ」の提供元であるコンテスタントの各々について、予測精度が関連付けて表されている。

評価装置１００ａの評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、複数の機械学習エンジンの各々をランキングする。例えば、予測精度が高い順又は予測精度が高くかつ予測に要した時間が短い順にランキングしてもよい。
評価部１３３ａは、ランキングした結果に基づいて、１０位などの所定の順位以内の機械学習エンジンを表示するようにしてもよい。図７に示される例では、モデルＡからモデルＺのうち、ランキング１位からランキング１０位に該当する機械学習エンジン「Ｂ」、「Ｊ」、・・・、「Ｎ」が表されている。ここで、評価部１３３ａは、１位から所定の順位の機械学習エンジンを提供したコンテスタントに報酬を支払うようにしてもよい。
さらに、モデルＡからモデルＺのうち、予測精度又は予測精度と予測の要した時間とに基づいてランキングされた結果、１位から１０位に含まれるモデル（機械学習エンジン）が出力した電気使用量予測値と電気使用量情報を取得した日時とに基づいて、一又は複数のアンサンブル機械学習エンジンは、電気使用量情報を予測する。
評価装置１００ａの評価部１３３ａは、複数の機械学習エンジンの各々のランキングの結果に基づいて、上位から所定の数の学習エンジンを採用する（採用）。導出部１３５は、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、予測の結果に影響を与える計測データを導出する。また、導出部１３５は、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、時間変化が類似しない部分を抽出することなどによって、新たな評価軸を導出する。

図８は、第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。図８に示される例では、予測部１３２ａは、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤと、アンサンブル機械学習エンジンαと、アンサンブル機械学習エンジンβと、アンサンブル機械学習エンジンγとを備える。ここでは、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤとの各々が出力する第１電気使用量予測値が、アンサンブル機械学習エンジンαと、アンサンブル機械学習エンジンβと、アンサンブル機械学習エンジンγとの各々に入力される場合について説明する。
機械学習エンジンＡには、ｄａ１、ｄａ２、・・・、ｄａｋ１（ｋ１は、ｋ１＞０の整数）などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＡは、入力されたｄａ１、ｄａ２、・・・、ｄａｋ１に基づいて、第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎを予測する。ｄａ１、ｄａ２、・・・、ｄａｎの一例は、気象情報である。
機械学習エンジンＢには、ｄｂ１、ｄｂ２、・・・、ｄｂｋ２（ｋ２は、ｋ２＞０の整数）などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＢは、入力されたｄｂ１、ｄｂ２、・・・、ｄｂｋ２に基づいて、第１電気使用量予測値ｔｂ１、ｔｂ２、・・・、ｔｂｋ２を予測する。ｄｂ１、ｄｂ２、・・・、ｄｂｋ２の一例は、ソーシャルネットワーキングサービス(social networking service: SNS）から取得される情報である。
機械学習エンジンＣには、ｄｃ１、ｄｃ２、・・・、ｄｃｋ３（ｋ３は、ｋ３＞０の整数）などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＣは、入力されたｄｃ１、ｄｃ２、・・・、ｄｃｋ３に基づいて、第１電気使用量予測値ｔｃ１、ｔｃ２、・・・、ｔｃｋ３を予測する。ｄｃ１、ｄｃ２、・・・、ｄｃｋ３の一例は、電気使用量情報である。
機械学習エンジンＤには、ｄｄ１、ｄｄ２、・・・、ｄｄｋ４（ｋ４は、ｋ４＞０の整数）などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＤは、入力されたｄｄ１、ｄｄ２、・・・、ｄｄｋ４に基づいて、第１電気使用量予測値ｔｄ１、ｔｄ２、・・・、ｔｄｋ４を予測する。ｄｄ１、ｄｄ２、・・・、ｄｄｋ４の一例は、ＰＶの設置データである。

アンサンブル機械学習エンジンαは、機械学習エンジンＡが出力した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎと、機械学習エンジンＢが出力した第１電気使用量予測値ｔｂ１、ｔｂ２、・・・、ｔｂｎと、機械学習エンジンＣが出力した第１電気使用量予測値ｔｃ１、ｔｃ２、・・・、ｔｃｎと、機械学習エンジンＤが出力した第１電気使用量予測値ｔｄ１、ｔｄ２、・・・、ｔｄｎと、を取得する。アンサンブル機械学習エンジンαは、取得した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎ、ｔｂ１、ｔｂ２、・・・、ｔｂｎ、ｔｃ１、ｔｃ２、・・・、ｔｃｎ、ｔｄ１、ｔｄ２、・・・、ｔｄｎに基づいて、第１アンサンブル予測値ｔα１、ｔα２、・・・、ｔαｎを予測する。第１アンサンブル予測値ｔα１、ｔα２、・・・、ｔαｎは、電気使用量予測値である。
アンサンブル機械学習エンジンβは、機械学習エンジンＡが出力した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎと、機械学習エンジンＢが出力した第１電気使用量予測値ｔｂ１、ｔｂ２、・・・、ｔｂｎと、機械学習エンジンＣが出力した第１電気使用量予測値ｔｃ１、ｔｃ２、・・・、ｔｃｎと、機械学習エンジンＤが出力した第１電気使用量予測値ｔｄ１、ｔｄ２、・・・、ｔｄｎと、を取得する。アンサンブル機械学習エンジンβは、取得した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎ、ｔｂ１、ｔｂ２、・・・、ｔｂｎ、ｔｃ１、ｔｃ２、・・・、ｔｃｎ、ｔｄ１、ｔｄ２、・・・、ｔｄｎに基づいて、第１アンサンブル予測値ｔβ１、ｔβ２、・・・、ｔβｎを予測する。第１アンサンブル予測値ｔβ１、ｔβ２、・・・、ｔβｎは、電気使用量予測値である。
アンサンブル機械学習エンジンγは、機械学習エンジンＡが出力した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎと、機械学習エンジンＢが出力した第１電気使用量予測値ｔｂ１、ｔｂ２、・・・、ｔｂｎと、機械学習エンジンＣが出力した第１電気使用量予測値ｔｃ１、ｔｃ２、・・・、ｔｃｎと、機械学習エンジンＤが出力した第１電気使用量予測値ｔｄ１、ｔｄ２、・・・、ｔｄｎと、を取得する。アンサンブル機械学習エンジンγは、取得した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎ、ｔｂ１、ｔｂ２、・・・、ｔｂｎ、ｔｃ１、ｔｃ２、・・・、ｔｃｎ、ｔｄ１、ｔｄ２、・・・、ｔｄｎに基づいて、第１アンサンブル予測値ｔγ１、ｔγ２、・・・、ｔγｎを予測する。第１アンサンブル予測値ｔγ１、ｔγ２、・・・、ｔγｎは、電気使用量予測値である。

図９は、第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。図９に示される例では、予測部１３２ａは、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤと、アンサンブル機械学習エンジンαとを備える。図８とは、アンサンブル機械学習エンジンの数が一つである点で異なる。
ここでは、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤとを評価した結果、評価が高い順に、機械学習エンジンＢ、機械学習エンジンＡ、機械学習エンジンＣ、機械学習エンジンＤであった場合について説明する。この場合、例えば、評価が高い方から三位以内の機械学習エンジンが出力する第１電気使用量予測値が、アンサンブル機械学習エンジンαに入力される。
図８と同様に、機械学習エンジンＡには、ｄａ１、ｄａ２、・・・、ｄａｋ１などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＡは、入力されたｄａ１、ｄａ２、・・・、ｄａｋ１に基づいて、第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎを予測する。ｄａ１、ｄａ２、・・・、ｄａｎの一例は、気象情報である。
機械学習エンジンＢには、ｄｂ１、ｄｂ２、・・・、ｄｂｋ２などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＢは、入力されたｄｂ１、ｄｂ２、・・・、ｄｂｋ２に基づいて、第１電気使用量予測値ｔｂ１、ｔｂ２、・・・、ｔｂｋ２を予測する。ｄｂ１、ｄｂ２、・・・、ｄｂｋ２の一例は、ソーシャルネットワーキングサービス(social networking service: SNS）から取得される情報である。
機械学習エンジンＣには、ｄｃ１、ｄｃ２、・・・、ｄｃｋ３などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＣは、入力されたｄｃ１、ｄｃ２、・・・、ｄｃｋ３に基づいて、第１電気使用量予測値ｔｃ１、ｔｃ２、・・・、ｔｃｋ３を予測する。ｄｃ１、ｄｃ２、・・・、ｄｃｋ３の一例は、電気使用量情報である。
機械学習エンジンＤには、ｄｄ１、ｄｄ２、・・・、ｄｄｋ４などの情報とその情報を取得した日時を示す情報とが入力される。機械学習エンジンＤは、入力されたｄｄ１、ｄｄ２、・・・、ｄｄｋ４に基づいて、第１電気使用量予測値ｔｄ１、ｔｄ２、・・・、ｔｄｋ４を予測する。ｄｄ１、ｄｄ２、・・・、ｄｄｋ４の一例は、ＰＶの設置データである。

評価部１３３ａは、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤとの各々が出力した第１電気使用量予測値と第１予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、第１予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤとの各々が予測した第１電気使用量予測値とを比較する。評価部１３３は、電気使用量情報と、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤとの各々が予測した第１電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、機械学習エンジンＡと、機械学習エンジンＢと、機械学習エンジンＣと、機械学習エンジンＤとをランキングする。
評価部１３３ａは、ランキングの結果に基づいて、上位から三位である機械学習エンジンＢと、機械学習エンジンＡと、機械学習エンジンＣとを採用する。評価部１３３ａは、採用した機械学習エンジンＢと、機械学習エンジンＡと、機械学習Ｃとを、予測部１３２ａへ通知する。予測部１３２ａは、評価部１３３ａが通知した機械学習エンジンＡと、機械学習エンジンＢと、機械学習Ｃとに基づいて、アンサンブル機械学習エンジンαに、機械学習エンジンＡが出力した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎと、機械学習エンジンＢが出力した第１電気使用量予測値ｔｂ１、ｔｂ２、・・・、ｔｂｎと、機械学習エンジンＣが出力した第１電気使用量予測値ｔｃ１、ｔｃ２、・・・、ｔｃｎとを出力する。

アンサンブル機械学習エンジンαは、機械学習エンジンＡが出力した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎと、機械学習エンジンＢが出力した第１電気使用量予測値ｔｂ１、ｔｂ２、・・・、ｔｂｎと、機械学習エンジンＣが出力した第１電気使用量予測値ｔｃ１、ｔｃ２、・・・、ｔｃｎと、を取得する。アンサンブル機械学習エンジンαは、取得した第１電気使用量予測値ｔａ１、ｔａ２、・・・、ｔａｎ、ｔｂ１、ｔｂ２、・・・、ｔｂｎ、ｔｃ１、ｔｃ２、・・・、ｔｃｎに基づいて、第１アンサンブル予測値ｔα１、ｔα２、・・・、ｔαｎを予測する。第１アンサンブル予測値ｔα１、ｔα２、・・・、ｔαｎは、電気使用量予測値である。
このように、複数の機械学習エンジンのうち、評価が高い方から所定の数の機械学習エンジンが出力する第１電気使用量予測値を、アンサンブル機械学習エンジンへ出力する。このように構成することによって、アンサンブル電気使用量予測値は、複数の機械学習エンジンのうち、評価が高い方から所定の数の機械学習エンジンが出力する第１電気使用量予測値と第１予測対象日時を示す情報とに基づいて予測されているため、第１電気使用量予測値よりも予測精度が高いと想定される。さらに、複数の機械学習エンジンの全てが出力した第１電気使用量予測値ではなく、複数の機械学習エンジンのうち、評価が高い機械学習エンジンが出力した第１電気使用量予測値に基づいて予測されるため、さらに予測精度を高くできる。

図１０は、第２の実施形態の評価システムに含まれる評価装置１００ａの動作の一例を示す図である。ここでは、導出部１３５が、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、予測の結果に影響を与える計測データを導出する処理について、詳細に説明する。
導出部１３５は、図１０の左に示される所定の期間のランキングの結果に基づいて、ランキングが一位であることが多い機械学習エンジンＡに対応する予測精度の時系列データと、その機械学習エンジン以外（機械学習エンジンＢ、機械学習エンジンＣ）に対応する予測精度の時系列データとに基づいて、ランキングが一位であることが多い機械学習エンジンＡに対応する予測精度が下がった時間ｔ１に、その予測精度よりも高い予測精度が出ている機械学習エンジンＢを取得する。
導出部１３５は、ランキングが一位であることが多い機械学習エンジンＡと、取得した機械学習エンジンＢとの間で、特徴量を比較することによって、予測の結果に影響を与える計測データを導出する。導出部１３５は、導出した計測データに基づいて、機械学習エンジンを、ネットワーク５０を介して取得してもよい。この場合、予測部１３２ａは、取得した機械学習エンジンと組み合わせて予測を行うようにしてもよい。このように構成することによって、取得した機械学習エンジンＢによって、ランキングが一位であることが多い機械学習エンジンＡの予測精度が低下した部分を補完できる。

また、導出部１３５は、図１０の左に示される所定の期間の所定の期間のランキングの結果に基づいて、ランキングが一位であることが多い機械学習エンジンＡに対応する予測精度の時系列データと、その機械学習エンジン以外（機械学習エンジンＢ、機械学習エンジンＣ）に対応する予測精度の時系列データとに基づいて、ランキングが一位であることが多い機械学習エンジンＡに対応する予測精度が下がった時間ｔ２に、その予測精度よりも高い予測精度が出ている機械学習エンジンＣを取得する。
導出部１３５は、ランキングが一位であることが多い機械学習エンジンＡと、取得した機械学習エンジンＣとの間で、特徴量を比較することによって、予測の結果に影響を与える計測データを導出する。導出部１３５は、導出した計測データに基づいて、機械学習エンジンを、ネットワーク５０を介して取得してもよい。この場合、予測部１３２ａは、取得した機械学習エンジンと組み合わせて予測を行うようにしてもよい。このように構成することによって、取得した機械学習エンジンＢによって、ランキングが一位であることが多い機械学習エンジンＡの予測精度が低下した部分を補完できる。

図１１は、第２の実施形態の評価システムに含まれる評価装置の動作の一例を示す図である。
取得部１３１ａは、記憶部１２０ａの学習データ１２３から、電気使用量情報ｄ（ｔ）を取得し、取得した電気使用量情報ｄ（ｔ）を、予測部１３２ａへ出力する（１）。
予測部１３２ａの複数の機械学習エンジンの各々は、取得部１３１ａが出力した電気使用量情報ｄ（ｔ）に基づいて、第１電気使用量予測値を予測する（２）。ここでは、予測精度を導出するまでの処理については、一つの機械学習エンジンについて説明を続ける。つまり、複数の機械学習エンジンの各々は、同様の処理を行う。
予測部１３２ａは、第１電気使用量予測値Ｐ（ｔ＋１）と予測対象日時とを、評価部１３３ａへ出力する（３）。

評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶されている電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、予測対象日時を示す情報と一致する電気使用量情報を取得する。ここでは、計測データｄｓ（ｔ＋１）が、予測対象日時を示す情報と一致する電気使用量情報である場合について説明を続ける。
評価部１３３ａは、予測部１３２ａが出力した第１電気使用量予測値Ｐ（ｔ＋１）と予測対象日時を示す情報とを取得する。評価部１３３ａは、取得した電気使用量ｄｓ（ｔ＋１）と、第１電気使用量予測値Ｐ（ｔ＋１）とを比較する。評価部１３３ａは、所定の期間の間に行われた比較結果に基づいて、予測精度を導出する（４）。
評価部１３３ａは、ランキングの結果に基づいて、いずれかの機械学習エンジンを採用する（５）。評価部１３３ａは、導出した予測精度又は予測精度と予測に要した時間に基づいて、複数の機械学習エンジンの各々をランキングする。評価部１３３ａは、ランキングの結果に基づいて、上位から所定の数の順位の機械学習エンジンを提供したコンテスタントに報酬を支払う。予測部１３２ａは、複数の機械学習エンジンの各々のランキングを、販売してもよい（６）。評価部１３３は、予測精度を、記憶部１２０の学習データ１２３に記憶する（７）。

図１２は、第２の実施形態の評価システムの動作の一例を示すシーケンスチャートである。
（ステップＳ１１）
サーバー５００は、機械学習エンジンを示す情報を、評価装置１００ａへ送信する。
（ステップＳ１２）
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００ａへ送信する。
（ステップＳ１３）
端末装置３００は、センサー情報を、評価装置１００ａへ送信する。
（ステップＳ１４）
ＥＶ４００は、充電データを、評価装置１００ａへ送信する。
（ステップＳ１５）
評価装置１００ａの通信部１１０は、サーバー５００が送信した機械学習エンジンを受信し、受信した機械学習エンジンを、情報処理部１３０ａへ出力する。評価装置１００ａの通信部１１０は、ＨＥＭＳサーバー２００が送信した電気使用量情報を受信し、受信した電気使用量情報を、情報処理部１３０ａへ出力する。評価装置１００ａの通信部１１５は、端末装置３００が送信したセンサー情報を受信し、受信したセンサー情報を、情報処理部１３０ａへ出力する。評価装置１００ａの通信部１１５は、ＥＶ４００が送信したセンサー情報を受信し、受信した充電データを、情報処理部１３０ａへ出力する。
情報処理部１３０ａの取得部１３１ａは、通信部１１０が出力した機械学習エンジンと、電気使用量情報と、通信部１１５が出力したセンサー情報と充電データとを取得する。取得部１３１ａは、取得した機械学習エンジンを、インストールし、設定する。
取得部１３１ａは、取得した電気使用量情報、センサー情報、充電データなどの計測データと、計測データを取得した日時を示す情報とを関連付けて、記憶部１２０ａの学習データ１２３に記憶する。

（ステップＳ１６）
予測部１３２ａでは、複数の機械学習エンジンの各々は、記憶部１２０ａの学習データ１２３に記憶された電気使用量情報とその電気使用量情報を取得した日時を示す情報とを取得し、取得した電気使用量情報とその電気使用量情報を取得した日時を示す情報とに基づいて、第１電気使用量予測値を予測する。
予測部１３２ａは、複数の機械学習エンジンの各々が予測した第１電気使用量予測値と予測対象日時を示す情報とを、評価部１３３ａへ出力する。
（ステップＳ１７）
ＨＥＭＳサーバー２００は、電気使用量情報を、評価装置１００ａへ送信する。
（ステップＳ１８）
端末装置３００は、センサー情報を、評価装置１００ａへ送信する。
（ステップＳ１９）
ＥＶ４００は、充電データを、評価装置１００ａへ送信する。

（ステップＳ２０）
評価装置１００ａの通信部１１０は、ＨＥＭＳサーバー２００が送信した電気使用量情報を受信し、受信した電気使用量情報を、情報処理部１３０ａへ出力する。評価装置１００ａの通信部１１５は、端末装置３００が送信したセンサー情報を受信し、受信したセンサー情報を、情報処理部１３０ａへ出力する。評価装置１００ａの通信部１１５は、ＥＶ４００が送信した充電データを受信し、受信した充電データを、情報処理部１３０ａへ出力する。
情報処理部１３０ａの取得部１３１ａは、通信部１１０が出力した電気使用量情報と、通信部１１５が出力したセンサー情報と充電データとを取得する。
取得部１３１ａは、取得した電気使用量情報、センサー情報、充電データなどの計測データと、計測データを取得した日時を示す情報とを関連付けて、記憶部１２０ａの学習データ１２３に記憶する。取得部１３１ａは、取得した機械学習エンジンを示す情報を、インストールし、設定する。

（ステップＳ２１）
評価部１３３ａは、予測部１３２ａが出力した複数の機械学習エンジンの各々が予測した第１電気使用量予測値と予測対象日時を示す情報とを取得する。評価部１３３ａは、記憶部１２０ａの学習データ１２３に記憶した電気使用量情報のうち、その電気使用量情報を取得した日時を示す情報が、予測対象日時を示す情報と一致する電気使用量情報を取得する。評価部１３３ａは、取得した電気使用量情報と、第１電気使用量予測値とを比較する。評価部１３３ａは、電気使用量情報と、第１電気使用量予測値との比較結果に基づいて、予測精度を導出する。評価装置１００ａは、予測精度に基づいて、複数の機械学習エンジンの各々をランキングする。
（ステップＳ２１）
導出部１３５は、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、予測の結果に影響を与える計測データを導出する。また、導出部１３５は、複数の機械学習エンジンの各々のランキングの結果の時間変化に基づいて、時間変化が類似しない部分を抽出することなどによって、新たな評価軸を導出する。
図１２に示されるシーケンス図において、ステップＳ１１−Ｓ１４の順序を入れ替えてもよいし、ステップＳ１７−Ｓ１９の順序を入れ替えてもよい。

前述した第２の実施形態では、評価システムに、評価装置１００ａと、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００と、サーバー５００とを備える場合について説明したが、この限りでない。例えば、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００とのうち、いずれか一つを備えるようにしてもよいし、気象衛星が取得するデータを取得するサーバーや、電力取引データを取得するサーバーや、太陽光発電の設置データを取得するサーバーなどを備えていてもよい。この場合、評価装置１００ａは、気象衛星が取得するデータ（例えば、気象データ）、電力取引データ、ＰＶの設置データなどを取得し、取得したデータに基づいて、第１時間後のデータを予測したり、学習を行って機械学習エンジンを更新したりする。また、ＨＥＭＳサーバー２００とともに、又はＨＥＭＳサーバー２００の代わりに、スマートメータを備えていてもよい。この場合、評価装置１００ａは、スマートメータが取得するデータ（例えば、電気使用量情報）などを取得し、取得したデータに基づいて、第１時間後のデータを予測したり、学習を行って機械学習エンジンを更新したりする。
また、例えば、ＨＥＭＳサーバー２００が複数であってもよいし、端末装置３００が複数であってもよいし、ＥＶ４００が複数であってもよいし、サーバー５００が複数であってもよい。ＨＥＭＳサーバー２００、端末装置３００、ＥＶ４００の各々を複数とすることによって、機械学習エンジンが、多くのデータを教師データとして、学習できるため、電気使用量を予測する精度を向上させることができる。また、サーバー５００を複数とすることによって、評価装置１００ａは、複数のサーバー５００から機械学習エンジンを取得し、取得した機械学習エンジンをインストールし、設定できる。このため、評価装置１００ａは、様々な機械学習エンジンを評価できる。

前述した第２の実施形態では、複数の機械学習エンジンの各々が、電気使用量情報、センサー情報、充電データなどの計測データから導出された特徴量に基づいて、電気使用量情報から、将来の電気使用量情報を導出する場合について説明したが、この例に限られない。例えば、複数の機械学習エンジンの各々が、電気使用量情報、センサー情報、充電データなどの計測データから導出された特徴量に基づいて、センサー情報から、将来のセンサー情報を導出してもよいし、充電データから、将来の充電データを導出してもよい。また、例えば、複数の機械学習エンジンの各々が、電気使用量情報、センサー情報、充電データに限らず、複数のデータから導出された特徴量に基づいて、複数のデータに含まれるあるデータから、将来のあるデータを導出してもよい。
前述した第２の実施形態では、評価装置１００ａと、ＨＥＭＳサーバー２００と、サーバー５００とが、ネットワーク５０を介して、有線接続される場合について説明したが、この例に限られない。例えば、評価装置１００ａと、ＨＥＭＳサーバー２００と、サーバー５００とが、ネットワーク５０を介して、無線接続されてもよい。
前述した第２の実施形態では、評価装置１００ａと、端末装置３００と、ＥＶ４００とが、ネットワーク５０を介して、無線接続される場合について説明したが、この例に限られない。例えば、評価装置１００ａと、端末装置３００と、ＥＶ４００とが、ネットワーク５０を介して、有線接続されてもよい。

前述した第２の実施形態では、評価装置１００ａと、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００と、サーバー５００との間が、インターネットなどのネットワーク５０を介して接続される場合について説明したが、この限りでない。例えば、評価装置１００ａと、ＨＥＭＳサーバー２００と、端末装置３００と、ＥＶ４００と、サーバー５００との間の少なくとも一部が、携帯電話網を介して接続されてもよい。
前述した第２の実施形態では、ＨＥＭＳサーバー２００が、定期的に、電気使用量情報を、評価装置１００ａへ送信する場合について説明したが、この例に限られない。例えば、評価装置１００ａがＨＥＭＳサーバー２００に、電気使用量情報要求を定期的に送信し、電気使用量情報要求に対して、ＨＥＭＳサーバー２００が送信した電気使用量情報を、評価装置１００ａが取得するようにしてもよい。
前述した第２の実施形態では、端末装置３００が、定期的に、センサー情報を、評価装置１００ａへ送信する場合について説明したが、この例に限られない。例えば、評価装置１００ａが端末装置３００に、センサー情報要求を定期的に送信し、センサー情報要求に対して、端末装置３００が送信したセンサー情報を、評価装置１００ａが取得するようにしてもよい。
前述した第２の実施形態では、ＥＶ４００が、定期的に、充電データを示す情報を、評価装置１００ａへ送信する場合について説明したが、この例に限られない。例えば、評価装置１００ａがＥＶ４００に、充電データ要求を定期的に送信し、充電データ要求に対して、ＥＶ４００が送信した充電データを示す報情報を、評価装置１００ａが取得するようにしてもよい。

第２の実施形態の評価システム１０によれば、評価装置１００ａは、電気使用量情報を取得し、取得した電気使用量情報に基づいて、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行い、第１時間後に得られた電気使用量情報が、予測することによって得られた第１電気使用量予測値と一致するか否かによって、第１機械学習エンジンを評価できる。第１時間後に得られた電気使用量情報に基づいて、機械学習エンジンを評価できるため、新たなデータによって学習された結果を反映できる。また、電力取引市場など、現実の膨大な事象に基づく予測が必要となる取引において、優れた予測アルゴリズムを、経時的な環境変化への対応性（学習）を含めて評価できる。
また、機械学習エンジンを取得する取得部１３１ａを備え、予測部１３２ａは、取得部１３１ａが取得した機械学習エンジンによって、第１時間後に得られるデータの予測を行う。このように構成することによって、外部のサーバーから取得した機械学習エンジンを使用して、第１時間後に得られるデータを予測することができる。
また、取得部１３１ａは、第２機械学習エンジンを取得し、予測部１３２ａは、第１データを入力として、取得部１３１ａが取得した第２機械学習エンジンによって、第１時間後に得られるデータの予測を行い、評価部１３３ａは、第２データが、第１予測値と、第２機械学習エンジンが予測することによって得られた第２予測値と一致するか否かによって、前記第１機械学習エンジンを評価する。このように構成することによって、評価できる機械学習エンジンの数を増加させることができる。
また、評価部１３３ａは、評価結果に基づいて、複数の機械学習エンジンの各々をランキング付けし、ランキングの結果に基づいて、報酬を与える。このように構成することによって、機械学習エンジンを開発する者に対して、機械学習エンジンを開発する動機を与えることができる。また、単純な予測精度に加え、予測に要した時間などの取引参加者の選好に合せて、評価できるとともに、報酬を配分ができる。このため、実際の取引において有用な予測アルゴリズムを市場参加者に活用させることができる。

また、評価部１３３ａは、予測精度又は予測精度と予測に要した時間とに基づいて、ランキング付けを行う。このように構成することによって、複数の機械学習エンジンの各々をランキング付けできる。また、継続的にオープンにコンテストを行なうことで、補完関係にある複数のモデルを募集し、連結（アンサンブル学習）することで、恒常的にデータ活用の精度を向上できる。
また、ランキング付けの時間変化に基づいて、予測の結果に影響を与えるデータを導出する導出部１３５を備える。このように構成することによって、予測の結果に影響を与えるデータを導出できる。導出部１３５は、導出した計測データに基づいて、機械学習エンジンを、ネットワーク５０を介して取得し、予測部１３２ａは、取得した機械学習エンジンと組み合わせて予測を行うようにしてもよい。このように構成することによって、個別アルゴリズムを組み合わせたアルゴリズムを評価できる。また、複数モデルを組み合わせることで、より精度の高い予測モデルを構築できる。
また、予測部１３２ａは、第１予測値と第２予測値とを入力として、第１時間後に得られるデータの予測を行う機械学習エンジンである第１アンサンブル機械学習エンジンを備える。このように構成することによって、予測結果に基づいて、さらに第１時間後に得られるデータを予測できため、予測精度を向上できる。
また、予測部１３２ａは、第２データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行い、評価部１３３ａは、第１時間後に得られた第３データが、予測部１３２ａが予測することによって得られた第３予測値と一致するか否かによって、第１機械学習エンジンを評価する。このように構成することによって、予測と、評価とを繰り返すことができる。

＜構成例＞
一構成例として、第１データ（実施形態では、電気使用量情報）を入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行う予測部（実施形態では、予測部１３２ａ）と、第１時間後に得られた第２データ（実施形態では、電気使用量情報）が、予測部が予測することによって得られた第１予測値（実施形態では、電気使用量情報の予測値）と一致するか否かによって、前記第１機械学習エンジンを評価する評価部（実施形態では、評価部１３３ａ）とを備える、評価システム（実施形態では、評価システム１０ａ）である。
一構成例として、第１機械学習エンジンを取得する取得部（実施形態では、取得部１３１ａ）を備え、予測部は、取得部が取得した第１機械学習エンジンによって、第１時間後に得られるデータの予測を行う。
一構成例として、取得部は、第２機械学習エンジンを取得し、予測部は、第１データを入力として、取得部が取得した第２機械学習エンジンによって、第１時間後に得られる予測を行い、評価部は、第２データが、第２予測部が予測することによって得られた第２予測値と一致するか否かによって、第２機械学習エンジンを評価する。
一構成例として、評価部は、評価結果に基づいて、第１予測部と第２予測部とをランキングし、ランキングの結果に基づいて、報酬を与える。

一構成例として、評価部は、予測精度と予測に要した時間とのいずれか一方又は両方とに基づいて、ランキングを行う。
一構成例として、ランキングの時間変化に基づいて、予測の結果に影響を与えるデータを導出する導出部を備える。
一構成例として、取得部は、第３機械学習エンジンを取得し、予測部は、第１データを入力として、取得部が取得した第３機械学習エンジンによって、第１時間後に得られるデータの予測を行い、評価部は、第２データが、第３機械学習エンジンが予測することによって得られた第３予測値と一致するか否かによって、第３機械学習エンジンを評価し、評価システムは、第１予測値と第２予測値と前記第３予測値のうち、少なくとも２つを入力として、第１時間後に得られるデータの予測を行う機械学習エンジンであるアンサンブル機械学習エンジンを備える。
一構成例として、評価部は、評価結果に基づいて、第１機械学習エンジンと第２機械学習エンジンと第３機械学習エンジンとをランキングし、アンサンブル機械学習エンジンは、ランキングの結果に基づいて、第１予測値と第２予測値と第３予測値とのうちの２つを入力として、第１時間後に得られるデータの予測を行う。
一構成例として、予測部は、第２データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行い、評価部は、第１時間後に得られた第３データが、第２データを入力として、第１機械学習エンジンが予測することによって得られた第４予測値と一致するか否かによって、第１機械学習エンジンを評価する。

以上、実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

なお、上述した評価装置１００、評価装置１００ａ、ＨＥＭＳサーバー２００、端末装置３００、ＥＶ４００、サーバー５００は、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、ＯＳ(Operating System)や周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。

さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、ＦＰＧＡ(Field Programmable Gate Array)である。

なお、上述の評価装置１００、評価装置１００ａ、ＨＥＭＳサーバー２００、端末装置３００、ＥＶ４００、サーバー５００は内部にコンピュータを有している。そして、上述した電柱移設イメージ表示装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１０、１０ａ…評価システム、５０…ネットワーク、１００、１００ａ…評価装置、１１０、１１５…通信部、１２０、１２０ａ…記憶部、１２１…プログラム、１２２、１２２ａ…アプリ、１２３…学習データ、１３０、１３０ａ…情報処理部、１３１…取得部、１３２、１３２ａ…予測部、１３３、１３３ａ…評価部、１３４…学習部、１５０…バスライン、２００…ＨＥＭＳサーバー、３００…端末装置、４００…ＥＶ、５００…サーバー

Claims (11)

1. 第１データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行う予測部と、
   前記第１時間後に得られた第２データが、前記予測部が予測することによって得られた第１予測値と一致するか否かによって、前記第１機械学習エンジンを評価する評価部と
   を備える、評価システム。
2. 前記第１機械学習エンジンを取得する取得部を備え、
   前記予測部は、前記取得部が取得した前記第１機械学習エンジンによって、前記第１時間後に得られるデータの予測を行う、請求項１に記載の評価システム。
3. 前記取得部は、第２機械学習エンジンを取得し、
   前記予測部は、前記第１データを入力として、前記取得部が取得した前記第２機械学習エンジンによって、前記第１時間後に得られるデータの予測を行い、
   前記評価部は、前記第２データが、前記第２機械学習エンジンが予測することによって得られた第２予測値と一致するか否かによって、前記第２機械学習エンジンを評価する、請求項２に記載の評価システム。
4. 前記評価部は、評価結果に基づいて、前記第１機械学習エンジンと前記第２機械学習エンジンとをランキングし、前記ランキングの結果に基づいて、報酬を与える、請求項３に記載の評価システム。
5. 前記評価部は、予測精度又は予測精度と予測に要した時間とに基づいて、ランキングを行う、請求項３又は請求項４に記載の評価システム。
6. 前記ランキングの時間変化に基づいて、予測の結果に影響を与えるデータを導出する導出部を備える、請求項４又は請求項５に記載の評価システム。
7. 前記取得部は、第３機械学習エンジンを取得し、
   前記予測部は、前記第１データを入力として、前記取得部が取得した前記第３機械学習エンジンによって、前記第１時間後に得られるデータの予測を行い、
   前記評価部は、前記第２データが、前記第３機械学習エンジンが予測することによって得られた第３予測値と一致するか否かによって、前記第３機械学習エンジンを評価し、
   前記評価システムは、
   前記第１予測値と前記第２予測値と前記第３予測値のうち、少なくとも２つを入力として、第１時間後に得られるデータの予測を行う機械学習エンジンであるアンサンブル機械学習エンジンを備える請求項３から請求項６のいずれか一項に記載の評価システム。
8. 前記評価部は、評価結果に基づいて、前記第１機械学習エンジンと前記第２機械学習エンジンと前記第３機械学習エンジンとをランキングし、
   前記アンサンブル機械学習エンジンは、前記ランキングの結果に基づいて、前記第１予測値と前記第２予測値と前記第３予測値とのうちの２つを入力として、第１時間後に得られるデータの予測を行う、請求項７に記載の評価システム。
9. 前記予測部は、前記第２データを入力として、前記第１機械学習エンジンによって、第１時間後に得られるデータの予測を行い、
   前記評価部は、前記第１時間後に得られた第３データが、が予測することによって得られた第４予測値と一致するか否かによって、前記第１機械学習エンジンを評価する、請求項１から請求項８のいずれか一項に記載の評価システム。
10. 第１データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行うステップと、
    前記第１時間後に得られた第２データが、前記予測を行うステップで予測することによって得られた第１予測値と一致するか否かによって、前記第１機械学習エンジンを評価するステップと
    を有する、コンピュータが実行する評価方法。
11. コンピュータに、
    第１データを入力として、第１機械学習エンジンによって、第１時間後に得られるデータの予測を行うステップと、
    前記第１時間後に得られた第２データが、前記予測を行うステップで予測することによって得られた第１予測値と一致するか否かによって、前記第１機械学習エンジンを評価するステップと
    を実行させるプログラム。

Images