JP2015052969A - データ管理システム - Google Patents

Abstract

【課題】リアルタイムな電力データの高速な読み出しを可能にするとともに、長期間・広範囲にわたる電力データを蓄積する。【解決手段】データの発生源となる複数のデバイスから送信されるデータを受信するデータ受信部と、前記デバイスから受信したデータを、複数の揮発性の記憶装置に格納するデータ管理部と、を備えるデータ管理システムであって、前記データ管理部は、第１グループを構成する少なくとも一つの揮発性の記憶装置と、一つ以上の第２グループを構成する少なくとも一つの揮発性の記憶装置とを有し、前記デバイスから受信したデータを、前記第１グループの記憶装置及び前記第２グループの記憶装置に書き込み、前記各グループの稼働状況を周期的に監視し、前記第１グループに障害が発生した場合、稼働中の第２グループの記憶装置に前記第１グループの役割を引き継がせることを特徴とする。【選択図】図１

Description

本発明は、データ管理方法に関し、特に、直近のデータへのアクセス性を損なわず、長期間データを確実に蓄積する技術に関する。

電力エネルギー使用量の測定及び蓄積は、効果的な電気の使用方法を生み出し、省エネルギーな社会を実現するために必要である。インターネットを介して電気設備の電力使用量を監視、制御することができる安価で精度の高い電力計を提供する技術として、特許文献１に示すものが提案されている。

特開２０１２−０３２４０９号公報

リアルタイムな電力データを読み出すことは、地域の総計電力使用量をタイムリーに把握し、供給量を超えないように制御するために必要である。このため、リアルタイム制御に使用される最近のデータには、高速にアクセスできることが求められる。このため、揮発性の高速メモリ（例えば、ＤＲＡＭ）に最近のデータを格納することが望ましい。ところが、揮発性のメモリは、停電などによって格納されたデータが喪失する場合があり、データの保持に関する信頼性を高める必要がある。

また、よりよい電力の使用方法を需要家に提示するために、長期間・広範囲にわたる電力データ分析が求められる。高精度な分析を可能とするには、電力データの収集間隔を短くすることが必要であり、蓄積される電力データの量は収集間隔に反比例して増加する。つまり、高精度な分析のためには大容量のストレージが必要となってくる。このため、過去のデータは不揮発性の記憶装置（例えば、磁気ディスクドライブ）に格納することが望ましい。

しかし、従来技術では、電力データを管理するクライアント監視装置は通信モジュールに付属しており、長期間・広範囲にわたる電力データの分析に適さないという問題があった。

また、最近のデータを格納する揮発性のメモリと過去の大量のデータを格納する不揮発性記憶装置とにデータが適切に格納されるように、制御することが求められている。

本発明はこのような状況に鑑みなされたものであり、リアルタイムな電力データの高速な読み出しを可能にするとともに、長期間・広範囲にわたる電力データを蓄積し、分析に活用することを可能にするシステムを提供する。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、データの発生源となる複数のデバイスから送信されるデータを受信するデータ受信部と、前記デバイスから受信したデータを、複数の揮発性の記憶装置に格納するデータ管理部と、を備えるデータ管理システムであって、前記データ管理部は、第１グループを構成する少なくとも一つの揮発性の記憶装置と、一つ以上の第２グループを構成する少なくとも一つの揮発性の記憶装置とを有し、前記デバイスから受信したデータを、前記第１グループの記憶装置及び前記第２グループの記憶装置に書き込み、前記各グループの稼働状況を周期的に監視し、前記第１グループに障害が発生した場合、稼働中の第２グループの記憶装置に前記第１グループの役割を引き継がせることを特徴とする。

本発明の代表的な一形態によれば、リアルタイムな電力データへの高速なアクセスを可能とし、長期間かつ広範囲にわたる電力データを蓄積することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の実施形態のシステムの構成を示す図である。 デバイス群１０１が送信するデータのフォーマットを説明する図である。 リアルタイムデータ管理部２２０に格納されるデータの形式を説明する図である。 永続データベース２５０に格納されるデータの形式を説明する図である。 キーレンジ・ノード関連ファイルの形式を説明する図である。 グループ管理部２３０によるデータの書き込み処理のフローチャートである。 グループ監視スレッドによって実行される処理のフローチャートである。 全体監視スレッドによって実行される処理のフローチャートである。 データ永続部２４０によるデータ永続化処理のフローチャートである。 グループ管理部２３０の詳細な構成を示す図である。

以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

（１）基本的な実施形態
図１は、本発明の実施形態のシステムの構成を示す図である。

本発明の実施形態のシステムは、電力使用量を収集・分析する計算機システムであって、デバイス群１００、データ仲介部２００、受信データ出力部２１０、リアルタイムデータ管理部２２０、グループ管理部２３０、データ永続部２４０及び永続データベース２５０を有する。

＜デバイス群＞
デバイス群１００は、家庭やオフィスなどに設置されている複数のスマートメータ１０１からなる。各デバイス１０１は、図２に示す形式に従った電力使用量データを、ネットワーク１５０を経由してデータ仲介部２００に送信する。

＜データ仲介部＞
データ仲介部２００は、デバイス群１００から送信された、図２に示す形式に従った電力使用量データを受信する。データ仲介部２００は、大量の電力使用量データを処理するための、１台又は複数台のアプリケーションサーバである。データ仲介部２００は、受信した電力使用量データを受信データ出力部２１０に送る。

＜受信データ出力部＞
受信データ出力部２１０は、データ仲介部２００が受信したデータを、高速な１台又は複数台の揮発性記憶装置に書き込むための書き込み要求をリアルタイムデータ管理部２２０に送信する。具体的には、受信データ出力部２１０は、データ仲介部２００を構成するアプリケーションサーバ１台ごとに配備される同一のアプリケーションプログラムによって実現される。

＜リアルタイムデータ管理部＞
リアルタイムデータ管理部２２０は、受信データ出力部２１０から送られた電力使用量データを受信し、高速な複数台の揮発性記憶装置に書き込む。リアルタイムデータ管理部２２０は、グループ管理部２３０と、グループＭ（２２１）と、グループＳ（２２２、２２３）とを有する。グループ管理部２３０は、電力使用量データを受信し、グループＭ（２２１）及びグループＳ（２２２、２２３）の揮発性記憶装置に書き込む。また、グループ管理部２３０は、各グループ２２１、２２２、２２３の稼働状況を監視する。

グループＭ（２２１）は、１台又は複数台のコンピュータから構成され、そのうちの１台の揮発性記憶装置にデータを書き込み、書き込みが完了した旨をグループ管理部２３０に通知する。グループＭ（２２１）は、グループ管理部２３０からの書き込み要求を最初に受け付ける。

グループＳ（２２２、２２３）は、１台又は複数台のコンピュータから構成され、そのうちの１台の揮発性記憶装置にデータを書き込み、書き込みが完了した旨をグループ管理部２３０に通知する。グループＳ（２２２、２２３）は、グループＭ（２２１）へのデータの書き込みが完了した後にグループ管理部からの書き込み要求を受け付ける。

＜グループＭ＞
グループＭ（２２１）は、ノードと呼ばれる１台又は複数台のコンピュータからなる。各ノードは、キーの範囲検索が可能なＫＥＹ−ＶＡＬＵＥ方式のインメモリ分散データベースを有する。グループＭ（２２１）は、主に受信データ出力部２１０などからのデータアクセスを受け付ける。

＜グループＳ＞
グループＳ（２２２、２２３）は、ノードと呼ばれる１台又は複数台のコンピュータからなる。各ノードは、キーの範囲検索が可能なＫＥＹ−ＶＡＬＵＥ方式のインメモリ分散データベースを有する。グループＳ（２２２、２２３）は、グループＭ（２２１）の障害に備えて、グループＭ（２２１）に格納されたデータと同じデータを格納し、グループＭ（２２１）の障害時にグループＭ（２２１）の役割を引き継ぐ。

＜グループ管理部＞
グループ管理部２３０は、グループ２２１〜２２３へデータを書き込み、グループＭ（２２１）及びグループＳ（２２２、２２３）の稼働を監視する機能を有する。データの書き込み機能は図６に示す処理によって実現し、各グループ２２１〜２２３の稼働監視機能は図７−１及び図７−２に示す処理によって実現する。

＜データ永続部＞
データ永続部２４０は、リアルタイムデータ管理部２２０の揮発性記憶装置に記録されているデータを読み取り、不揮発性の記憶装置である分散データベース（永続データベース２５０）に格納する。具体的には、データ永続部２４０は、コンピュータ上で稼動するアプリケーションプログラムによって実現される。

＜永続データベース＞
永続データベース２５０は、デバイス群１００からリアルタイムデータ管理部２２０を通して収集されたデータを長期間に保持する不揮発性の記憶装置である。具体的には、データ永続部２４０は、リレーショナルデータベースの形式をとり、コンピュータ上に接続されたハードディスク装置（又は、不揮発性半導体記憶装置）にデータを格納する。

本実施形態の各部を構成するコンピュータは、プロセッサ（ＣＰＵ）、メモリ及び記憶装置を有する。記憶装置は、例えば、磁気ディスク、不揮発性メモリ等の不揮発性記憶装置である。不揮発性記憶装置は、本実施形態のシステムの機能を実現するプログラム、そプログラムによる処理結果などを格納する。メモリには、記憶装置に格納されているプログラムが展開される。ＣＰＵは、メモリに展開されたプログラムを実行する。以下で説明する処理及び演算は、ＣＰＵが実行する。

本実施形態のシステムは、一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上の別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

プロセッサによって実行されるプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して各コンピュータに提供され、非一時的記憶装置である不揮発性記憶装置に格納される。このため、計算機システムは、リムーバブルメディアを読み込むインターフェースを備えるとよい。

＜デバイス群が送信するデータの形式＞
図２は、デバイス群１００が送信するデータのフォーマットを説明する図である。

デバイス１０１が送信するデータは、全長４４バイトからなる固定長のバイナリデータであり、デバイス群を構成する各デバイス（スマートメータ）１０１を一意に識別する識別情報３０１、電力使用量の測定開始時刻３０２、電力使用量の測定終了時刻３０３及び電力使用量３０４を含む。測定開始時刻３０２及び測定終了時刻３０３は、世界協定時（Coordinated Universal Time）での１９７０年１月１日午前０時（以下、エポックという）からの経過ミリ秒数を整数で表す。電力使用量３０４は、測定開始時刻３０２から測定終了時刻３０３までの電力使用量をワット時単位で表した数値である。

＜リアルタイムデータ管理部でのデータ形式＞
図３は、リアルタイムデータ管理部２２０に格納されるデータの形式を説明する図である。

リアルタイムデータ管理部２２０は、図３に示すように、キーの範囲検索が可能なＫＥＹ−ＶＡＬＵＥ方式のインメモリ分散データベースを有する。リアルタイムデータ管理部２２０は、図２に示すフォーマットのデータをデバイス１０１から受信し、受信したデータをデータベースにデータを格納する。データを格納する際のキー３１１には、デバイスの識別情報と、年４ケタ、月２ケタ、日２ケタ、時２ケタ、分２ケタ、秒２ケタ、ミリ秒３ケタを順に半角数字によって表現した測定開始時刻とを組み合わせた文字列を用いる。ＫＥＹ３１１に対応するＶＡＬＵＥ３１２は、１９７０年１月１日午前０時（ＵＴＣ）から測定終了時刻までの経過時間をミリ秒で表したデータと、電力使用量をワット時単位で表した数値とを含むデータである。

＜永続データベースでのデータ形式＞
図４は、永続データベース２５０に格納されるデータの形式を説明する図である。

永続データベース２５０は、図４に示すように、ＨＢａｓｅのようなカラム指向データベースを有する。永続データベース２５０は、図３に示す形式のデータをデータベースにデータを格納する。データを格納するテーブルの行キーには、デバイスの識別情報と、年４ケタ、月２ケタ、日２ケタ、時２ケタ、分２ケタ、秒２ケタ、ミリ秒３ケタを順に半角数字によって表現した測定開始時刻とを組み合わせた文字列を用いる。また、テーブルは、一つのカラムファミリを持ち、このカラムファミリｃｆの下に、測定終了時刻及び電力使用量の二つの列を設ける。測定終了時刻は、１９７０年１月１日午前０時（ＵＴＣ）からの経過時間をミリ秒数で表したときのデータでありる。電力使用量は、測定された電力使用量をワット時単位で表した数値である。

＜キーレンジ・ノード関連ファイルの形式＞
図５は、キーレンジ・ノード関連ファイルの形式を説明する図である。

キーレンジ・ノード関連ファイルの各行は、キーの開始値と、キーの終了値と、該開始値と該終了値との間にキーの値に対応するデータが書き込まれるノードのホスト名と、をコロンで区切って表したものである。ここで、キーの値は、文字列の辞書式順序によって比較する。

このキーレンジ・ノード関連ファイルは、グループＭを構成する全てのノードに同一のものを配置する。また、グループＳ１、Ｓ２、・・・を構成する全てのノードに同一のものを配置する。ただし、グループＭのノードに配置するキーレンジ・ノード関連ファイルとグループＳ１、Ｓ２、・・・のノードに配置するキーレンジ・ノード関連ファイルとは、同一のものである必要はなく、グループ内で同一であればよい。

＜グループ管理部によるデータの書き込みの処理＞
図６は、グループ管理部２３０によるデータの書き込み処理のフローチャートである。

グループ管理部２３０は、受信データ出力部２１０から受信した、図２に示す形式のデータから、図３に示すＫＥＹの形式のキーを生成する（Ｓ１００１）。さらに、グループ管理部２３０は、グループＭのノードを１台任意に（例えば、ランダムに）選択する（Ｓ１００２）。グループ管理部２３０は、ステップＳ１００１で生成したキーを用いて、選択したノードに対し、書き込み先ノードを問い合わせるリクエストを送信する（Ｓ１００３）。

グループＭのノードは、グループ管理部２３０からの問い合わせを受信すると、保持している、図５に示す形式のキーレンジ・ノード関連ファイルを参照して、当該キーに対応するノードのホスト名を返信する（Ｓ１００４）。

グループ管理部２３０は、グループＭから返却されたホスト名を持つノードに対し、前段で生成したキーをＫＥＹとし、図２のデータ形式のうちの最後の１６バイトをＶＡＬＵＥとするデータの書き込みリクエストを送信する（Ｓ１００５）。

グループＭのノードは、書き込みリクエストを受信すると、受信したリクエストに従って、インメモリデータベースに書き込み（Ｓ１００６）、データの書き込みが完了したことをグループ管理部２３０に通知する（Ｓ１００７）。

グループＭへの書き込み完了後、同様の手順で、グループＳにもデータを書き込む。

＜グループ管理部によるグループＭ及びグループＳの稼働監視の処理＞
図９は、グループ管理部２３０の詳細な構成を示す図である。

グループ管理部２３０は、グループＭ（２２１）及びグループＳ（２２２、２２３）の稼働状況を監視するために、図９に示すように構成される。すなわち、グループ管理部２３０では、グループ全体を監視するスレッド２３１が、繰り返し（例えば、３秒間隔の定期的に）グループＭ（２２１）、グループＳ１（２２２）、グループＳ２（２２３）、・・・のそれぞれを監視するスレッド２３２〜２３４を起動する。起動されたスレッド２３２〜２３４は、それぞれ、グループＭ（２２１）、グループＳ１（２２２）、グループＳ２（２２３）、・・・からの応答の有無によって稼働を確認する。各グループを監視するスレッドの処理の詳細は、図７−１を用いて後述する。全体監視スレッド２３１は、起動したグループＭ監視スレッド２３２、グループＳ１監視スレッド２３３、グループＳ２監視スレッド２３４から稼働状況を取得し、稼働状況が確認できたグループについて、該稼働状況を取得した時刻（以下、稼働確認時刻と呼ぶ）を記録する。全体監視スレッド２３１は、この稼働確認時刻を用いてフェールオーバー処理を行う。全体監視スレッド２３１の処理の詳細は、図７−２を用いて後述する。

図７−１は、グループ監視スレッドによって実行される処理のフローチャートである。

グループＭ監視スレッド２３２は、全体監視スレッド２３１が起動し、以下の手順でグループＭ（２２１）の稼働を監視する。すなわち、グループ管理部２３０は、グループＭ（２２１）に、周期的に繰り返し(例えば、所定の時間間隔で）稼働監視データを送信する（Ｓ１０１１）。グループＭ（２２１）は、自身を構成する全てのノードが稼働しているかを確認し（Ｓ１０１２）、全てのノードが稼働していれば（Ｓ１０１３でＮＯ）、稼働中の通知をグループＭ監視スレッド２３２に返信する（Ｓ１０１４）。稼働していないノードが一つでもあれば（Ｓ１０１３でＹＥＳ）、非稼働中の通知をグループ監視スレッドに返信する（Ｓ１０１５）。

グループ管理部２３０は、同様の手順で、グループＳ１（２２２）、グループＳ２（２２３）、・・・に対しても稼働を監視する。

図７−２は、全体監視スレッド２３１によって実行される処理のフローチャートである。図７−２に示す全体監視スレッド２３１による処理は、周期的に繰り返し（例えば、所定時間毎）実行される。

全体監視スレッド２３１は、各グループ監視スレッドが担当するグループの稼働状態の通知を各スレッドから受け取ると、稼働状態が「稼働」であれば（Ｓ１０２２でＹＥＳ）、システム時計から現在時刻を取得し（Ｓ１０２３）、該当グループから「稼働」の通知を受け取った時刻を記録する（Ｓ１０２４）。

そして、グループＭ（２２１）が稼働中であるかを判定する（Ｓ１０２５）。その結果、グループＭ（２２１）の稼働確認時刻が記録されれば、グループＭ（２２１）が稼働中なので、グループＭ（２２１）の稼働確認時刻が取得できたときは、グループを入れ替えず、ステップＳ１０２７に進む。一方、グループＭ（２２１）の稼働確認時刻が取得できなければ、グループＭ（２２１）が稼働中でないので、最も早い稼働確認時刻が取得できた他のグループを新しくグループＭに定義し（Ｓ１０２６）、新しくグループＭとして定義されたグループをグループＭに指定して（Ｓ１０２７）、新たなグループＭへのデータの書き込みを開始する。

なお、ステップＳ１０２６において、最も早い稼働確認時刻が取得できたグループを新しいグループＭに定義しているが、最も遅く（最近に）稼働確認時刻が取得できたグループを新しいグループＭに定義してもよい。これは、最近に稼働確認時刻が取得できたグループは、現在も正常に稼動している可能性が高いからである。

なお、グループの変更は、各グループに格納されたデータが一致しているタイミングで行うとよい。また、各グループに格納されたデータが一致していない場合、差分コピーや全部コピーなどによって、変更されるグループに格納されたデータを一致させた後に、グループを変更するとよい。

＜データ永続部２４０によるリアルタイムデータ管理部２２０のデータの永続化処理＞
データ永続部２４０は、多くのデバイス１０１からリアルタイムデータ管理部２２０に収集されるデータを永続データベース２５０に格納するため、１台又は複数台のコンピュータから構成される。データ永続部２４０を構成する各コンピュータは、リアルタイムデータ管理部２２０のデータを手分けして読み出し、読み出したデータを図４に示す形式に変換して、永続データベース２５０に格納する。具体的には、データ永続部２４０を構成する各コンピュータでの処理の分担は、図３に示すＫＥＹのデバイス１０１の識別情報の部分を分割し、分割された範囲をデータ永続部２４０を構成する各コンピュータに割り当てることで行う。

図８は、データ永続部２４０によって実行されるデータの永続化処理のフローチャートである。

データ永続部２４０を構成する各コンピュータは、分割されたＫＥＹの範囲のデータに永続化処理を実行する。

データ永続部２４０を構成する各コンピュータは、自分が担当するデバイス１０１の識別情報の範囲に基づいて、開始キー及び終了キーの値を計算する（Ｓ１０３１）。具体的には、開始キーは自分が担当するデバイス１０１の識別情報の最小値を表す文字列の後ろに所定の文字（例えば、文字コードが１０進数で１２６である半角文字~）を付加したものとする。終了キーは自分が担当するデバイス１０１の識別情報の最大値を表す文字列の後ろに所定の文字（例えば、文字コードが１０進数で１２６である半角文字~）を付加したものとする。

データ永続部２４０は、計算された開始キー及び終了キーを用いて、リアルタイムデータ管理部２２０に対し、ＫＥＹの値が開始キー以上かつ終了キー以下であるデータをＫＥＹの範囲指定検索によって、図３に示すＫＥＹ−ＶＡＬＵＥ形式で取得する。

データ永続部２４０は、取得したＫＥＹ−ＶＡＬＵＥ形式のデータに基づいて、図４に示す形式に従い、行キー、測定終了時刻及び電力使用量の値を計算する（Ｓ１０３３）。計算された値を永続データベース２５０に書き込む（Ｓ１０３４）。永続データベース２５０への書き込みが正常に完了した後、ＫＥＹに対するレコードをリアルタイムデータ管理部から削除する（Ｓ１０３５）。ステップＳ１０３３からＳ１０３５の処理を、取得したデータについて繰り返す。

以上に説明したように、本発明の実施形態によれば、リアルタイムな電力データへの高速なアクセスを可能とし、長期間かつ広範囲にわたる電力データを蓄積することができる。このため、レスポンス性の高いリアルタイムな制御を可能とし、かつ、過去の電力使用状況を分析に活用することができる。また、記憶装置に障害が生じてもリアルタイムな電力データの消失を防止することができる。

１００ デバイス群
１０１ スマートメータ（デバイス）
２００ データ仲介部
２１０ 受信データ出力部
２２０ リアルタイムデータ管理部
２２１ グループＭ
２２２、２２３ グループＳ
２３０ グループ管理部
２４０ データ永続部
２５０ 永続データベース

Claims (4)

1. データの発生源となる複数のデバイスから送信されるデータを受信するデータ受信部と、
   前記デバイスから受信したデータを、複数の揮発性の記憶装置に格納するデータ管理部と、を備えるデータ管理システムであって、
   前記データ管理部は、
   第１グループを構成する少なくとも一つの揮発性の記憶装置と、一つ以上の第２グループを構成する少なくとも一つの揮発性の記憶装置とを有し、
   前記デバイスから受信したデータを、前記第１グループの記憶装置及び前記第２グループの記憶装置に書き込み、
   前記各グループの稼働状況を周期的に監視し、前記第１グループに障害が発生した場合、稼働中の第２グループの記憶装置に前記第１グループの役割を引き継がせることを特徴とするデータ管理システム。
2. 前記データ管理部は、
   前記第１グループに障害が発生した場合、前記第２グループのうち、最も早い時刻又は最も遅い時刻に稼働が確認された記憶装置を、前記第１グループの役割を引き継がせるグループとして選択することを特徴とする請求項１に記載のデータ管理システム。
3. 前記データ管理部は、
   前記複数のグループの稼動状況をそれぞれ監視する複数のグループ監視部と、
   前記グループ監視部による監視結果に基づいて、役割を引き継がせるグループを選択する全体監視部と、を有することを特徴とする請求項１又は２に記載のデータ管理システム。
4. 前記データ管理部が保持するデータを不揮発性の分散データベースに格納するデータ永続部を備えることを特徴とする請求項１から３のいずれか一つに記載のデータ管理システム。

Images