JP2018132930A - 高速データベースシステム - Google Patents

Abstract

【課題】外部から受信したデータを高速にグラフ化するための高速データベースシステムを提供する。【解決手段】関係データベース管理システムからなる永久保存データベースと、関係データベース管理システム以外のデータベース管理システムからなる高速データベースの2種類のデータベースをサーバに備える。外部から受信したデータを所定規則に従って一次処理を行った後、高速データベースに格納する。所定時間ごとに、高速データベースから格納されたデータ群をすべて取り出し、時系列に従ってグラフ化するために必要な二次処理データ群を演算処理よって取得し、それを永久保存データベースに格納する。二次処理データ群を用いてグラフ化する。【選択図】図２

Description

この発明は高速データベースシステム、詳しくは、永久保存データベースと高速データベースとの２種類のデータベースを用いて、外部から受信したデータを高速にグラフ化するための高速データベースシステムに関する。

従来より、個人農家や営農集団では、農場等の管理、農作業の管理、農作業を行う作業者（農作業者）の管理等を行っている。作物の状態又は環境の状態に関する条件が一致した場合に、条件に対応する作業を農作業者が行う必要があり、農業管理は、ノート等で行われることが多く、ノウハウ化していたが、情報技術の発展に伴い、農業管理もＩＴ化し、農業支援システムとして活用されている。

環境保護の面に視点を向けると、近年、化石燃料代替エネルギー資源の開発、および二酸化炭素削減の観点から、太陽光、風力等の各種再生可能エネルギーを利用して発電を行う技術開発が積極的に推進されている。そして、風力発電手段や太陽光発電手段といった再生可能エネルギーによる発電を積極的に活用した街づくりとして、スマートシティ開発が国内外で進められつつある。その際の問題点は、風力発電手段や太陽光発電手段といった再生可能エネルギーは気象条件と施設条件によって発電特性が変化するため、時間的および季節的に変動する異なる電力消費形態に調和した発電、電力供給方法を構築しないと、電力の需要と供給にミスマッチが生じることである。

これらの例のように、自然環境、特に気象条件の変動により、適切な時期に、適切な作業を行うため、気象情報等をサーバ等に格納し、適宜、必要な情報を入手し、作業の有無の判断を行うことができるようにする、すわなち、気象情報等の見える化が必要な分野は多岐にわたる。
このように、逐次変動する気象条件に対して最適な条件を提案するシステムとして特許文献１、特許文献２が提案されている。

特開２０１５−４９８７０号公報 特開２０１３−１５６８２４号公報

特許文献１、特許文献２には、サーバが外部から発信されたデータを受信した後、特定のデータベースに格納し、データベース操作を行うことによって、データをグラフ化し（コンピュータ等（コンピュータ、サーバを含む）又は利用者が、所定作業を実施すべきか否かを分析・判断することができるようにグラフ表示（コンピュータ等が分析・判断し、警報し、積算等ができるようにデータを整列することを含む。）することをいう。）、グラフ化したものに基づいて、所定作業を実施すべきか否かを判断することができるシステムが開示されている。
しかしながら、前述の農業支援システム、スマートシティ開発においても、外部から入手される気象情報等は膨大なものであり、特許文献１、特許文献２に記載のシステムのように１つのデータベースに気象情報をそのまま格納しているため、グラフ化するまでにかなりの時間を要する。このため、所定作業を実施すべきか否かを判断するために必要な情報が集まらず、農作業や再生可能エネルギーによる発電の発電量の調整を最適な時期に行うことができない場合もあった。

そこで、発明者は、鋭意研究の結果、データベースの格納形式に着目し、データベースに格納する前に、グラフ化するために必要な演算処理を行って、その演算結果をデータベースに格納することにより、上述した課題は全て解消されることを知見し、この発明を完成させた。

この発明は、外部から受信したデータを高速にグラフ化するための高速データベースシステムを提供することを目的としている。

請求項１に記載の発明は、関係データベース管理システムからなる永久保存データベースと、関係データベース管理システム以外のデータベース管理システムからなる高速データベースと、を有し、外部から受信したデータを用いて、時系列に従ってグラフ化する高速データベースシステムであって、外部から受信したデータは、所定規則に従って一次処理がなされ、該一次処理により得られたデータ群は前記高速データベースに格納され、所定時間ごとに、前記高速データベースから、該高速データベースに格納された前記データ群はすべて取り出され、該データ群を用いて、時系列に従ってグラフ化するために必要な二次処理データ群を演算処理よって取得する二次処理がなされ、該二次処理によって得られた該二次処理データ群は前記永久保存データベースに格納され、前記二次処理データ群を用いてグラフ化する高速データベースシステムである。

関係データベース管理システム（ＲＤＢＭＳ）とは、個々のデータのカラム（列）と、レコード（行）の中にまとめ、それらをテーブル（表）の中に並べるものである。ＲＤＢＭＳを用いると、データ同士を比較する場合にはそれぞれ同じ位置のフィールドを見比べればよいので、データの結合や抽出が非常に容易になる。テーブルが複数であっても、あらかじめ割り振られたＩＤや主キーとなる項目を持ちデータ同士を関連付けることにより、テーブルを内部結合してひとつのテーブルであるかのように扱うこともできる。
ＲＤＢＭＳとしては、Ｏｒａｃｌｅ社「Ｏｒａｃｌｅ」（登録商標、Ｍｉｃｒｏｓｏｆｔ社の「Ｍｉｃｒｏｓｏｆｔ Ａｃｃｅｓｓ」（登録商標）、オープンソースの「ＭｙＳＱＬ」（登録商標）、「ＰｏｓｔｇｒｅＳＱＬ」等が例としてあげられる。
本発明に係る高速データベースシステムは、ＲＤＢＭＳを永久保存データベースとして用い、この永久保存データベースに格納されたデータ群に基づいてグラフ化するものである。

関係データベース管理システム以外のデータベース管理システム（ＮｏＳＱＬ系ＤＢＭＳ）とは、関係モデルではないデータストアを利用したデータベース管理システムをいう。関係モデルではないデータストアの特徴として、固定されたスキーマに縛られないこと、関係モデルの結合操作を利用しないこと、水平スケーラビリティが確保しやすい事が多いこと、トランザクションを利用できないものが多いことなどが挙げられる。ＮｏＳＱＬ系データベース管理システムには、データの格納および取得が高度に最適化されているものが多い。その最適化のために機能性を最小限にしているものもある。ＮｏＳＱＬ系データベース管理システムは、関係モデルを必要としないデータを扱うときや、大量のデータを扱うときに有用であり、大規模なデータを統計的に解析したり、増えつづける情報をリアルタイムに解析するのにも便利である。
ＮｏＳＱＬ系ＤＢＭＳとしては、Ｇｏｏｇｌｅ社の「ＢｉｇＴａｂｌｅ」（登録商標）、アマゾン社の「Ａｍａｚｏｎ ＤｙｎａｍｏＤＢ」（登録商標）、オープンソースの「ＭｏｎｇｏＤＢ」、「Ｒｅｄｉｓ」、「Ａｐａｃｈｅ ＨＢａｓｅ」、「Ａｐａｃｈｅ Ｃａｓｓａｎｄｒａ」等が挙げられる。
本発明に係る高速データベースシステムでは、ＮｏＳＱＬ系ＤＢＭＳを高速データベースとして用い、永久保存データベースに格納する前の二次処理を行うために、仮保存されるものである。

一次処理は、外部からサーバに受信したデータをＮｏＳＱＬ系ＤＢＭＳに格納する際に、所定規則に従って行われるデータ処理のことである。たとえば、センサが発信した情報をサーバが受信した際に、発信元と発信時間を特定できるキーをセンサ情報に組み込むことや、センサ情報が異常であると判別した場合には、その異常であると判別したセンサ情報を、そのセンサ情報が発信した時間の前後に発信された２つのセンサ情報に基づいて補完したセンサ情報に置換する処理等が挙げられる。
一次処理で得られたデータ群を高速データベースシステムに一旦格納し、ある程度のデータが蓄積された後に二次処理を行うために高速データベースからデータ群から取り出される。

二次処理では、時系列に従ってグラフ化するために必要な二次処理データ群を演算処理よって取得する。たとえば、複数の平均期間を定め、高速データベースシステムに格納されたデータに基づいて、それぞれの平均期間における平均値や偏差等を算出すること等が挙げられる。
本発明に係る高速データベースシステムでは、二次処理によって得られた二次処理データ群は、永久保存データベースに格納し、この永久保存データベースに格納された二次処理データ群に基づき、グラフ化を行う。

請求項１に記載の発明に基づいて構成される高速データベースシステムは、永久保存データベースに格納されたデータは、グラフ化するために最適化されているため、クライアント（利用者）の要求に応じて、サーバが永久保存データベースを操作することによって、高速にグラフ化することができ、たとえば農作業や再生可能エネルギーによる発電の発電量の調整等を最適な時期に行うことが可能となる。

請求項２に記載の発明は、前記外部から受信したデータは、外部に取り付けられたセンサから一定時間ごとに発信されたセンサ情報であり、前記一次処理は、前記センサ情報が異常であると判別した場合には、その異常であると判別したセンサ情報を、そのセンサ情報が発信した時間の前後に発信された２つのセンサ情報に基づいて補完したセンサ情報に置換し、前記二次処理は、所定時間における前記データの平均値を算出する請求項１に記載の高速データベースシステムである。

一次処理では、センサ情報が異常であると判別した場合には、その異常であると判別したセンサ情報を、そのセンサ情報が発信した時間の前後に発信された２つのセンサ情報に基づいて補完したセンサ情報に置換することとなる。センサ情報が異常であるとは、何らかの障害によりセンサ情報が所定時間に取得することができなかったためにデータが欠けた場合や、サーバに送信するまでに何らかの外乱因子により実際にありえない数値がセンサ情報等して受信した場合などが挙げられる。
一次処理によって、センサ情報を補完することによって、通常ではありえない数値を排除したデータ群に基づいて、二次処理が行われることから、永久保存データベースに格納された二次処理データ群に基づき、グラフ化を行う際に、サーバにて必要な演算を減らすことが可能となる。これにより、さらに高速にグラフ化することができる。

請求項３に記載の発明は、前記センサ情報は植物の育成に必要な環境因子データであり、前記データ処理は、植物の育成状況を把握するために必要な環境因子データを時系列に従ってグラフ化する請求項２に記載の高速データベースシステムである。

請求項３に記載の発明は、農業支援システムに最適化した高速データベースシステムである。植物の育成に必要な環境因子データとは、照度（照明（日光を含む。）が植物に照査されているときの光度）、気温、湿度が挙げられる。これらの環境因子データをセンサにて取得、サーバに送信し、高速データベースシステムにて処理される。永久保存データベースに格納された二次処理データ群に基づいてグラフ化し、作物の状態又は環境の状態に関する条件が一致した場合に、条件に対応する作業を農作業者が行う。このように、農業管理を、見える化することができ、農業支援に有効である。

請求項１に記載の発明によれば、永久保存データベースに格納されたデータは、グラフ化するために最適化されているため、クライアント（利用者）の要求に応じて、サーバが永久保存データベースを操作することによって、高速にグラフ化することができ、たとえば農作業や再生可能エネルギーによる発電の発電量の調整等を最適な時期に行うことが可能となる。

特に、請求項２に記載の発明によれば、一次処理によって、センサ情報を補完することによって、通常ではありえない数値を排除したデータ群に基づいて、二次処理が行われることから、永久保存データベースに格納された二次処理データ群に基づき、グラフ化を行う際に、サーバにて必要な演算を減らすことが可能となる。これにより、さらに高速にグラフ化することができる。

請求項３に記載の発明によれば、永久保存データベースに格納された二次処理データ群に基づいてグラフ化し、作物の状態又は環境の状態に関する条件が一致した場合に、条件に対応する作業を農作業者が行う。このように、農業管理を、見える化することができ、農業支援に有効である。

本発明の実施例に係る高速データベースシステムの基本構成を示す図である。 本発明の実施例に係る高速データベースシステムの処理の一例を示すフローチャートである。

本発明の実施例に係る高速データベースシステムとして、インターネット回線が接続されたサーバ機からなり、このサーバ機には、ＲＤＢＭＳであるオープンソースの「ＭｙＳＱＬ」（登録商標）と、ＮｏＳＱＬ系ＤＢＭＳであるオープンソースの「Ｒｅｄｉｓ」とがインストールされている。
サーバ機が受信するデータは、外部から一定時間ごとに受信されるものであり、センサ値の他、センサを特定するための識別情報、センサによる測定時刻を特定するための測定時刻情報、その他グラフ化に必要な情報が含まれている。

（一次処理）
外部から発信されたデータをインターネット回線を介してサーバ機が受信した後、Ｒｅｄｉｓに格納される前に一次処理用プログラムの実行により一次処理される。
一次処理では、所定時間（測定時刻間隔より長時間である。）にサーバ機が受信した複数のデータを時系列順に並び替える。その後、受信したデータのセンサ値に基づいて、データの異常の有無を判断する。データの異常の有無の判断手法の具体例として、時間当たりのデータ値の差を求め、その差が、正規分布に従ったとき、９５％の信頼区間に含まれない場合に、異常と判断することが挙げられる。また、本来であれば、ある時間に受信されなければならないものが、データが受信されずに欠けている場合もデータが異常であると判断する。
そして、データが異常であると判別した場合には、その異常であると判別したデータを、そのデータが発信した時間の前後に発信された２つのデータに基づいて補完したデータに置換することで補完処理が行われる。具体例として、その異常であると判別したデータを、そのデータが発信した時間の前後に発信された２つのデータの平均値を補完したデータとして置換することが挙げられる。
このような一次処理がなされた後、一次処理されたデータ群を「Ｒｅｄｉｓ」に格納する。
「Ｒｅｄｉｓ」はＡＮＳＩ Ｃで実装された、高速なキー・バリュー・ストア型のデータベースである。

（二次処理）
「Ｒｅｄｉｓ」はＡＮＳＩ Ｃで実装された、高速なキー・バリュー・ストア型のデータベースであるものの、格納できるデータ量に限りがあるため、「Ｒｅｄｉｓ」に格納されたデータが一定量に達した後、二次処理プログラムの実行により「Ｒｅｄｉｓ」に格納されたデータをすべて取り出し、二次処理がなされる。
二次処理では、「Ｒｅｄｉｓ」に格納された全てのデータに基づいて、所定時刻間隔における平均値を算出する。このとき、所定時刻間隔は、あらかじめプログラムによって定められており、また、複数の時刻間隔が定められている。つまり、所定時刻間隔は、複数個設定されており、それぞれの平均値が算出される。たとえば、１０分間、１時間、半日（１２時間）、１日（２４時間）ごとの平均値を算出する。
あわせて、平均値を算出するための個々のデータの測定時刻情報から最も早い時刻と最も遅い時刻を求め、それらの時刻の中央時刻を求める。
その後、平均値と中央時刻とを関連づけ、「ＭｙＳＱＬ」（登録商標）に登録する。

（グラフ化）
ここでのグラフ化は、利用者が、所定作業を実施すべきか否かを判断することができるようにグラフ表示することをベースに説明する。
利用者が、ある特定期間における所定時刻間隔（たとえば１０分間）の平均値に基づいてグラフ表示する場合には、サーバが「ＭｙＳＱＬ」を操作し、特定期間における１０分間の平均値のデータを取り出し、そのデータを時系列に沿ってプロットする。これだけでグラフ表示が可能となる。

（高速データベースシステムを農業支援システムに適用した実施例）
本発明の実施例に係る高速データベースシステムの基本的なシステム構成を説明したため、これを農業支援システムに適用した実施例を以下、説明する。

農業支援の対象となる農場に、植物の育成に必要な環境因子データを測定する環境因子データ測定器を設置し、この環境因子データ測定器から発信された環境因子データをサーバ機が受信する。
環境因子データ測定器には、一定時間ごと（たとえば５分ごと）に太陽光を含む植物に照射される光源の照度、温度、湿度（雨量計を含む）を測定する光センサ、温度センサ、湿度センサが搭載されている。また、光センサ、温度センサ、湿度センサによって得られたセンサ情報に測定時刻を付加した発信データを作製する発信データ作製手段及び、発信データをサーバ機に向け発信する発信手段が環境因子データ測定器に搭載されている（発信データ作成手段及び発信手段は具体的にはマイクロコンピュータの制御機能によるものである）。

環境因子データ測定器から発信された発信データをサーバ機が受信し、一次処理用プログラムにより、発信時間と、照度、温度、湿度に分離され、それぞれ補完処理が行われる。補完処理されたデータは、「Ｒｅｄｉｓ」に、格納される。
「Ｒｅｄｉｓ」には、二次処理プログラムの実行がなされるまで補完処理されたデータが蓄積される。
「Ｒｅｄｉｓ」に格納されたデータは、たとえば24時間おきに実行される二次処理プログラムによって、すべて取り出され、二次処理がなされる。このとき、二次処理プログラムにより、照度、温度、湿度の所定時刻間隔（１０分間、１時間、半日（１２時間）、１日（２４時間））の平均値を求めるとともに、平均値を算出するための個々のデータの測定時刻情報から最も早い時刻と最も遅い時刻を求め、それらの時刻の中央時刻を求める。
その後、これらの平均値と中央時刻とを関連づけ、「ＭｙＳＱＬ」（登録商標）に登録する。

クライアントは、たとえば、ある特定期間における１０分間ごとの平均値に基づいて温度のグラフ表示する場合には、利用者が使用しているクライアントコンピュータの要求に基づき、サーバが「ＭｙＳＱＬ」を操作し、特定期間における１０分間の温度の平均値のデータを取り出し、そのデータを時系列に沿ってプロットする。これにより、クライアントは、植物の育成状況を瞬時にかつ容易に把握することができ、適切な時期に適切な農作業をおこなうことができる。このように農業管理を見える化することができ、農業支援に有効である。

このように、気象条件を見える化することで、適切な時期に適切な作業を行う必要があるものに本発明に係る高速データベースシステムは有効であり、たとえば、再生可能エネルギーによる発電の効率化を図ることでスマートシティ開発を促進すること等、応用例は多岐にわたる。
また、センサ情報が金融情報である場合に、本発明に係る高速データベースシステムを利用した場合においても、たとえば将来の経済予測を容易に行うことも可能である。

本発明は、定期的に発せられるセンサ情報を用いて、解析・分析するシステム及びデータベースシステムの高速化技術として有用である。

Claims (3)

1. 関係データベース管理システムからなる永久保存データベースと、
   関係データベース管理システム以外のデータベース管理システムからなる高速データベースと、を有し、外部から受信したデータを用いて、時系列に従ってグラフ化する高速データベースシステムであって、
   外部から受信したデータは、所定規則に従って一次処理がなされ、該一次処理により得られたデータ群は前記高速データベースに格納され、
   所定時間ごとに、前記高速データベースから、該高速データベースに格納された前記データ群はすべて取り出され、該データ群を用いて、時系列に従ってグラフ化するために必要な二次処理データ群を演算処理よって取得する二次処理がなされ、該二次処理によって得られた該二次処理データ群は前記永久保存データベースに格納され、
   前記二次処理データ群を用いてグラフ化する高速データベースシステム。
2. 前記外部から受信したデータは、外部に取り付けられたセンサから一定時間ごとに発信されたセンサ情報であり、
   前記一次処理は、前記センサ情報が異常であると判別した場合には、その異常であると判別したセンサ情報を、そのセンサ情報が発信した時間の前後に発信された２つのセンサ情報に基づいて補完したセンサ情報に置換し、
   前記二次処理は、所定時間における前記データの平均値を算出する請求項１に記載の高速データベースシステム。
3. 前記センサ情報は植物の育成に必要な環境因子データであり、
   前記データ処理は、植物の育成状況を把握するために必要な環境因子データを時系列に従ってグラフ化する請求項２に記載の高速データベースシステム。

Images