JP2016066323A

JP2016066323A - データ収集装置

Info

Publication number: JP2016066323A
Application number: JP2014196041A
Authority: JP
Inventors: 吉田　剛; Takeshi Yoshida; 剛吉田; 秀憲熊井; Hidenori Kumai; 云蔚藍; Yun Wei Lan
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-09-26
Filing date: 2014-09-26
Publication date: 2016-04-28
Anticipated expiration: 2034-09-26
Also published as: JP6385224B2

Abstract

【課題】マシンの負荷低減を図るとともに、必要なデータをリアルタイムに収集することが可能なデータ収集装置を提供する。
【解決手段】マシンの負荷が高い場合に、データ収集部１〜２において、受信した多種多量のデータについて、データ収集の優先度の高低を判定し、データ収集の優先度が高いデータをデータベース１０１に格納するとともに、データ収集の優先度が低いデータの中から、緊急度が高いデータを優先的にデータベース１０１に格納する。
【選択図】図１

Description

この発明は、SNS（ソーシャル）データやマルチメディアデータ、センサーデータなどの多種多量のデータ（多種多量データ）を取り扱うシステムにおいて、必要なデータをリアルタイムに収集可能とするデータ収集装置に関するものである。

例えば、従来のデータ収集装置では、多種多量データを収集する際の負荷を抑えるために、負荷をチェックし、データ収集のスケジューリングを行うことにより、マシンの負荷低減を図っていた（例えば特許文献１参照)。

特開２００６−７９４８８号公報

しかしながら、スケジューリングによるマシンの負荷低減を行った場合、多種多量データの収集を一時的に待機させることになるため、必要なデータがリアルタイムに収集できないものであった。例えば、災害等の非常時にリアルタイムに確認することが必要となる病院の稼働状況や空床状況、鉄道の運行状況等の緊急性の高い情報を確認できなくなるという問題があった。

この発明は、上記のような問題を解決するためになされたものであり、多種多量データのデータ収集時にマシンの負荷低減を図るとともに、必要なデータをリアルタイムに収集することが可能なデータ収集装置を提供することを目的とする。

この発明に係わるデータ収集装置は、多種多量のデータを、マシンの負荷状態に応じて外部のデータ収集サーバから収集するデータ収集装置であって、上記マシンの負荷が高い場合に、受信した上記多種多量のデータについて、データ収集の優先度の高低を判定し、データ収集の優先度が高いデータをデータベースに格納するとともに、データ収集の優先度が低いデータの中から、緊急度が高いデータを優先的に上記データベースに格納することを特徴とするものである。

この発明のデータ収集装置によれば、マシンの負荷状態が高い場合において、データ収集の優先度に従ってデータ収集するとともに、優先度が低いと判定されたデータの中から、緊急度が高いデータを優先的にデータベースに格納し、データ収集することが可能であるため、マシンの負荷低減を図りつつ、優先度が高いデータおよび緊急度が高いデータをリアルタイムに更新することが可能となる。

本発明の実施の形態１におけるデータ収集装置の構成を示すブロック図である。実施の形態１におけるデータ収集装置のフローチャートを示す図である。本発明の実施の形態２におけるデータ収集装置の構成を示すブロック図である。実施の形態２におけるデータ収集装置のフローチャートを示す図である。本発明の実施の形態３におけるデータ収集装置の構成を示すブロック図である。実施の形態３におけるデータ収集装置のフローチャートを示す図である。本発明の実施の形態４におけるデータ収集装置の構成を示すブロック図である。実施の形態４におけるデータ収集装置のフローチャートを示す図である。本発明の実施の形態５におけるデータ収集装置の構成を示すブロック図である。実施の形態５におけるデータ収集装置のフローチャートを示す図である。

この発明の実施の形態１の説明に必要な、データ収集装置のデータ収集対象例を示す図である。この発明の実施の形態１の説明に必要な、データ収集装置に収集されるデータを例示する図である。この発明の実施の形態１の説明に必要な、データ収集装置に収集されるデータの施設名、情報、用途、重要度を例示した図である。この発明の実施の形態１の説明に必要な、データ収集装置に収集されるデータの通常時と災害発生時の収集データの増加を例示した図である。この発明の実施の形態１の説明に必要な、施設単位でのデータ収集の優先度付けを例示した図である。この発明の実施の形態２の説明に必要な、データ単位でのデータ収集の優先度付けを例示した図である。

実施の形態１．
本発明のデータ収集装置がデータ収集する対象の例を図１１に示す。図１１に示すように、地域全体のエリア情報として、地域に存在する施設（大規模ビル、水施設（上下水道）、病院、鉄道、有料道路、工場、空港、SNS等）で取り扱うデータをデータ収集の対象とする。また、図１２に、取り扱うデータの例を示す。また、図１３に、データを配信した施設の名称、情報の項目（大小分類）、情報の用途、情報の重要度（優先度）の例を示す。ここで、災害等の非常時に各施設の利用状況を把握するための情報を、重要度高の情報として位置付けている。さらに、データの増加例を図１４に示す。災害発生時に、SNSでの災害情報・救急情報や、鉄道での列車の遅延情報、事故情報等のデータが増加することを示す。災害発生時に市民や行政機関関係者が必要とする情報は、リアルタイムに確認できるようデータ収集装置のデータベースに最新情報を優先的に格納することが必要である。

そこで、本発明のデータ収集装置においては、多種多量データに優先度を持たせることで、マシンの高負荷時にデータ収集のスケジューリングを行う際に、データの優先度をチェックして優先度高のものを優先的に収集することを可能としている。そのため、優先度低のデータの収集を後回しにすることでマシンの負荷を低減しつつ、必要な優先度高のデータをリアルタイムに収集可能としている。ここで、図１５に、データ収集装置が収集するデータ例を示す。優先度高の情報を保持しない大規模ビル・水施設に対し、データ収集の優先度を下げ、他の施設のデータ（着色箇所に記載されたデータ）を優先的に収集する例である。
さらに、本発明のデータ収集装置においては、優先度の低いデータの内、テキストデータ（詳細は後述する。）に対して文字列情報を分析することが可能となるため、緊急度の高い文字列情報を含むテキストデータをリアルタイムに収集可能とする構成としている。

図１は、この発明の実施の形態１におけるデータ収集装置１００の構成を示すブロック図である。図１において、データ収集装置１００は、管理するデータとして、多種多量のデータを格納し管理するデータベース１０１、データ収集の優先度を定義したデータ収集優先度定義データ１０２を有する。また、機能として、多種多量のデータを配信する複数（Ｎ台）のデータ収集サーバ１１１〜１１２に対し、それぞれのデータを受信する複数（Ｎ個）のデータ収集部１〜２と、マシンのＣＰＵおよびメモリの負荷状態をチェックする負荷チェック部３、データ収集の優先度をデータ収集優先度定義データ１０２に設定するデータ収集優先度設定部４、このデータ収集優先度設定部４で設定されたデータ収集優先度定義データ１０２からデータ収集の優先度を判定するデータ収集優先度判定部５を有する。さらに、各データ収集サーバから収集したデータの内、テキストデータに対して緊急度の高い文字列情報を定義した優先度高テキスト定義データ１０３からテキスト情報の優先度を判定するテキスト情報優先度判定部６を有する。

ここで、テキストデータとは、データ収集サーバ１１１〜１１２が収集して持っている文字列情報のデータである。データ収集装置１００が収集するデータには、テキストデータ（文字列情報）以外に、数値データや画像データ等がある。データ収集装置１００が収集したデータのうち、文字列情報であるテキストデータは、故障などの緊急度を含むイベント情報等のデータに対して付けられた情報である。
リアルタイムに更新する必要性が低い（緊急度が低い）データに対しては、このテキストデータは付加されておらず、含まれていない場合がある。後述するデータ収集処理においては、最初に、データ配信を行うデータ収集サーバ１１１〜１１２の各々を単位として優先度の高低を判定し、次の段階で、サーバ優先度が低く、データベース１０１に格納されなかったデータに対して、テキストデータの有無を判定するという手順で、データベース１０１に収集するデータの選定が進められる。

次に、データ収集処理について、図２を参照して説明する。図２は、データ収集装置において、データ収集部１のデータ収集処理の処理手順を示すフローチャートである。
図２において、データ収集部１のデータ収集処理がスタートすると、まず、負荷チェック部３からマシンのＣＰＵおよびメモリの負荷状態を取得する（Ｓ２０１）。低負荷状態かチェックし（Ｓ２０２）、低負荷状態の場合は、データ収集対象のデータ収集サーバ１１１から多種多量データを受信して収集し（Ｓ２０３）、収集したデータをデータベース１０１に格納する（Ｓ２０４）。高負荷状態の場合はデータ収集優先度判定部５からデータ収集の優先度を取得する（Ｓ２０５）。データ収集部１で受信したデータが、データ収集の優先度高かチェックし（Ｓ２０６）、優先度が高い場合、前記Ｓ２０３およびＳ２０４の処理を行う。優先度が低い場合、収集データにテキストデータを含むかチェックする（Ｓ２０７）。数値データや画像データしかなく、テキストデータを含まない場合、再度、前記Ｓ２０１の処理から行う。テキストデータを含む場合、テキスト情報優先度判定部６からテキスト情報の優先度を取得する（Ｓ２０８）。テキスト情報が優先度高（緊急度が高い）かチェックし（Ｓ２０９）、優先度高の場合、前記Ｓ２０３およびＳ２０４の処理を行う。優先度が低い場合、再度、前記Ｓ２０１の処理から行う。

図２に示すように、例えば、データ収集優先度定義データ１０２で優先度高と定義されたデータ収集サーバ（病院‐Ａ）のデータがデータベース１０１に格納される。優先度低と定義されたデータ収集サーバ（大規模ビル-Ａ、大規模ビル-Ｂ、水施設-Ａ）のデータのうち、収集データにテキストデータを含むデータ収集サーバ（大規模ビル-Ｂ）においては、テキストデータ内に緊急度の高い文字列情報（“自家発故障”等）を含むため、この緊急度の高いデータを優先してデータベース１０１に格納する。その他のデータ収集部２についても同様の処理手順となる。

このように、データ収集装置１００がデータ収集サーバ１１１〜１１２から収集したデータの中のテキストデータの有無をチェックすることで緊急度が高いデータがデータ収集対象のサーバ内に含まれるかどうかを判別でき、さらにテキストデータの文字列情報をチェックすることで、サーバ内のどのデータの緊急度が高いのかを判別することができる。そして、緊急度が高いと判別されたデータを優先的にデータベース１０１に格納し、リアルタイムにデータ更新を行うことが可能となる。サーバ単位での優先度判定、テキストデータ有無判定、テキスト情報チェックにおける優先度判定のいずれかで、優先度低またはテキストデータ無と判定されたデータについては、一連のデータ収集処理の中ではデータベース１０１への格納を行わず、再度、Ｓ１０１の負荷状態取得ステップからの処理を実行するように、処理が繰り返される。

以上のように、この発明の実施の形態１のデータ収集装置１００によれば、マシンの負荷状態およびデータ収集の優先度をチェックしてデータを収集することができるため、マシンの負荷状態を低減できるとともに、優先度が高く、ユーザにとって必要なデータをリアルタイムに収集することができる。さらに、データ収集の優先度が低いと判定されたデータの中から、テキストデータを基に、緊急度の高いデータを選び出し、優先的にデータベース１０１に収集することができ、ユーザに対してリアルタイムに情報を提供することが可能となる。

実施の形態２．
図３は、この発明の実施の形態２におけるデータ収集装置１００の構成を示すブロック図である。なお、上記実施の形態１を示す図１と同様の機能を持つ箇所は同じ番号を付けており、説明は省略する。上記の実施の形態１のデータ収集装置１００は、データ収集部１で受信する多種多量のデータについて、まず、データを配信するデータ収集サーバ１１１から１１２について、各サーバ単位で優先度を判定し、次に、テキストデータによる優先度の判定を行う処理手順であったが、この実施の形態２のデータ収集装置１００では、サーバ単位で優先度を設定するのではなく、サーバが配信する複数のデータについて、それぞれデータ毎に優先度を設定しておき、データ毎に優先度を判定し、次に、テキストデータによる優先度の判定を行うという手順でデータ収集処理を行っている。

図３において、データ収集装置１００は、管理するデータとして、個々のデータの優先度を定義したデータ優先度定義データ１０４を有する。また、機能として、複数（Ｎ台）のデータ収集サーバ１１１〜１１２に対し、それぞれのデータを収集するＮ個のデータ収集部２０１〜２０２と、多種多量データの各データに対しデータベース１０１への格納の優先度をデータ優先度定義データ１０４に設定するデータ優先度設定部７、このデータ優先度設定部７で設定されたデータ優先度定義データ１０４から多種多量データの各データの優先度を判定するデータ優先度判定部８を有する。

次に、データ収集部２０１のデータ収集処理について図４のフローチャートを参照して説明する。なお、上記実施の形態１を示す図２と同様の処理の箇所は同じ番号を付けており、説明は省略する。
図４において、マシンの低負荷状態のチェック（Ｓ２０２）で高負荷状態の場合に、データ優先度判定部８からデータの優先度を取得する（Ｓ３０１）。データの優先度高かチェックし（Ｓ３０２）、優先度が高い場合、Ｓ２０３およびＳ２０４の処理を行う。優先度が低い場合、収集データがテキストデータか否かチェックする（Ｓ３０３）。テキストデータでは無い場合（テキストデータがない場合）、再度、前記Ｓ２０１の処理から行う。テキストデータの場合、テキスト情報優先度判定部６からテキスト情報の優先度を取得する（Ｓ３０４）。テキスト情報の優先度高かチェックし（Ｓ３０５）、優先度高の場合、前記Ｓ２０３およびＳ２０４の処理を行う。優先度が低い場合、再度、前記Ｓ２０１の処理から行う。

図４に示すように、例えば、データ優先度定義データ１０４で優先度高と設定されたデータ対象（病院‐Ａの空床数、他）のデータがデータベース１０１に格納され、優先度低と設定されたデータ対象（大規模ビル-Ａの使用電力、他）は繰り返し負荷状態取得から実行する。また、優先度低と設定されたデータ対象、かつ収集データがテキストデータのデータ対象（大規模ビル-Ｂのイベント情報）において、テキストデータ内に緊急度の高い文字列情報（“自家発故障”等）を含む場合は、優先してデータがデータベース１０１に格納される。

以上のように、この発明の実施の形態２のデータ収集装置１００によれば、データ収集の優先度をデータ単位でチェックできるため、個々のデータの大きさによるマシンの負荷調整と、必要なデータのリアルタイムな収集ができる。さらに、緊急度の高いテキストデータをリアルタイムに収集することができる。
なお、図１６に、データ単位でのデータ収集の優先度付けを例示した収集データ例を示す。優先度低の情報に対し、データ収集の優先度を下げ、優先度高のデータ（着色箇所に記載されたデータ）を優先的に収集する例であり、データ収集の優先度低の情報については、テキストデータの緊急度の高い情報のみを優先的にデータ収集し、データベース１０１にその情報を格納する。

実施の形態３．
図５は、この発明の実施の形態３におけるデータ収集装置１００の構成を示すブロック図である。なお、上記実施の形態１を示す図１、実施の形態２を示す図２と同様の機能を持つ箇所は同じ番号を付けており、説明は省略する。
図５において、データ収集装置１００は、機能として、複数（Ｎ台）のデータ収集サーバ１１１〜１１２に対し、それぞれのデータを収集する複数（Ｎ個）のデータ収集部３０１〜３０２を有する。

次に、データ収集処理について図６を参照しながら説明する。なお、上記実施の形態１を示す図２、実施の形態２を示す図４と同様の処理の箇所は同じ番号を付けており、説明は省略する。
図６において、データ収集のサーバ単位での優先度高チェック（Ｓ２０６）で優先度高の場合に、データ優先度判定部８からデータの優先度を取得し（Ｓ３０１）、データの優先度高かチェックする（Ｓ３０２）。
なお、データ収集装置１００が、優先度低のサーバ内の緊急性が高いデータ、個々データの優先度低のデータのうち、緊急度が高いデータについて、テキストデータを用いた判定により、優先的にデータ収集を行うことは、実施の形態１、実施の形態２と同様であり、後述の実施の形態４、実施の形態５においても共通している。

以上のように、この発明の実施の形態３のデータ収集装置１００によれば、データ収集の優先度を、データ収集サーバ単位およびデータ単位で順次対象を絞ってチェックできるため、マシン負荷の低減をさらに図ることができ、かつ必要なデータをリアルタイムに収集することができる。

実施の形態４．
図７は、この発明の実施の形態４におけるデータ収集装置１００の構成を示すブロック図である。なお、上記実施の形態１を示す図１と同様の機能を持つ箇所は同じ番号を付けており、説明は省略する。
図７において、データ収集装置１００は、管理するデータとして、データ収集の優先度および優先度低の収集スケジュールを定義したデータ収集優先度スケジュール定義ファイル１０５を有する。機能として、複数（Ｎ台）のデータ収集サーバ１１１〜１１２に対し、それぞれのデータを収集する複数（Ｎ個）のデータ収集部４０１〜４０２、データ収集の優先度および優先度低の収集スケジュールをデータ収集優先度スケジュール定義ファイル１０５に設定するデータ収集スケジュール設定部９、このデータ収集スケジュール設定部９で設定されたデータ収集優先度スケジュール定義ファイル１０５からデータ収集の優先度を判定し、データ収集の優先度が低いと判定されたサーバに対し、収集スケジュールを取得するデータ収集スケジュール判定部１０を有する。

次に、データ収集処理について図８を参照しながら説明する。なお、上記実施の形態１を示す図２と同様の処理の箇所は同じ番号を付けており、説明は省略する。
図８において、データ収集の優先度高チェック（Ｓ２０６）で優先度低の場合に、データ収集スケジュール判定部１０からデータ収集スケジュールを取得し（Ｓ４０１）、データの収集時刻までデータ収集処理を待機し（Ｓ３０２）、Ｓ２０１の処理を繰り返す。例えば、データ収集優先度スケジュール定義ファイルで収集周期を６０秒と設定した場合、６０秒待機後、繰り返し負荷状態取得から実行する。

以上のように、この発明の実施の形態４のデータ収集装置１００によれば、優先度が低いデータ収集対象となるサーバに対し、負荷状態取得の繰り返し処理を無くすことができ、マシンの負荷を低減することができる。

実施の形態５．
図９は、この発明の実施の形態５におけるデータ収集装置１００の構成を示すブロック図である。なお、上記実施の形態２を示す図３と同様の機能を持つ箇所は同じ番号を付けており、説明は省略する。
図９において、データ収集装置１００は、管理するデータとして、データの優先度および優先度低の収集スケジュールを定義したデータ優先度スケジュール定義ファイル１０６を有する。機能として、複数（Ｎ台）のデータ収集サーバ１１１〜１１２に対し、それぞれのデータを収集する複数（Ｎ個）のデータ収集部５０１〜５０２、データの優先度および優先度低の収集スケジュールをデータ優先度スケジュール定義ファイル１０６に設定するデータスケジュール設定部１１、このデータスケジュール設定部１１で設定されたデータ優先度スケジュール定義ファイル１０６からデータの優先度を判定し、優先度低のデータに対し、収集スケジュールを取得するデータスケジュール判定部１２を有する。

次に、データ収集処理について、図１０を参照しながら説明する。なお、上記実施の形態２を示す図４と同様の処理の箇所は同じ番号を付けており、説明は省略する。
図１０において、データの優先度高チェック（Ｓ３０１）で優先度低の場合に、データスケジュール判定部１２からデータ収集スケジュールを取得し（Ｓ５０１）、データの収集時刻まで処理を待機し（Ｓ５０２）、Ｓ２０１の処理を繰り返す。

以上のように、この発明の実施の形態５のデータ収集装置１００によれば、優先度が低いデータに対し、負荷状態取得の繰り返し処理を無くすことができ、マシンの負荷を低減することができる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１、２、２０１、２０２、３０１、３０２、４０１、４０２、５０１、５０２データ収集部、３負荷チェック部、４データ収集優先度設定部、５データ収集優先度判定部、６テキスト情報優先度判定部、７データ優先度設定部、８データ優先度判定部、９データ収集スケジュール設定部、１０データ収集スケジュール判定部、１１データスケジュール設定部、１２データスケジュール判定部、１００データ収集装置、１０１データベース、１０２データ収集優先度定義データ、１０３優先度高テキスト定義データ、１０４データ優先度定義データ、１０５データ収集優先度スケジュール定義ファイル、１０６データ優先度スケジュール定義ファイル、１１１、１１２データ収集サーバ。

Claims

多種多量のデータを、マシンの負荷状態に応じて外部のデータ収集サーバから収集するデータ収集装置であって、
上記マシンの負荷が高い場合に、受信した上記多種多量のデータについて、データ収集の優先度の高低を判定し、データ収集の優先度が高いデータをデータベースに格納するとともに、データ収集の優先度が低いデータの中から、緊急度が高いデータを優先的に上記データベースに格納することを特徴とするデータ収集装置。
上記緊急度が高いデータは、データ収集の優先度を判定するための、上記データ収集サーバから収集したテキストデータを含むことを特徴とする請求項１記載のデータ収集装置。
上記多種多量のデータを配信する上記データ収集サーバを単位として、データ収集の優先度の高低を判定し、優先度が高いと判定された上記データ収集サーバから受信したデータを、上記データベースに格納することを特徴とする請求項１または請求項２記載のデータ収集装置。
上記データ収集サーバから受信した上記多種多量のデータについて、各々の上記データを単位として、データ収集の優先度の高低を判定し、優先度が高いと判定されたデータを、上記データベースに格納することを特徴とする請求項１または請求項２記載のデータ収集装置。
上記データベースに格納されるデータは、データ配信元となる上記データ収集サーバのデータ収集の優先度が高いデータであり、かつ、各々の上記データを単位としたデータ収集の優先度が高いデータであることを特徴とする請求項１記載のデータ収集装置。
データ収集の優先度が低いと判定されたデータについては、次のデータ収集のタイミングを、所定の待機時間後に設定することを特徴とする請求項１から５のいずれか一項記載のデータ収集装置。
データ収集の優先度が低いと判定されたデータについては、次のデータ収集のタイミングを、定期的に繰り返されるデータ収集時刻とすることを特徴とする請求項１から５のいずれか一項記載のデータ収集装置。