JP2018190280A - Data processing apparatus, data processing method, program, and data structure - Google Patents
Data processing apparatus, data processing method, program, and data structure Download PDFInfo
- Publication number
- JP2018190280A JP2018190280A JP2017094047A JP2017094047A JP2018190280A JP 2018190280 A JP2018190280 A JP 2018190280A JP 2017094047 A JP2017094047 A JP 2017094047A JP 2017094047 A JP2017094047 A JP 2017094047A JP 2018190280 A JP2018190280 A JP 2018190280A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- statistic
- scale
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、データ処理装置、データ処理方法、プログラムおよびデータ構造に関する。 The present invention relates to a data processing device, a data processing method, a program, and a data structure.
交通あるいはヘルスケアなど様々な分野において、所定の対象の時系列データを検出することが行われている。このような時系列データから検出対象の異常を即座に発見することが重要な場合がある。
また、時系列データのサンプル数が膨大になりかつ常に次々とデータが発生するストリームデータを処理の対象とする場合も多い。
In various fields such as traffic and healthcare, time-series data of a predetermined target is detected. In some cases, it is important to immediately detect an abnormality to be detected from such time-series data.
Further, there are many cases where stream data in which the number of samples of time series data is enormous and data is always generated one after another is processed.
異常を検出する方法としては、事前知識を用いて異常を検出する方法と、異常として外れ値を検出する方法とに大別される。
事前知識を用いて異常を検出する方法では、特定の条件を満たす時系列データが発生したときに異常の発生として当該異常を検出するが、未知の事象に対応することができない。また、事前知識を用いて異常を検出する方法では、前提条件が仮定されている場合が多いため、前提条件が変化するときには、その都度、特定の条件を修正する必要がある。また、この方法では、事前知識を学習する必要がある。このような点を補うために、機械学習を利用することも考えられるが、十分に高速な処理は確立されていない。
The method for detecting an abnormality is roughly classified into a method for detecting an abnormality using prior knowledge and a method for detecting an outlier as an abnormality.
In the method of detecting an abnormality using prior knowledge, when time-series data satisfying a specific condition occurs, the abnormality is detected as the occurrence of the abnormality, but an unknown event cannot be dealt with. In addition, in the method of detecting an abnormality using prior knowledge, a precondition is often assumed, and therefore, when the precondition changes, it is necessary to correct a specific condition each time. This method also requires prior knowledge to be learned. In order to compensate for this point, it may be possible to use machine learning, but a sufficiently high-speed process has not been established.
こうした事情から、ストリームデータを対象として、外れ値を検出する方法の確立および高度化が重要となる。
例えば、外れ値を検出する技術は従前から存在しているが、特にストリームデータを対象とするときに、十分に高速な処理が行われない場合があった。異常が発生するときを予測することが困難な状況では、常に異常の発生の有無を監視する必要があり、時系列データを構成するデータが次々と発生する速度と比べて十分に高速な処理を実現する必要があった。
Under these circumstances, it is important to establish and enhance a method for detecting outliers for stream data.
For example, techniques for detecting outliers have existed for some time, but there have been cases where sufficiently high-speed processing has not been performed, particularly when stream data is targeted. In situations where it is difficult to predict when an anomaly will occur, it is necessary to constantly monitor whether an anomaly has occurred, and processing that is sufficiently faster than the rate at which the data constituting the time-series data occurs one after another It was necessary to realize.
一例として、非特許文献1では、t−digestと呼ばれる技術が提案されている。t−digestは、値の集合に対してその分布を推定するデータ構造を有し、例えば、ストリームデータを対象としてその分布を推定することが可能である。
しかしながら、t−digestだけでは、十分に高速な処理を実現することが困難な場合があった。
As an example, Non-Patent
However, there are cases where it is difficult to realize sufficiently high-speed processing with only t-digest.
従来では、多次元およびマルチスケールのデータ解析を行うことが困難である場合があった。なお、t−digestでは、多次元およびマルチスケールについては想定されていなかった。 Conventionally, it has been difficult to perform multidimensional and multiscale data analysis. In t-digest, multidimensional and multiscale were not assumed.
本発明は、このような事情を考慮してなされたもので、多次元およびマルチスケールのデータ解析を行うことを可能とするデータ処理装置、データ処理方法、プログラムおよびデータ構造を提供することを課題とする。 The present invention has been made in view of such circumstances, and it is an object of the present invention to provide a data processing device, a data processing method, a program, and a data structure that enable multidimensional and multiscale data analysis. And
一構成例として、複数の異なる観点および前記観点ごとの複数の異なるスケールについて、前記観点と前記スケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群を生成する統計量データ処理部を備える、統計量データ処理装置である。
一構成例として、統計量データ処理装置において、前記統計量データ処理部は、前記統計量データ群に対して新たなデータを追加した前記統計量データ群を生成する、構成が用いられてもよい。
一構成例として、統計量データ処理装置において、前記統計量データ処理部は、前記統計量データ群から抽出範囲に含まれるデータに基づく前記統計量データ群を生成する、構成が用いられてもよい。
一構成例として、統計量データ処理装置において、前記統計量データ処理部は、それぞれの前記観点について1個の前記スケールが特定された統計量データである単位統計量データを生成する単位統計量データ生成装置により生成された前記単位統計量データを使用して、前記統計量データ群を生成する、構成が用いられてもよい。
As one configuration example, for a plurality of different viewpoints and a plurality of different scales for each of the viewpoints, statistical data for generating a statistical data group having statistical data based on data included for each combination of the viewpoint and the scale It is a statistics data processing apparatus provided with a process part.
As one configuration example, in the statistics data processing device, a configuration may be used in which the statistics data processing unit generates the statistics data group in which new data is added to the statistics data group. .
As one configuration example, in the statistics data processing device, a configuration may be used in which the statistics data processing unit generates the statistics data group based on data included in an extraction range from the statistics data group. .
As one configuration example, in the statistics data processing device, the statistics data processing unit generates unit statistics data that is unit statistics data in which one scale is specified for each of the viewpoints. The structure which produces | generates the said statistics data group using the said unit statistics data produced | generated by the production | generation apparatus may be used.
一構成例として、統計量データ処理部が、複数の異なる観点および前記観点ごとの複数の異なるスケールについて、前記観点と前記スケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群を生成する、統計量データ処理方法である。
一構成例として、統計量データ処理部が、複数の異なる観点および前記観点ごとの複数の異なるスケールについて、前記観点と前記スケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群を生成するステップ、をコンピュータに実行させるためのプログラムである。
一構成例として、統計量データ群のデータ構造であって、複数の異なる観点および前記観点ごとの複数の異なるスケールについて、前記観点と前記スケールとの組み合わせごとに、前記組み合わせごとに含まれるデータに基づく統計量データを有する、データ構造である。
As one configuration example, the statistic data processing unit includes statistic data based on data included in each combination of the viewpoint and the scale with respect to a plurality of different viewpoints and a plurality of different scales for each viewpoint. This is a statistical data processing method for generating groups.
As one configuration example, the statistic data processing unit includes statistic data based on data included in each combination of the viewpoint and the scale with respect to a plurality of different viewpoints and a plurality of different scales for each viewpoint. A program for causing a computer to execute a step of generating a group.
As one configuration example, a data structure of a statistic data group, including a plurality of different viewpoints and a plurality of different scales for each of the viewpoints, for each combination of the viewpoint and the scale, the data included in each combination A data structure with statistical data based thereon.
本発明によれば、多次元およびマルチスケールのデータ解析を行うことを可能とすることができる。 According to the present invention, it is possible to perform multidimensional and multiscale data analysis.
以下、図面を参照し、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1実施形態)
[データ処理システム]
図1は、本発明の一実施形態(第1実施形態)に係るデータ処理システム1の概略的な構成を示すブロック図である。
データ処理システム1は、n(nは2以上の整数とする。)個の端末装置11−1〜11−nと、統計量データ処理装置12と、データベース13と、ネットワーク21を備える。
ネットワーク21としては、有線または無線の任意のネットワークが用いられてもよく、例えば、インターネットあるいはWi−Fi(登録商標)のネットワークなどが用いられてもよい。
データベース13は、本実施形態では、統計量データ処理装置12とは別に備えられるが、他の例として、統計量データ処理装置12に一体化されていてもよい。
(First embodiment)
[Data processing system]
FIG. 1 is a block diagram showing a schematic configuration of a
The
As the
Although the
統計量データ処理装置12は、端末装置11−1〜11−nに関する所定の対象のデータを取得して解析する。本実施形態では、当該データは、所定の対象の時系列データについて、サンプル数が膨大(ビックデータ)になりかつ常に次々とデータが発生するストリームデータであるとする。
The statistic
所定の対象のデータとしては、任意のデータが用いられてもよく、例えば、IoT(Internet on Things)に関するデータが用いられてもよく、あるいは、他のデータが用いられてもよい。
具体例として、所定の対象のデータとしては、任意のシステムにおけるデータが用いられてもよく、例えば、車両などの交通システムに関するデータ、人などのヘルスケアシステムに関するデータ、製品を生産などする工場システムに関するデータ、証券などの金融システムに関するデータ、有線または無線の通信システムに関するデータなどが用いられてもよい。また、任意のシステムにおいて、所定の対象のデータとしては、様々なデータが用いられてもよく、例えば、温度に関するデータ、湿度に関するデータ、速度に関するデータ、加速度に関するデータ、画像に関するデータ、酸素などの物質の濃度に関するデータ、品質に関するデータ、株価に関するデータ、通信信号に関するデータ、端末装置(本実施形態では、端末装置11−1〜11−n)の位置に関するデータ、端末装置が存在する領域に関するデータなどが用いられてもよい。
Arbitrary data may be used as the predetermined target data. For example, data on IoT (Internet on Things) may be used, or other data may be used.
As a specific example, data in an arbitrary system may be used as the predetermined target data. For example, data related to transportation systems such as vehicles, data related to healthcare systems such as people, and factory systems that produce products Data relating to financial systems such as securities, data relating to wired or wireless communication systems, and the like may be used. In addition, in an arbitrary system, various data may be used as predetermined target data. For example, data related to temperature, data related to humidity, data related to speed, data related to acceleration, data related to images, data related to oxygen, etc. Data relating to substance concentration, data relating to quality, data relating to stock prices, data relating to communication signals, data relating to positions of terminal devices (terminal devices 11-1 to 11-n in the present embodiment), data relating to areas where terminal devices exist. Etc. may be used.
また、所定の対象のデータを検出する手法としては、様々な手法が用いられてもよい。
一例として、それぞれの端末装置11−1〜11−nにおいて、当該それぞれの端末装置11−1〜11−nに関する所定の対象のデータを検出する構成が用いられてもよい。この構成では、それぞれの端末装置11−1〜11−nは、所定の対象のデータを検出する検出部を備え、当該検出部により検出されたデータを、ネットワーク21を介して、統計量データ処理装置12に送信する。当該検出部は、例えば、センサー、あるいは、撮像装置(カメラ)であってもよい。ここで、撮像装置(カメラ)も、センサーの一例であると捉えられてもよい。
なお、それぞれの端末装置11−1〜11−nは、IoTの端末装置であってもよく、あるいは、他の端末装置であってもよい。
Various methods may be used as a method for detecting predetermined target data.
As an example, in each of the terminal devices 11-1 to 11-n, a configuration for detecting predetermined target data related to each of the terminal devices 11-1 to 11-n may be used. In this configuration, each of the terminal devices 11-1 to 11-n includes a detection unit that detects data of a predetermined target, and the data detected by the detection unit is subjected to statistical data processing via the
Each of the terminal devices 11-1 to 11-n may be an IoT terminal device or may be another terminal device.
他の例として、データ処理システム1は、端末装置11−1〜11−nとは別の検出装置(図示を省略)を備えてもよい。この構成では、当該検出装置は、それぞれの端末装置11−1〜11−nに関する所定の対象のデータを検出する検出部を有しており、当該検出部により検出されたデータを、ネットワーク21を介して、統計量データ処理装置12に送信する。
As another example, the
当該検出装置は、例えば、所定の領域の画像を撮像する撮像装置(カメラ)を備えてもよく、当該画像に基づいて、当該所定の領域に存在する端末装置11−1〜11−nの数のデータなどを所定の対象のデータとして検出してもよい。
当該検出装置は、例えば、所定の領域に存在する端末装置11−1〜11−nと無線または有線で通信する通信部を備えてもよく、この通信の結果に基づいて、当該所定の領域に存在する端末装置11−1〜11−nの数のデータなどを所定の対象のデータとして検出してもよい。
当該検出装置は、例えば、端末装置11−1〜11−nから発信される信号を取得する信号取得部を備えてもよく、当該信号の状況に基づいて、当該信号の発生頻度あるいは遅延度などを表すデータなどを所定の対象のデータとして検出してもよい。
The detection device may include, for example, an imaging device (camera) that captures an image of a predetermined region, and the number of terminal devices 11-1 to 11-n existing in the predetermined region based on the image. Or the like may be detected as predetermined target data.
The detection apparatus may include, for example, a communication unit that communicates with the terminal devices 11-1 to 11-n existing in a predetermined area wirelessly or by wire. Based on the result of the communication, the detection apparatus Data of the number of existing terminal apparatuses 11-1 to 11-n may be detected as predetermined target data.
The detection device may include, for example, a signal acquisition unit that acquires signals transmitted from the terminal devices 11-1 to 11-n. Based on the state of the signal, the frequency of occurrence of the signal or the degree of delay, etc. May be detected as predetermined target data.
本実施形態では、それぞれの端末装置11−1〜11−nは、ネットワーク21を介して、他の装置(例えば、統計量データ処理装置12など)と通信することが可能である。なお、それぞれの端末装置11−1〜11−nは、有線または無線により、ネットワーク21との間で通信接続する。
他の例として、それぞれの端末装置11−1〜11−nは、通信機能を備えなくてもよい。
In the present embodiment, each of the terminal devices 11-1 to 11-n can communicate with other devices (for example, the statistics data processing device 12) via the
As another example, each of the terminal devices 11-1 to 11-n may not have a communication function.
また、それぞれの端末装置11−1〜11−nとしては、例えば、同じ構成を有する端末装置が用いられてもよく、あるいは、異なる構成を有する端末装置が含まれてもよい。
また、それぞれの端末装置11−1〜11−nは、例えば、物に付加あるいは装着などされてもよく、あるいは、人により携帯あるいは装着などされてもよい。当該物としては、任意のものであってもよく、例えば、自動車などの車両、あるいは、電化製品などであってもよい。
Moreover, as each terminal device 11-1 to 11-n, for example, a terminal device having the same configuration may be used, or a terminal device having a different configuration may be included.
Each of the terminal devices 11-1 to 11-n may be added to or attached to an object, or may be carried or attached by a person. As the said thing, arbitrary things may be sufficient, for example, vehicles, such as a motor vehicle, or an electric appliance.
また、端末装置11−1〜11−nとは別の検出装置は、例えば、統計量データ処理装置12に備えられてもよい。この構成では、統計量データ処理装置12は、当該検出装置により検出されたデータを取得して解析する。
In addition, a detection device other than the terminal devices 11-1 to 11-n may be provided in the statistic
[統計量データ処理装置]
図2は、本発明の一実施形態に係る統計量データ処理装置12の概略的な構成を示すブロック図である。
統計量データ処理装置12は、入力部111と、出力部112と、記憶部113と、通信部114と、制御部115を備える。
制御部115は、データ取得部131と、統計量データ処理部132と、データ出力制御部133を備える。
統計量データ処理部132は、観点設定部151と、スケール設定部152と、統計量データ群生成部153と、追加部154と、抽出部155を備える。
[Statistics data processor]
FIG. 2 is a block diagram showing a schematic configuration of the statistic
The statistics
The
The statistic
入力部111は、外部から情報を入力する。入力部111は、例えば、ユーザ(人)により行われる操作を受け付ける操作部を有し、当該操作部により受け付けられた操作に応じた情報を入力する。入力部111は、例えば、外部の装置(例えば、記録媒体など)と接続されて当該外部の装置から出力される情報を入力する。
出力部112は、情報を出力する。出力部112は、例えば、画面を有しており、情報を画面に表示(出力)する。出力部112は、例えば、外部の装置(例えば、記録媒体など)と接続されて当該外部の装置に情報を出力する。
記憶部113は、情報を記憶する。なお、本実施形態では、記憶部113とデータベース13とは、任意に使い分けられてもよい。
通信部114は、情報を通信する。本実施形態では、通信部114は、ネットワーク21を介して、他の装置(例えば、端末装置11−1〜11−nあるいは別の検出装置)と情報を通信する。
The
The
The
The
制御部115は、統計量データ処理装置12における各種の制御を行う。
本実施形態では、記憶部113は、所定の制御プログラムおよびそのパラメーターの情報を記憶する。また、制御部115は、CPU(Central Processing Unit)を用いて構成される。そして、制御部115では、CPUが記憶部113に記憶された制御プログラムを、記憶部113に記憶されたパラメーターを使用して実行することで、各種の制御を行う。
The
In the present embodiment, the
なお、統計量データ処理装置12について、図2に示した各処理部111〜115を備える構成は一例であり、他の構成が用いられてもよい。例えば、各処理部111〜115の機能の区分は、説明の便宜上のものであり、必ずしも図2に示した構成に限定されない。
In addition, about the statistics
制御部115の機能について説明する。
データ取得部131は、解析対象となるデータとして、所定の対象のデータを取得する。
一例として、データ取得部131は、通信部114により他の装置(例えば、端末装置11−1〜11−nあるいは別の検出装置)から受信されたデータを、解析対象となるデータとして取得してもよい。
他の例として、データ取得部131は、過去に取得されたデータを順次データベース13に記憶しておき、当該データの処理を行うときに、当該データベース13から当該データを解析対象となるデータとして取得してもよい。
また、他の例として、所定の対象のデータが統計量データ処理装置12を経由せずにデータベース13に記憶される構成が用いられてもよく、この場合、データ取得部131は、当該データの処理を行うときに、当該データベース13から当該データを解析対象となるデータとして取得してもよい。
The function of the
The
As an example, the
As another example, the
As another example, a configuration in which predetermined target data is stored in the
統計量データ処理部132は、データ取得部131により取得されたデータについて統計的な処理を行い、その結果のデータ(本実施形態において、「統計量データ」ともいう。)を取得する。
なお、統計量データ処理部132では、例えば、データ取得部131によりリアルタイムで次々と取得されるデータ(新たに増えていくデータのまとまり)について処理を行う場合があってもよく、また、データ取得部131により取得された過去のデータ(新たに増えないデータのまとまり)について処理を行う場合があってもよい。
The statistic
Note that the statistic
データ出力制御部133は、出力対象となるデータを出力部112により出力する制御を行う。この出力としては、例えば、文字、図形あるいはグラフなどの表示出力が用いられる。
出力対象となるデータとしては、任意のデータが用いられてもよく、例えば、データ取得部131により取得されたデータ、あるいは、統計量データ処理部132による処理により得られた結果のデータなどが用いられてもよい。また、統計量データ処理部132による処理により得られた結果のデータとしては、例えば、統計量データ群生成部153による処理により得られた結果のデータ、追加部154による処理により得られた結果のデータ、あるいは、抽出部155による処理により得られた結果のデータのうちの1以上が用いられてもよい。
The data
Arbitrary data may be used as the data to be output. For example, data acquired by the
統計量データ処理部132について説明する。
観点設定部151は、解析対象のデータについて、観点(項目)を設定する。観点設定部151は、解析対象のデータについて、2個以上の観点を設定してもよい。
ここで、観点としては、任意の観点が用いられてもよく、例えば、時間(時刻)、領域(地域)、デバイス種別などが用いられてもよい。
また、観点設定部151は、例えば、あらかじめ定められた観点を設定してもよく、あるいは、ユーザなどから指示された観点を設定してもよい。観点があらかじめ定められる場合には、例えば、当該観点を特定する情報が記憶部113に記憶される。
The statistic
The
Here, any viewpoint may be used as the viewpoint, and for example, time (time), area (region), device type, or the like may be used.
In addition, the
スケール設定部152は、それぞれの観点について、スケール(粒度)を設定する。スケール設定部152は、それぞれの観点について、2個以上のスケールを設定してもよい。
ここで、スケールとしては、任意の大きさを有するスケールが用いられてもよい。
例えば、時間のスケールとして、1秒のスケール、1分のスケール、1時間のスケール、1日のスケール、あるいは、他の任意の大きさのスケールが用いられてもよい。
例えば、領域のスケールとして、地区のスケール、市区町村のスケール、都道府県のスケール、全国のスケール、あるいは、他の任意の大きさのスケールが用いられてもよい。
例えば、デバイス種別のスケールとして、機種のスケール、メーカーのスケール、OS(Operating System)のスケール、あるいは、他の任意の種別(属性)のスケールが用いられてもよい。
スケール設定部152は、例えば、それぞれの観点について、あらかじめ定められたスケールを設定してもよく、あるいは、ユーザなどから指示されたスケールを設定してもよい。スケールがあらかじめ定められる場合には、例えば、当該スケールを特定する情報が記憶部113に記憶される。
The
Here, as the scale, a scale having an arbitrary size may be used.
For example, a scale of 1 second, a scale of 1 minute, a scale of 1 hour, a scale of 1 day, or any other scale may be used as the time scale.
For example, an area scale, a city scale, a prefecture scale, a national scale, or any other scale may be used as the area scale.
For example, as the device type scale, a model scale, a manufacturer scale, an OS (Operating System) scale, or another arbitrary type (attribute) scale may be used.
For example, the
統計量データ群生成部153は、データ取得部131により取得されたデータについて、観点設定部151により設定された観点およびスケール設定部152により設定されたスケールに基づいて、統計的な処理を行うことで、複数の統計量データの集合(本実施形態において、「統計量データ群」ともいう。)を生成する。
本実施形態では、統計量データ群生成部153は、多次元およびマルチスケールのデータ解析を行った結果のデータを、統計量データ群(本実施形態において、「多次元マルチスケール統計量データ群」ともいう。)として生成する。
ここで、本実施形態では、次元は観点を表わしており、多次元は複数の観点があることを表わしている。
また、本実施形態では、マルチスケールは、複数のスケールがあることを表わしている。
The statistics data
In the present embodiment, the statistic data
Here, in this embodiment, the dimension represents a viewpoint, and the multidimension represents a plurality of viewpoints.
In the present embodiment, the multi-scale indicates that there are a plurality of scales.
追加部154は、既に生成された統計量データ群(例えば、多次元マルチスケール統計量データ群)に対して、データ取得部131により取得されたデータ(新たなデータ)を追加する場合に、観点設定部151により設定された観点およびスケール設定部152により設定されたスケールに基づいて、統計的な処理を行うことで、データ追加後の統計量データ群(例えば、多次元マルチスケール統計量データ群)を生成する。
When the adding
例えば、複数の装置(検出装置など)から全体として時系列となるデータが独立に送信されるような場合に、データ取得部131により取得される当該データの順序が時系列ではなくなる場合があり得る。この場合、統計量データ処理装置12では、このような時系列データのすべてが取得されてから解析を行うと、その処理結果の出力が遅くなることがあり得る。このようなときに、既に取得されているデータに基づいて統計量データ群生成部153により統計量データ群を生成して出力し、その後に該当するデータが新たに到着した後に、追加部154によりデータ追加後の統計量データ群を取得して出力(例えば、出力内容を更新)すると、効果的である。
For example, when data in time series as a whole is independently transmitted from a plurality of devices (such as detection devices), the order of the data acquired by the
抽出部155は、既に生成された統計量データ群(例えば、多次元マルチスケール統計量データ群)に基づいて、所定の抽出条件に合ったデータ(例えば、統計量データでもよく、あるいは、統計量データ群でもよい。)を抽出する。
The
[統計量データ群のデータ構造の例]
図3は、本発明の一実施形態に係る統計量データ群201の一例のデータ構造を模式的に示す図である。
図3の例では、当該統計量データ群201は、統計量データ処理部132により時系列データが処理された結果である多次元マルチスケール統計量データ群となっている。当該統計量データ群201は、時系列データを対象として多次元およびマルチスケールに拡張された分布データ(本実施形態では、統計量データ)の構造を有する。
図3の例では、複数の観点として、時間、領域、デバイス種別が用いられている。また、それぞれの観点について、複数のスケール(マルチスケール)が用いられている。
[Example of data structure of statistical data group]
FIG. 3 is a diagram schematically showing an example of the data structure of the
In the example of FIG. 3, the
In the example of FIG. 3, time, region, and device type are used as a plurality of viewpoints. Further, for each viewpoint, a plurality of scales (multiscale) are used.
図3の例では、時間に関する複数のスケールとして、時間スケールs0、時間スケールs1、時間スケールs2が用いられている。一例として、時間スケールs0は「10秒」であり、時間スケールs1は「20秒」であり、時間スケールs2は「40秒」である。
また、領域に関する複数のスケールとして、領域スケールA1、領域スケールA2、領域スケールA3が用いられている。一例として、領域スケールA1は「東京」であり、領域スケールA2は「関東」であり、領域スケールA3は「日本(全国)」である。
また、デバイス種別に関する複数のスケールとして、デバイス種別スケールD1、デバイス種別スケールD2が用いられている。一例として、デバイス種別スケールD1は「特定の機種A1」であり、デバイス種別スケールD2は「特定のメーカーB1」である。
In the example of FIG. 3, a time scale s0, a time scale s1, and a time scale s2 are used as a plurality of time scales. As an example, the time scale s0 is “10 seconds”, the time scale s1 is “20 seconds”, and the time scale s2 is “40 seconds”.
Further, as a plurality of scales related to the region, a region scale A1, a region scale A2, and a region scale A3 are used. As an example, the area scale A1 is “Tokyo”, the area scale A2 is “Kanto”, and the area scale A3 is “Japan (nationwide)”.
Further, a device type scale D1 and a device type scale D2 are used as a plurality of scales related to the device type. As an example, the device type scale D1 is “specific model A1”, and the device type scale D2 is “specific manufacturer B1”.
また、図3の例では、時刻を表す軸の方向(矢印)を示してある。時刻の範囲(時間の区分)として、時刻範囲t0、時刻範囲t1、時刻範囲t2、時刻範囲t3が用いられている。時刻範囲t0は「0秒以上10秒未満」であり、時刻範囲t1は「10秒以上20秒未満」であり、時刻範囲t2は「20秒以上30秒未満」であり、時刻範囲t3は「30秒以上40秒未満」である。
なお、時刻の初期値(本実施形態では、0秒)としては、任意のタイミングが用いられてもよい。
In the example of FIG. 3, the direction (arrow) of the axis representing the time is shown. As a time range (time division), a time range t0, a time range t1, a time range t2, and a time range t3 are used. The time range t0 is “0 seconds to less than 10 seconds”, the time range t1 is “10 seconds to less than 20 seconds”, the time range t2 is “20 seconds to less than 30 seconds”, and the time range t3 is “ 30 seconds or more and less than 40 seconds ".
An arbitrary timing may be used as the initial time value (0 seconds in the present embodiment).
ここで、1個の時間スケールと、1個の領域スケールと、1個のデバイス種別スケールが特定されて、当該時間スケールに応じた1個の時刻範囲が特定されると、単位となる統計量データ(本実施形態において、「単位統計量データ」ともいう。)が特定される。
当該時間スケールに応じた1個の時刻範囲としては、本実施形態では、当該時刻範囲の上限値が当該時間スケールの整数倍に相当する値にある時刻範囲である。具体例として、時間スケールs0(=10秒)の場合には、時刻範囲t0(=0秒以上10秒未満)、時刻範囲t1(=10秒以上20秒未満)、時刻範囲t2(=20秒以上30秒未満)、または、時刻範囲t3(=30秒以上40秒未満)のいずれかとなる。時間スケールs1(=20秒)の場合には、時刻範囲t1(=10秒以上20秒未満)、または、時刻範囲t3(=30秒以上40秒未満)のいずれかとなる。時間スケールs2(=40秒)の場合には、時刻範囲t3(=30秒以上40秒未満)となる。
Here, when one time scale, one region scale, and one device type scale are specified, and one time range corresponding to the time scale is specified, a unit statistic Data (also referred to as “unit statistic data” in the present embodiment) is specified.
In the present embodiment, the time range corresponding to the time scale is a time range in which the upper limit value of the time range is a value corresponding to an integral multiple of the time scale. As a specific example, in the case of the time scale s0 (= 10 seconds), the time range t0 (= 0 second to less than 10 seconds), the time range t1 (= 10 seconds to less than 20 seconds), the time range t2 (= 20 seconds). Or less than 30 seconds) or time range t3 (= 30 seconds or more and less than 40 seconds). In the case of the time scale s1 (= 20 seconds), it is either the time range t1 (= 10 seconds or more and less than 20 seconds) or the time range t3 (= 30 seconds or more and less than 40 seconds). In the case of the time scale s2 (= 40 seconds), the time range is t3 (= 30 seconds to less than 40 seconds).
1個の時間スケールと、1個の領域スケールと、1個のデバイス種別スケールと、当該時間スケールに応じた1個の時刻範囲によって特定される単位統計量データは、当該時刻範囲の最大の時刻から当該時間スケールだけ過去に遡った時刻までの間に属し、かつ、当該領域スケールに属し、かつ、当該デバイス種別スケールに属するデータについて、統計量データ処理部132によって統計的な演算を行うことにより得られた統計量データに相当する。
The unit statistic data specified by one time scale, one area scale, one device type scale, and one time range corresponding to the time scale is the maximum time in the time range. The statistical
図3の例では、時間スケールs0かつ時刻範囲t3に該当する6個の単位統計量データ211〜213、221〜223と、時間スケールs1かつ時刻範囲t3に該当する6個の単位統計量データ311〜313、321〜323と、時間スケールs2かつ時刻範囲t3に該当する6個の単位統計量データ411〜413、421〜423だけに符号を付してあり、他の単位統計量データについては符号を省略してある。
In the example of FIG. 3, six unit statistical data 211 to 213 and 221 to 223 corresponding to the time scale s0 and the time range t3, and six unit
一例として、単位統計量データ211は、時間スケールS0(10秒)、領域スケールA1(東京)、デバイス種別スケールD1(特定の機種A1)、時刻範囲t3(30秒以上40秒未満)に該当する。そして、当該単位統計量データ211は、時刻が30秒以上40秒未満に属し、かつ、領域が東京に属し、かつ、デバイス種別が特定の機種A1に属するデータに基づいて得られた統計量データである。すなわち、当該データは、時刻が30秒以上40秒未満に発生し、東京に存在する端末装置11−1〜11−nにおいて発生し、デバイス種別が特定の機種A1である当該端末装置11−1〜11−nにおいて発生したデータであることを意味する。当該単位統計量データは、このようなデータの集合を用いて得られた統計量データである。 As an example, the unit statistics data 211 corresponds to the time scale S0 (10 seconds), the area scale A1 (Tokyo), the device type scale D1 (specific model A1), and the time range t3 (30 seconds to less than 40 seconds). . The unit statistical data 211 is statistical data obtained based on data belonging to a time belonging to 30 seconds or more and less than 40 seconds, a region belonging to Tokyo, and a device type belonging to a specific model A1. It is. That is, the data is generated in the terminal devices 11-1 to 11-n that exist in Tokyo at a time of 30 seconds or more and less than 40 seconds, and the terminal device 11-1 whose device type is the specific model A1. Means that the data occurred in -11-n. The unit statistical data is statistical data obtained using such a set of data.
他の例として、単位統計量データ322は、時間スケールS1(20秒)、領域スケールA2(関東)、デバイス種別スケールD2(特定のメーカーB1)、時刻範囲t3(30秒以上40秒未満)に該当する。そして、当該単位統計量データ322は、時刻が20秒以上40秒未満に属し、かつ、領域が関東に属し、かつ、デバイス種別が特定のメーカーB1に属するデータに基づいて得られた統計量データである。すなわち、当該データは、時刻が20秒以上40秒未満に発生し、関東に存在する端末装置11−1〜11−nにおいて発生し、デバイス種別が特定のメーカーB1である当該端末装置11−1〜11−nにおいて発生したデータであることを意味する。当該単位統計量データは、このようなデータの集合を用いて得られた統計量データである。
As another example, the unit
他の例として、単位統計量データ413は、時間スケールS2(40秒)、領域スケールA3(日本)、デバイス種別スケールD1(特定の機種A1)、時刻範囲t3(30秒以上40秒未満)に該当する。そして、当該単位統計量データ413は、時刻が0秒以上40秒未満に属し、かつ、領域が日本に属し、かつ、デバイス種別が特定の機種A1に属するデータに基づいて得られた統計量データである。すなわち、当該データは、時刻が0秒以上40秒未満に発生し、日本に存在する端末装置11−1〜11−nにおいて発生し、デバイス種別が特定の機種A1である当該端末装置11−1〜11−nにおいて発生したデータであることを意味する。当該単位統計量データは、このようなデータの集合を用いて得られた統計量データである。
As another example, the unit
ここで、単位統計量データとしては、任意の統計量のデータが用いられてもよく、例えば、順序統計に関する任意の値のデータが用いられてもよく、あるいは、平均値のデータが用いられてもよい。
順序統計に関する値としては、例えば、中央値が用いられてもよい。なお、一般に、処理対象となる複数のデータが同じである場合、平均値を取得(演算)する処理よりも、中央値を取得する処理の方が、処理時間が短くなると考えられる。
また、順序統計に関する値としては、例えば、累積分布関数(CDF:Cumulative Distribution Function)の値が用いられてもよく、あるいは、確率分布関数(PDF:Probability Density Function)の値が用いられてもよい。
Here, as the unit statistic data, data of an arbitrary statistic may be used. For example, data of an arbitrary value related to order statistics may be used, or data of an average value may be used. Also good.
As a value related to order statistics, for example, a median value may be used. In general, when a plurality of pieces of data to be processed are the same, it is considered that the processing time for the median value is shorter than the processing for acquiring (calculating) the average value.
In addition, as a value related to order statistics, for example, a value of a cumulative distribution function (CDF) may be used, or a value of a probability distribution function (PDF: Probability Density Function) may be used. .
図3の例では、それぞれの四角(直方体あるいは立方体)の単位が単位統計量データ(単位統計量データ211〜213、221〜223、311〜313、321〜323、411〜413、421〜423など)に相当する。
なお、統計量データ群生成部153は、任意の手法を用いて、単位統計量データを取得してもよく、例えば、既存の技術であるt−digestの技術(例えば、非特許文献1など参照。)を用いて単位統計量データを演算して取得してもよい。本実施形態では、統計量データ群は、複数の単位統計量データを含んで構成される。
In the example of FIG. 3, the unit of each square (cuboid or cube) is unit statistical data (unit statistical data 211-213, 221-223, 311-313, 321-323, 411-413, 421-423, etc. ).
Note that the statistic data
また、1個の観点について用いられる複数のスケールとしては、例えば、すべてについて互いに包含関係にある複数のスケールが用いられてもよく、あるいは、すべてについて互いに包含関係にない複数のスケールが用いられてもよく、あるいは、一部のみについて包含関係にある複数のスケールが用いられてもよい。
すべてについて互いに包含関係にある複数のスケールとしては、領域のスケールを例とすると、例えば、「東京」、「関東」、「日本」がある。
すべてについて互いに包含関係にない複数のスケールとしては、領域のスケールを例とすると、例えば、「東京」、「千葉」、「茨城」がある。
一部のみについて包含関係にある複数のスケールとしては、領域のスケールを例とすると、例えば、「東京」、「関東」(東京を含む。)、「大阪」がある。
In addition, as a plurality of scales used for one viewpoint, for example, a plurality of scales that are inclusive relation to each other may be used, or a plurality of scales that are not inclusive relation to each other are used. Alternatively, a plurality of scales that are inclusive in only part of them may be used.
As a plurality of scales that are inclusive of each other, for example, the scale of the region is “Tokyo”, “Kanto”, and “Japan”.
Examples of the plurality of scales that are not inclusive of each other include, for example, “Tokyo”, “Chiba”, and “Ibaraki”, taking the scale of the region as an example.
As a plurality of scales that are inclusive in only a part, taking the scale of the area as an example, there are, for example, “Tokyo”, “Kanto” (including Tokyo), and “Osaka”.
[追加処理の例]
図4は、本発明の一実施形態に係る統計量データ群201に対する追加処理の一例を説明するための図である。
追加処理は、例えば、新たな時系列データが発生した場合に、適切な単位統計量データにそのサンプル(当該データ)を加える処理である。追加処理は、例えば、t−digestの技術(例えば、非特許文献1など参照。)におけるデータ構造が有するADDの処理に相当してもよい。ADDの処理では、新たに発生した時系列データを各次元から評価し、そのデータが属する部分集合を列挙し、列挙された各部分集合に対してそのデータを加えるオペレーションを実行する。
[Example of additional processing]
FIG. 4 is a diagram for explaining an example of the addition process for the
For example, when new time-series data is generated, the addition process is a process of adding the sample (the data) to appropriate unit statistic data. The additional process may correspond to, for example, an ADD process included in a data structure in a t-digest technique (see, for example, Non-Patent Document 1). In the ADD process, newly generated time-series data is evaluated from each dimension, a subset to which the data belongs is listed, and an operation of adding the data to each listed subset is executed.
図4の例では、図3に示された統計量データ群201と同じものを示してある。
追加部154は、統計量データ群201に対して新たなデータを追加する場合、当該新たなデータが属するすべての単位統計量データを演算し直すことで生成し直し、その結果を反映した統計量データ群(統計量データ群201を更新したデータ)を生成する。
図4の例では、新たなデータが、時刻範囲t2、領域スケールA1、デバイス種別スケールD2に属するとする。この場合、追加部154は、当該新たなデータについて、時間スケールS0に属する単位統計量データ511と、時間スケールS1に属する単位統計量データ512と、時間スケールS2に属する単位統計量データ513のそれぞれを生成し直す。
本実施形態では、追加部154は、観点設定部151により設定された観点およびスケール設定部152により設定されたスケールに基づいて、追加処理を行う。
In the example of FIG. 4, the same data as the
When adding new data to the
In the example of FIG. 4, it is assumed that new data belongs to the time range t2, the area scale A1, and the device type scale D2. In this case, for the new data, the adding
In the present embodiment, the adding
ここで、追加部154により統計量データ群201に対して新たなデータを追加する処理は、統計量データ処理装置12において、例えば、データ取得部131により新たなデータを取得したことに応じて(自動的に)行われる構成が用いられてもよく、あるいは、ユーザなどによる所定の指示が入力部111により受け付けられたことに応じて行われる構成が用いられてもよい。
Here, the process of adding new data to the
[抽出処理の例]
図5は、本発明の一実施形態に係る統計量データ群201に対する抽出処理の一例を説明するための図である。
抽出処理は、例えば、1個以上の単位統計量データからデータ(例えば、統計量データでもよく、あるいは、統計量データ群でもよい。)を抽出する処理である。抽出処理は、例えば、t−digestの技術(例えば、非特許文献1など参照。)におけるデータ構造が有するGETの処理に相当してもよい。GETの処理では、抽出元の範囲(例えば、母集団のなかにおける部分集合)を指定して、当該範囲に含まれるデータについて当該範囲における統計量を取得するオペレーションを実行する。
[Example of extraction processing]
FIG. 5 is a diagram for explaining an example of extraction processing for the
The extraction processing is processing for extracting data (for example, statistical data or a statistical data group) from one or more unit statistical data. The extraction process may correspond to, for example, a GET process included in the data structure in the t-digest technique (see, for example, Non-Patent Document 1). In the GET processing, an extraction source range (for example, a subset in the population) is designated, and an operation for acquiring a statistic in the range is executed for data included in the range.
図5の例では、図3に示された統計量データ群201と同じものを示してある。
抽出部155は、統計量データ群201から抽出対象の範囲(図5の例では、抽出範囲611)に含まれるデータ(所定の対象のデータ)を抽出し、抽出されたデータに基づいて単位統計量データを演算することで生成し、生成された単位統計量データの集合である統計量データ群を生成する。
本実施形態では、抽出部155は、観点設定部151により設定された観点およびスケール設定部152により設定されたスケールに基づいて、抽出処理を行う。
In the example of FIG. 5, the same data as the
The
In the present embodiment, the
ここで、本実施形態では、複数の単位統計量データのまとまりと他の1個以上の単位統計量データのまとまりとが1対1で対応している場合、抽出部155は、これら複数の単位統計量データに基づいて抽出処理を行ってもよく、あるいは、当該他の1個以上の単位統計量データに基づいて抽出処理を行ってもよく、いずれにおいても同じ結果が得られる。具体的に、図5の例では、複数の単位統計量データのまとまりが、時刻範囲t2、t3かつ時間スケールs0かつ領域スケールA1、A2、A3かつデバイス種別スケールD1、D2に含まれる12個の単位統計量データのまとまりに相当し、また、他の1個以上の単位統計量データのまとまりが、時刻範囲t2、t3かつ時間スケールs1かつ領域スケールA1、A2、A3かつデバイス種別スケールD1、D2に含まれる6個の単位統計量データのまとまりに相当する。抽出部155では、通常、抽出対象の単位統計量データの数が少ない方が、処理の効率化が図られる。
Here, in the present embodiment, when a group of a plurality of unit statistics data and a group of one or more other unit statistics data are in a one-to-one correspondence, the
なお、抽出部155により統計量データ群201から抽出対象の範囲(抽出範囲)に含まれるデータを抽出する処理は、統計量データ処理装置12において、例えば、制御プログラムなどにあらかじめ定められた条件が満たされたことを判定したことに応じて(自動的に)行われる構成が用いられてもよく、あるいは、ユーザなどによる所定の指示が入力部111により受け付けられたことに応じて行われる構成が用いられてもよい。
Note that the process of extracting data included in the extraction target range (extraction range) from the
[統計量データ処理装置において行われる処理の例]
図6は、本発明の一実施形態に係る統計量データ処理装置12において行われる統計量データ群を生成するための処理の手順の一例を示す図である。
なお、本例は一例であり、他の任意の処理手順が用いられてもよい。
[Example of processing performed in statistical data processing apparatus]
FIG. 6 is a diagram illustrating an example of a processing procedure for generating a statistic data group performed in the statistic
In addition, this example is an example and other arbitrary processing procedures may be used.
(ステップS1)
データ取得部131は、解析対象のデータを取得する。
(ステップS2)
観点設定部151は、解析に使用する観点を設定する。
(ステップS3)
スケール設定部152は、それぞれの観点について、解析に使用するスケールを設定する。
(ステップS4)
統計量データ群生成部153は、データ取得部131により取得されたデータについて、観点設定部151により設定された観点およびスケール設定部152により設定されたスケールに基づいて、統計量データ群を生成する。
(ステップS5)
データ出力制御部133は、このような処理に関する任意のデータ(例えば、統計量データ群)を画面に出力するように制御する。
(Step S1)
The
(Step S2)
The
(Step S3)
The
(Step S4)
The statistic data
(Step S5)
The data
ここで、統計量データ群を生成するための処理を行うタイミングとしては、任意のタイミングが用いられてもよく、例えば、あらかじめ定められた一定周期のタイミングが用いられてもよく、あるいは、ユーザなどから受け付けられた指示に応じたタイミングが用いられてもよい。
また、統計量データ群を生成するための処理は、例えば、任意の1個以上の観点について、スケールごとに異なるタイミングで行われてもよい。一例として、観点「領域」についてスケール「東京」およびスケール「大阪」が用いられる場合、スケール「東京」に該当する単位統計量データを生成する処理のタイミングと、スケール「大阪」に該当する単位統計量データを生成する処理のタイミングとを異ならせて、これら両方の処理が完了した後に、これら両方の処理の結果を組み合わせた統計量データ群を生成する構成が用いられてもよい。
Here, any timing may be used as the timing for performing the process for generating the statistic data group. For example, a predetermined cycle timing may be used, or a user or the like may be used. The timing according to the instruction received from may be used.
Moreover, the process for generating the statistical data group may be performed at different timings for each scale, for example, for any one or more viewpoints. As an example, when the scale “Tokyo” and the scale “Osaka” are used for the viewpoint “area”, the timing of processing for generating unit statistical data corresponding to the scale “Tokyo” and the unit statistics corresponding to the scale “Osaka” A configuration may be used in which a statistical data group is generated by combining the results of both processes after the completion of both processes with different timings for generating the quantity data.
図7は、本発明の一実施形態に係る統計量データ処理装置12において行われる統計量データ群に対してデータを追加するための処理の手順の一例を示す図である。
なお、本例は一例であり、他の任意の処理手順が用いられてもよい。
FIG. 7 is a diagram illustrating an example of a processing procedure for adding data to a statistical data group performed in the statistical
In addition, this example is an example and other arbitrary processing procedures may be used.
(ステップS11)
追加部154は、データを追加する先となる統計量データ群を取得する。
(ステップS12)
データ取得部131は、追加する解析対象のデータ(追加対象データ)を取得する。
(ステップS13)
観点設定部151は、解析に使用する観点を設定する。
(ステップS14)
スケール設定部152は、それぞれの観点について、解析に使用するスケールを設定する。
(ステップS15)
追加部154は、取得された統計量データ群に対して、データ取得部131により取得されたデータを、観点設定部151により設定された観点およびスケール設定部152により設定されたスケールに基づいて、追加することで、統計量データ群(データ追加後の統計量データ群)を生成する。
(ステップS16)
データ出力制御部133は、このような処理に関する任意のデータ(例えば、データ追加後の統計量データ群)を画面に出力するように制御する。
(Step S11)
The adding
(Step S12)
The
(Step S13)
The
(Step S14)
The
(Step S15)
The adding
(Step S16)
The data
ここで、統計量データ群に対してデータを追加するための処理を行うタイミングとしては、任意のタイミングが用いられてもよく、例えば、あらかじめ定められた一定周期のタイミングが用いられてもよく、あるいは、ユーザなどから受け付けられた指示に応じたタイミングが用いられてもよい。
一例として、まず、図6に示される統計量データ群を生成するための処理を行い、その後に、一定周期のタイミングで繰り返して、図7に示される当該統計量データ群に対してデータを追加するための処理を行う構成が用いられてもよい。この構成では、まず、既に取得されているデータに基づいて統計量データ群を生成し、その後、一定周期ごとに、新たに取得されたデータを用いて当該統計量データ群を更新していくことができる。
Here, as the timing for performing the process for adding data to the statistical data group, any timing may be used, for example, a predetermined period may be used. Or the timing according to the instruction | indication received from the user etc. may be used.
As an example, first, processing for generating the statistical data group shown in FIG. 6 is performed, and then data is added to the statistical data group shown in FIG. The structure which performs the process for doing may be used. In this configuration, first, a statistic data group is generated based on already acquired data, and thereafter, the statistic data group is updated using newly acquired data at regular intervals. Can do.
図8は、本発明の一実施形態に係る統計量データ処理装置12において行われる統計量データ群からデータを抽出するための処理の手順の一例を示す図である。
なお、本例は一例であり、他の任意の処理手順が用いられてもよい。
FIG. 8 is a diagram illustrating an example of a processing procedure for extracting data from a statistical data group performed in the
In addition, this example is an example and other arbitrary processing procedures may be used.
(ステップS21)
抽出部155は、データを抽出する元となる統計量データ群を取得する。
(ステップS22)
抽出部155は、抽出範囲を設定する。当該抽出範囲は、例えば、時刻範囲と、それぞれの観点ごとのスケールを用いて、特定される。
(ステップS23)
観点設定部151は、解析に使用する観点を設定する。
(ステップS24)
スケール設定部152は、それぞれの観点について、解析に使用するスケールを設定する。
(ステップS25)
抽出部155は、取得された統計量データ群から、設定された抽出範囲に含まれるデータを抽出する。そして、抽出部155は、抽出されたデータについて、観点設定部151により設定された観点およびスケール設定部152により設定されたスケールに基づいて、統計量データ群(抽出範囲における統計量データ群)を生成する。なお、抽出範囲に含まれるデータは、例えば、当該抽出範囲から抽出されてもよく、あるいは、他の範囲から該当するデータ(実質的に同じデータ)が抽出されてもよい。
(ステップS26)
データ出力制御部133は、このような処理に関する任意のデータ(例えば、抽出範囲における統計量データ群)を画面に出力するように制御する。
(Step S21)
The
(Step S22)
The
(Step S23)
The
(Step S24)
The
(Step S25)
The
(Step S26)
The data
ここで、統計量データ群からデータを抽出するための処理を行うタイミングとしては、任意のタイミングが用いられてもよく、例えば、あらかじめ定められた一定周期のタイミングが用いられてもよく、あるいは、ユーザなどから受け付けられた指示に応じたタイミングが用いられてもよい。 Here, as timing for performing processing for extracting data from the statistic data group, any timing may be used, for example, a predetermined cycle timing may be used, or The timing according to the instruction | indication received from the user etc. may be used.
[第1実施形態のまとめ]
以上のように、本実施形態に係るデータ処理システム1では、統計量データ処理装置12において、多次元およびマルチスケールのデータ解析を行うことを可能とすることができる。
本実施形態に係る統計量データ処理装置12は、時系列データの母集団における多次元かつマルチスケールな部分集合に対して、値の分布(統計量)を計算して取得することが可能な時系列データ、あるいは、取得された統計量(単位統計量データ)、あるいは、統計量データ群、のうちの1以上をデータベース13(あるいは、記憶部113)に記憶して保持する。
[Summary of First Embodiment]
As described above, in the
When the statistic
本実施形態に係る統計量データ群のデータ構造では、例えば、多次元およびマルチスケールで、統計量データを把握すること、あるいは、統計量データを検索することなどが可能である。
本実施形態に係る統計量データ群のデータ構造では、例えば、複数の観点および複数のスケールで、異常の発生などの事象を監視して検出することなどが可能であり、様々な観点および様々なスケールの事象を並列に監視して検出することなどが可能である。この場合に、本実施形態に係る統計量データ群のデータ構造では、例えば、発生した事象がいずれの観点およびいずれのスケールでの事象であるかを判定することが可能である。具体例として、広い領域のスケールで事象が発生した場合には、広い領域にわたる原因による事象であると推定することができ、また、特定の領域のスケールで事象が発生した場合には、当該特定の領域に限られた原因による事象であると推定することができる。
In the data structure of the statistics data group according to the present embodiment, for example, it is possible to grasp the statistics data in multi-dimensional and multi-scale, or to search the statistics data.
In the data structure of the statistic data group according to the present embodiment, for example, it is possible to monitor and detect an event such as the occurrence of an abnormality from a plurality of viewpoints and a plurality of scales. It is possible to monitor and detect scale events in parallel. In this case, in the data structure of the statistic data group according to the present embodiment, for example, it is possible to determine which viewpoint and at which scale the generated event is an event. As a specific example, if an event occurs in a wide area scale, it can be estimated that the event is caused by a cause in a wide area, and if an event occurs in a specific area scale, It can be presumed that the event is caused by a cause limited to the region.
ここで、本実施形態では、端末装置11−1〜11−nに関する値について統計量データを処理する構成としたが、他の任意の値について統計量データを処理する構成が実施されてもよい。 Here, in this embodiment, although it was set as the structure which processes statistics data about the value regarding the terminal devices 11-1 to 11-n, the structure which processes statistics data about another arbitrary value may be implemented. .
(第2実施形態)
[データ処理システム]
図9は、本発明の一実施形態(第2実施形態)に係るデータ処理システム1001の概略的な構成を示すブロック図である。
データ処理システム1001は、n個の端末装置11−1〜11−nと、統計量データ処理装置1011と、データベース1012と、単位統計量データ生成装置1021と、ネットワーク21を備える。
ここで、端末装置11−1〜11−nと、ネットワーク21は、図1に示されるものと同様であり、説明の便宜上、同じ符号を付してある。
また、データベース1012は、図1に示されるデータベース13と同様に、データを記憶する機能を有する。
(Second Embodiment)
[Data processing system]
FIG. 9 is a block diagram showing a schematic configuration of a
The
Here, the terminal devices 11-1 to 11-n and the
Further, the
本実施形態に係るデータ処理システム1001について、図1に示されるデータ処理システム1との相違点について説明する。
図9の例では、図1の例と比べて、単位統計量データ生成装置1021を備えている点と、統計量データ処理装置1011により行われる処理の一部が、相違する。
Differences between the
The example of FIG. 9 is different from the example of FIG. 1 in that the unit statistics
単位統計量データ生成装置1021は、t−digestの技術(例えば、非特許文献1など参照。)により実行することが可能な処理の全部または一部を行う機能を有している。
本実施形態では、単位統計量データ生成装置1021は、t−digestの技術を用いて、解析対象のデータ、観点を特定する情報、および、それぞれの観点のスケールを特定する情報に基づいて、単位統計量データを生成する機能を有する。
また、本実施形態では、単位統計量データ生成装置1021は、t−digestの技術を用いて、単位統計量データに対してデータを追加する機能を有している。
また、本実施形態では、単位統計量データ生成装置1021は、t−digestの技術を用いて、単位統計量データからデータを抽出する機能を有している。当該機能として、例えば、t−digestにおける複数分布探索機能が利用されてもよい。
なお、単位統計量データ生成装置1021としては、例えば、統計量データ処理装置1011を管理する者により管理されてもよく、あるいは、他の者によって提供される単位統計量データ生成装置1021を利用する構成が用いられてもよい。
The unit statistic
In the present embodiment, the unit statistic
In this embodiment, the unit statistic
In the present embodiment, the unit statistic
The unit statistic
統計量データ処理装置1011は、図1に示される統計量データ処理装置12との相違点として、単位統計量データ生成装置1021により行われる処理については当該単位統計量データ生成装置1021に当該処理を要求して処理結果を受ける構成としてある。
The statistic
ここで、説明の便宜上から、図2に示される機能ブロックを利用して説明する。
本実施形態に係る統計量データ処理装置1011は、概略的には、図2に示されるものと同様な機能ブロックを有する。
Here, for convenience of explanation, description will be made using the functional blocks shown in FIG.
The statistic
本実施形態では、統計量データ群生成部153は、単位統計量データを生成する処理を要求する信号を、通信部114によりネットワーク21を介して、単位統計量データ生成装置1021に送信する。当該信号には、単位統計量データを生成するために必要な情報が含まれ、例えば、解析対象のデータ(または、それを特定する情報)、1個以上の観点を特定する情報、および、それぞれの観点のスケールを特定する情報が含まれる。
単位統計量データ生成装置1021は、このような要求の信号を受信した場合、当該要求に応じて単位統計量データを生成し、生成された単位統計量データを含む信号を、ネットワーク21を介して、統計量データ処理装置1011に送信する。
統計量データ群生成部153は、単位統計量データ生成装置1021から通信部114により受信された単位統計量データを使用(利用)して、統計量データ群を生成する。
In the present embodiment, the statistic data
When the unit statistic
The statistic data
本実施形態では、追加部154は、単位統計量データにデータを追加する処理を要求する信号を、通信部114によりネットワーク21を介して、単位統計量データ生成装置1021に送信する。当該信号には、単位統計量データにデータを追加するために必要な情報が含まれ、例えば、追加する先の単位統計量データ(または、それを特定する情報)、および、追加対象データ(または、それを特定する情報)が含まれる。
単位統計量データ生成装置1021は、このような要求の信号を受信した場合、当該要求に応じてデータ追加後の単位統計量データを生成し、生成された単位統計量データを含む信号を、ネットワーク21を介して、統計量データ処理装置1011に送信する。
追加部154は、単位統計量データ生成装置1021から通信部114により受信された単位統計量データを使用(利用)して、データ追加後の統計量データ群を生成する。
In the present embodiment, the adding
When the unit statistic
The adding
本実施形態では、抽出部155は、単位統計量データ(または、それに含まれるデータ)を抽出する処理を要求する信号を、通信部114によりネットワーク21を介して、単位統計量データ生成装置1021に送信する。当該信号には、単位統計量データ(または、それに含まれるデータ)を抽出するために必要な情報が含まれ、例えば、抽出する単位統計量データ(または、それに含まれるデータ)を特定する情報(例えば、抽出範囲を特定する情報)が含まれる。
単位統計量データ生成装置1021は、このような要求の信号を受信した場合、当該要求に応じて抽出された単位統計量データ(または、それに含まれるデータ)を含む信号を、ネットワーク21を介して、統計量データ処理装置1011に送信する。
抽出部155は、単位統計量データ生成装置1021から通信部114により受信された単位統計量データを使用(利用)して、抽出範囲の統計量データ群を生成する。
In the present embodiment, the
When the unit statistic
The
[第2実施形態のまとめ]
以上のように、第1実施形態と同様に、本実施形態に係る統計量データ処理装置1011において、多次元およびマルチスケールのデータ解析を行うことを可能とすることができる。
[Summary of Second Embodiment]
As described above, similarly to the first embodiment, the statistic
(以上の実施形態のまとめ)
一構成例として、複数の異なる観点および観点ごとの複数の異なるスケールについて、観点とスケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群を生成する統計量データ処理部(図2の例では、統計量データ処理部132)を備える、統計量データ処理装置(図1、図9の例では、統計量データ処理装置12、1011)である。
一構成例として、統計量データ処理部は、統計量データ群に対して新たなデータを追加した統計量データ群を生成する(図2の例では、追加部154の機能)。
一構成例として、統計量データ処理部は、統計量データ群から抽出範囲に含まれるデータに基づく統計量データ群を生成する(図2の例では、抽出部155の機能)。
一構成例として、統計量データ処理部は、それぞれの観点について1個のスケールが特定された統計量データである単位統計量データを生成する単位統計量データ生成装置(図9の例では、単位統計量データ生成装置1021)により生成された単位統計量データを使用して、統計量データ群を生成する。
一構成例として、統計量データ処理部が、複数の異なる観点および観点ごとの複数の異なるスケールについて、観点とスケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群を生成する、統計量データ処理方法である(図1、図9の例では、統計量データ処理装置12、1011により行われる処理の方法)。
一構成例として、統計量データ処理部が、複数の異なる観点および観点ごとの複数の異なるスケールについて、観点とスケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群を生成するステップ、をコンピュータ(図1、図9の例では、統計量データ処理装置12、1011を構成するコンピュータ)に実行させるためのプログラムである。
一構成例として、統計量データ群のデータ構造であって、複数の異なる観点および観点ごとの複数の異なるスケールについて、観点とスケールとの組み合わせごとに、当該組み合わせごとに含まれるデータに基づく統計量データを有する、データ構造(図3の例では、統計量データ群201のデータ構造)である。
(Summary of the above embodiments)
As one configuration example, for a plurality of different viewpoints and a plurality of different scales for each viewpoint, a statistic data processing unit that generates a statistic data group having statistical data based on data included for each combination of viewpoints and scales ( In the example of FIG. 2, it is a statistic data processing device (the statistic
As one configuration example, the statistic data processing unit generates a statistic data group in which new data is added to the statistic data group (in the example of FIG. 2, the function of the adding unit 154).
As one configuration example, the statistic data processing unit generates a statistic data group based on data included in the extraction range from the statistic data group (in the example of FIG. 2, the function of the extraction unit 155).
As one configuration example, the statistic data processing unit is a unit statistic data generation device that generates unit statistic data that is statistic data for which one scale is specified for each viewpoint (in the example of FIG. A statistical data group is generated using the unit statistical data generated by the statistical data generator 1021).
As one configuration example, the statistics data processing unit generates a statistics data group having statistics data based on data included in each combination of viewpoints and scales for a plurality of different viewpoints and a plurality of different scales for each viewpoint. (In the example of FIGS. 1 and 9, the method of processing performed by the statistic
As one configuration example, the statistics data processing unit generates a statistics data group having statistics data based on data included in each combination of viewpoints and scales for a plurality of different viewpoints and a plurality of different scales for each viewpoint. Is a program for causing a computer (in the example of FIGS. 1 and 9, a computer configuring the statistic
As an example of the configuration, a statistics structure based on data included in each combination of viewpoints and scales with respect to a plurality of different viewpoints and a plurality of different scales for each viewpoint. A data structure having data (in the example of FIG. 3, the data structure of the statistic data group 201).
以上に示した実施形態に係る各装置(例えば、統計量データ処理装置12、1011など)の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体(記憶媒体)に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、オペレーティング・システムあるいは周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバあるいはクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)あるいは電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
A program for realizing the function of each device (for example, the statistic
Here, the “computer system” may include hardware such as an operating system or peripheral devices.
The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a writable non-volatile memory such as a flash memory, a portable medium such as a DVD (Digital Versatile Disc), A storage device such as a hard disk built in a computer system.
Furthermore, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (DRAM) inside a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Dynamic Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
Further, the above program may be for realizing a part of the functions described above. Further, the above program may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
1、1001…データ処理システム、11−1〜11−n…端末装置、12、1011…統計量データ処理装置、13、1012…データベース、21…ネットワーク、111…入力部、112…出力部、113…記憶部、114…通信部、115…制御部、131…データ取得部、132…統計量データ処理部、133…データ出力制御部、151…観点設定部、152…スケール設定部、153…統計量データ群生成部、154…追加部、155…抽出部、201…統計量データ群、211〜213、221〜223、311〜313、321〜323、411〜413、421〜423、511〜513…単位統計量データ、611…抽出範囲、1021…単位統計量データ生成装置
DESCRIPTION OF
Claims (7)
統計量データ処理装置。 For a plurality of different viewpoints and a plurality of different scales for each of the viewpoints, a statistic data processing unit that generates a statistic data group having statistical data based on data included for each combination of the viewpoint and the scale,
Statistics data processing device.
請求項1に記載の統計量データ処理装置。 The statistic data processing unit generates the statistic data group obtained by adding new data to the statistic data group.
The statistic data processing apparatus according to claim 1.
請求項1または請求項2のいずれか1項に記載の統計量データ処理装置。 The statistic data processing unit generates the statistic data group based on data included in an extraction range from the statistic data group.
The statistic data processing apparatus according to claim 1.
請求項1から請求項3のいずれか1項に記載の統計量データ処理装置。 The statistic data processing unit generates the unit statistic data generated by a unit statistic data generation device that generates unit statistic data that is statistic data in which one scale is specified for each of the viewpoints. To generate the statistics data group,
The statistics data processing apparatus according to any one of claims 1 to 3.
統計量データ処理方法。 The statistic data processing unit generates a statistic data group having statistic data based on data included in each combination of the viewpoint and the scale for a plurality of different viewpoints and a plurality of different scales for each of the viewpoints.
Statistics data processing method.
をコンピュータに実行させるためのプログラム。 A step in which a statistic data processing unit generates a statistic data group having statistic data based on data included in each combination of the viewpoint and the scale for a plurality of different viewpoints and a plurality of different scales for each of the viewpoints; ,
A program that causes a computer to execute.
複数の異なる観点および前記観点ごとの複数の異なるスケールについて、前記観点と前記スケールとの組み合わせごとに、前記組み合わせごとに含まれるデータに基づく統計量データを有する、
データ構造。 A data structure of a statistical data group,
With respect to a plurality of different viewpoints and a plurality of different scales for each of the viewpoints, for each combination of the viewpoint and the scale, statistics data based on data included for each of the combinations,
data structure.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094047A JP6815931B2 (en) | 2017-05-10 | 2017-05-10 | Statistic data processor, statistic data processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094047A JP6815931B2 (en) | 2017-05-10 | 2017-05-10 | Statistic data processor, statistic data processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018190280A true JP2018190280A (en) | 2018-11-29 |
JP6815931B2 JP6815931B2 (en) | 2021-01-20 |
Family
ID=64480152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017094047A Active JP6815931B2 (en) | 2017-05-10 | 2017-05-10 | Statistic data processor, statistic data processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6815931B2 (en) |
-
2017
- 2017-05-10 JP JP2017094047A patent/JP6815931B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6815931B2 (en) | 2021-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI718422B (en) | Method, device and equipment for fusing model prediction values | |
CN113312667B (en) | Risk prevention and control method, device and equipment | |
CN111158613B (en) | Data block storage method and device based on access heat and storage equipment | |
JP6374466B2 (en) | Sensor interface device, measurement information communication system, measurement information communication method, and measurement information communication program | |
CN110727868B (en) | Object recommendation method, device and computer-readable storage medium | |
JP2015166962A (en) | Information processing device, learning method, and program | |
JP6158859B2 (en) | Prediction device, terminal, prediction method, and prediction program | |
US20170083818A1 (en) | Information processing apparatus, information processing method and storage medium | |
JP2017215157A (en) | Information processing device, program, and fall prediction system | |
CN114662645A (en) | Method and apparatus for facilitating continuous learning | |
US20230115987A1 (en) | Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing apparatus | |
US20190171459A1 (en) | Analysis system and analysis method for executing analysis process with at least portions of time series data and analysis data as input data | |
JP2019105871A (en) | Abnormality candidate extraction program, abnormality candidate extraction method and abnormality candidate extraction apparatus | |
CN115085196A (en) | Power load predicted value determination method, device, equipment and computer readable medium | |
CN114444074A (en) | Abnormal block chain link point detection method and device | |
JP6795448B2 (en) | Data processing equipment, data processing methods and programs | |
US20200311401A1 (en) | Analyzing apparatus, control method, and program | |
US20190275672A1 (en) | Information processing apparatus and information processing method | |
JP2018190280A (en) | Data processing apparatus, data processing method, program, and data structure | |
US20220076135A1 (en) | Meta-learning system and method for disentangled domain representation learning | |
JP2016006604A (en) | Information processing device, information processing method, and information processing program | |
CN114218574A (en) | Data detection method and device, electronic equipment and storage medium | |
JPWO2016143337A1 (en) | Information processing apparatus, information processing method, and program | |
JPWO2015141157A1 (en) | Information processing apparatus and clustering method | |
US20240257289A1 (en) | Learning device, prediction device, learning prediction device, non-transitory computer-readable medium, learning method, prediction method, and learning prediction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6815931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |