JP2020119487A - Deep-learning forecast data reflection system using olap result with pivot table structure - Google Patents

Deep-learning forecast data reflection system using olap result with pivot table structure Download PDF

Info

Publication number
JP2020119487A
JP2020119487A JP2019093340A JP2019093340A JP2020119487A JP 2020119487 A JP2020119487 A JP 2020119487A JP 2019093340 A JP2019093340 A JP 2019093340A JP 2019093340 A JP2019093340 A JP 2019093340A JP 2020119487 A JP2020119487 A JP 2020119487A
Authority
JP
Japan
Prior art keywords
dimension
tree
data
node
pivot table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019093340A
Other languages
Japanese (ja)
Other versions
JP6997133B2 (en
Inventor
ソンミン ホワン
Seon Min Hwang
ソンミン ホワン
ソンフン チョン
Sung Hoon Jung
ソンフン チョン
サンウ パク
Sang Wook Park
サンウ パク
ヒョンギュ コン
Hyeon Kyu Kong
ヒョンギュ コン
ミンク パク
Min Kyu Park
ミンク パク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BIMATRIX CO Ltd
BI MATRIX CO Ltd
Original Assignee
BIMATRIX CO Ltd
BI MATRIX CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BIMATRIX CO Ltd, BI MATRIX CO Ltd filed Critical BIMATRIX CO Ltd
Publication of JP2020119487A publication Critical patent/JP2020119487A/en
Application granted granted Critical
Publication of JP6997133B2 publication Critical patent/JP6997133B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

To provide a system for supporting accurate decision making by adding future prediction data to an OLAP result capable of multidimensional analysis, and providing the segmented future prediction as well as multi-dimensional analysis of the historical data.SOLUTION: A prediction reflection server 30 includes: a data set receiving unit for receiving a data set of the pivot table structure; a dimension extraction unit for generating a row dimension tree and a column dimension tree having a data dimension in a hierarchical structure in a data set of a pivot table structure; a frame converting unit which combines the row dimension tree and column dimension tree to generate a merge tree, and forms a data set of a record structure from the merge tree; a data predictor for predicting the data set of the record structure using deep learning; and a data reconstruction unit reconstructing the merge tree using the record data set to which prediction data has been added and reconstructing the pivot table using the reconstructed merge tree.SELECTED DRAWING: Figure 2

Description

本発明は、オンライン分析処理(OLAP:Online Analytical Processing)に基づいて生成されたピボットテーブル構造のデータセットに対して、時系列的特性を有するデータセットを検出してディープラーニング(Deep Learning、深層学習)方式で予測し、予測データセットをピボットテーブル構造に反映させる、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムに関する。 INDUSTRIAL APPLICABILITY The present invention detects a dataset having a time-series characteristic from a dataset having a pivot table structure generated based on online analytical processing (OLAP) and performs deep learning (deep learning). ) Method and reflect the prediction data set in the pivot table structure, the present invention relates to a deep learning prediction data reflection system using the OLAP result of the pivot table structure.

一般に、オンライン分析処理(Online Analytical Processing)システム、すなわち、OLAPシステムは、意思決定支援システムの代表的な例であって、データを複数の基準(次元)を用いて分析することができる多次元分析を可能にする。 Generally, an online analytical processing system, that is, an OLAP system is a typical example of a decision support system, and multidimensional analysis capable of analyzing data by using a plurality of criteria (dimensions). To enable.

従来技術のOLAPシステムは、すでに構築されたデータをさまざまな側面から提供して、定型化された形で提供する。しかし、OLAPシステムは、過去のデータを複数の基準で分析し、現象を理解できるように助けるが、将来の予測を示すことはできない。万が一、OLAPシステムがデータを細分化しながらデータに対する将来の予測をも示すことができれば、意思決定するのに役立つであろう。 Prior art OLAP systems provide pre-built data from various aspects, in a stylized form. However, while the OLAP system helps analyze historical data by multiple criteria to understand the phenomenon, it cannot provide future predictions. Should the OLAP system be able to subdivide the data and also show future expectations for the data, it would be useful for decision making.

ところが、OLAPシステムは、さまざまな側面(または多次元)でデータを示すために、通常ピボットテーブル構造でデータセットを表示する。ピボットテーブルは、横軸(行)と縦軸(カラム)がそれぞれの次元名(項目名など)で構成され、横軸(行)と縦軸(カラム)が触れ合うセルがデータ領域として構成されるテーブル形式である。すなわち、ピボットテーブルは、複数の次元(多次元)の組み合わせによりデータ値を示す。 However, OLAP systems typically display datasets in a pivot table structure to present the data in various aspects (or multidimensional). In the pivot table, the horizontal axis (row) and the vertical axis (column) are configured by respective dimension names (item names, etc.), and the cells where the horizontal axis (row) and the vertical axis (column) are in contact are configured as a data area. It is in table format. That is, the pivot table indicates data values by combining a plurality of dimensions (multidimensional).

すなわち、OLAP結果であるピボットテーブル(Tabular)の構造は、多次元構成に応じて深さと形式が変化する。ピボットテーブル構造形式においては、データを予測しにくく、データを予測するとしてもその予測結果をピボットテーブル構造形式に反映するのが難しい。 That is, the structure of the pivot table (Tabular) that is the OLAP result changes in depth and form according to the multidimensional structure. In the pivot table structure format, it is difficult to predict the data, and even if the data is predicted, it is difficult to reflect the prediction result in the pivot table structure format.

韓国登録特許第1034428号(2011.05.12.公告)Korean Registered Patent No. 1034428 (2011.05.12. Announcement) 日本公開特許第2002−007435号(2002.01.11.公告)Japanese Published Patent No. 2002-007435 (2002.01.11. Announcement) 韓国登録特許第0969656号(2010.07.14.公告)Korean Registered Patent No. 09696656 (2010.07.14. Announcement) 韓国登録特許第0424144号(2004.03.24.公告)Korean Registered Patent No. 0424144 (2004.03.24. Announcement)

本発明は、上述した問題を解決するためのもので、その目的は、OLAP(Online Analytical Processing)に基づいて生成されたピボットテーブル構造のデータセットに対して、時系列的特性を有するデータセットを検出してディープラーニング方式で予測し、予測データセットをピボットテーブル構造に反映させる、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムを提供することである。 The present invention is to solve the above-mentioned problem, and an object thereof is to provide a data set having a time series characteristic with respect to a data set of a pivot table structure generated based on OLAP (Online Analytical Processing). It is to provide a deep learning prediction data reflecting system using the OLAP result of the pivot table structure, which detects and predicts by the deep learning method and reflects the prediction data set in the pivot table structure.

特に、本発明の目的は、ピボットテーブル構造から階層構造の次元を抽出し、これを用いて、ピボットテーブル構造のデータセットをレコード構造(またはデータフレーム構造)のデータセットとして再構成し、再構成されたデータセットを用いてディープラーニング予測を行う、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムを提供することである。 In particular, an object of the present invention is to extract a dimension of a hierarchical structure from a pivot table structure and use it to reconstruct a pivot table structure data set as a record structure (or data frame structure) data set and reconstruct it. It is to provide a deep learning prediction data reflection system using the OLAP result of the pivot table structure, which performs the deep learning prediction using the created data set.

上記目的を達成するために、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムに関するものであり、
ピボットテーブル構造のデータセットを受信するデータセット受信部と;ピボットテーブル構造のデータセットから、データ次元を階層構造で有する行次元ツリー及び列次元ツリーを生成する次元抽出部と;前記行次元ツリーと列次元ツリーとを結合して統合ツリーを生成し、統合ツリーからレコード構造のデータセットを形成するフレーム変換部と;レコード構造のデータセットを対象としてディープラーニングを用いて予測するデータ予測部と;予測データが追加されたレコードデータセットを用いて前記統合ツリーを再構成し、再構成された統合ツリーを用いてピボットテーブルを再構成するデータ再構成部と;を含むことを特徴とする。
In order to achieve the above object, the present invention relates to a deep learning prediction data reflection system using OLAP results of a pivot table structure,
A data set receiving unit for receiving a data set having a pivot table structure; a dimension extraction unit for generating a row dimension tree and a column dimension tree having data dimensions in a hierarchical structure from the data set having a pivot table structure; A frame conversion unit that combines the column dimension tree to generate an integrated tree and forms a record-structured data set from the integrated tree; a data prediction unit that predicts a record-structured data set using deep learning; And a data reconfiguring unit that reconfigures the integrated tree by using the record data set to which the prediction data is added and reconfigures the pivot table by using the reconfigured integrated tree.

また、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムにおいて、前記次元抽出部は、前記ピボットテーブルの行次元と列次元の階層構造に基づいてそれぞれの行次元ツリー及び列次元ツリーを構成し、各次元ツリーのルートノードを仮想ノードとして設定し、前記ピボットテーブルの各次元名を1つのノードに対応させてそれぞれのノードを生成し、上位次元と下位次元の関係に基づいて、ノード間の上位及び下位の関係を設定し、次元ツリーの各ノードが次元名を持つように設定し、次元の上位または下位の関係に基づいて、各ノードを上位ノードまたは下位ノードとして階層的に構成することを特徴とする。 Further, in the present invention, in the deep learning prediction data reflection system using the OLAP result of the pivot table structure, the dimension extraction unit may include a row dimension tree and a row dimension tree based on a hierarchical structure of the row dimension and the column dimension of the pivot table. A column dimension tree is configured, the root node of each dimension tree is set as a virtual node, each dimension name of the pivot table is associated with one node to generate each node, and the relationship between the upper dimension and the lower dimension is established. Set the upper and lower relationships between the nodes based on the relationship, set each node in the dimension tree to have a dimension name, and set each node as an upper node or lower node based on the upper or lower relationship of the dimension. It is characterized by being configured hierarchically.

また、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムにおいて、前記次元抽出部は、前記次元ツリーにおいて、上位カテゴリの各ノードが、同様に、下位カテゴリの全てのノードを持つように構成することを特徴とする。 Further, in the present invention, in the deep learning prediction data reflecting system using the OLAP result of the pivot table structure, the dimension extracting unit is configured such that each node of the upper category in the dimension tree is likewise all nodes of the lower category. It is characterized in that it is configured to have.

また、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムにおいて、前記次元抽出部は、メジャーを持つ次元ツリーに対して、メジャーノードにデータ値を持つデータノードを接続させ、前記ピボットテーブルのデータ領域のメジャーのデータセットの数に見合う分だけ次元ツリーを生成することを特徴とする。 Further, the present invention is a deep learning prediction data reflecting system using an OLAP result of a pivot table structure, wherein the dimension extracting unit connects a data node having a data value to a major node to a dimension tree having a measure. The dimensional tree is generated by the number corresponding to the number of data sets of the measure in the data area of the pivot table.

また、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムにおいて、前記フレーム変換部は、メジャーを持つ次元ツリーを下位ツリーとし、残りのツリーを上位ツリーとすることで、上位ツリーのリーフノードが下位ツリーのルートノードとなるように、2つの次元ツリーを統合することを特徴とする。 Further, in the present invention, in the deep learning prediction data reflection system using the OLAP result of the pivot table structure, the frame conversion unit sets the dimension tree having a measure as a lower tree and the remaining trees as upper trees, It is characterized in that the two-dimensional trees are integrated so that the leaf node of the upper tree becomes the root node of the lower tree.

また、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムにおいて、前記フレーム変換部は、各メジャーに対して、メジャーの次元名をフィールドと設定し、当該メジャーのデータ値を当該フィールドのフィールド値とし、メジャーノードの上位ノードのカテゴリをフィールドと設定し、当該カテゴリの次元名を当該フィールドのフィールド値とすることで、メジャーノードの上位ノードの次元名とメジャーのデータ値とを用いて1つのレコードを構成することを特徴とする。 Also, in the present invention, in the deep learning prediction data reflection system using the OLAP result of the pivot table structure, the frame conversion unit sets the dimension name of the measure as a field for each measure, and the data value of the measure. Is set as the field value of the relevant field, the category of the upper node of the major node is set as the field, and the dimension name of the relevant category is set as the field value of the relevant field. It is characterized in that one record is constructed using and.

また、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムにおいて、前記データ予測部は、レコード構造のデータセットにおいて、時系列データを持つフィールドを対象として次のサイクルのメジャーフィールドのデータ値を予測するが、時系列の次元を除いた残りの次元の組み合わせごとに予測データを得、時系列次元のデータは、次のサイクルの、組み合わせごとに予測したデータを、レコードとして形成することを特徴とする。 Further, the present invention is a deep learning prediction data reflecting system using an OLAP result of a pivot table structure, wherein the data prediction unit targets a field having time series data in a record structure data set and measures the next cycle. The data value of the field is predicted, but the prediction data is obtained for each combination of the remaining dimensions excluding the time series dimension. For the data of the time series dimension, the predicted data for each combination in the next cycle is recorded as a record. It is characterized by forming.

また、本発明は、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムにおいて、前記データ再構成部は、予測データのレコード構造のデータセットを統合ツリーに反映し、統合ツリーをピボットテーブル構造のデータセットとして再構成することを特徴とする。 Further, in the present invention, in the deep learning prediction data reflecting system using the OLAP result of the pivot table structure, the data reconstructing unit reflects the dataset of the record structure of the prediction data in the integration tree, and the integration tree is the pivot table. It is characterized by being reconstructed as a structure data set.

上述したように、本発明に係る、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムによれば、多次元分析が可能なOLAP結果に将来の予測データを追加して表示することにより、過去のデータに対する多次元分析だけでなく細分化された将来予測をも提供して、正確な意思決定を支援することができるという効果が得られる。 As described above, according to the deep learning prediction data reflection system using the OLAP result of the pivot table structure according to the present invention, it is possible to add and display future prediction data to the OLAP result that enables multidimensional analysis. In addition to providing multidimensional analysis on past data, it also provides subdivided forecasts for the future, which has the effect of supporting accurate decision making.

また、本発明に係る、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムによれば、ピボットテーブル構造をレコード構造として再構成してディープラーニング予測を行うことにより、多次元構成に応じて深さと形式が変化して予測しにくい問題を克服することができるという効果が得られる。 Further, according to the deep learning prediction data reflecting system using the OLAP result of the pivot table structure according to the present invention, the pivot table structure is reconfigured as a record structure to perform the deep learning prediction, and accordingly, the multi-dimensional structure can be obtained. It is possible to overcome problems that are difficult to predict due to changes in depth and form.

本発明を実施するための全体システムの構成のブロック図である。It is a block diagram of the composition of the whole system for carrying out the present invention. 本発明の一実施形態に係る、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システムの構成のブロック図である。FIG. 6 is a block diagram of a configuration of a deep learning prediction data reflecting system using the OLAP result of the pivot table structure according to the embodiment of the present invention. 本発明の一実施形態に係るピボットテーブルの例示図である。It is an illustration figure of the pivot table which concerns on one Embodiment of this invention. 本発明の一実施形態に係る行次元ツリーの例示図である。FIG. 6 is a view showing a row dimension tree according to an exemplary embodiment of the present invention. 本発明の一実施形態に係る列次元ツリーの例示図である。FIG. 6 is a view showing an example of a column dimension tree according to an exemplary embodiment of the present invention. 本発明の一実施形態に係る下位次元ツリーのインスタンスの例示図である。FIG. 5 is a view showing an example of a lower-dimensional tree instance according to an embodiment of the present invention. 本発明の一実施形態に係る合計ノードが含まれている行次元ツリーの例示図である。FIG. 7 is an exemplary diagram of a row dimension tree including a sum node according to an exemplary embodiment of the present invention. 本発明の一実施形態に係る合計ツリーを別途に構成したツリーの例示図である。FIG. 9 is a view showing an example of a tree in which a total tree according to an exemplary embodiment of the present invention is separately configured. 本発明の一実施形態に係る統合ツリーの例示図である。FIG. 6 is a view showing an integrated tree according to an exemplary embodiment of the present invention. 本発明の一実施形態に係る合計ノードが含まれている統合ツリーの例示図である。FIG. 7 is a view showing an integrated tree including a total node according to an exemplary embodiment of the present invention. 本発明の一実施形態に係るレコード構造のデータセットの例示図である。FIG. 4 is a view showing an example of a data set having a record structure according to an embodiment of the present invention. 本発明の一実施形態に係る予測データが反映されたレコード構造のデータセットの例示図である。It is an illustration figure of the dataset of the record structure in which the prediction data was reflected which concerns on one Embodiment of this invention. 本発明の一実施形態に係る予測データが反映された統合ツリーの例示図である。FIG. 7 is an exemplary diagram of an integrated tree in which prediction data according to an exemplary embodiment of the present invention is reflected. 本発明の一実施形態に係る予測データが反映された統合ツリーであって、合計ノードが含まれている統合ツリーの例示図である。FIG. 7 is an exemplary view of an integrated tree that reflects prediction data according to an embodiment of the present invention, and that includes a total node.

以下、添付の図面を参照して、本発明の実施のための具体的な内容を説明する。 Hereinafter, specific contents for carrying out the present invention will be described with reference to the accompanying drawings.

また、本発明を説明するにあたり、同一の部分には同一符号を付し、その繰り返しの説明は省略する。 Further, in describing the present invention, the same parts are designated by the same reference numerals, and the repeated description thereof will be omitted.

まず、図1を参照して、本発明を実施するための全体システムの一例について説明する。 First, an example of an entire system for carrying out the present invention will be described with reference to FIG.

図1に示すように、本発明を実施するための全体システムは、ユーザ端末10に設けられるクライアント20と、データを保存するデータベース80と、データを分析し、分析結果をピボットテーブル形式で提供する分析サーバ50と、ピボットテーブル構造のデータにディープラーニング予測データを反映して再構成する予測反映サーバ30と、で構成される。また、ユーザ端末10は、ネットワーク(図示せず)を介して分析サーバ50または予測反映サーバ30と接続する。 As shown in FIG. 1, an overall system for implementing the present invention provides a client 20 provided in a user terminal 10, a database 80 for storing data, analyzes data, and provides an analysis result in a pivot table format. The analysis server 50 and the prediction reflection server 30 configured to reflect the deep learning prediction data in the data of the pivot table structure and reconfigure the data. In addition, the user terminal 10 connects to the analysis server 50 or the prediction reflection server 30 via a network (not shown).

まず、クライアント20は、ユーザ端末10に設けられるクライアント用のプログラムシステムであって、Webブラウザを介してユーザインタフェースを有する。すなわち、ユーザは、WebブラウザまたはWebブラウザのような画面のインタフェースを介して、オンライン上でのデータ閲覧及び分析作業を行う。このとき、ユーザ端末10は、ユーザのコマンドなどを入力され、当該コマンドを実行し、処理結果を画面上またはWebブラウザ上に表示する。 First, the client 20 is a program system for a client provided in the user terminal 10 and has a user interface via a Web browser. That is, the user browses and analyzes data online via a web browser or a screen interface such as a web browser. At this time, the user terminal 10 receives the user's command or the like, executes the command, and displays the processing result on the screen or the Web browser.

一方、ユーザ端末10は、パーソナルコンピュータ(PC:personal computer)、ノートブック、タブレットPC、ファブレット、PDA、スマートフォンなどのコンピューティング機能を有するコンピュータ端末である。ユーザ端末10は、ネットワークを介して分析サーバ50または予測反映サーバ30と接続し、ユーザ端末10上のクライアント20は、オンライン上でのデータ処理作業を行うことができる。 On the other hand, the user terminal 10 is a computer terminal having a computing function, such as a personal computer (PC: personal computer), a notebook, a tablet PC, a phablet, a PDA, or a smartphone. The user terminal 10 is connected to the analysis server 50 or the prediction reflection server 30 via the network, and the client 20 on the user terminal 10 can perform online data processing work.

また、クライアント20は、データ要請及び分析などのオンライン上での処理作業を分析サーバ50に要請し、その分析結果を分析サーバ50から取得してWebブラウザ上に表示する。特に、クライアント20は、データベース80から取得したデータセットをピボットテーブル形式で表示する。 Further, the client 20 requests the analysis server 50 for online processing work such as data request and analysis, acquires the analysis result from the analysis server 50, and displays it on the Web browser. In particular, the client 20 displays the data set acquired from the database 80 in the pivot table format.

また、クライアント20は、ピボットテーブル構造のデータに対して予測を反映するように予測反映サーバ30に要請し、その反映結果を予測反映サーバ30から取得してWebブラウザ上に表示する。このとき、予測結果が反映されたピボットテーブル構造で表示する。 Further, the client 20 requests the prediction reflection server 30 to reflect the prediction on the data of the pivot table structure, acquires the reflection result from the prediction reflection server 30, and displays it on the Web browser. At this time, it is displayed in a pivot table structure in which the prediction result is reflected.

一方、クライアント20の機能は、例えば、データセットに対する分析要請、分析結果のピボットテーブル形式の表示、ピボットテーブルのデータに対する予測反映及び再構成要請とその結果の表示などの機能は、WebブラウザのWebスクリプト機能によって実現される。すなわち、HTML5.0などのWeb標準によるスクリプトによって、クライアント20の機能がプログラムシステムで実現できる。 On the other hand, the functions of the client 20 include, for example, an analysis request for a data set, a display of an analysis result in a pivot table format, a prediction reflection for the data of the pivot table, a reconstruction request, and a display of the result. It is realized by the script function. That is, the function of the client 20 can be realized in the program system by a script based on the Web standard such as HTML5.0.

次に、データベース80は、データを保存するための通常のデータベース(DB)であって、データを管理するためのデータベース管理システム(DBMS:DataBase Management System)を備え、データの保存、削除、検索などの作業をクエリ(またはクエリ文)を用いて行う。特に、データベース80は、商用化されたデータベースであり、データセットを処理するための一般的なクエリ機能を用いてデータクエリサービスを行う。 Next, the database 80 is an ordinary database (DB) for storing data, and includes a database management system (DBMS: DataBase Management System) for managing data, and stores, deletes, retrieves data, etc. Is performed using a query (or query statement). In particular, the database 80 is a commercialized database and provides a data query service using a general query function for processing a data set.

特に、データベース80は、ビッグデータを保存するデータベースである。また、好ましくは、データベース80は、リレーショナルデータベース(RDB)で構成される。 In particular, the database 80 is a database that stores big data. Also, preferably, the database 80 is a relational database (RDB).

次に、分析サーバ50は、データベース80からデータセットを取得して、ピボットテーブル構造の分析データ(データセット)を生成し、これらの分析結果データをクライアント20に送信して表示させる。好ましくは、クライアント20の要請に応じて分析を行い、その結果を送信する。 Next, the analysis server 50 acquires a data set from the database 80, generates analysis data (data set) having a pivot table structure, and transmits these analysis result data to the client 20 for display. Preferably, the analysis is performed at the request of the client 20 and the result is transmitted.

すなわち、分析サーバ50は、オンライン分析処理(OLAP:Online Analytical Processing)を行う通常のOLAPサーバである。好ましくは、分析の結果は、ピボットテーブル構造で構成される。ピボットテーブルは、行と列で形成されてデータセットを表示するデータ領域と、行の一側(好ましくは左側)または列の一端(好ましくは上端)に形成されて次元名を表示する次元領域と、で構成されるテーブル形式である。データ領域のセルには、行次元と列次元との組み合わせによるデータ値や統計値(例えば、個数、合計、平均など)が入力されて表示される。 That is, the analysis server 50 is a normal OLAP server that performs online analysis processing (OLAP: Online Analytical Processing). Preferably, the results of the analysis are organized in a pivot table structure. The pivot table has a data area formed by rows and columns to display a data set, and a dimension area formed at one side (preferably left side) of a row or at one end (preferably upper end) of a column to display a dimension name. It is a table format composed of,. In the cells of the data area, data values and statistical values (for example, number, total, average, etc.) based on the combination of the row dimension and the column dimension are input and displayed.

次に、予測反映サーバ30は、分析サーバ50で分析された分析結果に予測データを反映し、反映結果データをクライアント20に送信して表示させる。好ましくは、クライアント20の要請に応じて分析作業を行い、その結果を送信する。 Next, the prediction reflection server 30 reflects the prediction data on the analysis result analyzed by the analysis server 50, and transmits the reflection result data to the client 20 for display. Preferably, the analysis work is performed at the request of the client 20, and the result is transmitted.

すなわち、分析サーバ50は、ピボットテーブル構造から行と列の階層構造を抽出し、ピボットテーブル構造のデータをレコード構造のデータとして再構成し、再構成されたデータを用いてディープラーニング予測を行う。そして、予測結果を反映したレコード構造のデータを再びピボットテーブル構造として再構成する。 That is, the analysis server 50 extracts the hierarchical structure of rows and columns from the pivot table structure, reconfigures the data of the pivot table structure as the data of the record structure, and performs deep learning prediction using the reconstructed data. Then, the data of the record structure that reflects the prediction result is reconstructed as the pivot table structure again.

一方、前述したクライアント20と予測反映サーバ30の機能は一例であり、サーバとクライアントの実現技術に応じて多様に実現されてもよい。すなわち、クライアント20と予測反映サーバ30は、1つの予測反映システムであって、その機能が性能に応じて分配されてもよい。例えば、クライアント20は、単純にWebブラウザ機能及びインタフェース機能だけを有しており、全ての機能は、予測反映サーバ30で構築されてもよい。すなわち、予測反映サーバ30は、ピボットテーブルのインタフェース機能及びレコード構造の再構成機能だけでなく、ディープラーニング予測機能をも全て有することができる。他の例によれば、予測反映サーバ30は、ディープラーニング予測機能のみを有しており、クライアント20が、ピボットテーブルのインタフェース機能及びレコード構造の再構成機能などを備えることができる。すなわち、サーバ−クライアントの実現方式により様々な形で機能を分配することができる。 On the other hand, the functions of the client 20 and the prediction reflection server 30 described above are examples, and may be realized in various ways according to the implementation technology of the server and the client. That is, the client 20 and the prediction reflection server 30 may be one prediction reflection system, and the functions thereof may be distributed according to the performance. For example, the client 20 may simply have the Web browser function and the interface function, and all the functions may be constructed by the prediction reflection server 30. That is, the prediction reflection server 30 can have not only the interface function of the pivot table and the reconstruction function of the record structure but also all the deep learning prediction functions. According to another example, the prediction reflection server 30 has only a deep learning prediction function, and the client 20 can have a pivot table interface function and a record structure reconfiguration function. That is, the functions can be distributed in various forms depending on the server-client implementation method.

次に、図2を参照して、本発明の一実施形態に係る、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システム30の構成について説明する。 Next, with reference to FIG. 2, a configuration of the deep learning prediction data reflecting system 30 using the OLAP result of the pivot table structure according to the embodiment of the present invention will be described.

本発明に係るディープラーニング予測データ反映システム30は、サーバ−クライアントシステムで実現できる。 The deep learning prediction data reflecting system 30 according to the present invention can be realized by a server-client system.

従来技術のディープラーニング方式は、データの収集/精製/前処理などを行った後、ディープラーニングライブラリなどを用いて直接コーディングする方式である。本発明に係る予測データ反映システム30は、分析サーバ50(例えば、i−META、i−STREAMなど)で生成された分析結果を直接使用して、その構造化データ(またはピボットテーブル構造のデータセット)をフレーム形式(レコード形式)のデータセットに変換し、次元中に時系列要素と順次要素を自動的に認識し、次元の配置情報を用いて、ディープラーニング予測結果を構造化データに自動的に反映する。 The conventional deep learning method is a method in which data is collected/refined/preprocessed and then directly coded using a deep learning library or the like. The predictive data reflection system 30 according to the present invention directly uses the analysis result generated by the analysis server 50 (for example, i-META, i-STREAM, etc.), and sets the structured data (or the data set of the pivot table structure). ) Is converted to a frame format (record format) dataset, time series elements and sequential elements are automatically recognized in the dimension, and the deep learning prediction result is automatically converted to structured data using the dimension arrangement information. Reflect on.

図2に示すように、本発明の一実施形態に係るディープラーニング予測データ反映システム30は、ピボットテーブル構造のデータセットを受信するデータセット受信部31と、ピボットテーブル構造のデータセットからデータ次元(data dimension)を階層構造(またはツリー構造)で抽出する次元抽出部32と、ピボットテーブル構造のデータセットをレコード構造のデータセットに変換するフレーム変換部33と、レコード構造のデータセットを対象としてディープラーニングを用いて予測するデータ予測部34と、予測データが追加されたレコードデータセットをピボットテーブルデータセットとして再構成するデータ再構成部35と、で構成される。 As shown in FIG. 2, a deep learning prediction data reflection system 30 according to an exemplary embodiment of the present invention includes a data set receiving unit 31 that receives a data set having a pivot table structure, and a data dimension from a data set having a pivot table structure ( A dimension extraction unit 32 for extracting a data dimension in a hierarchical structure (or a tree structure), a frame conversion unit 33 for converting a pivot table structure data set into a record structure data set, and a deep structure for a record structure data set. The data prediction unit 34 that performs prediction using learning and the data reconstruction unit 35 that reconstructs the record data set to which the prediction data is added as a pivot table data set.

まず、データセット受信部31は、ピボットテーブル構造のデータセット(またはピボットテーブルデータセット)を受信する。 First, the data set receiving unit 31 receives a data set having a pivot table structure (or a pivot table data set).

図3に示すように、ピボットテーブル構造は、行と列で形成されてデータセットを表示するデータ領域と、行の一側(好ましくは左側)または列の一端(好ましくは上端)に形成されて次元名を表示する次元領域と、で構成される。 As shown in FIG. 3, the pivot table structure includes a data area formed by rows and columns to display a data set, and one side (preferably left side) of a row or one end (preferably upper end) of a column. And a dimension area for displaying the dimension name.

すなわち、次元領域は、データ領域の列の上端に表示される列次元領域と、データ領域の行の左側に表示される行次元領域と、に区分される。図3の例において、<電子素材事業部>、<ホームエンターテイメント事業部>、<売上数量>、<ウォン単価>などは、列次元領域の列の次元名であり、日付<20150101>、<20150102>、...<内需>、<輸出>などは、行次元領域の行の次元名である。 That is, the dimension area is divided into a column dimension area displayed at the upper end of the column of the data area and a row dimension area displayed on the left side of the row of the data area. In the example of FIG. 3, <electronic material division>, <home entertainment division>, <sales quantity>, <won unit price>, etc. are the dimension names of the columns in the column dimension area, and the dates <20150101>, <20150102>. >,. . . <Domestic demand>, <Export>, etc. are the dimension names of rows in the row dimension area.

一方、列次元と行次元などの各次元は、それぞれの階層構造で構成される。最下位次元(または最下位次元名)は、それぞれのデータ領域の行または列のそれぞれに全て1対1対応する。最下位次元は、自分の親または先祖の次元によって区別される。したがって、各最下位次元に対応する各データ領域の行または列は、前記最下位次元及びその親または先祖の次元によって区分(定義)される。図3の例において、データ領域の1列目のデータセットは、<電子素材事業部>の<売上数量>の次元によって区分される。2列目のデータセットは、<電子素材事業部>の<ウォン単価>の次元によって区分される。また、1行目のデータセットは、<20180101>の<内需>の次元によって区分される。 On the other hand, each dimension such as the column dimension and the row dimension has a hierarchical structure. The lowest dimension (or the lowest dimension name) has a one-to-one correspondence with each row or column of each data area. The lowest dimension is distinguished by the dimension of its parent or ancestor. Therefore, the row or column of each data area corresponding to each lowest dimension is divided (defined) by the lowest dimension and its parent or ancestor dimension. In the example of FIG. 3, the data set in the first column of the data area is divided by the dimension of <sales quantity> of <electronic material division>. The data set in the second column is divided according to the dimension of <Unit price of won> in <Electronic Materials Division>. Further, the data set in the first row is divided by the dimension of <domestic demand> of <20180101>.

また、データ領域のセルには、行次元と列次元との組み合わせによるデータ値や統計値(例えば、個数、合計、平均など)が入力されて表示される。 In addition, in the cells of the data area, data values and statistical values (for example, the number, total, average, etc.) of combinations of row dimensions and column dimensions are input and displayed.

また、ピボットテーブルの行次元と列次元のうちのいずれか一方の次元の最下位次元は、<メジャー(measure)>と設定される。メジャー(measure)次元は、データ領域のデータ値の種類を示す。図3の例において、列次元の最下位次元をメジャー(またはメジャー次元)と設定している。データ領域の1列目のデータセットは<売上数量>を示し、2列目のデータセットは<ウォン単価>を示す。 The lowest dimension of either the row dimension or the column dimension of the pivot table is set to <measure>. The measure dimension indicates the type of data value in the data area. In the example of FIG. 3, the lowest dimension of the column dimension is set to measure (or measure dimension). The data set in the first column of the data area indicates <sales volume>, and the data set in the second column indicates <won unit price>.

次に、次元抽出部32は、ピボットテーブル構造のデータセットから、次元の階層構造を示す行及び列の次元ツリーを生成する。 Next, the dimension extraction unit 32 generates a dimension tree of rows and columns showing a hierarchical structure of dimensions from the data set having the pivot table structure.

すなわち、次元抽出部32は、ピボットテーブル構造のデータセットから、行及び列の次元の階層構造を示す次元ツリーを生成する。 That is, the dimension extracting unit 32 generates a dimension tree indicating a hierarchical structure of row and column dimensions from a data set having a pivot table structure.

図3の例において、行次元は、<売上日付>、<売上区分名>の階層構造を有する。このとき、<売上日付>は上位次元と呼び、<売上区分名>は下位次元と呼ぶことにする。階層構造の上位と下位は相対的概念である。 In the example of FIG. 3, the row dimension has a hierarchical structure of <sales date> and <sales category name>. At this time, <sales date> is called an upper dimension, and <sales category name> is called a lower dimension. The upper and lower parts of the hierarchical structure are relative concepts.

このとき、<売上日付>、<売上区分名>は、それぞれ次元のカテゴリと呼び、各次元が持つ値を次元名(または次元値)と呼ぶことにする。<売上日付>の行カテゴリは、<20180101>、<20180102>、<20180104>などの次元名を持ち、<売上区分名>の行カテゴリは、<内需>、<輸出>など2つの次元名を持つ。 At this time, <sales date> and <sales category name> are referred to as dimension categories, and the value of each dimension is referred to as a dimension name (or dimension value). The line category of <sales date> has dimension names such as <20180101>, <20180102>, and <20180104>, and the line category of <sales category name> has two dimension names such as <domestic demand> and <export>. To have.

図3の例において、列次元は<事業区分名>、<メジャー(measure)>の階層構造を有する。このとき、<事業区分名>、<メジャー>は、それぞれ次元のカテゴリである。<事業部区分名>の列カテゴリは、<電子素材事業部>、<ホームエンターテイメント事業部>などの次元名を持ち、<メジャー>のカテゴリは、「売上数量>、<ウォン単価>など2つの次元名を持つ。特に、メジャーの次元名は、メジャー名と呼ぶことにする。 In the example of FIG. 3, the column dimension has a hierarchical structure of <business division name> and <measure>. At this time, <business category name> and <major> are dimensional categories, respectively. The <Category Division Name> column category has dimension names such as <Electronic Material Business Division> and <Home Entertainment Business Division>, and the <Major> category has two dimension names such as “sales volume” and “won unit price”. It has a dimension name, in particular the dimension name of a measure is called the measure name.

次元抽出部32は、ピボットテーブルの行次元と列次元の階層構造に基づいて、それぞれ行の次元ツリー及び、列の次元ツリーを構成する。すなわち、各次元ツリーのルートノードとしては、仮想のノードを任意に設定する。ピボットテーブルの各次元名を1つのノードに対応させてそれぞれのノードを生成し、上位次元と下位次元の関係に基づいて、ノード間の上位及び下位の関係を設定する。すなわち、次元ツリーの各ノードは次元名を持ち、次元の上位または下位の関係に基づいて、各ノードが上位ノードまたは下位ノードとして階層的に構成される。 The dimension extraction unit 32 constructs a row dimension tree and a column dimension tree, respectively, based on the hierarchical structure of the row dimension and the column dimension of the pivot table. That is, a virtual node is arbitrarily set as the root node of each dimension tree. Each dimension name in the pivot table is associated with one node to generate each node, and the upper and lower relationships between the nodes are set based on the relationship between the upper dimension and the lower dimension. That is, each node of the dimension tree has a dimension name, and each node is hierarchically configured as an upper node or a lower node based on the upper or lower relation of the dimension.

一方、ピボットテーブル構造において、上位カテゴリの次元名のそれぞれは、下位カテゴリの全ての次元名を持つように構成される。したがって、次元ツリーにおいて、上位カテゴリの各ノードは、同様に、下位カテゴリの全てのノードを持つ。 On the other hand, in the pivot table structure, each of the dimension names of the upper category is configured to have all the dimension names of the lower category. Therefore, in the dimensional tree, each node of the upper category similarly has all the nodes of the lower category.

図4は、図3のピボットテーブルの行次元構造から生成された行次元ツリーを示すグラフである。図4の例において、上位カテゴリ<売上日付>のノード<20180101>、<20180102>、<20180104>などのそれぞれは、同様に、下位カテゴリ<売上区分名>の全ての下位ノード<内需>、<輸出>を持つ。 FIG. 4 is a graph showing a row dimension tree generated from the row dimension structure of the pivot table of FIG. In the example of FIG. 4, each of the nodes <20180101>, <20180102>, and <20180104> of the upper category <sales date> similarly has all the lower nodes <domestic demand> and <domestic demand> of the lower category <sales category name>. Export>

また、図5は、図3のピボットテーブルの列次元構造から生成された列次元ツリーを示すグラフである。図5の例において、上位カテゴリ<事業部区分名>のノード<電子素材事業部>、<ホームエンターテイメント事業部>などのそれぞれは、同様に、下位カテゴリ<メジャー>の全ての下位ノード<売上数量>、<ウォン単価>を持つ。 FIG. 5 is a graph showing a column dimension tree generated from the column dimension structure of the pivot table of FIG. In the example of FIG. 5, each of the nodes <electronic material division>, <home entertainment division>, etc. of the upper category <division name> is similarly all of the lower nodes <sales quantity of the lower category <major>. >, <Unit price of won>.

また、図5に示すように、メジャー(measure)を有する次元ツリーは、リーフノードがメジャーノードであるが、メジャーノードにデータ値ノード(またはデータノード)が接続されてもよい。このとき、データノードのデータセットは、ピボットテーブルのデータ領域のメジャーのデータセットに該当する。また、メジャーのデータセットの数は、行次元(行の最下位次元)の数に見合う分だけ存在する。 Further, as shown in FIG. 5, in a dimensional tree having measures, leaf nodes are major nodes, but data value nodes (or data nodes) may be connected to the major nodes. At this time, the data set of the data node corresponds to the data set of the measure in the data area of the pivot table. There are as many measure data sets as there are row dimensions (the lowest dimension of rows).

図6に示すように、データ領域のメジャーのデータセットの数に見合う分だけ次元ツリーが作成できる。図3のデータ領域の1行目のデータセット(メジャーのデータセット)は{25,1000,20,900}であり、メジャーのデータセットをデータノードの値とすることで、図6の第1番目の次元ツリーのように生成できる。 As shown in FIG. 6, as many dimension trees as the number of data sets of the measure in the data area can be created. The data set (measure data set) in the first row of the data area in FIG. 3 is {25,1000,20,900}, and by using the data set of the measure as the value of the data node, the first data in FIG. Can be generated like the second dimension tree.

また、好ましくは、次元抽出部32は、行次元のツリー構造に含まれていない行次元、すなわち、ピボットテーブルの次元構造において並行される次元を、合計ノードとして追加生成する。また、データ領域のメジャーのデータセットのうち合計に該当する次元ツリーも生成される。特に、合計ノードは、ピボットテーブルの次元構造において合計次元と対応する最下位次元のツリーレベルと同じレベルを有するようにツリー構造に追加する(または別のツリー構造を生成する)。すなわち、合計次元と、これに対応する最下位次元とは、兄弟関係(sibling)を有するように構成される。 Further, preferably, the dimension extracting unit 32 additionally generates a row dimension that is not included in the row dimension tree structure, that is, a dimension that is parallel in the dimensional structure of the pivot table, as a total node. In addition, a dimension tree corresponding to the total of the data sets of the measure in the data area is also generated. In particular, the sum node is added (or creates another tree structure) to the tree structure to have the same level as the tree level of the lowest dimension corresponding to the sum dimension in the dimension structure of the pivot table. That is, the total dimension and the lowest dimension corresponding to the total dimension are configured to have a sibling relationship.

図7aの例に示すように、<20180101 Total>、<20180102 Total>、...などの行次元は、ツリー構造で並んでいる構造であって、先に得られた次元のツリー構造に該当するものではない。これらのノードを合計ノードとしてツリー構造に追加するか、別の合計ツリーを生成する。図7aは、先に得られた次元ツリーに合計ノードを追加したものを示し、図7bは、合計ツリーを別途に構成したものを示している。 As shown in the example of FIG. 7a, <20180101 Total>, <20180102 Total>,. . . The row dimension such as is a structure arranged in a tree structure, and does not correspond to the tree structure of the previously obtained dimension. Add these nodes to the tree structure as sum nodes or generate another sum tree. FIG. 7a shows the dimension tree obtained earlier with the addition of summation nodes, and FIG. 7b shows the summation tree separately constructed.

このとき、合計に該当するデータ領域のメジャーのデータセットに対しても次元ツリーが生成される。すなわち、合計に対応するメジャーのデータセット(例えば、{40、1500、50、1300}に対する合計ツリーも生成される。 At this time, the dimension tree is also generated for the data set of the measure in the data area corresponding to the total. That is, a sum tree for the measure data set (eg, {40, 1500, 50, 1300}) corresponding to the sum is also generated.

次に、フレーム変換部33は、先に生成した行及び列の次元ツリーを合わせて統合次元ツリーを生成し、統合次元ツリーからレコード構造のデータセット(以下、レコードデータセット)を生成する。 Next, the frame conversion unit 33 creates an integrated dimension tree by combining the previously created row and column dimension trees, and creates a record-structured data set (hereinafter referred to as a record data set) from the integrated dimension tree.

まず、フレーム変換部33は、メジャーを持つ次元ツリーを下位ツリーとし、残りのツリーを上位ツリーとすることで、上位ツリーのリーフノードが下位ツリーのルートノードとなるように、2つの次元ツリーを統合する。 First, the frame conversion unit 33 sets the two-dimensional trees so that the leaf node of the upper tree becomes the root node of the lower tree by setting the dimension tree having the measure as the lower tree and the remaining trees as the upper tree. Integrate.

図8は、先の図4の行次元ツリーと図5の列次元ツリーとを統合して統合次元ツリーを生成した例を示している。メジャー(measure)次元が列次元ツリーに存在するので、列次元ツリーが下位ツリーとなり、行次元ツリーが上位ツリーとなる。 FIG. 8 shows an example in which the row dimension tree of FIG. 4 and the column dimension tree of FIG. 5 are integrated to generate an integrated dimension tree. Since the measure dimension exists in the column dimension tree, the column dimension tree becomes the lower tree and the row dimension tree becomes the upper tree.

一方、下位ツリーは、メジャーのデータセットの数に見合う分だけ生成される。このとき、各データノードのメジャーデータセットは、行次元のそれぞれに対応する。したがって、各下位ツリーは、自分のデータノードのデータセットが対応する行次元のリーフノードを、ルートノードとして統合する。 On the other hand, as many subtrees as the number of major datasets are generated. At this time, the major data set of each data node corresponds to each row dimension. Therefore, each subtree integrates the row-dimensional leaf node corresponding to the data set of its own data node as the root node.

例えば、図8に示すように、上位ツリーのリーフノード<内需>または<輸出>を、下位ツリー(列次元ツリー)のルートノードとして結合する。第1番目の下位ツリーのデータセットは{25,1000,20,900}であり、当該データセットに対応する行次元は{<20180101>、<内需>}である。したがって、第1番目の下位ツリーは、{<20180101>、<内需>}と区分される上位ツリーのリーフノード<内需>を、ルートノードとして結合する。 For example, as shown in FIG. 8, the leaf node <domestic demand> or <export> of the upper tree is combined as the root node of the lower tree (column dimension tree). The data set of the first lower tree is {25,1000,20,900}, and the row dimension corresponding to the data set is {<20180101>, <domestic demand>}. Therefore, the first lower tree joins the leaf node <domestic demand> of the upper tree, which is divided into {<20180101>, <domestic demand>}, as the root node.

一方、好ましくは、フレーム変換部33は、合計ノードをも含めた統合次元ツリーを生成する。すなわち、合計に対応するメジャーのデータセット(例えば、{40、1500、50、1300}など)をも統合ツリーに生成する。図9は、合計ノードが含まれた統合ツリーを示している。 On the other hand, preferably, the frame conversion unit 33 generates an integrated dimensional tree including the total nodes. That is, a major data set (eg, {40, 1500, 50, 1300} etc.) corresponding to the total is also generated in the integrated tree. FIG. 9 shows an integration tree that includes a totals node.

また、フレーム変換部33は、統合次元ツリー(または統合ツリー)が生成されると、統合ツリーのデータセットからレコード構造(データフレーム形式)のデータセットを生成する。このとき、レコード構造は、多数のフィールドで構成されるレコードの集合で構成される。したがって、フィールドまたはフィールド名を構成し、各フィールドに該当するフィールド値を設定して、データフレームを生成する。 Further, when the integrated dimension tree (or integrated tree) is created, the frame conversion unit 33 creates a data set having a record structure (data frame format) from the data set of the integrated tree. At this time, the record structure is composed of a set of records composed of many fields. Therefore, a field or field name is configured, and a field value corresponding to each field is set to generate a data frame.

すなわち、各メジャーに対して、メジャーの次元名をフィールドと設定し、当該メジャーのデータ値を当該フィールドのフィールド値とする。また、メジャーノードの上位ノードのカテゴリ(カテゴリ名)をフィールドと設定し、当該カテゴリの次元名を当該フィールドのフィールド値とする。このとき、ルートノードは除外される。したがって、メジャーノードの上位ノードの次元名とメジャーのデータ値とを用いて1つのレコードを構成する。 That is, for each measure, the dimension name of the measure is set as a field, and the data value of the measure is set as the field value of the field. Further, the category (category name) of the upper node of the major node is set as a field, and the dimension name of the category is set as the field value of the field. At this time, the root node is excluded. Therefore, one record is constructed using the dimension name of the upper node of the major node and the data value of the major.

このとき、合計ノードを含むツリー構造は除外される。すなわち、合計ノードを含まないツリー構造の場合にのみ、統合次元ツリーからレコード構造のデータセットを生成する。 At this time, the tree structure including the total node is excluded. That is, only when the tree structure does not include the total node, the record structure data set is generated from the integrated dimension tree.

図6の例において、最上部のメジャーカテゴリの次元名<売上数量>と<ウォン単価>をフィールド(フィールド名)と設定し、データ値<25>、<1000>を当該フィールドのフィールド値とする。また、メジャーカテゴリの上位ノードのカテゴリ<売上日付>、<売上区分名>、<事業部区分名>を、それぞれのフィールド(フィールド名)とする。さらに、メジャーノードの上位ノードの次元名<20180101>、<内需>、<電子素材事業部>を、当該フィールドのフィールド値とする。 In the example of FIG. 6, the dimension names <sales quantity> and <won unit price> of the top major category are set as fields (field names), and the data values <25> and <1000> are set as the field values of the fields. .. Further, the categories <sales date>, <sales category name>, and <business division category name> of the upper node of the major category are defined as respective fields (field names). Further, the dimension names <20180101>, <domestic demand>, and <electronic material division> of the upper nodes of the major node are set as the field values of the field.

したがって、レコードは{<20180101>、<内需>、<電子素材事業部>、<25>、<1000>}で構成される。このとき、フィールド名は、{<売上日付>、<売上区分名>、<事業部区分名>、<売上数量>、<ウォン単価>}で構成される。 Therefore, the record is composed of {<20180101>, <domestic demand>, <electronic material division>, <25>, <1000>}. At this time, the field name is composed of {<sales date>, <sales category name>, <business division category name>, <sales quantity>, <won unit price>}.

統合ツリーの全てのメジャーカテゴリのメジャーノードに対してレコードを生成すると、レコード構造のデータセットを生成することができる。図10は、図8の統合ツリーから生成されたレコード構造のデータセットを示している。 When records are generated for the major nodes of all the major categories of the integration tree, a record structured data set can be generated. FIG. 10 shows a data structure of a record structure generated from the integrated tree of FIG.

他の実施形態によれば、フレーム変換部33は、全てのメジャーデータセットに対応する下位ツリーを全て生成せずに、上位ツリーと下位ツリーとを巡回してレコード構造のデータセットが得られる。このとき、下位ツリーにデータノードを連結させずに、1つの下位ツリーのみを生成する。すなわち、下位ツリーのノードは、次元に対するノードのみで構成される。 According to another embodiment, the frame conversion unit 33 may go through the upper tree and the lower tree to generate a dataset having a record structure without generating all the lower trees corresponding to all the major datasets. At this time, only one lower tree is generated without connecting the data nodes to the lower tree. That is, the nodes of the lower tree are composed only of nodes for dimensions.

フィールドを構成する方式は、前述した実施形態と同様である。 The method of forming the field is similar to that of the above-described embodiment.

そして、各レコードを作るために以下のように巡回する。 Then, it goes around as follows to make each record.

rowlevel2→…→rowleveln→columnlevel1→…→columnleveln
すなわち、上位ツリーにおけるルートノードからスタートしてリーフノードに順次巡回しながら、各ノードの値(次元名)をレコードに入力する。そして、上位ツリーのリーフノードに到達すると、下位ツリーのルートノードからスタートして下位ノードに巡回する。このとき、メジャーノードに触れるとメジャーフィールドにデータ値を入力する。このとき、データ領域の行と列が巡回されたノードのほか、同一の次元のデータをメジャーフィールドのデータ値として入力する。
row level2 → ... → row leveln → column level1 → ... → column leveln
That is, the value (dimension name) of each node is input to the record while starting from the root node in the upper tree and sequentially traveling to the leaf nodes. When it reaches the leaf node of the upper tree, it starts from the root node of the lower tree and travels to the lower node. At this time, touching the major node inputs a data value in the major field. At this time, in addition to the node in which the rows and columns of the data area are circulated, data of the same dimension is input as the data value of the measure field.

次に、データ予測部34は、レコードデータセットを対象としてディープラーニング(LSTM:Long Short Term Memory、長短期記憶)を用いて予測する。好ましくは、レコード構造のデータセットにおいて、時系列データを持つフィールドを対象として次のサイクルのメジャーフィールドのデータ値を予測する。 Next, the data prediction unit 34 performs prediction on the record data set by using deep learning (LSTM: Long Short Term Memory). Preferably, in the data structure of the record structure, the data value of the major field in the next cycle is predicted for the field having the time series data.

好ましくは、時系列のフィールドは、次元名によって作られるフィールドである。 Preferably, the time series fields are fields created by dimension names.

図10の例において、<売上日付>フィールドは行次元により作られたフィールドであり、日付が時系列の順序を有するので、<売上日付>の次のサイクル<20180105>に対して次の分析サイクルのメジャーデータを予測することができる。 In the example of FIG. 10, the <sales date> field is a field created by the row dimension, and since the dates have a time-series order, the next analysis cycle for the <sales date> next cycle <20180105>. Can measure the major data of.

このとき、時系列次元を除いた残りの次元の組み合わせごとに予測データを得、時系列次元のデータは、次のサイクルの、組み合わせごとに予測したデータを、レコードとして形成する。このとき、次元のフィールド値は、時系列次元の次のサイクル、残りの次元の組み合わせ、及び予測したデータで構成される。 At this time, the prediction data is obtained for each combination of the remaining dimensions excluding the time-series dimension, and the data of the time-series dimension forms the data predicted for each combination in the next cycle as a record. At this time, the field value of the dimension is composed of the next cycle of the time series dimension, the combination of the remaining dimensions, and the predicted data.

次に、データ再構成部35は、予測データが追加されたレコードデータセットをピボットテーブル構造のデータセットとして再構成する。すなわち、予測データのレコード構造のデータセットを統合ツリーに反映し、統合ツリーをピボットテーブル構造のデータセットとして再構成する。この際、前述したレコード構造のデータセットを形成する過程の逆過程を行う。 Next, the data reconstruction unit 35 reconstructs the record data set to which the prediction data is added as a data set having a pivot table structure. That is, the data set having the record structure of the prediction data is reflected in the integrated tree, and the integrated tree is reconfigured as the data set having the pivot table structure. At this time, the reverse process of the process of forming the data structure of the record structure described above is performed.

図11の予測データが反映されたレコード構造のデータセットから、予測データを統合ツリーに反映する。図12は、予測データが反映された統合ツリーを示している。 The prediction data is reflected in the integrated tree from the data set having the record structure in which the prediction data in FIG. 11 is reflected. FIG. 12 shows an integrated tree in which the prediction data is reflected.

図12に示すように、時系列次元の次のサイクルを次元名とする新たな階層のノードを生成して、統合ツリーに挿入する。このとき、時系列次元のカテゴリに属するノードに全て含ませる。 As shown in FIG. 12, a node of a new hierarchy having a dimension next to the cycle of the time series dimension is generated and inserted into the integrated tree. At this time, all nodes included in the category of the time series dimension are included.

すなわち、図11で生成された新たなレコードに対応するノードを生成し、生成されたノードを元の統合ツリーに追加して再構成する。 That is, a node corresponding to the new record generated in FIG. 11 is generated, and the generated node is added to the original integrated tree to reconfigure.

一方、好ましくは、図13に示すように、新たなノード(新たな部分ツリー)に、合計ノードに対する部分(合計ノードの部分ツリー、または合計ノード及びその下位ツリー)をも追加する。このとき、合計ノードの下位構造(下位ツリー)は、他の兄弟ノード(sibling node)(特に、新たなレコードによって生成された兄弟ノード)の下位ツリー構造を全て合算して生成する。 On the other hand, preferably, as shown in FIG. 13, a part for the total node (a partial tree of the total node, or a total node and its subordinate tree) is also added to the new node (new partial tree). At this time, the lower-level structure (lower-level tree) of the total node is generated by adding all the lower-level tree structures of other sibling nodes (particularly, the sibling nodes generated by the new record).

下位ツリーの合算は、次のような方法により行われる。下位ツリーの構造を同様に生成する。そして、リーフノードであるデータ値のみが異なるが、同じ位置のリーフノード(他の兄弟ノードのリーフノード)のデータ値を全て合算することで、当該位置のリーフノード(合計ノードの下位ツリー構造のリーフノード)のデータ値を生成する。 The summation of the lower trees is performed by the following method. Similarly, the structure of the subordinate tree is generated. Then, only the data values that are leaf nodes differ, but by summing up all the data values of leaf nodes at the same position (leaf nodes of other sibling nodes), the leaf node at that position (the subtree structure of the total node) Data value of leaf node) is generated.

また、データ再構成部35は、再構成された統合ツリーからピボットテーブルの構造を生成する。ピボットテーブルの構造から統合ツリーを形成した過程の逆過程を行い、ピボットテーブルを再構成して生成する。 The data reconfiguring unit 35 also generates the structure of the pivot table from the reconfigured integrated tree. The pivot table is reconstructed by performing the reverse process of the process of forming the integrated tree from the structure of the pivot table.

以上、本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。 Although the invention made by the present inventor has been specifically described based on the embodiments, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say.

この特許出願は、2017年度の韓国政府の財源として韓国研究財団の支援を受けて行われた基礎研究事業である(No.2017M3C4A7083282)。 This patent application is a basic research project carried out with the support of the Korea Research Foundation as a financial resource of the Korean government in 2017 (No. 2017M3C4A7083282).

10 ユーザ端末
20 クライアント
30 予測反映サーバ
31 データセット受信部
32 次元抽出部
33 フレーム変換部
34 データ予測部
35 データ再構成部
50 分析サーバ
80 データベース
10 User Terminal 20 Client 30 Prediction Reflecting Server 31 Dataset Receiving Section 32 Dimension Extracting Section 33 Frame Converting Section 34 Data Predicting Section 35 Data Reconstructing Section 50 Analysis Server 80 Database

Claims (6)

ピボットテーブル構造のオンライン分析処理(OLAP)結果を用いたディープラーニング予測データ反映システムにおいて、
ピボットテーブル構造のデータセットを受信するデータセット受信部と;
ピボットテーブル構造のデータセットから、データ次元を階層構造で有する行次元ツリー及び列次元ツリーを生成する次元抽出部と;
前記行次元ツリーと列次元ツリーとを結合して統合ツリーを生成し、統合ツリーからレコード構造のデータセットを形成するフレーム変換部と;
レコード構造のデータセットを対象としてディープラーニングを用いて予測するデータ予測部と;
予測データが追加されたレコードデータセットを用いて前記統合ツリーを再構成し、再構成された統合ツリーを用いてピボットテーブルを再構成するデータ再構成部と;を含むことを特徴とする、ピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システム。
In the deep learning prediction data reflection system using the online analysis processing (OLAP) result of the pivot table structure,
A data set receiving unit for receiving a data set having a pivot table structure;
A dimension extraction unit for generating a row dimension tree and a column dimension tree having data dimensions in a hierarchical structure from a data set having a pivot table structure;
A frame conversion unit that combines the row-dimensional tree and the column-dimensional tree to generate an integrated tree, and forms a record-structured data set from the integrated tree;
A data predictor for predicting a record structured data set using deep learning;
And a data reconfiguring unit for reconfiguring the integration tree using the record data set to which prediction data is added and reconfiguring a pivot table using the reconfigured integration tree. A deep learning prediction data reflection system using the OLAP result of a table structure.
前記次元抽出部は、前記ピボットテーブルの行次元と列次元の階層構造に基づいてそれぞれの行次元ツリー及び列次元ツリーを構成し、各次元ツリーのルートノードを仮想ノードとして設定し、前記ピボットテーブルの各次元名を1つのノードに対応させてそれぞれのノードを生成し、上位次元と下位次元の関係に基づいて、ノード間の上位及び下位の関係を設定し、次元ツリーの各ノードが次元名を持つように設定し、次元の上位または下位の関係に基づいて、各ノードを上位ノードまたは下位ノードとして階層的に構成することを特徴とする、請求項1に記載のピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システム。 The dimension extraction unit configures a row dimension tree and a column dimension tree based on a hierarchical structure of row dimensions and column dimensions of the pivot table, sets a root node of each dimension tree as a virtual node, and the pivot table Each dimension name of is associated with one node to generate each node, and the upper and lower relations between the nodes are set based on the relation between the upper dimension and the lower dimension. 2. The pivot result of the pivot table structure according to claim 1, wherein each node is hierarchically configured as an upper node or a lower node based on a higher or lower dimension relationship. Deep learning prediction data reflection system using. 前記次元抽出部は、前記次元ツリーにおいて、上位カテゴリの各ノードが、同様に、下位カテゴリの全てのノードを持つように構成することを特徴とする、請求項2に記載のピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システム。 The pivot table structure OLAP according to claim 2, wherein the dimension extraction unit is configured such that each node of the upper category similarly has all the nodes of the lower category in the dimension tree. Deep learning prediction data reflection system using results. 前記次元抽出部は、メジャーを持つ次元ツリーに対して、メジャーノードにデータ値を持つデータノードを接続させ、前記ピボットテーブルのデータ領域のメジャーのデータセットの数に見合う分だけ次元ツリーを生成することを特徴とする、請求項2に記載のピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システム。 The dimension extraction unit connects a data node having a data value to a measure node with respect to a dimension tree having measures, and generates as many dimension trees as the number of data sets of measures in the data area of the pivot table. The deep learning prediction data reflecting system using the OLAP result of the pivot table structure according to claim 2, characterized in that. 前記フレーム変換部は、メジャーを持つ次元ツリーを下位ツリーとし、残りのツリーを上位ツリーとすることで、上位ツリーのリーフノードが下位ツリーのルートノードとなるように、2つの次元ツリーを統合することを特徴とする、請求項4に記載のピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システム。 The frame conversion unit integrates the two dimensional trees so that the leaf tree of the upper tree becomes the root node of the lower tree by setting the dimensional tree having the measure as the lower tree and the remaining trees as the upper tree. The deep learning prediction data reflecting system using the OLAP result of the pivot table structure according to claim 4, characterized in that. 前記フレーム変換部は、各メジャーに対して、メジャーの次元名をフィールドと設定し、当該メジャーのデータ値を当該フィールドのフィールド値とし、メジャーノードの上位ノードのカテゴリをフィールドと設定し、当該カテゴリの次元名を当該フィールドのフィールド値とすることで、メジャーノードの上位ノードの次元名とメジャーのデータ値とを用いて1つのレコードを構成することを特徴とする、請求項1に記載のピボットテーブル構造のOLAP結果を用いたディープラーニング予測データ反映システム。 The frame conversion unit sets, for each measure, the dimension name of the measure as a field, sets the data value of the measure as the field value of the field, and sets the category of the upper node of the major node as the field and sets the category. The pivot according to claim 1, wherein one record is configured by using the dimension name of the upper node of the major node and the data value of the measure by using the dimension name of the field as the field value of the field. A deep learning prediction data reflection system using the OLAP result of a table structure.
JP2019093340A 2019-01-25 2019-05-17 Deep learning prediction data reflection system using OLAP results of pivot table structure Active JP6997133B2 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0009845 2019-01-25
KR20190009845 2019-01-25
KR10-2019-0031220 2019-03-19
KR1020190031220A KR102058124B1 (en) 2019-01-25 2019-03-19 A system for adding deep-learning forecaset data by using an OLAP data with pivot table

Publications (2)

Publication Number Publication Date
JP2020119487A true JP2020119487A (en) 2020-08-06
JP6997133B2 JP6997133B2 (en) 2022-01-17

Family

ID=69051901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019093340A Active JP6997133B2 (en) 2019-01-25 2019-05-17 Deep learning prediction data reflection system using OLAP results of pivot table structure

Country Status (2)

Country Link
JP (1) JP6997133B2 (en)
KR (1) KR102058124B1 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177220B (en) * 2019-12-26 2022-07-15 中国平安财产保险股份有限公司 Data analysis method, device and equipment based on big data and readable storage medium
KR102491753B1 (en) 2020-08-03 2023-01-26 (주)한국플랫폼서비스기술 Method and system for framework's deep learning a data using by query
KR102491755B1 (en) 2020-08-03 2023-01-26 (주)한국플랫폼서비스기술 Deep learning inference system based on query, and method thereof
KR102251139B1 (en) 2020-10-13 2021-05-12 (주)비아이매트릭스 A missing value correction system using machine learning and data augmentation
KR102568010B1 (en) 2020-11-20 2023-08-22 (주)한국플랫폼서비스기술 Predition system for fault of machine tool using deep learning inference system based on query and method thereof
KR102568011B1 (en) 2020-12-30 2023-08-22 (주)한국플랫폼서비스기술 Face detection and privacy protection system using deep learning inference based on query and method thereof
KR20220165391A (en) 2021-06-08 2022-12-15 (주)한국플랫폼서비스기술 Deep learning distribution system based on query and distribute training method
KR20220168814A (en) 2021-06-17 2022-12-26 (주)한국플랫폼서비스기술 Privacy protection and evaluation of redetection system using deep learning inference based on query and method thereof
KR20230060354A (en) 2021-10-27 2023-05-04 (주)한국플랫폼서비스기술 Video recoding apparatus for private information de-identification
KR20230060353A (en) 2021-10-27 2023-05-04 (주)한국플랫폼서비스기술 Predition apparatus for fault of machine tool using deep learning framework applicated in database, system therewith, and method thereof
KR20230065038A (en) 2021-11-04 2023-05-11 (주)한국플랫폼서비스기술 Deep learning distribution system for connectivity of database based on query, and method there of
KR20230065037A (en) 2021-11-04 2023-05-11 (주)한국플랫폼서비스기술 Database server applicated deep learning framework for classifying gender and age, and method thereof
KR20230074965A (en) 2021-11-22 2023-05-31 (주)한국플랫폼서비스기술 Database server applicated deep learning framework for classifying structure name of traditional house, and method thererof
KR102641532B1 (en) 2022-10-20 2024-02-28 (주)한국플랫폼서비스기술 Computing apparatus using deep learning framework privacy protection and method thereof
KR102602781B1 (en) 2022-11-30 2023-11-16 (주)한국플랫폼서비스기술 System for continuous integration and continuous deploy of service model using deep learning framwork and method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192012A (en) * 1993-12-27 1995-07-28 Nec Corp Multi-stage list data handling device
JPH08221384A (en) * 1995-02-17 1996-08-30 Kao Corp Method and device for predicting sales amount
JPH1011469A (en) * 1996-06-24 1998-01-16 Nec Corp Multistage table processing system
JP2001325582A (en) * 2000-05-17 2001-11-22 Chugoku Electric Power Co Inc:The Learning and predicting device for time-series data
US20110107254A1 (en) * 2009-10-30 2011-05-05 Oracle International Corporation Transforming data tables into multi-dimensional projections with aggregations
JP2015082259A (en) * 2013-10-23 2015-04-27 本田技研工業株式会社 Time series data prediction device, time series data prediction method, and program
JP2017219882A (en) * 2016-06-02 2017-12-14 日本電信電話株式会社 Logical relation recognition device, logical relation recognition method and logical relation recognition program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099880B2 (en) 2002-01-31 2006-08-29 International Business Machines Corporation System and method of using data mining prediction methodology
US6931391B2 (en) 2002-06-21 2005-08-16 Microsoft Corporation Systems and methods for generating prediction queries
US7627555B2 (en) * 2004-06-22 2009-12-01 Microsoft Corporation Combining multidimensional expressions and data mining extensions to mine OLAP cubes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192012A (en) * 1993-12-27 1995-07-28 Nec Corp Multi-stage list data handling device
JPH08221384A (en) * 1995-02-17 1996-08-30 Kao Corp Method and device for predicting sales amount
JPH1011469A (en) * 1996-06-24 1998-01-16 Nec Corp Multistage table processing system
JP2001325582A (en) * 2000-05-17 2001-11-22 Chugoku Electric Power Co Inc:The Learning and predicting device for time-series data
US20110107254A1 (en) * 2009-10-30 2011-05-05 Oracle International Corporation Transforming data tables into multi-dimensional projections with aggregations
JP2015082259A (en) * 2013-10-23 2015-04-27 本田技研工業株式会社 Time series data prediction device, time series data prediction method, and program
JP2017219882A (en) * 2016-06-02 2017-12-14 日本電信電話株式会社 Logical relation recognition device, logical relation recognition method and logical relation recognition program

Also Published As

Publication number Publication date
KR102058124B1 (en) 2019-12-23
JP6997133B2 (en) 2022-01-17

Similar Documents

Publication Publication Date Title
JP2020119487A (en) Deep-learning forecast data reflection system using olap result with pivot table structure
US10579678B2 (en) Dynamic hierarchy generation based on graph data
US9164990B2 (en) Annotating contextual workspaces
CN111971666A (en) Dimension context propagation technology for optimizing SQL query plan
US8583678B2 (en) Graphical exploration of a database
CN103984755A (en) Multidimensional model based oil and gas resource data key system implementation method and system
JP6813634B2 (en) WEB reporting design system for programming event behavior based on graphic interface
US10192330B2 (en) Rendering data visualizations in different analytical applications
US20150331928A1 (en) User-created members positioning for olap databases
Haynes et al. High performance analysis of big spatial data
CN114218309A (en) Data processing method, system and computer equipment
Pynam et al. An extensive study of data analysis tools (rapid miner, weka, r tool, knime, orange)
Ilhan et al. Collaboration in design research: An analysis of co-authorship in 13 design research journals, 2000–2015
Bhaskara et al. Data warehouse implemantation to support batik sales information using MOLAP
Piccialli et al. S-InTime: A social cloud analytical service oriented system
Pospiech et al. A descriptive big data model using grounded theory
Sruthika et al. A study on evolution of data analytics to big data analytics and its research scope
Mishra et al. Challenges in big data application: a review
CN116089490A (en) Data analysis method, device, terminal and storage medium
Nagarajan et al. Big data analytics in cloud computing: effective deployment of data analytics tools
Jha et al. Integrating big data solutions into enterprize architecture: constructing the entire information landscape
Afful et al. Redefining the concept of Big Data A Ghanaian Perspective
Dunlop Beginning Big Data with Power BI and Excel 2013: Big Data Processing and Analysis Using PowerBI in Excel 2013
Dau et al. Formal concept analysis for qualitative data analysis over triple stores
Qi et al. XML-based data mining design and implementation

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211216

R150 Certificate of patent or registration of utility model

Ref document number: 6997133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150