JP2017010376A - Mart-less verification support system and mart-less verification support method - Google Patents
Mart-less verification support system and mart-less verification support method Download PDFInfo
- Publication number
- JP2017010376A JP2017010376A JP2015126699A JP2015126699A JP2017010376A JP 2017010376 A JP2017010376 A JP 2017010376A JP 2015126699 A JP2015126699 A JP 2015126699A JP 2015126699 A JP2015126699 A JP 2015126699A JP 2017010376 A JP2017010376 A JP 2017010376A
- Authority
- JP
- Japan
- Prior art keywords
- data
- mart
- usage
- extraction
- martless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012795 verification Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013461 design Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000013075 data extraction Methods 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 40
- 230000002776 aggregation Effects 0.000 claims description 32
- 238000004220 aggregation Methods 0.000 claims description 32
- 230000009467 reduction Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 17
- 230000010365 information processing Effects 0.000 claims description 7
- 238000012217 deletion Methods 0.000 abstract description 3
- 230000037430 deletion Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、マートレス検証支援システムおよびマートレス検証支援方法に関するものであり、具体的には、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能とする技術に関する。 The present invention relates to a martless verification support system and a martless verification support method. Specifically, when a data martless system is used in a data warehouse, a data mart suitable for reduction is efficiently identified and presented to the user. It relates to the technology to be made possible.
流通、小売業界や金融、証券業界等においては、その業務遂行に伴って高頻度に膨大なデータが発生・蓄積され、いわゆるビッグデータを保有する企業体が多数存在する。こうした企業体が保有するビッグデータは、データウェアハウス（以後、ＤＷＨ）にて集約管理される。またＤＷＨは、例えば部門や業務等の目的別に、ビッグデータからデータを切り出して構成した複数のデータマートから構成されている。 In the distribution, retail industry, finance, securities industry, etc., a large amount of data is frequently generated and accumulated as business operations are performed, and there are many enterprises that hold so-called big data. Big data held by such enterprises is centrally managed by a data warehouse (hereinafter DWH). The DWH is composed of a plurality of data marts configured by cutting out data from big data according to purposes such as departments and business operations.
こうしたデータベースに関連する従来技術としては、例えば、作成済みＥＲモデル図の統合・抽出、処理対象画面・帳票・機能仕様書の追加、削除を効率的且つ正確に行うことを目的とした、ＥＲモデルを用いたデータベース設計システムであって、キー定義データと該キー定義データに対応するデータ項目とを含む複数の情報を、キー定義データと該キーデータに対応するデータ項目とに分類して仮エンティティを作成する仮エンティティ作成手段と、前記仮エンティティに共通するキー定義データを有する仮エンティティが存在する場合には１つのエンティティに集約して、正規化エンティティを作成する正規化エンティティ作成手段と、前記正規化エンティティのエンティティタイプを設定する設定手段と、前記正規化エンティティ作成手段により作成された正規化エンティティと前記情報との対応関係を示す第１のマトリックステーブルを作成する第１のテーブル作成手段と、前記第１のマトリックステーブルと、予め設定されている前記エンティティタイプに基づく正規化エンティティ間の関係とに基づいて、前記情報毎に、該情報に属する前記正規化エンティティ間の関係を示す第２のマトリックステーブルを作成する第２のテーブル作成手段と、前記第２のテーブル作成手段により作成された前記情報毎の第２のマトリックステーブルに基づいて、ＥＲモデル図を作成するＥＲモデル図作成手段と、を有するデータベース設計システム（特許文献１参照）などが提案されている。 Conventional technologies related to such databases include, for example, the ER model for the purpose of efficiently and accurately integrating and extracting created ER model diagrams and adding and deleting screens, forms, and function specifications. A plurality of pieces of information including key definition data and data items corresponding to the key definition data, classified into key definition data and data items corresponding to the key data, and a temporary entity A temporary entity creating means for creating a normalized entity by aggregating into a single entity if there is a temporary entity having key definition data common to the temporary entity; A setting means for setting an entity type of the normalized entity, and the normalized entity creation A first table creating means for creating a first matrix table indicating a correspondence relationship between the normalized entity created by the means and the information; the first matrix table; and a predetermined entity type. Second table creating means for creating, for each piece of information, a second matrix table indicating a relation between the normalized entities belonging to the information, based on the relation between the normalized entities based on the second information; A database design system (see Patent Document 1) having an ER model diagram creating means for creating an ER model diagram based on the second matrix table for each information created by the table creating unit has been proposed. .
一方、市場環境や顧客ニーズの変化を迅速に分析し、その結果を事業戦略に反映させるべく、上述したビッグデータを利活用する動きも顕著になってきた。他方、ＤＷＨで運用される各データマートの作成や修正には、多くの作業工数と時間が必要であり、そうして得られたデータマートとその分析結果の鮮度は良好とはならない。そこでこの点を根本的に解決すべく、新たな高速データアクセス基盤によってＤＷＨを高速で直接分析する、いわゆるデータマートレスの技術が登場している。ところがデータマートレスの技術をＤＷＨに適用する場合、その対象となるＤＷＨが含む数多くのデータマート各間、および各データマートとこれを利用する各アプリケーションとの間の各関係性やデータ処理の性質などを適切に踏まえて、削減すべきデータマートを特定する作業自体が困難で工数も過大となりやすい。 On the other hand, in order to quickly analyze changes in the market environment and customer needs and to reflect the results in business strategies, the above-mentioned movement of utilizing big data has become prominent. On the other hand, the creation and correction of each data mart operated by DWH requires a lot of work man-hours and time, and the freshness of the data mart and the analysis result thus obtained is not good. Therefore, in order to fundamentally solve this point, a so-called data martless technology has been introduced that directly analyzes DWH at high speed using a new high-speed data access infrastructure. However, when data martless technology is applied to DWH, the relationship between each data mart included in the target DWH and between each data mart and each application that uses it, and the nature of data processing Appropriately taking these into account, it is difficult to identify the data mart to be reduced, and man-hours are likely to be excessive.
そこで本発明の目的は、データウェアハウスにおけるデータマートレス化に際し、削減
対象として好適なデータマートを効率的に特定し、ユーザに提示可能とする技術を提供することにある。
Accordingly, an object of the present invention is to provide a technique that enables a data mart suitable for reduction to be efficiently identified and presented to a user when a data martless system is used in a data warehouse.
上記課題を解決する本発明のマートレス検証支援システムは、データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによる前記データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理とを実行する演算装置を含むことを特徴とする。 The martless verification support system of the present invention that solves the above problems is based on the relationship between the data marts indicated by the design information of the data warehouse and the use contents of the data mart by a predetermined application. A process for identifying the load associated with data generation and the degree of data usage from a predetermined application for each data mart, and determining the reduction validity of each data mart according to the identified load and the degree of data usage, It includes an arithmetic unit that executes a process of associating the determination result with the information of the corresponding data mart and outputting it to the display device.
また、本発明のマートレス検証支援方法は、情報処理システムが、データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによる前記データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理と、を実行することを特徴とする。 Also, the martless verification support method of the present invention is such that the information processing system uses each data mart based on the relationship between the data marts indicated by the design information of the data warehouse and the use contents of the data mart by a predetermined application. The process for specifying the load associated with the generation of stored data and the degree of data usage from a predetermined application for each data mart, and the reduction validity of each data mart is determined according to the specified load and the degree of data usage. And a process of outputting the determination result to the display device in association with the information of the corresponding data mart.
本発明によれば、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。 According to the present invention, when data martless is achieved in a data warehouse, a data mart suitable as a reduction target can be efficiently identified and presented to the user.
−−−システム構成−−− --- System configuration ---
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態のマートレス検証支援システム１００を含むネットワーク構成図である。図１に示すマートレス検証支援システム１００は、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能とするコンピュータシステムである。 Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a network configuration diagram including a martless verification support system 100 of the present embodiment. A martless verification support system 100 shown in FIG. 1 is a computer system that can efficiently identify a data mart suitable as a reduction target and present it to a user when data martless is achieved in a data warehouse.
こうしたマートレス検証支援システム１００は、例えばサーバ装置により構成する。サ
ーバ装置であるマートレス検証支援システム１００は、ネットワーク１０を介してユーザ端末２００と接続され、互いにデータ通信可能である。一方、ユーザ端末２００は、ＤＷＨのマートレス化を予定するユーザが操作するＰＣである。このユーザ端末２００が、マートレス化対象とするＤＷＨの設計情報など、本実施形態におけるマートレス検証の処理に必要となる各種情報を、マートレス検証支援システム１００に予め提供するものとする。またユーザ端末２００は、マートレス検証支援システム１００による処理結果を受信し、ディスプレイ等でユーザ向けに表示する。
−−−ハードウェア構成−−−
Such a martless verification support system 100 is configured by a server device, for example. The martless verification support system 100 which is a server device is connected to the user terminal 200 via the network 10 and can perform data communication with each other. On the other hand, the user terminal 200 is a PC operated by a user who plans to make the DWH martless. It is assumed that the user terminal 200 provides the martless verification support system 100 in advance with various information necessary for the martless verification process in the present embodiment, such as design information of the DWH to be martless. Further, the user terminal 200 receives the processing result by the martless verification support system 100 and displays it for the user on a display or the like.
--- Hardware configuration ---
本実施形態におけるマートレス検証支援システム１００のハードウェア構成は以下の如くとなる。図２は本実施形態におけるマートレス検証支援システム１００のハードウェア構成例を示す図である。マートレス検証支援システム１００は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置１０１、ＲＡＭなど揮発性記憶素子で構成されるメモリ１０３、記憶装置１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵなどの演算装置１０４、ユーザからのキー入力や音声入力を受け付ける入力装置１０５、処理データの表示を行うディスプレイ等の出力装置１０６、ネットワークと接続しユーザ端末２００との通信処理を担う通信装置１０７、を備える。 The hardware configuration of the martless verification support system 100 in the present embodiment is as follows. FIG. 2 is a diagram illustrating a hardware configuration example of the martless verification support system 100 according to the present embodiment. The martless verification support system 100 is held in a storage device 101 composed of an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive, a memory 103 composed of a volatile storage element such as a RAM, and the storage device 101. The computer 102 is read out to the memory 103 and executed to perform overall control of the device itself and perform various determinations, computations and control processes, and the like. The input device 105 accepts key input and voice input from the user. An output device 106 such as a display that displays processing data, and a communication device 107 that is connected to a network and performs communication processing with the user terminal 200.
なお、図１で例示したように、ユーザ端末２００がユーザとの間での入出力処理を担う構成であれば、マートレス検証支援システム１００において入力装置１０５および表示装置１０６を備えないとしてもよい。他方、ユーザとの間の入出力処理を担うユーザ端末２００が存在せず、マートレス検証支援システム１００がスタンドアロンのコンピュータとして存在する場合、通信装置１０７は不要となる。 As illustrated in FIG. 1, the martless verification support system 100 may not include the input device 105 and the display device 106 as long as the user terminal 200 is configured to perform input / output processing with the user. On the other hand, when the user terminal 200 responsible for input / output processing with the user does not exist and the martless verification support system 100 exists as a stand-alone computer, the communication device 107 is not necessary.
また、記憶装置１０１内には、本実施形態のマートレス検証支援システムとして必要な機能を実装する為のプログラム１０２の他、設計情報１２５、テーブル条件パターン１２６、アプリ条件パターン１２７、および妥当性基準テーブル１２８の各テーブルが少なくとも記憶されている。これら各テーブルの具体的なデータ構成については後述する。
−−−機能例−−−
Further, in the storage device 101, in addition to the program 102 for implementing functions necessary as the martless verification support system of the present embodiment, design information 125, table condition pattern 126, application condition pattern 127, and validity criterion table At least 128 tables are stored. Specific data structures of these tables will be described later.
--- Functional example ---
続いて、本実施形態のマートレス検証支援システム１００が備える機能について説明する。上述したように、以下に説明する機能は、例えばマートレス検証支援システム１００が備えるプログラム１０２を実行することで実装される機能と言える。 Next, functions provided in the martless verification support system 100 of this embodiment will be described. As described above, it can be said that the functions described below are implemented by executing the program 102 included in the martless verification support system 100, for example.
本実施形態におけるマートレス検証支援システム１００は、マートレス化対象のＤＷＨに関する設計情報１２５を記憶装置１０１から読み出し、当該設計情報１２５が示す各データマートの間の関係性と、データマートを利用して所定の業務処理を実行する各アプリケーションによる該当データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する機能を備えている。 The martless verification support system 100 according to the present embodiment reads design information 125 related to the DWH to be martlessd from the storage device 101, and uses the data mart to determine the relationship between the data marts indicated by the design information 125. Based on the usage contents of the corresponding data mart by each application that executes the business process, the function to specify the load associated with the stored data generation of each data mart and the degree of data usage from the predetermined application for each data mart Yes.
なお、上述の設計情報１２５は、ユーザ端末２００から予め取得して記憶装置１０１に格納しているものとする。この設計情報１２５には、データベース類の設計情報として一般的な、ＥＲ図、ＣＲＵＤ図、データ項目辞書、データフロー図といった各種情報が含まれている。これら設計情報１２５においては、対象となるＤＷＨが含むデータマート各間での共通値を介した接続関係や、データマート各間の生成関係、データマートの格納値生成の処理に用いるＳＱＬコマンドのリストが少なくとも記述されているものとする。 It is assumed that the design information 125 described above is acquired in advance from the user terminal 200 and stored in the storage device 101. The design information 125 includes various types of information such as ER diagrams, CRUD diagrams, data item dictionaries, and data flow diagrams, which are general as database design information. In the design information 125, a list of SQL commands used for processing of connection relations among the data marts included in the target DWH, generation relations between the data marts, and data mart stored value generation. Is at least described.
上述の負荷とデータ利用程度を特定する機能について、より具体的に説明する。この場合、マートレス検証支援システム１００は、上述の設計情報１２５が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、後述するテーブル条件パターン１２６（第１のテーブル）を照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定する。 The function for specifying the above-described load and data usage will be described more specifically. In this case, the martless verification support system 100 uses a table condition pattern 126 (first to be described later) for a data mart set in which a data extraction relationship is defined in the relationship between the data marts indicated by the design information 125 described above. And the load level corresponding to at least one of the data editing contents, the extraction condition, and the necessity of aggregation is specified as the load associated with the generation of the stored data of the data mart on the data extraction side.
また、マートレス検証支援システム１００は、上述の設計情報１２５が示す、データマートに対してデータ利用を行う各アプリケーションに関して、後述するアプリ条件パターン１２７（第２のテーブル）を照合し、各アプリケーションに関するデータ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定する。 In addition, the martless verification support system 100 collates an application condition pattern 127 (second table), which will be described later, with respect to each application that uses data for the data mart indicated by the design information 125 described above, and data about each application. As the degree of use, the data usage level is determined according to at least one of the following conditions: the number of data marts for which the application is to extract usage data, the data extraction range in the data mart, and the presence / absence of aggregation processing of the extracted data Identify.
また、本実施形態のマートレス検証支援システム１００は、上述のように特定した負荷およびデータ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて、ユーザ端末２００または表示装置１０６に出力する機能を備えている。 In addition, the martless verification support system 100 according to the present embodiment determines the reduction validity of each data mart according to the load and the data usage specified as described above, and associates the determination result with the information of the corresponding data mart. And a function of outputting to the user terminal 200 or the display device 106.
マートレス検証支援システム１００は、この判定結果の出力処理に際し、設計情報１２５が示す各データマートに対応した描画オブジェクト（記憶装置１０１に該当データを予め保持）を、画面上に配置し、各描画オブジェクトの間を、データマート間の関係性（設計情報１２５が示すもの）に基づいて所定の線分オブジェクト（記憶装置１０１に該当データを予め保持）で接続し、各描画オブジェクトに対し、該当データマートに関する負荷およびデータ利用程度の高さに応じた所定の表示形態（例：表示色による強調表示等）を判定結果として設定して画面データを生成し、当該画面データをユーザ端末２００または表示装置１０６に出力する。
−−−データ構造例−−−
The martless verification support system 100 arranges drawing objects corresponding to each data mart indicated by the design information 125 (previously holding the corresponding data in the storage device 101) on the screen, and outputs each determination object. Are connected to each other by a predetermined line segment object (corresponding data is stored in the storage device 101 in advance) based on the relationship between the data marts (indicated by the design information 125). Screen data is generated by setting a predetermined display form (for example, highlighting by display color, etc.) according to the load and the degree of data utilization as a determination result, and the screen data is generated as the user terminal 200 or the display device 106. Output to.
--- Data structure example ---
次に、本実施形態のマートレス検証支援システム１００が用いるテーブルにおけるデータ構造例について説明する。図３は本実施形態の設計情報１２５のデータ構成例を示す図である。本実施形態における設計情報１２５は、テーブル構造であるデータマートの各間の関連を示すＥＲ図、ＥＲ図の各データマートにおけるデータ（エンティティ）が、どの機能で作成（ｃｒｅａｔｅ）、参照（ｒｅｅｄ）、更新（ｕｐｄａｔｅ）、削除（ｄｅｌｅｔｅ）されるかをマトリクス形式で表現したＣＲＵＤ図、ＤＷＨにおける各データ項目を定義したデータ項目辞書、データマート間でのデータの流れを示すデータフロー図、データマートの格納値生成の処理に用いるＳＱＬコマンドのリスト、といった各種の設計情報を、例えばファイル形式で含むものである。よって、図３で例示する設計情報１２５において、設計情報の種類ごとに該当ファイルを格納した構造となっている。いずれにしても、設計情報１２５は、従来から存在する設計情報と同様の構成となっている。 Next, an example of a data structure in a table used by the martless verification support system 100 of this embodiment will be described. FIG. 3 is a diagram illustrating a data configuration example of the design information 125 according to the present embodiment. The design information 125 according to the present embodiment includes an ER diagram indicating a relationship between data marts having a table structure, and data (entities) in each data mart of the ER diagram are created (created) and referenced (reed). A CRUD diagram representing in matrix form whether the data is updated or deleted, a data item dictionary defining each data item in the DWH, a data flow diagram showing the flow of data between data marts, and a data mart Various kinds of design information such as a list of SQL commands used for the stored value generation process are included in a file format, for example. Therefore, the design information 125 illustrated in FIG. 3 has a structure in which a corresponding file is stored for each type of design information. In any case, the design information 125 has the same configuration as the existing design information.
図４は本実施形態のテーブル条件パターン１２６のデータ構成例を示す図である。図４で例示するテーブル条件パターン１２６（第１のテーブル）は、設計情報１２５のＥＲ図、ＣＲＵＤ図等でデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否に応じた負荷レベルを分類したテーブルである。 FIG. 4 is a diagram illustrating a data configuration example of the table condition pattern 126 according to the present embodiment. The table condition pattern 126 (first table) illustrated in FIG. 4 is data stored on the data mart on the data extraction side between data marts whose data extraction relationship is defined in the ER diagram, CRUD diagram, etc. of the design information 125. Is a table in which load levels are classified according to data edit contents, extraction conditions, and necessity of aggregation when data is extracted from the data mart on the data extraction side.
上述の負荷レベルとしては、該当データマートを削除して、そのデータマートのデータ源となっている他のデータマート等に対する直接検索を実行する構成とした場合のＳＱＬ
処理の時間長に応じたものを想定出来る。すなわち、マートレス化後におけるＳＱＬ処理時間がマートレス化前より増大する場合、負荷レベルは他のケースより高い値となる。換言すれば、該当マートレスがＳＱＬ処理の高速化に大きく貢献していることを示しており、削減対象としての妥当性は低いと言える。一方、マートレス化後におけるＳＱＬ処理時間がマートレス化前とほぼ変化しないか現象する場合、負荷レベルは他のケースより低い値となる。換言すれば、該当マートレスがＳＱＬ処理の高速化に貢献していないことを示しており、削減対象としての妥当性は高いと言える。
As the above load level, the SQL in the case where the corresponding data mart is deleted and a direct search is performed for another data mart that is the data source of the data mart is executed.
The thing according to the processing time length can be assumed. That is, when the SQL processing time after the martless is increased as compared to before the martless, the load level is higher than that in the other cases. In other words, it indicates that the corresponding martless greatly contributes to speeding up the SQL processing, and it can be said that the validity as a reduction target is low. On the other hand, when the SQL processing time after martless change is almost the same as before the martless change or the phenomenon occurs, the load level is lower than the other cases. In other words, it indicates that the corresponding martless has not contributed to speeding up the SQL process, and it can be said that the relevance as a reduction target is high.
こうしたテーブル条件パターン１２６は、図４にて示すように、データマートに対するＳＱＬ処理の分類条件である、取得項目編集条件、特殊抽出条件、および集約要否と、これら分類条件に応じた負荷レベルとを対応付けた構成となっている。このうち、取得項目編集条件は、マートレス後に該当項目のデータを他のデータマート等から取得し編集する内容に応じて、ＳＱＬの処理負荷を規定した値である。この値が「大」の場合、編集内容として、［ｇｒｏｕｐ ｂｙ］，［ＥＸＩＳＴＳ］，［ＤＩＳＴＩＮＣＴ］などの集約関数、文字の編集、計算後の四捨五入、といった高負荷の処理が含まれるものに対応する。また「中」の場合、編集内容として、計算処理のみ、或いはＣａｓｅ文と計算処理の組み合わせ、といった中負荷の処理が含まれるものに対応する。また「小」の場合、編集なし、もしくは条件分岐（Ｃａｓｅ文）のみ、といった低負荷の処理が含まれるものに対応する。 As shown in FIG. 4, the table condition pattern 126 includes SQL item classification conditions for the data mart, that is, acquisition item editing conditions, special extraction conditions, and necessity of aggregation, and load levels corresponding to these classification conditions. Are associated with each other. Among these, the acquisition item editing condition is a value that defines the SQL processing load according to the content of acquiring and editing the data of the corresponding item from another data mart after the martless. When this value is “Large”, it corresponds to editing contents that include high load processing such as [group by], [EXISTS], [DISTINCT] and other aggregate functions, character editing, and rounding after calculation. To do. Further, in the case of “medium”, the editing contents correspond to those including medium-load processing such as only calculation processing or a combination of a Case statement and calculation processing. In the case of “small”, it corresponds to a case in which low load processing such as no editing or only conditional branching (Case statement) is included.
また、上述の分類条件のうち、特殊抽出条件は、マートレス後に該当項目のデータを他のデータマートから取得する場合の抽出条件の有無を規定した値である。ここで想定する抽出条件の例としては、ＮＯＴ条件（＜＞！＝）、ＢＥＴＷＥＥＮ条件、大小比較（不等号）、ＩＮ句（複数条件）、副問合せ、といった各条件である。こうした抽出条件がある場合、マートレス化後による負荷は抽出条件無しのケースより高くなる。 Of the above-described classification conditions, the special extraction condition is a value that defines the presence or absence of the extraction condition when data of the corresponding item is acquired from another data mart after martless. Examples of the extraction condition assumed here are various conditions such as a NOT condition (<>! =), A BETWEEN condition, a magnitude comparison (inequality sign), an IN clause (multiple conditions), and a subquery. When such extraction conditions are present, the load due to martlessness is higher than in the case without extraction conditions.
また、上述の分類条件のうち、集約有無は、マートレス後に該当項目のデータを他のデータマート等から取得する場合にテーブル集約の要否を規定した値である。こうしたテーブル集約が必要である場合、マートレス化後による負荷はテーブル集約不要のケースより高くなる。 In addition, among the above-described classification conditions, the presence / absence of aggregation is a value that defines whether or not table aggregation is necessary when data of a corresponding item is acquired from another data mart after martless. When such table aggregation is necessary, the load after martlessness becomes higher than the case where table aggregation is unnecessary.
図５は本実施形態のアプリ条件パターン１２７のデータ構成例を示す図である。図５に例示するアプリ条件パターン１２７（第２のテーブル）は、各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類したテーブルである。 FIG. 5 is a diagram illustrating a data configuration example of the application condition pattern 127 according to the present embodiment. The application condition pattern 127 (second table) illustrated in FIG. 5 includes the number of data marts from which each application is to extract usage data, the data extraction range in the corresponding data mart, and the presence / absence of aggregation processing of extracted data. It is the table which classified the data use level with respect to the data mart by each application according to these conditions.
図５で例示するアプリ条件パターン１２７では、検索対象（各アプリケーションが利用データの抽出対象とするデータマートの数）の値として、「単一」、「複数」のいずれかを規定している。データ抽出対象のデータマートが複数である場合、マートレス化後による負荷は単数のケースより高くなる。 In the application condition pattern 127 illustrated in FIG. 5, “single” or “plurality” is defined as the value of the search target (the number of data marts from which each application is the extraction target of usage data). When there are a plurality of data marts from which data is to be extracted, the load after the martless operation is higher than that of a single case.
また、アプリ条件パターン１２７では、抽出範囲の値として、「全件」、「部分抽出（条件指定での抽出）」のいずれかを規定している。データ抽出範囲が「部分抽出」である場合、条件判定等を伴うためマートレス化後による負荷は「全件」のケースより高くなる。 The application condition pattern 127 defines either “all cases” or “partial extraction (extraction by condition designation)” as the value of the extraction range. When the data extraction range is “partial extraction”, the load after martless is higher than the case of “all cases” because it involves condition determination.
また、アプリ条件パターン１２７では、データの集計処理の有無の値として、「あり」、「なし」のいずれかを規定している。データ抽出後に集計処理が必要である（つまり、集計有無が「あり」の場合）、その集計有無を伴うためマートレス化後による負荷は「な
し」のケースより高くなる。
Further, the application condition pattern 127 defines either “Yes” or “No” as the value of presence / absence of the data aggregation processing. Aggregation processing is required after data extraction (that is, when aggregation is “Yes”), and with the presence of aggregation, the load after martless is higher than the case of “None”.
なお、本実施形態の妥当性基準テーブル１２８に関しては後述するものとする。
−−−処理手順例−−−
The validity criterion table 128 of this embodiment will be described later.
--- Processing procedure example ---
以下、本実施形態におけるマートレス検証支援方法の実際手順について図に基づき説明する。以下で説明するマートレス検証支援方法に対応する各種動作は、マートレス検証支援システム１００がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。 Hereinafter, an actual procedure of the martless verification support method in the present embodiment will be described with reference to the drawings. Various operations corresponding to the martless verification support method described below are realized by a program that the martless verification support system 100 reads into a memory or the like and executes. And this program is comprised from the code | cord | chord for performing the various operation | movement demonstrated below.
図６は、本実施形態におけるマートレス検証支援方法の処理手順例を示すフロー図である。まず、マートレス検証支援システム１００は、マートレス化対象のＤＷＨに関する設計情報１２５を記憶装置１０１から読み出す（ｓ１００）。 FIG. 6 is a flowchart showing an example of a processing procedure of the martless verification support method in the present embodiment. First, the martless verification support system 100 reads the design information 125 related to the martless target DWH from the storage device 101 (s100).
次にマートレス検証支援システム１００は、上述のステップｓ１００で得た設計情報１２５が示す各データマートの間の関係性において、データ抽出関係が規定されている各データマートの組を特定し、テーブル関連図を生成する（ｓ１０１）。図７に本実施形態におけるテーブル関連図５の構成例を示す。 Next, the martless verification support system 100 identifies each data mart set in which the data extraction relationship is defined in the relationship between the data marts indicated by the design information 125 obtained in step s100 described above, and relates to the table. A diagram is generated (s101). FIG. 7 shows a configuration example of the table related FIG. 5 in the present embodiment.
テーブル関連図５は、各データマート１の描画オブジェクト間を、そのデータ抽出関係に応じて線分オブジェクト２でリンクさせた図である。マートレス検証支援システム１００は、このテーブル関連図５を、ユーザ端末２００または表示装置１０６に出力するとしてもよい。こうしたテーブル関連図５で示されるＤＷＨの構造については、図８に例示するＤＷＨテーブル構造概念図６としても示すことができる。このＤＷＨテーブル構造概念図６では、該当ＤＷＨが、０層、１層、２層の各テーブルで階層構造を成していることを示している。このうち０層は、ＩＦ（インターフェイス）を介して得たデータを直接ロードさせるテーブルである。また、１層は、０層のテーブルにロードしたデータについて、コードの変換、不要カラムの削除といった前処理を施して格納したテーブルである。また、２層は、１層のテーブルからデータを抽出して生成する「中間」、上述の１層および中間の各テーブルのデータを統合した「集約」、この「集約」からデータを抽出して生成する「中間」、上述の「集約」および中間の各テーブルのデータを抽出して生成する「分割」、および「分割」からデータを抽出して生成する「ＶＩＥＷ」の各テーブル（データマート）から構成される。なお、「分割」テーブル（データマート）はアプリ毎に参照用に作成されているデータマートである。 The table relation FIG. 5 is a diagram in which the drawing objects of each data mart 1 are linked by the line segment object 2 according to the data extraction relationship. The martless verification support system 100 may output this table relation diagram 5 to the user terminal 200 or the display device 106. The table related DWH structure shown in FIG. 5 can also be shown as a DWH table structure conceptual diagram 6 illustrated in FIG. This DWH table structure conceptual diagram 6 shows that the corresponding DWH has a hierarchical structure with the 0-layer, 1-layer, and 2-layer tables. Of these, the 0th layer is a table for directly loading data obtained via the IF (interface). The first layer is a table in which data loaded in the zero-layer table is subjected to preprocessing such as code conversion and unnecessary column deletion and is stored. In addition, the second layer extracts “data” from the “intermediate” generated by extracting data from the table of the first layer, “aggregation” that integrates the data of the above-described first layer and each intermediate table, and this “aggregation”. Each table (data mart) of “intermediate” to be generated, “divided” generated by extracting the data of the above-mentioned “aggregation” and intermediate tables, and “VIEW” generated by extracting data from “divided” Consists of The “divided” table (data mart) is a data mart created for reference for each application.
続いてマートレス検証支援システム１００は、上述のステップｓ１０１で特定したデータマートの組のうち、データ抽出側のデータマートの格納データ生成に伴うＳＱＬコマンドを、設計情報１２５のＳＱＬコマンドリストから特定する（ｓ１０２）。ここで特定したＳＱＬコマンドの例を図９に示す。図９は本実施形態におけるＳＱＬテーブル７の構成例を示す図である。 Subsequently, the martless verification support system 100 specifies, from the SQL command list of the design information 125, the SQL command associated with the generation of the stored data of the data mart on the data extraction side, out of the data mart group specified in step s101 described above ( s102). An example of the specified SQL command is shown in FIG. FIG. 9 is a diagram showing a configuration example of the SQL table 7 in the present embodiment.
例えば上述のステップｓ１０１で特定した或るデータマートの組が、データ抽出側のデータマートは上述の「０層」、被データ抽出側のデータマートは「ＩＦ」であり、データ抽出側のデータマートを利用対象とする業務処理が「ＡＢＣ００１０」であったとする。その場合、マートレス検証支援システム１００は、このデータマートの組に関する情報を、設計情報１２５に照合し、図９のＳＱＬテーブル７における「＃１」レコードの情報を、ＳＱＬコマンドとして特定する。なお、説明の簡便化のため、ここでは業務処理「ＡＢＣ００１０」に関するＳＱＬコマンドに関しては、シーケンス「１」のものだけを示している。 For example, in the data mart group specified in step s101 described above, the data mart on the data extraction side is “0 layer”, the data mart on the data extraction side is “IF”, and the data mart on the data extraction side is Suppose that the business process targeted for use is “ABC0010”. In that case, the martless verification support system 100 collates the information on the data mart set with the design information 125, and specifies the information of the “# 1” record in the SQL table 7 of FIG. 9 as the SQL command. For simplification of explanation, only the command of sequence “1” is shown here for the SQL command related to the business process “ABC0010”.
この図９で例示するように、当該ステップｓ１０２で特定されるＳＱＬコマンドに関する情報は、「分類」、「処理ＩＤ」、「ＳＥＱ」、「ＳＱＬタイプ」、「入力」、「条件」、および「出力」の各値を含むものとする。このうち「分類」は、ＤＷＨにおける各層のうちどの層間でのデータ抽出がなされるかを示す値となる。また、「処理ＩＤ」は、データ抽出側のデータマートを利用対象とする業務処理のＩＤとなる。また、「ＳＥＱ」は、該当業務処理に関するＳＱＬ処理の順序を示すものとなる。また、「ＳＱＬタイプ」は、当該ＳＱＬコマンドのタイプを示すものとなる。また、「入力」は、当該ＳＱＬコマンドがデータ抽出の対象とする被データ抽出側のデータマート名称、形式に関する情報となる。また、「条件」は、当該ＳＱＬコマンドが示す実行条件を示すものとなる。また、「出力」は、当該ＳＱＬコマンド実行により生成し、データマートの格納データとして出力するファイル名称と形式を示すものとなる。 As illustrated in FIG. 9, the information related to the SQL command specified in step s102 includes “classification”, “processing ID”, “SEQ”, “SQL type”, “input”, “condition”, and “ Each value of “output” shall be included. Among these, “classification” is a value indicating which of the layers in the DWH the data extraction is performed. Further, the “processing ID” is an ID of a business process that uses the data mart on the data extraction side as a usage target. “SEQ” indicates the order of the SQL processing related to the corresponding business processing. The “SQL type” indicates the type of the SQL command. The “input” is information on the data mart name and format on the data extraction side that is the data extraction target of the SQL command. “Condition” indicates an execution condition indicated by the SQL command. “Output” indicates a file name and a format generated by executing the SQL command and output as data mart storage data.
次にマートレス検証支援システム１００は、上述のステップｓ１０２で特定したＳＱＬコマンドの情報を、テーブル条件パターン１２６に照合し（ｓ１０３）、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の条件に応じた負荷レベルを特定する（ｓ１０４）。 Next, the martless verification support system 100 collates the information of the SQL command specified in step s102 described above with the table condition pattern 126 (s103), and loads the data as the load associated with the generation of stored data of the data mart on the data extraction side. The load level corresponding to the editing content, the extraction condition, and the condition of whether or not to consolidate is specified (s104).
この場合、マートレス検証支援システム１００は、図９で例示したＳＱＬコマンドにおける「ＳＱＬタイプ」、「条件」の含む各値を、テーブル条件パターン１２６に照合し、例えば、取得項目編集条件「大」、特殊抽出条件「有」、集約「有」と特定して、その場合の負荷レベルを「２０」、などと特定する。 In this case, the martless verification support system 100 collates each value including “SQL type” and “condition” in the SQL command illustrated in FIG. 9 with the table condition pattern 126, for example, the acquisition item editing condition “large”, The special extraction condition “existing” and the aggregation “existing” are specified, and the load level in that case is specified as “20”.
続いてマートレス検証支援システム１００は、上述の設計情報１２５に基づき得ている上述のＳＱＬテーブル７（図９）を参照し、アプリケーションがデータ利用の対象とする各データマートの数、データ抽出範囲、集計処理の各値を取得する（ｓ１０５）。例えば、ＳＱＬテーブル７のうち、「ＳＱＬタイプ」が「ＩＮＳＥＲＴ」のレコードで、「結合条件」に複数のマスタ等が規定されているものから、そのマスタの数を「抽出対象とするデータマートの数」として取得する。また、上述の「結合条件」にてマスタ間で規定された結合対象すなわち抽出対象のデータの指定がある場合に「データ抽出範囲」が「有」と特定する。また、上述の「結合条件」にて「集約列」に値が設定されている場合、「集計処理」が「有」などと特定する。 Subsequently, the martless verification support system 100 refers to the above-described SQL table 7 (FIG. 9) obtained based on the above-described design information 125, and the number of data marts, data extraction ranges, Each value of the tabulation process is acquired (s105). For example, in the SQL table 7, a record whose “SQL type” is “INSERT” and a plurality of masters are specified in the “join condition”, the number of masters is set to “data mart to be extracted”. Get as "number". In addition, when there is designation of data to be merged, that is, data to be extracted, defined between masters in the above-mentioned “joining condition”, the “data extraction range” is specified as “present”. Further, when a value is set in the “aggregation column” in the above “joining condition”, the “aggregation process” is specified as “present” or the like.
次にマートレス検証支援システム１００は、上述のステップｓ１０５で得た、データマートの数、データ抽出範囲、および集計処理の各値を、アプリ条件パターン１２７に照合し（ｓ１０６）、各アプリケーションに関するデータ利用程度を特定する（ｓ１０７）。例えば、「データマートの数」が「１」で「検索対象」は「単一」、「データ抽出範囲」は「全件」、「集計処理」は「あり」であった場合、利用程度を「３」、などと特定する。 Next, the martless verification support system 100 collates each value of the number of data marts, the data extraction range, and the aggregation processing obtained in step s105 with the application condition pattern 127 (s106), and uses data regarding each application. The degree is specified (s107). For example, if “Number of data marts” is “1”, “Search target” is “Single”, “Data extraction range” is “All cases”, and “Totalization processing” is “Yes”, “3” is specified.
続いてマートレス検証支援システム１００は、上述のステップｓ１０４、ｓ１０７で特定した負荷レベルおよびデータ利用程度の各値を乗算し、その乗算値を所定基準値と比較することで、各データマートの削減妥当性を判定する（ｓ１０８）。 Subsequently, the martless verification support system 100 multiplies each value of the load level and the data use degree specified in the above steps s104 and s107, and compares the multiplied value with a predetermined reference value, so that each data mart can be appropriately reduced. Sex is determined (s108).
マートレス検証支援システム１００は、例えば、或るデータマートに関して、負荷レベル「２」およびデータ利用程度「１」の各値が得られたと場合、これらの乗算値ｒとして「２」を算定する。マートレス検証支援システム１００は、この乗算値ｒを記憶装置１０１の妥当性基準テーブル１２８に照合し、該当データマートの削減妥当性について判定する。妥当性基準テーブル１２８は、図１２にて示すように、乗算値の範囲に応じたデータマート削減妥当性について規定したテーブルとなる。図１０の例では、１００≧ｒの場合
に削減妥当性は「無」、５０＜ｒ＜１００の場合に削減妥当性は「低」、２０＜ｒ≦５０の場合に削減妥当性は「検討要」、１０＜ｒ≦２０の場合に削減妥当性は「中」ｒ≦１０の場合に削減妥当性は「強」、と削減妥当性が規定されている。上述の乗算値「２」の場合、マートレス検証支援システム１００は、該当データマートの削減妥当性について、「強」と判定することになる。
For example, when each value of the load level “2” and the data utilization level “1” is obtained for a certain data mart, the martless verification support system 100 calculates “2” as the multiplication value r thereof. The martless verification support system 100 checks the multiplication value r against the validity criterion table 128 of the storage device 101 and determines the reduction validity of the corresponding data mart. As shown in FIG. 12, the validity criterion table 128 is a table that prescribes the validity of data mart reduction corresponding to the range of multiplication values. In the example of FIG. 10, the reduction validity is “None” when 100 ≧ r, the reduction validity is “Low” when 50 <r <100, and the reduction validity is “Study” when 20 <r ≦ 50. The reduction validity is defined as “required” when 10 <r ≦ 20, and the reduction validity is “strong” when “medium” r ≦ 10. In the case of the multiplication value “2” described above, the martless verification support system 100 determines that the reduction validity of the data mart is “strong”.
続いてマートレス検証支援システム１００は、上述のステップｓ１０８で得た削減妥当性に関する判定結果を、該当データマートの情報に対応付けて、ユーザ端末２００または表示装置１０６に出力し（ｓ１０９）、処理を終了する。この場合、マートレス検証支援システム１００は、ステップｓ１０１にて既に生成してあるテーブル関連図が含む各描画オブジェクトに対し、該当データマートに関して判定した削減妥当性に応じた所定の表示形態（例：表示色による強調表示等）を判定結果として設定して画面データを生成し、これをユーザ端末２００または表示装置１０６に出力する。 Subsequently, the martless verification support system 100 outputs the determination result relating to the reduction validity obtained in step s108 described above to the user terminal 200 or the display device 106 in association with the data mart information (s109), and performs the processing. finish. In this case, the martless verification support system 100 displays a predetermined display form (eg, display) corresponding to the reduction validity determined for the corresponding data mart for each drawing object included in the table-related diagram already generated in step s101. Color highlighting etc.) is set as a determination result to generate screen data, which is output to the user terminal 200 or the display device 106.
本実施形態における判定結果に対応したテーブル関連図の表示例を図１１にて示す。図１１は本実施形態における画面例１を示す図である。図１１で例示するテーブル関連図の表示画面５０では、描画オブジェクト５１〜５４に関してグレーの濃淡をつけて着色された表示形態を示している。つまり、この描画オブジェクト５１〜５４に対応したデータマートは、上述のステップｓ１０８での妥当性に関する判定にて、削減妥当性を有する結果が得られたものとなる。例えば、グレーの濃淡のうち淡い色調の描画オブジェクト５１〜５３については、削減妥当性「中」と判定されたデータマートに対応し、グレーの濃淡のうち濃い色調の描画オブジェクト５４については、削減妥当性「強」と判定されたデータマートに対応している。これらデータマートは、削減つまりマートレスとしても、そのデータ源となっている集約テーブル等に対する直接検索を行ってもＳＱＬ処理のパフォーマンス低下は許容出来るもの、と判定されたことになる。ユーザはこの表示画面５０をユーザ端末２００等で閲覧し、ＤＷＨにおいて削減対象として妥当なデータマートについて確認し、マートレス化の実効性や効果について容易に検証することが出来る。 A display example of the table relation diagram corresponding to the determination result in the present embodiment is shown in FIG. FIG. 11 is a diagram showing a screen example 1 in the present embodiment. The table-related diagram display screen 50 illustrated in FIG. 11 shows a display form in which the drawing objects 51 to 54 are colored with shades of gray. That is, for the data mart corresponding to the drawing objects 51 to 54, a result having reduction validity is obtained in the determination regarding validity in step s108 described above. For example, the drawing objects 51 to 53 with light tones in gray shades correspond to the data mart determined to be “moderate” for reduction, and the drawing objects 54 with dark tones in gray shades are appropriate for reduction. Corresponds to a data mart determined to be “strong”. Even if these data marts are reduced, that is, martless, even if a direct search is performed on the aggregate table or the like that is the data source, it is determined that the performance degradation of the SQL processing is acceptable. The user can browse the display screen 50 with the user terminal 200 or the like, check a data mart that is appropriate as a reduction target in the DWH, and easily verify the effectiveness and effect of the martless operation.
以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。 Although the best mode for carrying out the present invention has been specifically described above, the present invention is not limited to this, and various modifications can be made without departing from the scope of the invention.
こうした本実施形態によれば、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。 According to the present embodiment, when data martless is achieved in the data warehouse, a data mart suitable as a reduction target can be efficiently identified and presented to the user.
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち本実施形態のマートレス検証支援システムにおいて、前記演算装置は、前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力するものである、としてもよい。 At least the following will be clarified by the description of the present specification. That is, in the martless verification support system of the present embodiment, in the process of outputting the determination result to a display device, the arithmetic device arranges drawing objects corresponding to the data marts on the screen, and between the drawing objects. Based on the relationship, a predetermined line object is connected, and for each drawing object, a predetermined display form corresponding to the load related to the data mart and the height of the data usage is set as the determination result Then, screen data may be generated and the screen data may be output to a display device.
これによれば、データウェアハウスのデータマートレス化について検討・実行するユーザに対し、削除すべきデータマートとして、データマート削除後に該当データマートと同様のデータをＤＷＨにおける集約データや他のデータマートなどから取得する際の処理負荷、より具体的にはＳＱＬの処理速度が所定の基準以上であるものについて、情報を提示することが可能となる。つまりデータマート削除後にＤＷＨに対する直接分析を行うとした場合に、処理速度の点でボトルネックにならないデータマートを削除候補としてユーザに提示することとなる。ひいては、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。 As a data mart to be deleted / removed for a user who examines / executes the data warehousing of the data warehouse, the same data as the corresponding data mart is deleted from the data mart after the data mart is deleted. It is possible to present information about the processing load at the time of acquisition from, for example, the processing speed of the SQL is more than a predetermined standard. In other words, when a direct analysis is performed on the DWH after deleting the data mart, a data mart that does not become a bottleneck in terms of processing speed is presented to the user as a deletion candidate. As a result, when data martless is achieved in a data warehouse, a data mart suitable as a reduction target can be efficiently identified and presented to the user.
また、本実施形態のマートレス検証支援システムにおいて、前記関係性においてデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを分類した第１のテーブルと、各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第２のテーブルと、を格納した記憶装置を更に備え、前記演算装置は、前記負荷と前記データ利用程度を特定する処理に際し、前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第１のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第２のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定するものである、としてもよい。 In the martless verification support system of the present embodiment, data extraction from the data mart on the data extraction side is performed as data stored in the data mart on the data extraction side between the data marts in which the data extraction relationship is defined in the relationship. The first table that classifies the load level according to at least one of the data editing contents, the extraction conditions, and the necessity of aggregation, and the number of data marts from which each application extracts the usage data And a second table that classifies the data usage level for the data mart by each application according to at least one of the conditions of the data extraction range of the corresponding data mart and whether or not the extracted data is aggregated A storage device; and the computing device includes the load and the device. In the process of specifying the degree of data usage, the first table is collated with respect to the data mart group in which the data extraction relationship is defined in the relationship between the data marts indicated by the design information of the data warehouse. The load level corresponding to at least one of the data editing contents, the extraction condition, and the necessity of aggregation is specified as the load associated with the generation of stored data in the data mart on the data extraction side, and the design information of the data warehouse For each application that uses data with respect to the data mart, the second table is collated, and the number of data marts for which the application is to extract usage data, as the degree of data usage for each application, Data extraction range in the data mart, and aggregation process of extracted data The presence or absence is to specify the data usage level corresponding to at least one of conditions may be.
これによれば、データウェアハウスのデータマートレス化について検討・実行するユーザに対し、削除すべきデータマートの情報を、データマート間の関係性を踏まえた画面中で、認識が容易かつ確実な形態で提示することが可能となる。ひいては、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。 According to this, it is easy and reliable to recognize the data mart information to be deleted on the screen based on the relationship between the data marts for the user who examines and executes the data martless of the data warehouse. It can be presented in a form. As a result, when data martless is achieved in a data warehouse, a data mart suitable as a reduction target can be efficiently identified and presented to the user.
また、本実施形態のマートレス検証支援方法において、前記情報処理システムが、前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力する、としてもよい。 Further, in the martless verification support method of the present embodiment, when the information processing system outputs the determination result to the display device, the information processing system places a drawing object corresponding to each data mart on the screen, and Are connected with a predetermined line segment object based on the relationship, and a predetermined display form corresponding to the load related to the data mart and the height of the data use is determined for each drawing object. It is good also as generating screen data by setting as, and outputting the said screen data to a display apparatus.
また、本実施形態のマートレス検証支援方法において、前記情報処理システムが、前記関係性においてデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを分類した第１のテーブルと、各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第２のテーブルと、を格納した記憶装置を備えて、前記負荷と前記データ利用程度を特定する処理に際し、前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第１のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第２のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともい
ずれかの条件に応じたデータ利用レベルを特定する、としてもよい。
Further, in the martless verification support method according to the present embodiment, the information processing system is configured to store data on the data extraction side as stored data of the data mart on the data extraction side between data marts in which the data extraction relationship is defined in the relationship. A first table that classifies load levels according to at least one of data editing contents, extraction conditions, and whether or not aggregation is necessary when extracting data from the data mart, and each application uses data to be extracted A second class that classifies the data usage level for each data mart by each application according to at least one of the conditions of the number of data marts, the data extraction range in the corresponding data mart, and the presence / absence of aggregation processing of the extracted data A storage device storing the table, the load and the In the process of specifying the degree of data usage, the first table is collated with respect to a set of data marts in which the data extraction relationship is defined in the relationship between the data marts indicated by the design information of the data warehouse. Then, as the load associated with the generation of stored data of the data mart on the data extraction side, the load level corresponding to at least one of the data editing contents, the extraction conditions, and the necessity of aggregation is specified, and the data warehouse is designed For each application that uses data for the data mart indicated by the information, the second table is collated, and as the degree of data usage for each application, the number of data marts for which the application is to extract usage data, Data extraction range in the corresponding data mart and total of extracted data Whether physical, specifying the data utilization level corresponding to at least one of conditions may be.
１０ ネットワーク
１００ マートレス検証支援システム
１０１ 記憶装置
１０２ プログラム
１０３ メモリ
１０４ 演算装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信装置
１２５ 設計情報
１２６ テーブル条件パターン（第１のテーブル）
１２７ アプリ条件パターン（第２のテーブル）
１２８ 妥当性基準テーブル
10 network 100 martless verification support system 101 storage device 102 program 103 memory 104 arithmetic device 105 input device 106 output device 107 communication device 125 design information 126 table condition pattern (first table)
127 Application condition pattern (second table)
128 Validity criteria table
Claims (6)
当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理と、
を実行する演算装置を含むことを特徴とするマートレス検証支援システム。 Based on the relationship between the data marts indicated by the design information of the data warehouse and the use contents of the data mart by the predetermined application, the load accompanying the generation of stored data of each data mart, and the predetermined application for each data mart Processing to identify the degree of data usage,
A process of determining the appropriateness of reduction of each data mart according to the specified load and the degree of data usage, and outputting the determination result to the display device in association with the data mart information;
A martless verification support system including an arithmetic unit that executes the processing.
前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力するものである、
ことを特徴とする請求項１に記載のマートレス検証支援システム。 The arithmetic unit is:
In the process of outputting the determination result to the display device, the drawing objects corresponding to the data marts are arranged on the screen, and the drawing objects are connected with a predetermined line segment object based on the relationship. For each drawing object, screen data is generated by setting a predetermined display form corresponding to the load related to the corresponding data mart and the height of the data usage as the determination result, and the screen data is output to the display device To do,
The martless verification support system according to claim 1.
各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第２のテーブルと、
を格納した記憶装置を更に備え、
前記演算装置は、
前記負荷と前記データ利用程度を特定する処理に際し、
前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第１のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、
前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第２のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定するものである、
ことを特徴とする請求項１に記載のマートレス検証支援システム。 Among the data marts in which the data extraction relationship is defined in the relationship, the data editing content, the extraction condition, when performing data extraction from the data mart on the data extraction side as stored data of the data mart on the data extraction side, And a first table that classifies load levels according to at least one of the conditions of necessity of aggregation,
Data for each application's data mart, depending on at least one of the following conditions: the number of data marts from which each application is to extract usage data, the data extraction range for that data mart, and whether or not the extracted data is aggregated A second table categorizing usage levels;
Further comprising a storage device storing
The arithmetic unit is:
In the process of specifying the load and the degree of data usage,
In the relationship between the data marts indicated by the design information of the data warehouse, the first table is collated with respect to the data mart set in which the data extraction relationship is defined, and the data mart on the data extraction side is stored. As the load associated with data generation, specify the load level according to at least one of the data editing content, extraction conditions, and whether or not aggregation is necessary,
With respect to each application that uses data for the data mart indicated by the design information of the data warehouse, the second table is collated, and as the degree of data usage related to each application, the corresponding application is extracted from the usage data. The data usage level according to at least one of the conditions of the number of data marts to be performed, the data extraction range in the corresponding data mart, and the presence / absence of aggregation processing of the extracted data,
The martless verification support system according to claim 1.
データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによる前記データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、
当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理と、
を実行することを特徴とするマートレス検証支援方法。 Information processing system
Based on the relationship between the data marts indicated by the design information of the data warehouse and the use contents of the data mart by the predetermined application, the load accompanying the generation of stored data of each data mart, and the predetermined application for each data mart Processing to identify the degree of data usage,
A process of determining the appropriateness of reduction of each data mart according to the specified load and the degree of data usage, and outputting the determination result to the display device in association with the data mart information;
A martless verification support method characterized by executing
前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力する、
ことを特徴とする請求項４に記載のマートレス検証支援方法。 The information processing system is
In the process of outputting the determination result to the display device, the drawing objects corresponding to the data marts are arranged on the screen, and the drawing objects are connected with a predetermined line segment object based on the relationship. For each drawing object, screen data is generated by setting a predetermined display form corresponding to the load related to the corresponding data mart and the height of the data usage as the determination result, and the screen data is output to the display device To
The martless verification support method according to claim 4.
前記関係性においてデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを分類した第１のテーブルと、
各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第２のテーブルと、を格納した記憶装置を備えて、
前記負荷と前記データ利用程度を特定する処理に際し、
前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第１のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、
前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第２のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定する、
ことを特徴とする請求項４に記載のマートレス検証支援方法。 The information processing system is
Among the data marts in which the data extraction relationship is defined in the relationship, the data editing content, the extraction condition, when performing data extraction from the data mart on the data extraction side as stored data of the data mart on the data extraction side, And a first table that classifies load levels according to at least one of the conditions of necessity of aggregation,
Data for each application's data mart, depending on at least one of the following conditions: the number of data marts from which each application is to extract usage data, the data extraction range for that data mart, and whether or not the extracted data is aggregated A second table that classifies usage levels; and a storage device that stores the second table,
In the process of specifying the load and the degree of data usage,
In the relationship between the data marts indicated by the design information of the data warehouse, the first table is collated with respect to the data mart set in which the data extraction relationship is defined, and the data mart on the data extraction side is stored. As the load associated with data generation, specify the load level according to at least one of the data editing content, extraction conditions, and whether or not aggregation is necessary,
With respect to each application that uses data for the data mart indicated by the design information of the data warehouse, the second table is collated, and as the degree of data usage related to each application, the corresponding application is extracted from the usage data. Specify the data usage level according to at least one of the following conditions: the number of data marts to be performed, the data extraction range in the corresponding data mart, and the presence / absence of aggregation processing of the extracted data,
The martless verification support method according to claim 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015126699A JP2017010376A (en) | 2015-06-24 | 2015-06-24 | Mart-less verification support system and mart-less verification support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015126699A JP2017010376A (en) | 2015-06-24 | 2015-06-24 | Mart-less verification support system and mart-less verification support method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017010376A true JP2017010376A (en) | 2017-01-12 |
Family
ID=57763733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015126699A Pending JP2017010376A (en) | 2015-06-24 | 2015-06-24 | Mart-less verification support system and mart-less verification support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017010376A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019121181A (en) * | 2018-01-05 | 2019-07-22 | 株式会社日立製作所 | Data management system and data management method |
| US11842308B2 (en) | 2019-12-02 | 2023-12-12 | Hitachi, Ltd. | Computer system and method for managing data of an executed workflow |
-
2015
- 2015-06-24 JP JP2015126699A patent/JP2017010376A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019121181A (en) * | 2018-01-05 | 2019-07-22 | 株式会社日立製作所 | Data management system and data management method |
| US11842308B2 (en) | 2019-12-02 | 2023-12-12 | Hitachi, Ltd. | Computer system and method for managing data of an executed workflow |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11188537B2 (en) | Data processing | |
| US11003636B2 (en) | Generating and reusing transformations for evolving schema mapping | |
| US9747331B2 (en) | Limiting scans of loosely ordered and/or grouped relations in a database | |
| US10417265B2 (en) | High performance parallel indexing for forensics and electronic discovery | |
| US10565201B2 (en) | Query processing management in a database management system | |
| US20080162455A1 (en) | Determination of document similarity | |
| US9104709B2 (en) | Cleansing a database system to improve data quality | |
| US11698918B2 (en) | System and method for content-based data visualization using a universal knowledge graph | |
| CN112000773B (en) | Search engine technology-based data association relation mining method and application | |
| CN113760891B (en) | Data table generation method, device, equipment and storage medium | |
| CN110795524B (en) | Main data mapping processing method and device, computer equipment and storage medium | |
| CN103631842A (en) | Detecting multi-column composite key column sets | |
| US8560499B2 (en) | Data reduction for optimizing and testing | |
| US20070239656A1 (en) | Removal of Database Query Function Calls | |
| US20180357278A1 (en) | Processing aggregate queries in a graph database | |
| US9678970B2 (en) | Database storage reclaiming program | |
| US20180357328A1 (en) | Functional equivalence of tuples and edges in graph databases | |
| JP2017010376A (en) | Mart-less verification support system and mart-less verification support method | |
| CN110399431A (en) | A kind of incidence relation construction method, device and equipment | |
| US20230004873A1 (en) | System and method for artificial intelligence driven document analysis, including automated reuse of predictive coding rules based on management and curation of datasets or models | |
| CN110941952A (en) | Method and device for perfecting audit analysis model | |
| CN114416848A (en) | Data blood relationship processing method and device based on data warehouse | |
| Fisun et al. | Implementation of the information system of the association rules generation from OLAP-cubes in the post-relational DBMS caché | |
| CN111400556A (en) | Data query method and device, computer equipment and storage medium | |
| US10803026B1 (en) | Dynamic directory recommendation and management |