JP2018116706A - データ多次元モデル生成システム及びデータ多次元モデル生成方法 - Google Patents
データ多次元モデル生成システム及びデータ多次元モデル生成方法 Download PDFInfo
- Publication number
- JP2018116706A JP2018116706A JP2018008094A JP2018008094A JP2018116706A JP 2018116706 A JP2018116706 A JP 2018116706A JP 2018008094 A JP2018008094 A JP 2018008094A JP 2018008094 A JP2018008094 A JP 2018008094A JP 2018116706 A JP2018116706 A JP 2018116706A
- Authority
- JP
- Japan
- Prior art keywords
- data
- type
- dimension
- model generation
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】データ多次元モデル生成システムは、予め記憶されたデータベースから、分析主題に基づいて目標主テーブル及び目標主テーブルに関係する目標副テーブルを選択するテーブル選択部と、目標主テーブルにおいて分析に必要な複数のデータ列を選択し、複数のデータ列を、それぞれ多次元データテーブルを生成するために必要な次元又はメトリックに対応する多種のデータ型に区分するデータ型判断部と、多次元データテーブルを生成するために必要な次元とメトリックに対応する多種のデータ型のデータ列及び目標副テーブルに対し変換集約を行い、ファクトテーブルと次元テーブルを生成することにより、スター構造の多次元データテーブルを生成する多次元モデル生成部と、を含む。
【選択図】図1
Description
まず、図1を組み合わせて本発明の第1実施形態のデータ多次元モデル生成システム1の構造を説明する。図1は、本発明の第1実施形態のデータ多次元モデル生成システムの構造を示すブロック図である。図1に示すように、データ多次元モデル生成システム1は、予め記憶されたデータベース2に基づいて、例えばOLAP(オンライン分析処理)エンジン3に使用されるための多次元データテーブルを生成する。データ多次元モデル生成システム1は、テーブル選択部10と、データ型判断部20と、多次元モデル生成部30と、を含む。上述の各部は、データ多次元モデル生成システム1に有するプロセッサがメモリに記憶されているソフトウェアプログラムを実行することによって実現されてもよく、専用の集積回路などのハードウェアによって実現されてもよい。また、データ多次元モデル生成システム1はデータ多次元モデル生成装置として実現されてもよい。
以上では本発明の1つの実施形態を説明したが、次は該実施形態に対応する1つの具体的な実施例を具体的に説明する。本実施例は本発明の実施形態を容易に理解するために挙げた例に過ぎず、本発明の実施形態に対して限定にはならない。
2 データベース
3 OLAPエンジン
10 テーブル選択部
20 データ型判断部
30 多次元モデル生成部
21 構造定義取得部
22 基本データ型区分部
23 サブデータ型区分部
231 整数型データ型判断部
232 浮動小数点数型データ型判断部
233 文字型データ型判断部
234 日付時間型データ型判断部
Claims (10)
- 予め記憶されたデータベースに基づいて多次元データテーブルを生成するデータ多次元モデル生成システムであって、
予め記憶された前記データベースから、分析主題に基づいて目標主テーブル及び前記目標主テーブルに関係する目標副テーブルを選択するテーブル選択部と、
前記目標主テーブルにおいて分析に必要な複数のデータ列を選択し、前記複数のデータ列を、それぞれ前記多次元データテーブルを生成するために必要な次元又はメトリックに対応する多種のデータ型に区分するデータ型判断部と、
前記多次元データテーブルを生成するために必要な次元とメトリックに対応する前記多種のデータ型のデータ列及び前記目標副テーブルに対し変換集約を行い、ファクトテーブルと次元テーブルを生成することにより、ファクトテーブルを中心として次元テーブルをブランチとするスター構造の多次元データテーブルを生成する多次元モデル生成部と、
を含むことを特徴とするデータ多次元モデル生成システム。 - 前記テーブル選択部は分析主題に基づいて、データベースに予め記憶された、取引又は事務から生成された取引テーブルから、前記目標主テーブルを選択すると共に、データベースに予め記憶された、対象を説明するための対象定義テーブルから、選択された前記取引テーブルに関係する前記目標副テーブルを選択することを特徴とする請求項1に記載のデータ多次元モデル生成システム。
- 前記データ型判断部は、
前記目標主テーブルの構造定義を取得する構造定義取得部と、
前記構造定義に基づいて、前記目標主テーブルの前記複数のデータ列を、前記構造定義に直接対応する多種の基本データ型に区分する基本データ型区分部と、
前記多次元データテーブルを生成するために必要な次元又はメトリックに基づいて、前記多種の基本データ型をさらに、前記データ型として、前記多次元データテーブルを生成するために必要な次元又はメトリックに対応する多種のサブデータ型に区分するサブデータ型区分部と、
を含むことを特徴とする請求項1に記載のデータ多次元モデル生成システム。 - 前記基本データ型は整数型を含み、
前記サブデータ型区分部は整数型データ型判断部をさらに含み、
前記整数型データ型判断部はまず、整数型データ列における各データ項目が唯一且つ等差であるか否かを判断し、各データ項目が唯一且つ等差である整数型データ列のサブデータ型がID、即ち識別子であると判断し、
さらに、前記整数型データ型判断部は、IDではない整数型データ列に対し、各データ項目が前記目標副テーブルに含まれているか否かを判断し、各データ項目が何れも前記目標副テーブルに含まれている整数型データ列のサブデータ型が整数型次元であると判断し、前記目標副テーブルに含まれていないデータ項目がある整数型データ列のサブデータ型が整数型メトリックであると判断することを特徴とする請求項3に記載のデータ多次元モデル生成システム。 - 前記基本データ型は浮動小数点数型をさらに含み、
前記サブデータ型区分部は浮動小数点数型データ型判断部をさらに含み、
前記浮動小数点数型データ型判断部は、列名が経緯度情報を示す浮動小数点数型データ列のサブデータ型が地理情報次元であると判断し、列名が経緯度情報を示さない浮動小数点数型データ列のサブデータ型が浮動小数点数型メトリックであると判断することを特徴とする請求項4に記載のデータ多次元モデル生成システム。 - 前記基本データ型は文字型及び日付時間型をさらに含み、
前記サブデータ型区分部は文字型データ型判断部と日付時間型データ型判断部とをさらに含み、
前記文字型データ型判断部は文字型データ列のサブデータ型が文字次元であると判断し、前記日付時間型データ型判断部は日付時間型データ列のサブデータ型が時間次元であると判断することを特徴とする請求項5に記載のデータ多次元モデル生成システム。 - 前記多次元モデル生成部は次元に対応するデータ型のデータ列に基づいて、次元に対応する次元テーブルを生成し、新たに生成された次元テーブルにおける次元に基づいてメトリックを集約計算し、メトリックに対応するデータ列を生成することにより、ファクトテーブルを生成することを特徴とする請求項1から6のいずれか1項に記載のデータ多次元モデル生成システム。
- 前記データ型判断部により区分された前記データ型に、メトリックに対応するデータ型及び次元に対応する複数のデータ型が含まれている場合に、前記多次元モデル生成部は、各次元の最小単位からなる複数の組合せ毎に、各組合せのメトリックを集約することにより、ファクトテーブルにおけるメトリックに対応するデータ列として、各々の組合せの集約後のメトリックをデータ項目とするデータ列を生成することを特徴とする請求項7に記載のデータ多次元モデル生成システム。
- 前記データ型に、地理情報次元と時間次元が含まれている場合に、前記多次元モデル生成部は、生成された地理情報次元テーブルにおける最小地理単位と時間次元テーブルにおける最小時間単位からなる複数の組合せ毎に、各組合せのメトリックを集約することを特徴とする請求項8に記載のデータ多次元モデル生成システム。
- 予め記憶されたデータベースに基づいて多次元データテーブルを生成するデータ多次元モデル生成方法であって、
予め記憶された前記データベースから、分析主題に基づいて目標主テーブル及び前記目標主テーブルに関係する目標副テーブルを選択するテーブル選択ステップと、
前記目標主テーブルにおいて分析に必要な複数のデータ列を選択し、前記複数のデータ列を、それぞれ前記多次元データテーブルを生成するために必要な次元又はメトリックに対応する多種のデータ型に区分するデータ型判断ステップと、
前記多次元データテーブルを生成するために必要な次元とメトリックに対応する前記多種のデータ型のデータ列及び前記目標副テーブルに対し変換集合を行い、ファクトテーブルと次元テーブルを生成することにより、ファクトテーブルを中心として次元テーブルをブランチとするスター構造の多次元データテーブルを生成する多次元モデル生成ステップと、
を含むことを特徴とするデータ多次元モデル生成方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710052982.2 | 2017-01-22 | ||
CN201710052982.2A CN108345602B (zh) | 2017-01-22 | 2017-01-22 | 数据多维建模系统及数据多维建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018116706A true JP2018116706A (ja) | 2018-07-26 |
JP6530829B2 JP6530829B2 (ja) | 2019-06-12 |
Family
ID=62961809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018008094A Expired - Fee Related JP6530829B2 (ja) | 2017-01-22 | 2018-01-22 | データ多次元モデル生成システム及びデータ多次元モデル生成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6530829B2 (ja) |
CN (1) | CN108345602B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345117A (zh) * | 2018-09-30 | 2019-02-15 | 北京工业大学 | 一种多维数据驱动的交通运输主体综合画像方法 |
CN112527919A (zh) * | 2020-12-04 | 2021-03-19 | 广州橙行智动汽车科技有限公司 | 一种数据处理的方法和装置 |
CN113505128A (zh) * | 2021-06-30 | 2021-10-15 | 平安科技(深圳)有限公司 | 创建数据表的方法、装置、设备及存储介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111159173B (zh) * | 2018-11-08 | 2023-04-18 | 王纹 | 一种构造多维语义数据库的方法 |
JP7109346B2 (ja) * | 2018-11-29 | 2022-07-29 | 株式会社日立製作所 | 実績データ管理装置 |
CN109784846B (zh) * | 2018-12-29 | 2022-09-13 | 福建华闽通达信息技术有限公司 | 一种根据数量判断表单是否生成附表的方法及计算机设备 |
CN110908989B (zh) * | 2019-11-20 | 2023-09-15 | 无锡识凌科技有限公司 | 一种应用于数据清洗工具的数据匹配方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003316901A (ja) * | 2002-04-24 | 2003-11-07 | Sanyo Electric Co Ltd | 診療データ調査分析システムと方法 |
US20060036637A1 (en) * | 2004-08-13 | 2006-02-16 | Mehmet Sayal | System and method for developing a star schema |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5940818A (en) * | 1997-06-30 | 1999-08-17 | International Business Machines Corporation | Attribute-based access for multi-dimensional databases |
US7181450B2 (en) * | 2002-12-18 | 2007-02-20 | International Business Machines Corporation | Method, system, and program for use of metadata to create multidimensional cubes in a relational database |
US7610300B2 (en) * | 2004-11-30 | 2009-10-27 | International Business Machines Corporation | Automated relational schema generation within a multidimensional enterprise software system |
US20070203933A1 (en) * | 2006-02-24 | 2007-08-30 | Iversen Heine K | Method for generating data warehouses and OLAP cubes |
CN101197876B (zh) * | 2006-12-06 | 2012-02-29 | 中兴通讯股份有限公司 | 一种对消息类业务数据进行多维分析的方法和系统 |
CN103093322A (zh) * | 2013-02-21 | 2013-05-08 | 用友软件股份有限公司 | 即席分析业务数据的系统和方法 |
CN103955483A (zh) * | 2014-04-08 | 2014-07-30 | 方芳 | 一种rfid供应链数据的多维分析方法 |
CN104299102A (zh) * | 2014-10-31 | 2015-01-21 | 国电南瑞科技股份有限公司 | 电网调控一体化系统多维数据模型的建模方法 |
CN104391948B (zh) * | 2014-12-01 | 2017-11-21 | 广东电网有限责任公司清远供电局 | 数据仓库的数据标准化构建方法及系统 |
CN105787052B (zh) * | 2016-02-26 | 2020-02-04 | 广州品唯软件有限公司 | 数据处理模型建立方法及基于数据处理模型数据筛选方法 |
CN106021486A (zh) * | 2016-05-18 | 2016-10-12 | 广东源恒软件科技有限公司 | 一种基于大数据的数据多维分析处理方法 |
-
2017
- 2017-01-22 CN CN201710052982.2A patent/CN108345602B/zh not_active Expired - Fee Related
-
2018
- 2018-01-22 JP JP2018008094A patent/JP6530829B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003316901A (ja) * | 2002-04-24 | 2003-11-07 | Sanyo Electric Co Ltd | 診療データ調査分析システムと方法 |
US20060036637A1 (en) * | 2004-08-13 | 2006-02-16 | Mehmet Sayal | System and method for developing a star schema |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345117A (zh) * | 2018-09-30 | 2019-02-15 | 北京工业大学 | 一种多维数据驱动的交通运输主体综合画像方法 |
CN109345117B (zh) * | 2018-09-30 | 2022-02-08 | 北京工业大学 | 一种多维数据驱动的交通运输主体综合画像方法 |
CN112527919A (zh) * | 2020-12-04 | 2021-03-19 | 广州橙行智动汽车科技有限公司 | 一种数据处理的方法和装置 |
CN113505128A (zh) * | 2021-06-30 | 2021-10-15 | 平安科技(深圳)有限公司 | 创建数据表的方法、装置、设备及存储介质 |
CN113505128B (zh) * | 2021-06-30 | 2024-05-31 | 平安科技(深圳)有限公司 | 创建数据表的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108345602A (zh) | 2018-07-31 |
JP6530829B2 (ja) | 2019-06-12 |
CN108345602B (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6530829B2 (ja) | データ多次元モデル生成システム及びデータ多次元モデル生成方法 | |
CN106997386B (zh) | 一种olap预计算模型、自动建模方法及自动建模系统 | |
JP6187478B2 (ja) | インデックスキー生成装置及びインデックスキー生成方法並びに検索方法 | |
JP5826831B2 (ja) | データマート自動化 | |
US20170286454A1 (en) | Data retrieval apparatus, program and recording medium | |
CN110618983A (zh) | 基于json文档结构的工业大数据多维分析与可视化方法 | |
KR101696338B1 (ko) | 컬럼-인덱스 데이터 포맷을 이용하여 빅데이터를 효율적으로 처리 및 분석하는 시스템 및 방법 | |
CN103473672A (zh) | 企业级数据中心的元数据质量稽核系统、方法及平台 | |
Ibragimov et al. | Optimizing aggregate SPARQL queries using materialized RDF views | |
JP5535062B2 (ja) | ウェブログの時系列分析のためのデータ格納および照会方法及びその方法を実行するシステム | |
Ryzhakova et al. | Construction project management with digital twin information system | |
US10983997B2 (en) | Path query evaluation in graph databases | |
CN102508971A (zh) | 概念设计阶段产品功能模型建立方法 | |
CN110389953B (zh) | 基于压缩图的数据存储方法、存储介质、存储装置和服务器 | |
CN110990907A (zh) | 基于特征-资源知识的船用柴油机关重件可制造性三级优化方法 | |
CN111143356B (zh) | 报表检索方法及装置 | |
CN115658680A (zh) | 数据存储方法、数据查询方法和相关装置 | |
US11216486B2 (en) | Data retrieval apparatus, program and recording medium | |
Pelucchi et al. | The Challenge of using Map-reduce to Query Open Data. | |
Bagheri et al. | Spacemaker: Practical Formal Synthesis of Tradeoff Spaces for Object-Relational Mapping. | |
Alexandrov et al. | Myriad: parallel data generation on shared-nothing architectures | |
Ming et al. | Research on multidimensional analysis method of drilling information based on Hadoop | |
Bebel et al. | Sequential data analytics by means of Seq-SQL language | |
DivyaYadav | Business Intelligence For Local Mining Company Acknowledgement Reporting System | |
Moffitt et al. | Querying Evolving Graphs with Portal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6530829 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |