JP2019101595A - データベース管理システム及び方法 - Google Patents
データベース管理システム及び方法 Download PDFInfo
- Publication number
- JP2019101595A JP2019101595A JP2017229890A JP2017229890A JP2019101595A JP 2019101595 A JP2019101595 A JP 2019101595A JP 2017229890 A JP2017229890 A JP 2017229890A JP 2017229890 A JP2017229890 A JP 2017229890A JP 2019101595 A JP2019101595 A JP 2019101595A
- Authority
- JP
- Japan
- Prior art keywords
- chunk
- store
- conversion
- data
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2393—Updating materialised views
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
Description
(パラメータA)1又は複数の優先度観点のうち採用する1以上の優先度観点、
(パラメータB)前記Xの値、
(パラメータC)任意の個数のC−ID(変換対象チャンクのC−IDのリスト)、
(パラメータD)データ変換処理の対象の表のT−ID、
が指定されてよい。つまり、データ変換処理毎に、当該データ変換処理で採用される優先度観点を観点にすることができる。
・(P1)について、データ保管期間が短い程、変換優先度が高い。表にチャンクが残る時間が長いからである。
・(P2)及び(P3)について、参照時刻又は更新時刻が新しい程、又は、参照頻度又は更新頻度が高い程、変換優先度が高い。補助データは主に表のアクセスに使用され、アクセスの高速化に貢献するデータであるからである。
・(P4)について、アクセスコストが大きい程、変換優先度が高い。補助データがあることで処理の高速化が期待できるからである。
・(P5)について、非省電力状態である場合、変換優先度が高い。対応するチャンクが起動状態のハードウェア機器(PDEV)に格納されており、参照される可能性が高いことが考えられるためである。
・(P6)について、アーカイブ時刻が新しい程、変換優先度が高い。表にチャンクが残る時間が長いからである。
或るデータの第1のデータ処理の要求に応答して、前記或るデータのデータ状態を、前記或るデータについて前記第1のデータ処理の実行済の状態に変更する状態変更部(一例がベースタイプ変更部)と、
当該状態変更の実行と非同期に、前記或るデータのうち前記データ状態と異なるデータ部分(第2のデータ処理の単位)について第1のデータ処理を実行する第1データ処理部(一例がデータ変換部)と、
定期的に又は不定期的に、前記或るデータについて前記データ状態に従う第2のデータ処理を、前記第1のデータ処理が行われていない場合に実行する第2データ処理部(一例がインポート部)と
を有するデータ処理システム(一例が計算機システム)。
前記第1データ処理部は、前記或るデータのうち1以上の優先度観点に従う処理優先度が相対的に高いデータ部分について優先的に前記第1のデータ処理を実行する、
表現1記載のデータ処理システム。
Claims (15)
- データベースの表のストア形式を変換する要求である変換要求に応答して、前記表のストア形式を示す情報であるベースタイプが示すストア形式を当該変換要求に従うストア形式に変更する処理であるベースタイプ変更処理を実行するベースタイプ変更部と、
それぞれが前記表に対するデータのインポート単位である、前記表における全チャンクのうち、前記ベースタイプが示すストア形式と異なるストア形式のチャンクである未変換チャンクを、前記ベースタイプが示すストア形式のチャンクに変換する処理であるデータ変換処理を、前記変換要求に応答して実行される前記ベースタイプ変更処理と非同期に実行するデータ変換部と、
定期的に又は不定期的に、前記ベースタイプが示しているストア形式のチャンクを前記表にインポートする処理であり前記データ変換処理中は実行不可であるインポート処理を実行するインポート部と
を有するデータベース管理システム。 - 前記データ変換部は、X個の変換対象チャンク毎に(Xは自然数)前記データ変換処理を実行するようになっており、
前記X個の変換対象チャンクは、全未変換チャンクからデータ変換処理の対象として前記データ変換部により選択されたチャンクであり、全未変換チャンクのうち、1以上の優先度観点に従う変換優先度が相対的に高いチャンクである、
請求項1に記載のデータベース管理システム。 - 各チャンクについて、前記1以上の優先度観点は、下記の(P1)乃至(P6)の優先度観点のうちの1以上の優先度観点である、
(P1)当該チャンクがインポートされた時刻からの経過時間であるデータ保管期間、
(P2)当該チャンクが最後に参照された時刻である参照時刻、又は、当該チャンクが参照される頻度である参照頻度、
(P3)当該チャンクが最後に更新された時刻である更新時刻、又は、当該チャンクが更新される頻度である更新頻度、
(P4)当該チャンクのデータ量が大きい程大きい値であるアクセスコスト、
(P5)当該チャンクを格納している記憶デバイスが省電力状態であるか否か、
(P6)当該チャンクがアーカイブされる予定時刻であるアーカイブ時刻
請求項2に記載のデータベース管理システム。 - 変更前の前記ベースタイプが、ローストア形式を示し、変更後の前記ベースタイプが、カラムストア形式を示し、故に、各未変換チャンクが、ローストア形式のチャンクの場合、優先度観点と変換優先度の関係は、下記である、
(P1)について、データ保管期間が短い程、変換優先度が高い、
(P2)について、参照時刻が新しい程、又は、参照頻度が高い程、変換優先度が高い、
(P3)について、更新時刻が古い程、又は、更新頻度が低い程、変換優先度が高い、
(P4)について、アクセスコストが大きい程、変換優先度が高い、
(P5)について、非省電力状態である場合、変換優先度が高い、
(P6)について、アーカイブ時刻が新しい程、変換優先度が高い、
請求項3に記載のデータベース管理システム。 - 変更前の前記ベースタイプが、カラムストア形式を示し、変更後の前記ベースタイプが、ローストア形式を示し、故に、各未変換チャンクが、カラムストア形式のチャンクの場合、優先度観点と変換優先度の関係は、下記である、
(P1)について、データ保管期間が短い程、変換優先度が高い、
(P2)について、参照時刻が古い程、又は、参照頻度が低い程、変換優先度が高い、
(P3)について、更新時刻が新しい程、又は、更新頻度が高い程、変換優先度が高い、
(P4)について、アクセスコストが大きい程、変換優先度が高い、
(P5)について、非省電力状態である場合、変換優先度が高い、
(P6)について、アーカイブ時刻が新しい程、変換優先度が高い、
請求項3又は4に記載のデータベース管理システム。 - 前記データ変換部は、変換優先度が所定優先度未満の未変換チャンクを、前記X個の変換対象チャンクの少なくとも1つとして選択することを避ける、
請求項2乃至5のうちのいずれか1項に記載のデータベース管理システム。 - 各未変換チャンクについて、当該未変換チャンクの変換優先度は、1以上の優先度観点と、当該1以上の優先度観点の少なくとも1つ重要度とに基づいて決まる、
請求項2乃至6のうちのいずれか1項に記載のデータベース管理システム。 - 前記データ変換部は、前記変換要求である第1の変換要求とは別の第2の変換要求に応答して、前記データ変換処理を実行し、
前記第2の変換要求では、下記の(a)及び(b)、
(a)1又は複数の優先度観点のうち採用する前記1以上の優先度観点、及び、
(b)前記Xの値と、1以上の変換対象チャンクのIDのリストとのいずれか、
が指定されている、
請求項2乃至7のうちのいずれか1項に記載のデータベース管理システム。 - 前記表に対する検索処理を実行する検索部を更に有し、
前記表にストア状態が関連付けられており、
前記ストア状態は、前記表におけるチャンクが、或るストア形式のチャンクのみであるか、異なるストア形式のチャンクの混在であるかを示し、
前記インポート部が、前記表に対応した前記ベースタイプが示すストア形式で新たにチャンクを当該表に追加した場合、前記ストア状態を必要に応じて更新し、
前記データ変換部が、前記表におけるいずれかの未変換チャンクの前記データ変換処理において、前記ストア状態を必要に応じて変更し、
前記検索部は、
前記ストア状態が、前記表におけるチャンクが異なるストア形式のチャンクの混在であることを示している場合、チャンク毎に、当該チャンクのストア形式及びデータ変換中か否かを示す情報であるストア情報を特定し、当該特定されたストア情報に応じて当該チャンクを参照し、
前記ストア状態が、前記表におけるチャンクが或るストア形式のチャンクのみであることを示している場合、チャンク毎に、当該チャンクの前記ストア情報を特定すること無しに、前記或る特定されたストア形式に応じて当該チャンクを参照する、
請求項1乃至7のうちのいずれか1項に記載のデータベース管理システム。 - 前記表におけるチャンク毎に当該チャンクのインポート時刻から一定時間経過した当該チャンクを前記表から除外する除外処理を実行する除外部を更に有する、
請求項1乃至9のうちのいずれか1項に記載のデータベース管理システム。 - 前記除外処理は、前記表からチャンクをパージするパージ処理と、前記表からチャンクをアーカイブファイルとして除外するアーカイブ処理とのうちの少なくとも1つである、
請求項10に記載のデータベース管理システム。 - 2以上のストア形式のうちの一部のストア形式が、前記表に関わる補助データの付加である、
請求項1乃至11のうちのいずれか1項に記載のデータベース管理システム。 - 前記補助データは、索引及びマテリアライズドビューのうちの少なくとも1つである、
請求項11に記載のデータベース管理システム。 - 変更後のストア形式が、前記補助データの付加の場合、
前記ベースタイプ変更部が、前記補助データの付加に関する属性を示す情報である補助ベースタイプを、前記補助データの付加済を示す属性に変更し、
前記データ変換部が、補助ベースタイプが示す属性と異なる属性のチャンクを、補助ベースタイプが示す属性のチャンクに変換する、
請求項12又は13に記載のデータベース管理システム。 - データベースの表のストア形式を示す情報であるベースタイプが示しているストア形式のチャンクを前記表にインポートする処理でありデータ変換処理中は実行不可であるインポート処理を実行し、
前記データ変換処理は、それぞれが前記表に対するデータのインポート単位である、前記表における全チャンクのうち、前記ベースタイプが示すストア形式と異なるストア形式のチャンクである未変換チャンクを、前記ベースタイプが示すストア形式のチャンクに変換する処理であり、
前記表のストア形式を変換する要求である変換要求に応答して、前記表のストア形式を示す情報であるベースタイプが示すストア形式を当該変換要求に従うストア形式に変更する処理であるベースタイプ変更処理を実行し、
前記変換要求に応答して実行される前記ベースタイプ変更処理と非同期に前記データ変換処理を実行し、
前記ベースタイプ変更処理の実行後の前記インポート処理では、変更後の前記ベースタイプが示しているストア形式のチャンクを前記表にインポートする、
データベース管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017229890A JP6707754B2 (ja) | 2017-11-30 | 2017-11-30 | データベース管理システム及び方法 |
US16/135,000 US11074271B2 (en) | 2017-11-30 | 2018-09-19 | Database management system and database management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017229890A JP6707754B2 (ja) | 2017-11-30 | 2017-11-30 | データベース管理システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019101595A true JP2019101595A (ja) | 2019-06-24 |
JP6707754B2 JP6707754B2 (ja) | 2020-06-10 |
Family
ID=66632337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017229890A Active JP6707754B2 (ja) | 2017-11-30 | 2017-11-30 | データベース管理システム及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11074271B2 (ja) |
JP (1) | JP6707754B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112995339B (zh) * | 2021-04-16 | 2021-08-03 | 湖南联智科技股份有限公司 | 一种基于动态字节码技术自动适配传感器数据解析方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7730063B2 (en) * | 2002-12-10 | 2010-06-01 | Asset Trust, Inc. | Personalized medicine service |
US9418040B2 (en) * | 2005-07-07 | 2016-08-16 | Sciencelogic, Inc. | Dynamically deployable self configuring distributed network management system |
US8056054B2 (en) * | 2007-06-07 | 2011-11-08 | International Business Machines Corporation | Business information warehouse toolkit and language for warehousing simplification and automation |
US8515898B2 (en) * | 2011-09-21 | 2013-08-20 | International Business Machines Corporation | Column based data transfer in extract transform and load (ETL) systems |
WO2014109009A1 (ja) * | 2013-01-09 | 2014-07-17 | 株式会社日立製作所 | データベースの管理方法、管理計算機及び記憶媒体 |
US10353923B2 (en) * | 2014-04-24 | 2019-07-16 | Ebay Inc. | Hadoop OLAP engine |
US9619535B1 (en) * | 2014-05-15 | 2017-04-11 | Numerify, Inc. | User driven warehousing |
US10825080B2 (en) * | 2017-04-27 | 2020-11-03 | Target Brands, Inc. | Item database creation based on negotiated values |
-
2017
- 2017-11-30 JP JP2017229890A patent/JP6707754B2/ja active Active
-
2018
- 2018-09-19 US US16/135,000 patent/US11074271B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6707754B2 (ja) | 2020-06-10 |
US20190163799A1 (en) | 2019-05-30 |
US11074271B2 (en) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112534396B (zh) | 数据库系统中的日记表 | |
US20220350819A1 (en) | System and method for improved performance in a multidimensional database environment | |
US9678969B2 (en) | Metadata updating method and apparatus based on columnar storage in distributed file system, and host | |
EP3108386B1 (en) | Transparent discovery of semi-structured data schema | |
US10585876B2 (en) | Providing snapshot isolation to a database management system | |
CN106716409B (zh) | 一种构建和更新列存储数据库的方法和系统 | |
JP6598996B2 (ja) | データ準備のためのシグニチャベースのキャッシュ最適化 | |
US10997124B2 (en) | Query integration across databases and file systems | |
US10007548B2 (en) | Transaction system | |
US11321302B2 (en) | Computer system and database management method | |
CN105718507A (zh) | 一种数据迁移方法和装置 | |
US11687525B2 (en) | Targeted sweep method for key-value data storage | |
JP6707797B2 (ja) | データベース管理システム及びデータベース管理方法 | |
JP6598997B2 (ja) | データ準備のためのキャッシュ最適化 | |
WO2022206398A1 (en) | Method and apparatus for reading data maintained in tree data structures | |
US11249968B2 (en) | Large object containers with size criteria for storing mid-sized large objects | |
US10083192B2 (en) | Deleted database record reuse | |
US20120209891A1 (en) | Database management method, database management system and database management program | |
JP6707754B2 (ja) | データベース管理システム及び方法 | |
WO2017122313A1 (ja) | オブジェクト履歴として表示される情報をクライアントに提供する計算機システム及び計算機 | |
JP2013088920A (ja) | 計算機システム及びデータ管理方法 | |
Nakamura et al. | Extending postgreSQL to handle OLXP workloads | |
EP3916577B1 (en) | Parallel load of mapping containers for database system start and restart operations | |
US20210406243A1 (en) | Non-transitory computer-readable storage medium for storing information processing program, information processing method, and information processing apparatus | |
US20230229657A1 (en) | Zero Copy Optimization for SELECT * Queries |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6707754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |