JP2015176276A - データ処理装置及びデータ処理方法 - Google Patents
データ処理装置及びデータ処理方法 Download PDFInfo
- Publication number
- JP2015176276A JP2015176276A JP2014051443A JP2014051443A JP2015176276A JP 2015176276 A JP2015176276 A JP 2015176276A JP 2014051443 A JP2014051443 A JP 2014051443A JP 2014051443 A JP2014051443 A JP 2014051443A JP 2015176276 A JP2015176276 A JP 2015176276A
- Authority
- JP
- Japan
- Prior art keywords
- partition
- data
- data distribution
- query
- definition information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】パーティションの運用において管理にかかるユーザの負荷を軽減するデータ処理装置を得ること。【解決手段】複数のパーティションから構成されるデータベースのパーティションに時系列データをその時間に応じて振り分けるデータ振り分け条件を保持するパーティション運用手順記憶部と、新たな時系列データがデータ振り分け条件に該当せず、時系列データを保存するパーティションが存在しない場合、データベースに新たなパーティションを作成するように指示するとともに、時系列データに対応するデータ振り分け条件をパーティション運用手順記憶部に追加するパーティション管理判定部と、を備えた。【選択図】 図1
Description
本発明は、データベースシステムにおけるテーブルパーティションの運用自動化と、それらをデータ種別ごとに管理するための実現方式に関する。
ログやセンサデータなど、時系列で蓄積され続けるデータ(以下、時系列データと称す)は、データの発生周期と蓄積期間によっては大規模なデータとなる。このような大規模なデータをデータベースシステムで管理する場合、1個のテーブルではなく、複数のテーブルに分散させることにより、データの登録、削除、及び検索等の応答性能を向上させるのが一般的である(下記非特許文献1参照)。なお、データベースにおいて、データを複数のテーブルに分散させることをテーブルパーティションと呼ぶ。
このとき、1個の親テーブルに属する複数の子テーブルが存在することになるため、これらの子テーブルを適切に運用管理する必要がある。このような課題に対して、親テーブルごとに子テーブルの命名規則と蓄積対象とする時間軸の範囲、および、属する子テーブルの個数を設定することにより、子テーブルの運用管理を自動化する技術がある(参考文献2)。また、例えばPostgreSQLやOracleなどのデータベースシステムが備えるトリガおよびトリガ関数といった機能によっても、課題を解決できる。
http://lets.postgresql.jp/documents/technical/partitioning/1
しかしながら、非特許文献1及び特許文献1では、親テーブルの単位で子テーブルを設定するため、親テーブル数の増加に伴って子テーブルの設定が増加する。また、非特許文献1では、テーブルパーティションの運用管理の手順を詳細に設定することが可能である反面、複雑である。したがって、非特許文献1及び特許文献1では、パーティションの運用において管理にかかるユーザの負荷が大きいという問題点があった。
本発明は上記のような問題点を解決するためになされたもので、パーティションの運用において管理にかかるユーザの負荷を軽減するデータ処理装置を得ることを目的としている。
複数のパーティションから構成されるデータベースのパーティションに時系列データをその時間に応じて振り分けるデータ振り分け条件を保持するパーティション運用手順記憶部と、新たな時系列データがデータ振り分け条件に該当せず、時系列データを保存するパーティションが存在しない場合、データベースに新たなパーティションを作成するように指示するとともに、時系列データに対応するデータ振り分け条件をパーティション運用手順記憶部に追加するパーティション管理判定部と、を備えた。
本発明によれば、パーティションの運用において管理にかかるユーザの負荷を軽減することができる。
実施の形態1.
データベースとして著名なPostgreSQLやOracleなどは、外部アプリケーションからのデータ登録または検索に関するリクエストを、SQL文で受け取って実行するのが一般的である。SQL文の作成は煩雑である一方で、同じ目的のSQL文は共通する部分が多い。本発明のデータ処理装置は、アプリケーションに対してデータベースへの入出力機能を提供するものである。アプリケーションは、本発明のデータ処理装置により、SQL文を意識せずにデータベースへアクセスすることが可能となる。本実施の形態は、アプリケーションから時系列データを登録するときの、パーティションの運用に関するものである。また、分散されたデータを保存するテーブルをパーティションと呼ぶ。
データベースとして著名なPostgreSQLやOracleなどは、外部アプリケーションからのデータ登録または検索に関するリクエストを、SQL文で受け取って実行するのが一般的である。SQL文の作成は煩雑である一方で、同じ目的のSQL文は共通する部分が多い。本発明のデータ処理装置は、アプリケーションに対してデータベースへの入出力機能を提供するものである。アプリケーションは、本発明のデータ処理装置により、SQL文を意識せずにデータベースへアクセスすることが可能となる。本実施の形態は、アプリケーションから時系列データを登録するときの、パーティションの運用に関するものである。また、分散されたデータを保存するテーブルをパーティションと呼ぶ。
図1は、実施の形態1に係るデータ処理装置11の構成を示すブロック図である。データ処理装置11は、リクエスト解析部12、サービス定義情報記憶部13、パーティション管理判定部14、パーティション運用手順記憶部15、クエリ発行部16、クエリ実行部17、結果取得部18、及びレスポンス発行部19により構成される。
リクエスト解析部12は、アプリケーションからデータ登録のリクエストを受け取ると、リクエストに基づいて対応するサービス定義情報をサービス定義情報記憶部13から取得する。リクエスト解析部12は、取得したサービス定義情報をパーティション管理判定部14に出力する。次に、パーティション管理判定部14は、パーティション運用手順の定義情報を、パーティション運用手順記憶部15から取得する。パーティション運用手順の定義情報は、サービスごとに定義されたパーティションの運用に関する手順の定義情報である。
パーティション管理判定部14は、パーティション運用手順の定義情報とリクエスト解析部12から入力されたサービス定義情報を比較する。パーティション管理判定部14は、条件によってパーティション運用処理を追加する。また、パーティション管理判定部14は条件によってクエリ文を変更し、クエリ文をクエリ発行部16に出力する。クエリ発行部16はクエリ文をクエリ実行部17に出力する。クエリ実行部17はデータベース20に対してクエリを実行する。結果取得部18は、データベース20より結果を取得し、レスポンス発行部19に出力する。レスポンス発行部19は、アプリケーションに結果を出力する。
図2は、実施の形態1に係るパーティション管理判定部14の処理の流れを示すフローチャートである。
図3は、実施の形態1に係るサービス定義情報記憶部13が保持するサービス定義情報31を示す図である。サービス定義情報31aは、サービス名がデータ登録サービスである。サービス定義情報31aのパラメータ、及びクエリ文はあらかじめユーザが登録する。
図3は、実施の形態1に係るサービス定義情報記憶部13が保持するサービス定義情報31を示す図である。サービス定義情報31aは、サービス名がデータ登録サービスである。サービス定義情報31aのパラメータ、及びクエリ文はあらかじめユーザが登録する。
図4は、実施の形態1に係るパーティション運用記憶部15が保持するパーティション運用手順の定義情報41を示す図である。パーティション運用手順の定義情報41aは、サービス名がデータ登録サービスである。パーティション運用手順の定義情報41aのクエリタイプ、パーティションキー、パーティション運用条件、パーティション運用処理、データ振り分け条件、及びデータ振り分け処理はあらかじめユーザが登録する。
次に、パーティション管理判定部14の動作について説明する。
図2において、パーティション管理判定部14は、リクエスト解析部12からサービス定義情報が入力されると処理を開始する。パーティション管理判定部14は、パーティション運用手順記憶部15からパーティション運用手順の定義情報を取得する(S21)。パーティション管理判定部14は、パーティション運用手順の定義情報の検索には、リクエスト解析部12から入力されたサービス定義情報のサービス名をキーとして利用する。サービス名は、データベース20へのアクセスを要求するリクエストの内容を示すものである。リクエスト解析部12から入力されたサービス定義情報を31a、取得したパーティション運用手順の定義情報を41aとして、説明する。
図2において、パーティション管理判定部14は、リクエスト解析部12からサービス定義情報が入力されると処理を開始する。パーティション管理判定部14は、パーティション運用手順記憶部15からパーティション運用手順の定義情報を取得する(S21)。パーティション管理判定部14は、パーティション運用手順の定義情報の検索には、リクエスト解析部12から入力されたサービス定義情報のサービス名をキーとして利用する。サービス名は、データベース20へのアクセスを要求するリクエストの内容を示すものである。リクエスト解析部12から入力されたサービス定義情報を31a、取得したパーティション運用手順の定義情報を41aとして、説明する。
次に、パーティション管理判定部14は、パーティション運用手順の定義情報41aのクエリタイプが、サービス定義情報31aのクエリ文に含まれるクエリの種類と一致するか判定する(S22)。
クエリの種類が一致する場合、パーティション管理判定部14は、パーティション運用手順の定義情報41aのデータ振り分け条件を参照し、いずれかのデータ振り分け条件に一致するかを判定する(S23)。
一致するデータ振り分け条件が存在する場合、パーティション管理判定部14は、対応するデータ振り分け処理に記載されている内容を実行する(S24)。データ振り分け処理には、サービス定義情報31aのクエリ文に対する処理が記述されている。パーティション管理判定部14は、変更したクエリ文をクエリ発行部16へ出力する。
一致するデータ振り分け条件が存在しない場合、パーティション管理判定部14は、パーティション運用手順の定義情報41aを参照し、パーティション運用条件に一致するか判定する(S25)。
パーティション運用条件に一致する場合、パーティション管理判定部14は、パーティション運用処理をサービス定義情報31aのクエリ文の前に追加する(S26)。パーティション運用処理をクエリ文の前に追加することにより、パーティションを最新の状態にしてからクエリ文を実行することができる。
このように、データ振り分け条件とデータ振り分け処理を月単位で記述することにより、月単位でのパーティション運用を実現することができる。同様にして、年単位や日単位、週単位などのパーティション運用も実現することができる。
S22において、クエリの種類が一致しない場合、パーティション管理判定部14は、サービス定義情報31aに含まれるクエリ文を、クエリ発行部16に出力し、処理を終了する。S25において、運用条件と一致しない場合についても同様である。
パーティション管理判定部14が処理を終了すると、クエリ発行部16は、パラメータ値を設定し、クエリ実行部17へ出力する。パラメータ値は、アプリケーションからのリクエストに含まれているものとする。クエリ実行部17は、入力されたクエリを実行し、データベース20にアクセスする。結果取得部18はデータベース20からクエリ実行結果を受け取り、レスポンス発行部19に出力する。レスポンス発行部19は、クエリ実行結果をもとにアプリケーション向けの応答を作成し、出力する。
パーティション運用手順の定義情報41aの詳細について説明する。
クエリタイプinsertは、データの登録を示す。パーティションキーInsertTimeは、テーブルパーティションを日時の単位で行うことを示す。InsertTimeは、Timestamp型の一種である。Timestamp型は、日時を表すデータ型である。
クエリタイプinsertは、データの登録を示す。パーティションキーInsertTimeは、テーブルパーティションを日時の単位で行うことを示す。InsertTimeは、Timestamp型の一種である。Timestamp型は、日時を表すデータ型である。
latestyear_of_tablesは、データベース20の最新のデータ登録用テーブルを対象とし、指定された条件を満たすパーティションキーの年の値を返す関数である。yearは、引数の年の値を返す関数である。latestmonth_of_tablesは、データベース20の最新のデータ登録用テーブルを対象とし、指定された条件を満たすパーティションキーの月の値を返す関数である。monthは、引数の月の値を返す関数である。
create_latest_partitionは、現在の日時情報に基づいてデータベース20に新規にパーティションを生成する関数である。drop_oldest_partitionは、データベース20から最も古いパーティションを削除する関数である。update_tablenames_partconditionは、データ振り分け条件及びデータ振り分け処理の更新を行う関数である。当該関数は、create_latest_partitionによって生成された新規のパーティションに対応するデータ振り分け条件及びデータ振り分け処理を追加する。また、当該関数は、drop_oldest_partitionによって削除されたパーティションに対応するデータ振り分け条件及びデータ振り分け処理を削除する。addstr_insert_tablenameは、サービス定義情報31aのクエリ文のテーブル名に引数の文字列を追加する関数である。
データ振り分け条件が「InsertTime >= ‘20140101’ and InsertTime <= ‘20140131’」で、データ振り分け処理が「addstr insert tablename(‘−201401’);」の場合は、2014年1月の場合に当該処理を実行することを示している。データ振り分け条件が「InsertTime >= ‘20140201’ and InsertTime <= ‘20140228’」で、データ振り分け処理が「addstr insert tablename(‘−201402’);」の場合は、2014年2月の場合に当該処理を実行することを示している。
パーティション運用手順の定義情報41aのパーティション運用処理、パーティション運用条件、及びデータ振り分け処理に記述している関数はパーティション管理判定部14が保持している関数の一例である。パーティション管理判定部14がこのような関数を実装しておくことにより、処理を共通化することができる。パーティション運用にかかるコストを削減することもできる。
例えば、データベース20のデータ登録用テーブルに2013年12月までのデータが登録されていたとする。このとき、アプリケーションからのリクエストのクエリタイプがinsertで、2014年1月のデータの場合、パーティション運用手順の定義情報41aのパーティション運用条件の「latestyear_of_tables()<year(InsertTime)」が真となり、パーティション管理判定部14はパーティション運用処理を追加する。追加する処理は、2014年1月のパーティションを生成する処理、最も古いパーティションを削除する処理、削除するパーティションに対応するデータ振り分け条件及びデータ振り分け処理をパーティション運用手順の定義情報41aから削除する処理、並びに追加するパーティションに対応するデータ振り分け条件及びデータ振り分け処理をパーティション運用手順の定義情報41aへ追加する処理である。
したがって、本実施の形態では、複数のパーティションから構成されるデータベースのパーティションに時系列データをその時間に応じて振り分けるデータ振り分け条件を保持するパーティション運用手順記憶部と、新たな時系列データがデータ振り分け条件に該当せず、時系列データを保存するパーティションが存在しない場合、データベースに新たなパーティションを作成するように指示するとともに、時系列データに対応するデータ振り分け条件をパーティション運用手順記憶部に追加するパーティション管理判定部とを備えたので、パーティションの運用において管理にかかるユーザの負荷を軽減することができる。また、管理にかかるコストも低減できる。
また、パーティション運用手順記憶部は、パーティションに対するパーティション運用処理と、パーティション運用処理を実行するパーティション運用条件とを対応付けたパーティション運用手順の定義情報を保持し、パーティション管理判定部は、データベースへのアクセスを要求するリクエストに対応するパーティション運用手順の定義情報のパーティション運用条件が真の場合、パーティション運用処理を実行するように指示するとともに、パーティション運用処理を実行した後に、リクエストに応じたデータの処理であるクエリをデータベースに対して実行するクエリ実行部を備えたので、パーティションの運用手順を個別に設定する必要がない。
実施の形態2.
以上の実施の形態1では、データ1件単位でパーティション運用の条件判定をするようにしたものであるが、本実施の形態においては、複数件のデータをまとめて処理する実施の形態を示す。例えば、アプリケーションからの1回のリクエストで2014年1月のデータを複数登録する場合である。複数件のデータについてまとめてパーティション運用の条件判定を実施することにより処理を効率化できる。
なお、本実施の形態においては、データ処理装置11の構成は、図1と同じである。
以上の実施の形態1では、データ1件単位でパーティション運用の条件判定をするようにしたものであるが、本実施の形態においては、複数件のデータをまとめて処理する実施の形態を示す。例えば、アプリケーションからの1回のリクエストで2014年1月のデータを複数登録する場合である。複数件のデータについてまとめてパーティション運用の条件判定を実施することにより処理を効率化できる。
なお、本実施の形態においては、データ処理装置11の構成は、図1と同じである。
パーティション管理判定部14の動作について説明する。
図5は、実施の形態2に係るパーティション管理判定部14の処理の流れを示すフローチャートである。S501は、図2のS21と同様のため、説明を割愛する。
図5は、実施の形態2に係るパーティション管理判定部14の処理の流れを示すフローチャートである。S501は、図2のS21と同様のため、説明を割愛する。
S502において、パーティション管理判定部14は、リクエスト解析部12から入力されたリクエストに含まれる複数件のデータから1件ずつ順番に取得する(S502)。
パーティション管理判定部14は、S502で取得したデータに対してクエリの種類が一致するかを判定する(S503)。一致するクエリの種類が存在する場合、パーティション管理判定部14は、S502で取得したデータに対してデータ振り分け条件のいずれかに一致するかについて判定する(S504)。一致するデータ振り分け条件が存在する場合、パーティション管理判定部14は、データ振り分け条件に対応するデータ振り分け処理に記載されている内容を実行する(S505)。
S503において、一致するクエリの種類が存在しない場合、処理はS502へ進む。
S504において、一致するデータ振り分け条件が存在しない場合、パーティション管理判定部14は、S502で取得したデータに対して、対応する運用条件と一致するかについて判定する(S506)。運用条件と一致する場合、パーティション管理判定部14は、対応するパーティション運用処理を実行する(S507)。
S506において、運用条件に一致しない場合、処理はS502へ進む。
パーティション管理判定部14は、リクエストに含まれる複数件の全てのデータに対してS503〜S507の処理を実行しているかを判定する(S508)。全てのデータを処理している場合、処理はS509へ進む。全てのデータを処理していない場合、処理はS502へ進む。
パーティション管理判定部14は、サービス定義情報31のクエリ文が最小となるように、複数のデータについて同一の処理をまとめる。例えば、クエリタイプが”insert”の場合、同一のパーティションに対してデータを登録するクエリ文は、”insert into table_A−201304 values( ),values(・・・),・・・”というように1個のクエリ文にする(S509)。
パーティション管理判定部14は、パーティション運用手順の定義情報41aを参照し、パーティション運用条件に一致するか判定する(S510)。
パーティション運用条件に一致する場合、パーティション管理判定部14は、パーティション運用処理をサービス定義情報31aのクエリ文の前に追加する(S511)。
S510において、パーティション運用条件に一致しない場合、処理は終了する。
パーティション管理判定部14は処理を終了すると、クエリ文をクエリ発行部16に出力する。以降の処理は、実施の形態1と同様である。
したがって、パーティション管理判定部は、リクエストに複数のデータに対する処理が含まれている場合、すべてのデータについてデータ振り分け条件を判定し、データ振り分け条件が真ならばデータ振り分け処理を実行するので、ユーザは効率的にパーティションの運用をすることができる。
実施の形態3.
以上の実施の形態2では、複数件のデータをまとめて処理するようにしたものであるが、本実施の形態においては、テーブルの残ディスク容量に基づいてパーティション運用処理を実行する実施の形態を示す。
以上の実施の形態2では、複数件のデータをまとめて処理するようにしたものであるが、本実施の形態においては、テーブルの残ディスク容量に基づいてパーティション運用処理を実行する実施の形態を示す。
本実施の形態においては、データ処理装置11の構成は、図1と同じである。なお、テーブルと物理ディスクまたは論理ディスクが1対1に対応づく構成とする。
また、パーティション管理判定部14の動作は、図2と同じである。
また、パーティション管理判定部14の動作は、図2と同じである。
図6は、実施の形態3に係るパーティション運用記憶部15が保持するパーティション運用手順の定義情報41を示す図である。パーティション運用手順の定義情報42aは、サービス名がデータ登録サービスである。パーティション運用手順の定義情報42aのクエリタイプ、パーティションキー、パーティション運用条件、パーティション運用処理、データ振り分け条件、及びデータ振り分け処理はあらかじめユーザが登録する。
パーティションキーは「*(アスタリスク)」であり、全データを対象とする。データ振り分け条件は「rest(disk001)>100[GB]」である。データ振り分け処理は「addstr_insert_tablename(‘_disk001’)」である。また、パーティション運用条件は「rest(get_disk_name_of_max())<100[GB]」である。パーティション運用処理は「create_new_partition(),drop_oldest_partition()」である。
パーティションキーは「*(アスタリスク)」であり、全データを対象とする。データ振り分け条件は「rest(disk001)>100[GB]」である。データ振り分け処理は「addstr_insert_tablename(‘_disk001’)」である。また、パーティション運用条件は「rest(get_disk_name_of_max())<100[GB]」である。パーティション運用処理は「create_new_partition(),drop_oldest_partition()」である。
restは全ディスク容量を参照する関数である。get_disk_name_of_maxは残ディスク容量が最大のディスク名を取得する関数である。create_new_partitionは未使用のディスク領域に新規パーティションを割り当てる関数である。drop_oldest_partitionは最も古いデータの集合であるパーティションを削除する関数である。これらの関数は、それぞれユーザが定義する。なお、
全ディスク容量が100GBより大きい場合、パーティション管理判定部14はデータ振り分け処理を実行する。全ディスク容量が100GB以下で、残ディスク容量が最大のディスクの容量が100GBより少ない場合、パーティション管理判定部14は、未使用のディスク領域に新規パーティションを割り当て、最も古いデータの集合であるパーティションを削除する。
したがって、パーティション管理判定部は、データベースの残ディスク容量に応じてデータ振り分け処理とパーティション運用処理とを実行するので、ユーザが残ディスク容量を管理する必要がない。よって、パーティションの運用において管理にかかるユーザの負荷を軽減することができる。
11 データ処理装置
12 リクエスト解析部
13 サービス定義情報記憶部
14 パーティション管理判定部
15 パーティション運用手順記憶部
16 クエリ発行部
17 クエリ実行部
18 結果取得部
19 レスポンス発行部
20 データベース
31、31a サービス定義情報
41、41a、42a パーティション運用手順の定義情報
12 リクエスト解析部
13 サービス定義情報記憶部
14 パーティション管理判定部
15 パーティション運用手順記憶部
16 クエリ発行部
17 クエリ実行部
18 結果取得部
19 レスポンス発行部
20 データベース
31、31a サービス定義情報
41、41a、42a パーティション運用手順の定義情報
Claims (9)
- 複数のパーティションから構成されるデータベースの前記パーティションに時系列データをその時間に応じて振り分けるデータ振り分け条件を保持するパーティション運用手順記憶部と、
新たな時系列データが前記データ振り分け条件に該当せず、前記時系列データを保存するパーティションが存在しない場合、前記データベースに新たなパーティションを作成するように指示するとともに、前記時系列データに対応するデータ振り分け条件を前記パーティション運用手順記憶部に追加するパーティション管理判定部と、
を備えることを特徴とするデータ処理装置。 - 前記パーティション運用手順記憶部は、前記パーティションに対するパーティション運用処理と、前記パーティション運用処理を実行するパーティション運用条件とを対応付けたパーティション運用手順の定義情報を保持し、
前記パーティション管理判定部は、前記データベースへのアクセスを要求するリクエストに対応するパーティション運用手順の定義情報のパーティション運用条件が真の場合、前記パーティション運用処理を実行するように指示するとともに、
前記パーティション運用処理を実行した後に、前記リクエストに応じたデータの処理であるクエリを前記データベースに対して実行するクエリ実行部を備えることを特徴とする請求項1に記載のデータ処理装置。 - 前記パーティション運用手順記憶部は、前記データ振り分け条件と、前記データ振り分け条件に該当する場合にクエリの実行文を変更するデータ振り分け処理とを、パーティション運用手順の定義情報にさらに対応付け、
前記パーティション管理判定部は、前記データ振り分け条件が真の場合、前記クエリの実行文を変更するデータ振り分け処理を実行し、
前記クエリ実行部は、変更された前記クエリを実行することを特徴とする請求項2に記載のデータ処理装置。 - 前記パーティション管理判定部は、複数のパーティションに対応したデータ振り分け条件とデータ振り分け処理とを設けることを特徴とする請求項3に記載のデータ処理装置。
- 前記パーティション管理判定部は、前記リクエストに複数のデータに対する処理が含まれている場合、すべてのデータについてデータ振り分け条件を判定し、データ振り分け条件が真ならばデータ振り分け処理を実行することを特徴とする請求項3又は4に記載のデータ処理装置。
- 前記パーティション管理判定部は、前記データベースの同一のパーティションに対する前記クエリ文が複数ある場合、複数の前記クエリ文をまとめることを特徴とする請求項5に記載のデータ処理装置。
- 前記パーティション管理判定部は、前記データベースの残ディスク容量に応じてデータ振り分け処理とパーティション運用処理とを実行することを特徴とする請求項3又は4に記載のデータ処理装置。
- 前記リクエストの種類とクエリとを対応付けたサービス定義情報を保持するサービス定義情報記憶部と、
前記リクエストを受信するとその種類に対応するサービス定義情報を前記サービス定義情報記憶部から取得し、出力するリクエスト解析部と、
前記データベースから前記クエリに対する結果を取得し、出力する結果取得部と、
前記結果取得部から入力される結果より前記リクエストに対するレスポンスを生成し、出力するレスポンス発行部と、
を備え、
前記パーティション管理判定部は、前記リクエスト解析部から入力された前記サービス定義情報のクエリの種類に対応するパーティション運用手順の定義情報を前記パーティション運用手順記憶部から取得する請求項1から5のいずれか一項に記載のデータ処理装置。 - 複数のパーティションから構成されるデータベースの前記パーティションに時系列データをその時間に応じて振り分けるデータ振り分け条件を保持するパーティション運用手順記憶ステップと、
新たな時系列データが前記データ振り分け条件に該当せず、前記時系列データを保存するパーティションが存在しない場合、前記データベースに新たなパーティションを作成するように指示するとともに、前記時系列データに対応するデータ振り分け条件を前記パーティション運用手順記憶部に追加するパーティション管理判定ステップと、
を有するデータ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014051443A JP2015176276A (ja) | 2014-03-14 | 2014-03-14 | データ処理装置及びデータ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014051443A JP2015176276A (ja) | 2014-03-14 | 2014-03-14 | データ処理装置及びデータ処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015176276A true JP2015176276A (ja) | 2015-10-05 |
Family
ID=54255438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014051443A Pending JP2015176276A (ja) | 2014-03-14 | 2014-03-14 | データ処理装置及びデータ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015176276A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109933502A (zh) * | 2019-01-23 | 2019-06-25 | 平安科技(深圳)有限公司 | 电子装置、用户操作记录的处理方法和存储介质 |
-
2014
- 2014-03-14 JP JP2014051443A patent/JP2015176276A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109933502A (zh) * | 2019-01-23 | 2019-06-25 | 平安科技(深圳)有限公司 | 电子装置、用户操作记录的处理方法和存储介质 |
CN109933502B (zh) * | 2019-01-23 | 2022-05-20 | 平安科技(深圳)有限公司 | 电子装置、用户操作记录的处理方法和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6697392B2 (ja) | 半構造データスキーマのトランスペアレントディスカバリ | |
CA2977042C (en) | System and method for generating an effective test data set for testing big data applications | |
JP6509127B2 (ja) | 連続データストリームに対する継続時間可変ウィンドウ | |
JP6000415B2 (ja) | データクエリの管理 | |
US9037677B2 (en) | Update protocol for client-side routing information | |
KR101719399B1 (ko) | 하둡에서의 개선된 sql-형 질의를 위한 백그라운드 포맷 최적화 | |
US10120900B1 (en) | Processing a database query using a shared metadata store | |
US8700660B2 (en) | Client-side statement routing for partitioned tables | |
KR102041168B1 (ko) | Union 유형 연산을 포함하는 쿼리 처리 | |
Divya et al. | An advanced and quick search technique to handle voluminous data | |
US20200042510A1 (en) | Method and device for correlating multiple tables in a database environment | |
CN110069526A (zh) | 用于分布式数据库查询引擎的系统和方法 | |
CN107506356B (zh) | 数据处理方法及其系统 | |
JP2015069461A (ja) | 情報処理装置 | |
US11151112B2 (en) | Correlating multiple tables in a non-relational database environment | |
Potter et al. | Distributed RDF query answering with dynamic data exchange | |
US20210216516A1 (en) | Management of a secondary vertex index for a graph | |
Steinbauer et al. | Dynamograph: a distributed system for large-scale, temporal graph processing, its implementation and first observations | |
JP2016091356A (ja) | 仮想データベースシステム管理装置、管理方法及び管理プログラム | |
Haque et al. | Distributed RDF triple store using hbase and hive | |
US10019472B2 (en) | System and method for querying a distributed dwarf cube | |
JP2015176276A (ja) | データ処理装置及びデータ処理方法 | |
Xu et al. | Personal process description graph for describing and querying personal processes | |
JP6523823B2 (ja) | 仮想データベースシステム管理装置、管理方法及び管理プログラム | |
Khashan et al. | An adaptive spark-based framework for querying large-scale NoSQL and relational databases |