JP2018511861A - 分散データベースにおけるデータブロックを処理する方法およびデバイス - Google Patents
分散データベースにおけるデータブロックを処理する方法およびデバイス Download PDFInfo
- Publication number
- JP2018511861A JP2018511861A JP2017544648A JP2017544648A JP2018511861A JP 2018511861 A JP2018511861 A JP 2018511861A JP 2017544648 A JP2017544648 A JP 2017544648A JP 2017544648 A JP2017544648 A JP 2017544648A JP 2018511861 A JP2018511861 A JP 2018511861A
- Authority
- JP
- Japan
- Prior art keywords
- data block
- tablet data
- tablet
- block information
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 title abstract description 35
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 description 12
- 230000005012 migration Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
Claims (20)
- 分散データベースの複数のストレージサーバに関連付けられた、ログに含まれるタブレットデータブロック情報を取得する段階と、
前記ログに含まれる前記タブレットデータブロック情報に基づいて、対応するルートテーブルにおけるタブレットデータブロック情報を照会する段階と、
前記ログに含まれる前記タブレットデータブロック情報が、前記ルートテーブルにおける前記タブレットデータブロック情報と整合しているかどうかを判断する段階と、
前記ログに含まれる前記タブレットデータブロック情報が前記ルートテーブルにおける前記タブレットデータブロック情報と整合していないと判断した場合、アラームを送信する段階と
を備える方法。 - 前記ログに含まれる前記タブレットデータブロック情報を取得する前記段階は、
前記ログをパースする段階と、
前記ログに対応する前記タブレットデータブロック情報を抽出する段階と
を有する、請求項1に記載の方法。 - 前記タブレットデータブロック情報は、タブレットデータブロックに対応するテーブル名、タブレットデータブロックに対応する境界、タブレットデータブロックの位置分散、タブレットデータブロックのデータチェックコード、タブレットデータブロックのインデックス、タブレットデータブロックの作成時間およびタブレットデータブロックのサイズのうちの1または複数を含む、請求項1または2に記載の方法。
- 前記ログに含まれる前記タブレットデータブロック情報に基づいて、前記対応するルートテーブルにおけるタブレットデータブロック情報を照会する前記段階は、
前記ログに含まれる前記タブレットデータブロック情報に対応するテーブル名を識別する段階と、
前記テーブル名に対応する前記ルートテーブルにおけるタブレットデータブロック情報を照会する段階と
を有する請求項1から3のいずれか一項に記載の方法。 - 前記ログに含まれる前記タブレットデータブロック情報が、前記ルートテーブルにおける前記タブレットデータブロック情報と整合しているかどうかを判断する前記段階は、
前記ルートテーブルにおけるタブレットデータブロックに対応する前記タブレットデータブロック情報が、前記ログに含まれるタブレットデータブロックと整合しているかどうかをチェックする段階であって、前記タブレットデータブロック情報は、テーブル名、境界、位置分散、データチェックコード、インデックス、作成時間およびサイズのうちの1または複数を含む、前記ルートテーブルにおけるタブレットデータブロックに対応するチェックする段階
を有する、請求項1から4のいずれか一項に記載の方法。 - 複数のタブレットデータブロックに対応する複数のテーブル名を複数のキー値として用いて、要約されたタブレットデータブロック情報をディスクに保存する段階をさらに備える、請求項1から5のいずれか一項に記載の方法。
- ストレージサーバにより1または複数のログをポーリングする段階と、
前記ストレージサーバにより、新たなデータが前記1または複数のログに現れたと判断する段階と、
前記ストレージサーバにより、前記新たなデータがタブレットデータブロック情報であるかどうかを識別する段階と
をさらに備える、請求項1から6のいずれか一項に記載の方法。 - 前記ストレージサーバにより前記1または複数のログをポーリングする前記段階は、
タブレットデータブロックの分割または併合が前記ストレージサーバで発生した場合、前記ストレージサーバの1または複数のローカルログファイルに1個のログデータを生成する段階と、
前記ストレージサーバにより前記1または複数のローカルログファイルを継続的にポーリングして、新たなデータが前記1または複数のローカルログファイルに現れたかどうかをさらに判断する段階と
を有する、請求項7に記載の方法。 - 前記ログは、タブレットの複製オペレーション、負荷平均化オペレーション、タブレット分割オペレーションまたはタブレット併合オペレーションに応答して生成される、請求項1から8のいずれか一項に記載の方法。
- 前記ログに含まれる前記タブレットデータブロック情報に基づいて、前記対応するルートテーブルにおける前記タブレットデータブロック情報を照会する前記段階は、SQLステートメントを実行して、前記ルートテーブルにおける前記タブレットデータブロック情報を取得する段階を有する、請求項1から9のいずれか一項に記載の方法。
- プロセッサと、
コンピュータ実行可能命令を格納した非一時的メモリと
を備えるデバイスであって、
前記コンピュータ実行可能命令は、前記プロセッサにより実行された場合、前記デバイスに、
分散データベースの複数のストレージサーバに関連付けられた、ログに含まれるタブレットデータブロック情報を取得するオペレーションと、
前記ログに含まれる前記タブレットデータブロック情報に基づいて、対応するルートテーブルにおけるタブレットデータブロック情報を照会するオペレーションと、
前記ログに含まれる前記タブレットデータブロック情報が前記ルートテーブルにおける前記タブレットデータブロック情報と整合しているかどうかを判断するオペレーションと、
前記ログに含まれる前記タブレットデータブロック情報が前記ルートテーブルにおける前記タブレットデータブロック情報と整合していないと判断した場合、アラームを送信するオペレーションと
を実行させる、デバイス。 - 前記ログに含まれる前記タブレットデータブロック情報を取得する前記オペレーションは、
前記ログをパースする段階と、
前記ログに対応する前記タブレットデータブロック情報を抽出する段階と
を有する、請求項11に記載のデバイス。 - 前記タブレットデータブロック情報は、タブレットデータブロックに対応するテーブル名、タブレットデータブロックに対応する境界、タブレットデータブロックの位置分散、タブレットデータブロックのデータチェックコード、タブレットデータブロックのインデックス、タブレットデータブロックの作成時間およびタブレットデータブロックのサイズのうちの1または複数を含む、請求項11または12に記載のデバイス。
- 前記ログに含まれる前記タブレットデータブロック情報に基づいて、前記対応するルートテーブルにおける前記タブレットデータブロック情報を照会する前記オペレーションは、
前記ログに含まれる前記タブレットデータブロック情報に対応するテーブル名を識別する段階と、
前記テーブル名に対応する前記ルートテーブルにおけるタブレットデータブロック情報を照会する段階と
を有する、請求項11から13のいずれか一項に記載のデバイス。 - 前記ログに含まれる前記タブレットデータブロック情報が前記ルートテーブルにおける前記タブレットデータブロック情報と整合しているかどうかを判断する前記オペレーションは、
前記ルートテーブルにおけるタブレットデータブロックに対応する前記タブレットデータブロック情報が、前記ログに含まれるタブレットデータブロックと整合しているかどうかをチェックする段階であって、前記タブレットデータブロック情報は、テーブル名、境界、位置分散、データチェックコード、インデックス、作成時間およびサイズのうちの1または複数を含む、前記ルートテーブルにおけるタブレットデータブロックに対応するチェックする段階
を有する、請求項11から14のいずれか一項に記載のデバイス。 - 前記オペレーションは、複数のタブレットデータブロックに対応する複数のテーブル名を複数のキー値として用いて、要約されたタブレットデータブロック情報をディスクに永続的に保存する段階をさらに含む、請求項11から15のいずれか一項に記載のデバイス。
- 前記ログは、タブレットの複製オペレーション、負荷平均化オペレーション、タブレット分割オペレーションまたはタブレット併合オペレーションに応答して生成される、請求項11から16のいずれか一項に記載のデバイス。
- 前記ログに含まれる前記タブレットデータブロック情報に基づいて、前記対応するルートテーブルにおける前記タブレットデータブロック情報を照会する前記オペレーションは、SQLステートメントを実行して、前記ルートテーブルにおける前記タブレットデータブロック情報を取得する段階を有する、請求項11から17のいずれか一項に記載のデバイス。
- マージサーバと、
1または複数のログを取得し、
新たなデータが前記1または複数のログに現れたと判断し、
前記新たなデータがタブレットデータブロック情報であるかどうかを識別し、かつ
論理データブロック用のタブレットデータブロック情報を含むログを送信するよう各々が構成される複数の、ストレージサーバと、
複数の前記ストレージサーバに関連付けられた、前記ログに含まれる前記タブレットデータブロック情報を取得し、
前記ログに含まれる前記タブレットデータブロック情報に基づいて、対応するルートテーブルにおけるタブレットデータブロック情報を前記マージサーバに照会し、
前記ログに含まれる前記タブレットデータブロック情報が前記ルートテーブルにおける前記タブレットデータブロック情報と整合しているかどうかを判断し、かつ
前記ログに含まれる前記タブレットデータブロック情報が前記ルートテーブルにおける前記タブレットデータブロック情報と整合していないと判断した場合、アラームを送信するよう構成される制御サーバと
を備える分散データベースシステム。 - 前記1または複数のログの前記取得は、タブレットデータブロックの分割または併合が前記ストレージサーバ上で発生した場合、前記ストレージサーバの1または複数のローカルログファイルに1個のログデータを生成する段階と、前記ストレージサーバにより前記1または複数のローカルログファイルを継続的にポーリングして、新たなデータが前記1または複数のローカルログファイルに現れたかどうかをさらに判断する段階とを有する、請求項19に記載の分散データベースシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510090139.4 | 2015-02-27 | ||
CN201510090139.4A CN105989140B (zh) | 2015-02-27 | 2015-02-27 | 一种数据块处理方法和设备 |
PCT/CN2016/073594 WO2016134639A1 (zh) | 2015-02-27 | 2016-02-05 | 一种数据块处理方法和设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019224177A Division JP6996812B2 (ja) | 2015-02-27 | 2019-12-12 | 分散データベースにおけるデータブロックを処理する方法、プログラム、およびデバイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018511861A true JP2018511861A (ja) | 2018-04-26 |
JP6633642B2 JP6633642B2 (ja) | 2020-01-22 |
Family
ID=56787904
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017544648A Active JP6633642B2 (ja) | 2015-02-27 | 2016-02-05 | 分散データベースにおけるデータブロックを処理する方法およびデバイス |
JP2019224177A Active JP6996812B2 (ja) | 2015-02-27 | 2019-12-12 | 分散データベースにおけるデータブロックを処理する方法、プログラム、およびデバイス |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019224177A Active JP6996812B2 (ja) | 2015-02-27 | 2019-12-12 | 分散データベースにおけるデータブロックを処理する方法、プログラム、およびデバイス |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180032567A1 (ja) |
EP (1) | EP3264291A4 (ja) |
JP (2) | JP6633642B2 (ja) |
CN (1) | CN105989140B (ja) |
WO (1) | WO2016134639A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10409768B2 (en) * | 2016-09-30 | 2019-09-10 | EMC IP Holding Company LLC | Managing data inconsistencies in files of file systems |
CN108549704B (zh) * | 2018-04-18 | 2021-01-12 | 厦门市美亚柏科信息股份有限公司 | 数据包的分布式流式预处理方法、装置、设备及可读介质 |
CN110019247A (zh) * | 2018-08-16 | 2019-07-16 | 比亚迪股份有限公司 | 数据存储以及查询方法、装置和监控系统 |
CN111061721B (zh) * | 2018-10-16 | 2023-07-25 | 成都鼎桥通信技术有限公司 | 数据处理方法及装置 |
CN111290714B (zh) * | 2020-02-06 | 2023-09-05 | 北京百度网讯科技有限公司 | 数据读取方法和装置 |
CN114168572A (zh) * | 2022-02-10 | 2022-03-11 | 北京奥星贝斯科技有限公司 | 管理数据库的方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3612449B2 (ja) * | 1999-07-27 | 2005-01-19 | エヌイーシーシステムテクノロジー株式会社 | 分散データベースシステムにおける主従関係情報同期方式 |
JP4137391B2 (ja) * | 2001-02-19 | 2008-08-20 | 株式会社リコー | データ管理装置、方法、プログラム、及び記録媒体 |
CN102156738B (zh) * | 2011-04-13 | 2012-12-19 | 成都市华为赛门铁克科技有限公司 | 数据块处理方法、数据块存储设备及系统 |
US8732140B2 (en) * | 2011-05-24 | 2014-05-20 | Red Lambda, Inc. | Methods for storing files in a distributed environment |
CN102567445B (zh) * | 2011-10-25 | 2014-07-02 | 无锡城市云计算中心有限公司 | 一种分布式文件系统中保证元数据一致性的方法 |
CN103778030B (zh) * | 2013-12-30 | 2017-09-22 | 上海晨思电子科技有限公司 | 日志子系统写入方法、错误追踪方法及处理器 |
CN103929500A (zh) * | 2014-05-06 | 2014-07-16 | 刘跃 | 一种分布式存储系统的数据分片方法 |
CN104331478B (zh) * | 2014-11-05 | 2017-09-22 | 浪潮电子信息产业股份有限公司 | 一种自精简存储系统数据一致性管理方法 |
-
2015
- 2015-02-27 CN CN201510090139.4A patent/CN105989140B/zh active Active
-
2016
- 2016-02-05 JP JP2017544648A patent/JP6633642B2/ja active Active
- 2016-02-05 US US15/553,050 patent/US20180032567A1/en not_active Abandoned
- 2016-02-05 WO PCT/CN2016/073594 patent/WO2016134639A1/zh active Application Filing
- 2016-02-05 EP EP16754748.8A patent/EP3264291A4/en not_active Ceased
-
2019
- 2019-12-12 JP JP2019224177A patent/JP6996812B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6996812B2 (ja) | 2022-01-17 |
CN105989140B (zh) | 2019-09-03 |
CN105989140A (zh) | 2016-10-05 |
EP3264291A1 (en) | 2018-01-03 |
EP3264291A4 (en) | 2018-10-03 |
JP6633642B2 (ja) | 2020-01-22 |
WO2016134639A1 (zh) | 2016-09-01 |
JP2020057416A (ja) | 2020-04-09 |
US20180032567A1 (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6996812B2 (ja) | 分散データベースにおけるデータブロックを処理する方法、プログラム、およびデバイス | |
CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
EP3477914B1 (en) | Data recovery method and device, and cloud storage system | |
US8442951B1 (en) | Processing archive content based on hierarchical classification levels | |
US20170004185A1 (en) | Method and system for implementing collection-wise processing in a log analytics system | |
US10108634B1 (en) | Identification and removal of duplicate event records from a security information and event management database | |
US10877810B2 (en) | Object storage system with metadata operation priority processing | |
US11093446B2 (en) | Duplicate request checking for file system interfaces | |
US20190370237A1 (en) | Versioning Validation for Data Transfer between Heterogeneous Data Stores | |
US9152683B2 (en) | Database-transparent near online archiving and retrieval of data | |
US11082494B2 (en) | Cross storage protocol access response for object data stores | |
CN111046036A (zh) | 数据同步方法、装置、系统及存储介质 | |
WO2021112909A1 (en) | Managing replication state for deleted objects | |
US20200250188A1 (en) | Systems, methods and data structures for efficient indexing and retrieval of temporal data, including temporal data representing a computing infrastructure | |
WO2023103626A1 (zh) | 数据降采样和数据查询方法、系统及存储介质 | |
CN107330017A (zh) | 一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统 | |
CN111221890B (zh) | 通用指标类自动监控预警方法及装置 | |
CN109947730B (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
CN110717130B (zh) | 打点方法、装置、终端及存储介质 | |
CN112306957A (zh) | 获取索引节点号的方法、装置、计算设备和存储介质 | |
CN110309206B (zh) | 订单信息采集方法及系统 | |
CN110245037B (zh) | 一种基于日志的Hive用户操作行为还原方法 | |
US11023449B2 (en) | Method and system to search logs that contain a massive number of entries | |
CN115185778A (zh) | 数据库的监控方法及装置 | |
CN115470192A (zh) | 一种数据库元数据采集与管理的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6633642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |