JP2013535737A5 - - Google Patents

Download PDF

Info

Publication number
JP2013535737A5
JP2013535737A5 JP2013521774A JP2013521774A JP2013535737A5 JP 2013535737 A5 JP2013535737 A5 JP 2013535737A5 JP 2013521774 A JP2013521774 A JP 2013521774A JP 2013521774 A JP2013521774 A JP 2013521774A JP 2013535737 A5 JP2013535737 A5 JP 2013535737A5
Authority
JP
Japan
Prior art keywords
access module
binary log
file
data
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013521774A
Other languages
English (en)
Other versions
JP6062855B2 (ja
JP2013535737A (ja
Filing date
Publication date
Priority claimed from US13/077,760 external-priority patent/US8510270B2/en
Application filed filed Critical
Publication of JP2013535737A publication Critical patent/JP2013535737A/ja
Publication of JP2013535737A5 publication Critical patent/JP2013535737A5/ja
Application granted granted Critical
Publication of JP6062855B2 publication Critical patent/JP6062855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (17)

  1. バイナリログファイルを使用するMySQLデータベースまたはシステムと、他の種類のデータベースまたはシステムとの間でデータを転送するために、ログベースレプリケーションを使用するシステムであって、
    ベンダーアクセスモジュールを備え、前記ベンダーアクセスモジュールは、
    イベントデータを第1のもしくはソースのデータベースまたはシステムによってバイナリログファイルに記録されたものとして認識し、
    前記イベントデータをデータレコードに変換し、
    前記データレコードを処理し、処理されたデータを含むトレールファイルを生成するために、extractプロセスとやり取りし、
    前記ベンダーアクセスモジュールは、前記処理されたデータを第2のもしくはターゲットのデータベースまたはシステムに与えるのに使用される、システム。
  2. 前記第1のもしくはソースのデータベースまたはシステムはMySQLデータベースであり、前記バイナリログファイルはMySQLバイナリログファイルであり、前記第2のもしくはターゲットのデータベースまたはシステムは非MySQLデータベースである、請求項1に記載のシステム。
  3. ベンダーアクセスモジュールは、前記バイナリログファイルに記録されているイベントデータタイプのサブセットのみを認識し、これらをデータレコードに変換するよう構成されている、請求項1または2に記載のシステム。
  4. 前記extractプロセスはOracle(登録商標)GoldenGate extractプロセスであり、前記トレールファイルはOracle GoldenGateトレールファイルである、請求項1〜3のいずれかに記載のシステム。
  5. 前記ベンダーアクセスモジュールは、extractプロセスが特定のトランザクション用にデータレコードを検索するためにAPIを設ける、請求項1〜4のいずれかに記載のシステム。
  6. 前記ベンダーアクセスモジュールは、バイナリログからイベントの処理を与えるために用いることができる、複数のVAMイベントクラスと;前記第1のもしくはソースのデータベースまたはシステムによって与えられるアクセスライブラリをラップアラウンドするために用いることができる、複数のVAMバイナリログクラスと;ビンログクラスからレコードを読出しおよび処理し、これらをデータレコードキューに入れるために用いることができる、複数のVAMリーダおよびプロセッサクラスとを含む、請求項1〜5のいずれかに記載のシステム。
  7. 前記ベンダーアクセスモジュールは、ログインデックスファイルを用いて、複数のバイナリログファイルから使用するべき現行のバイナリログファイル、およびその状態を定める、請求項1〜6のいずれかに記載のシステム。
  8. 前記ベンダーアクセスモジュールは、前記バイナリログファイルに記録されているログ回転イベントを認識し、この情報を用いて次のバイナリログ名を得る、請求項1〜7のいずれかに記載のシステム。
  9. バイナリログファイルを使用するMySQLデータベースまたはシステムと、他の種類のデータベースまたはシステムとの間でデータを転送するためにログベースレプリケーションを用いる方法であって、
    ベンダーアクセスモジュールを設けるステップを備え、前記ベンダーアクセスモジュールは、
    イベントデータを第1のもしくはソースのデータベースまたはシステムによってバイナリログファイルに記録されたものとして認識し、
    前記イベントデータをデータレコードに変換し、
    前記データレコードを処理し、処理されたデータを含むトレールファイルを生成するためにextractプロセスとやり取りし、
    前記ベンダーアクセスモジュールは、前記処理されたデータを第2のもしくはターゲットのデータベースまたはシステムに与えるのに使用される、方法。
  10. 前記第1のもしくはソースのデータベースまたはシステムはMySQLデータベースであり、前記バイナリログファイルはMySQLバイナリログファイルであり、前記第2のもしくはターゲットのデータベースまたはシステムは非MySQLデータベースである、請求項9に記載の方法。
  11. ベンダーアクセスモジュールは、前記バイナリログファイルに記録されているイベントデータタイプのサブセットのみを認識し、これらをデータレコードに変換するよう構成されている、請求項9または10に記載の方法。
  12. 前記extractプロセスはOracle(登録商標)GoldenGate extractプロセスであり、前記トレールファイルはOracle GoldenGateトレールファイルである、請求項9〜11のいずれかに記載の方法。
  13. 前記ベンダーアクセスモジュールは、extractプロセスが特定のトランザクション用にデータレコードを検索するためにAPIを設ける、請求項9〜12のいずれかに記載の方法。
  14. 前記ベンダーアクセスモジュールは、バイナリログからイベントの処理を与えるために用いることができる、複数のVAMイベントクラスと;前記第1のもしくはソースのデータベースまたはシステムによって与えられるアクセスライブラリをラップアラウンドするために用いることができる、複数のVAMバイナリログクラスと;ビンログクラスからレコードを読出しおよび処理し、これらをデータレコードキューに入れるために用いることができる、複数のVAMリーダおよびプロセッサクラスとを含む、請求項9〜13のいずれかに記載の方法。
  15. 前記ベンダーアクセスモジュールは、ログインデックスファイルを用いて、複数のバイナリログファイルから使用するべき現行のバイナリログファイル、およびその状態を定める、請求項9〜14のいずれかに記載の方法。
  16. 前記ベンダーアクセスモジュールは、前記バイナリログファイルに記録されているログ回転イベントを認識し、この情報を用いて次のバイナリログ名を得る、請求項9〜15のいずれかに記載の方法。
  17. 請求項9〜16のいずれかに記載の方法をコンピュータに実行させるためのプログラム。
JP2013521774A 2010-07-27 2011-05-13 MySQLデータベース−異種ログベースレプリケーション Active JP6062855B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36814110P 2010-07-27 2010-07-27
US61/368,141 2010-07-27
US13/077,760 2011-03-31
US13/077,760 US8510270B2 (en) 2010-07-27 2011-03-31 MYSQL database heterogeneous log based replication
PCT/US2011/036508 WO2012018424A2 (en) 2010-07-27 2011-05-13 Mysql database heterogeneous log based replication

Publications (3)

Publication Number Publication Date
JP2013535737A JP2013535737A (ja) 2013-09-12
JP2013535737A5 true JP2013535737A5 (ja) 2014-06-26
JP6062855B2 JP6062855B2 (ja) 2017-01-18

Family

ID=44121253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013521774A Active JP6062855B2 (ja) 2010-07-27 2011-05-13 MySQLデータベース−異種ログベースレプリケーション

Country Status (5)

Country Link
US (3) US8510270B2 (ja)
EP (2) EP3410320B1 (ja)
JP (1) JP6062855B2 (ja)
CN (1) CN103221949B (ja)
WO (1) WO2012018424A2 (ja)

Families Citing this family (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332365B2 (en) 2009-03-31 2012-12-11 Amazon Technologies, Inc. Cloning and recovery of data volumes
US8626778B2 (en) 2010-07-23 2014-01-07 Oracle International Corporation System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases
US8510270B2 (en) 2010-07-27 2013-08-13 Oracle International Corporation MYSQL database heterogeneous log based replication
US9298878B2 (en) 2010-07-29 2016-03-29 Oracle International Corporation System and method for real-time transactional data obfuscation
JP5230713B2 (ja) 2010-10-29 2013-07-10 株式会社東芝 電池用活物質、非水電解質電池及び電池パック
US10262050B2 (en) * 2015-09-25 2019-04-16 Mongodb, Inc. Distributed database systems and methods with pluggable storage engines
US11615115B2 (en) 2010-12-23 2023-03-28 Mongodb, Inc. Systems and methods for managing distributed database deployments
US11544288B2 (en) 2010-12-23 2023-01-03 Mongodb, Inc. Systems and methods for managing distributed database deployments
US9367431B2 (en) 2011-07-01 2016-06-14 Salesforce.Com, Inc. Testing data silo
US8874593B2 (en) * 2011-07-01 2014-10-28 Salesforce.Com, Inc. Testing data silo
US8984350B1 (en) * 2012-04-16 2015-03-17 Google Inc. Replication method and apparatus in a distributed system
US11544284B2 (en) 2012-07-26 2023-01-03 Mongodb, Inc. Aggregation framework system architecture and method
US11403317B2 (en) 2012-07-26 2022-08-02 Mongodb, Inc. Aggregation framework system architecture and method
CN103780638B (zh) * 2012-10-18 2019-02-19 腾讯科技(深圳)有限公司 数据同步方法及系统
CN102915377B (zh) * 2012-11-14 2016-08-03 深圳市宏电技术股份有限公司 数据库转换或同步方法及系统
CN103092745B (zh) * 2013-01-22 2016-04-13 中兴通讯股份有限公司 系统日志记录的控制方法和装置
US10474652B2 (en) * 2013-03-14 2019-11-12 Inpixon Optimizing wide data-type storage and analysis of data in a column store database
US9176996B2 (en) 2013-06-25 2015-11-03 Sap Se Automated resolution of database dictionary conflicts
US9639448B2 (en) * 2013-06-27 2017-05-02 Sap Se Multi-version systems for zero downtime upgrades
CN103455557B (zh) * 2013-08-08 2016-06-29 上海新炬网络技术有限公司 一种基于日志的结构化数据同步方法
US9836516B2 (en) 2013-10-18 2017-12-05 Sap Se Parallel scanners for log based replication
US10198493B2 (en) 2013-10-18 2019-02-05 Sybase, Inc. Routing replicated data based on the content of the data
CN103577586B (zh) * 2013-11-08 2017-03-15 北京国双科技有限公司 日志记录的处理方法及装置
CN104657364B (zh) * 2013-11-18 2018-02-23 华为技术有限公司 一种日志结构数据库系统查询请求消息处理方法及装置
CN104750729B (zh) * 2013-12-30 2018-08-28 中国移动通信集团公司 一种基于日志文件的数据管理方法及数据管理系统
US9442996B2 (en) 2014-01-15 2016-09-13 International Business Machines Corporation Enabling collaborative development of a database application across multiple database management systems
CN103761318B (zh) * 2014-01-27 2017-08-18 中国工商银行股份有限公司 一种关系型异构数据库数据同步的方法及系统
CN104915341B (zh) * 2014-03-10 2018-06-26 中国科学院沈阳自动化研究所 可视化多数据库etl集成方法和系统
US9558255B2 (en) * 2014-03-11 2017-01-31 International Business Machines Corporation Managing replication configuration availability
CN103984715B (zh) * 2014-05-08 2017-04-12 武汉库百网络技术有限公司 一种异构数据库的数据同步、校验方法、装置及系统
US9785510B1 (en) 2014-05-09 2017-10-10 Amazon Technologies, Inc. Variable data replication for storage implementing data backup
US9619278B2 (en) 2014-06-26 2017-04-11 Amazon Technologies, Inc. Log-based concurrency control using signatures
US9619544B2 (en) 2014-06-26 2017-04-11 Amazon Technologies, Inc. Distributed state management using dynamic replication graphs
US9613078B2 (en) 2014-06-26 2017-04-04 Amazon Technologies, Inc. Multi-database log with multi-item transaction support
US10282228B2 (en) 2014-06-26 2019-05-07 Amazon Technologies, Inc. Log-based transaction constraint management
US9529882B2 (en) 2014-06-26 2016-12-27 Amazon Technologies, Inc. Coordinated suspension of replication groups
WO2016004188A1 (en) 2014-07-03 2016-01-07 FishEye Products, LLC Realtime processing of streaming data
CN105447014B (zh) * 2014-08-15 2019-03-15 阿里巴巴集团控股有限公司 基于binlog的元数据管理方法和用于提供元数据的方法及装置
US9734021B1 (en) 2014-08-18 2017-08-15 Amazon Technologies, Inc. Visualizing restoration operation granularity for a database
CN105471948B (zh) * 2014-09-05 2019-02-19 阿里巴巴集团控股有限公司 系统间同步业务数据的方法及装置
US10303795B2 (en) 2014-09-10 2019-05-28 Amazon Technologies, Inc. Read descriptors at heterogeneous storage systems
US9323569B2 (en) 2014-09-10 2016-04-26 Amazon Technologies, Inc. Scalable log-based transaction management
US9519674B2 (en) 2014-09-10 2016-12-13 Amazon Technologies, Inc. Stateless datastore-independent transactions
US10025802B2 (en) 2014-09-19 2018-07-17 Amazon Technologies, Inc. Automated configuration of log-coordinated storage groups
US10373247B2 (en) 2014-09-19 2019-08-06 Amazon Technologies, Inc. Lifecycle transitions in log-coordinated data stores
US9799017B1 (en) 2014-09-19 2017-10-24 Amazon Technologies, Inc. Cross-data-store operations in log-coordinated storage systems
US10013440B1 (en) * 2014-10-31 2018-07-03 Amazon Technologies, Inc. Incremental out-of-place updates for index structures
US9984139B1 (en) 2014-11-10 2018-05-29 Amazon Technologies, Inc. Publish session framework for datastore operation records
CN104573024B (zh) * 2015-01-12 2018-03-20 国家电网公司 一种复杂网络体系下异构安全日志信息的自适应提取方法及系统
CN104573056A (zh) * 2015-01-22 2015-04-29 浪潮电子信息产业股份有限公司 一种基于oracle数据库大数据量在线迁移的方法
US9904722B1 (en) 2015-03-13 2018-02-27 Amazon Technologies, Inc. Log-based distributed transaction management
CN104765775B (zh) * 2015-03-17 2018-07-27 新浪网技术(中国)有限公司 一种日志保存方法及装置
US9928281B2 (en) 2015-03-20 2018-03-27 International Business Machines Corporation Lightweight table comparison
CN106156165A (zh) 2015-04-16 2016-11-23 阿里巴巴集团控股有限公司 异构数据源之间的数据同步方法和装置
US10409770B1 (en) 2015-05-14 2019-09-10 Amazon Technologies, Inc. Automatic archiving of data store log data
US9798752B1 (en) 2015-05-22 2017-10-24 State Farm Mutual Automobile Insurance Company Systems and methods for ingesting relational data into a delimited column qualifier NoSQL database
US10866968B1 (en) 2015-06-29 2020-12-15 Amazon Technologies, Inc. Compact snapshots of journal-based storage systems
US11599520B1 (en) 2015-06-29 2023-03-07 Amazon Technologies, Inc. Consistency management using query restrictions in journal-based storage systems
US10866865B1 (en) 2015-06-29 2020-12-15 Amazon Technologies, Inc. Storage system journal entry redaction
US11609890B1 (en) 2015-06-29 2023-03-21 Amazon Technologies, Inc. Schema management for journal-based storage systems
US10031935B1 (en) 2015-08-21 2018-07-24 Amazon Technologies, Inc. Customer-requested partitioning of journal-based storage systems
US10324905B1 (en) 2015-08-21 2019-06-18 Amazon Technologies, Inc. Proactive state change acceptability verification in journal-based storage systems
US10235407B1 (en) 2015-08-21 2019-03-19 Amazon Technologies, Inc. Distributed storage system journal forking
US9990391B1 (en) 2015-08-21 2018-06-05 Amazon Technologies, Inc. Transactional messages in journal-based storage systems
US10346434B1 (en) 2015-08-21 2019-07-09 Amazon Technologies, Inc. Partitioned data materialization in journal-based storage systems
US10108658B1 (en) 2015-08-21 2018-10-23 Amazon Technologies, Inc. Deferred assignments in journal-based storage systems
CN106547801A (zh) * 2015-09-23 2017-03-29 北京奇虎科技有限公司 数据库数据闪回方法和装置
US11461356B2 (en) * 2015-09-25 2022-10-04 Mongodb, Inc. Large scale unstructured database systems
US10360236B2 (en) 2015-09-25 2019-07-23 International Business Machines Corporation Replicating structured query language (SQL) in a heterogeneous replication environment
US10673623B2 (en) 2015-09-25 2020-06-02 Mongodb, Inc. Systems and methods for hierarchical key management in encrypted distributed databases
US10331657B1 (en) 2015-09-28 2019-06-25 Amazon Technologies, Inc. Contention analysis for journal-based databases
US10198346B1 (en) 2015-09-28 2019-02-05 Amazon Technologies, Inc. Test framework for applications using journal-based databases
US10133767B1 (en) 2015-09-28 2018-11-20 Amazon Technologies, Inc. Materialization strategies in journal-based databases
CN106844363B (zh) * 2015-12-03 2021-01-29 阿里巴巴集团控股有限公司 用于数据库进行物理热备及数据恢复的方法和设备
US10621156B1 (en) 2015-12-18 2020-04-14 Amazon Technologies, Inc. Application schemas for journal-based databases
US10567500B1 (en) 2015-12-21 2020-02-18 Amazon Technologies, Inc. Continuous backup of data in a distributed data store
US10853182B1 (en) 2015-12-21 2020-12-01 Amazon Technologies, Inc. Scalable log-based secondary indexes for non-relational databases
US10423493B1 (en) 2015-12-21 2019-09-24 Amazon Technologies, Inc. Scalable log-based continuous data protection for distributed databases
US10628580B2 (en) * 2016-01-10 2020-04-21 Apple Inc. Containers shared by multiple users of a device
CN105760456B (zh) * 2016-02-04 2019-11-29 网易(杭州)网络有限公司 一种保持数据一致性的方法和装置
CN107085579A (zh) * 2016-02-16 2017-08-22 中国移动通信集团福建有限公司 一种数据采集分发方法及装置
US10146854B2 (en) 2016-02-29 2018-12-04 International Business Machines Corporation Continuous automatic update statistics evaluation using change data capture techniques
US10671496B2 (en) 2016-05-31 2020-06-02 Mongodb, Inc. Method and apparatus for reading and writing committed data
CN106021593A (zh) * 2016-06-07 2016-10-12 浪潮电子信息产业股份有限公司 一种第一数据库与第二数据库接管过程中的复制处理方法
CN111314479B (zh) * 2016-06-20 2022-08-23 北京奥星贝斯科技有限公司 一种数据处理方法和设备
US10776220B2 (en) 2016-06-27 2020-09-15 Mongodb, Inc. Systems and methods for monitoring distributed database deployments
CN106227727A (zh) * 2016-06-30 2016-12-14 乐视控股(北京)有限公司 一种分布式系统的日志更新方法、装置与系统
CN105956207A (zh) * 2016-07-01 2016-09-21 杭州帕拉迪网络科技有限公司 一种基于binlog的可配置的mysql数据库实时同步方法
US10289383B2 (en) 2016-07-28 2019-05-14 International Business Machines Corporation Cross object synchronization
US10705926B2 (en) * 2016-07-29 2020-07-07 Rubrik, Inc. Data protection and recovery across relational and non-relational databases
CN107783975B (zh) * 2016-08-24 2021-02-26 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN106326469A (zh) * 2016-08-31 2017-01-11 无锡雅座在线科技发展有限公司 数据的同步方法和装置
CN107818431B (zh) * 2016-09-14 2021-05-25 北京京东尚科信息技术有限公司 一种提供订单轨迹数据的方法和系统
US10394795B2 (en) * 2016-09-16 2019-08-27 Oracle International Corporation Synchronized capture of transactional data from multiple journals
US10275281B2 (en) * 2016-09-30 2019-04-30 Salesforce.Com, Inc. Scheduling jobs for processing log files using a database system
CN107918620B (zh) 2016-10-10 2022-04-19 阿里巴巴集团控股有限公司 一种数据库的写入方法及装置、电子设备
CN106484869A (zh) * 2016-10-12 2017-03-08 北京集奥聚合科技有限公司 一种基于mysql binlog的分布式缓存方法及系统
EP3309692A1 (en) * 2016-10-17 2018-04-18 Huawei Technologies Co., Ltd. Method for elastic geographical database replication
CN106503257B (zh) * 2016-11-15 2019-09-20 北京京东金融科技控股有限公司 基于binlog补偿机制的分布式事务服务方法及系统
CN108228592B (zh) * 2016-12-13 2021-02-26 北京京东尚科信息技术有限公司 基于二进制日志的数据归档方法及数据归档装置
US10521344B1 (en) * 2017-03-10 2019-12-31 Pure Storage, Inc. Servicing input/output (‘I/O’) operations directed to a dataset that is synchronized across a plurality of storage systems
CN107122424B (zh) * 2017-04-07 2019-11-05 南京南瑞集团公司 一种关系数据库日志抽取方法
CN107330003A (zh) * 2017-06-12 2017-11-07 上海藤榕网络科技有限公司 数据同步方法、系统、存储器及数据同步设备
CN107436938B (zh) * 2017-07-27 2019-11-05 国家电网公司 一种关系数据库前映像的附加日志解析方法
CN110019498B (zh) * 2017-08-14 2022-04-12 北京京东尚科信息技术有限公司 日志同步方法及装置、存储介质、电子设备
CN107506263A (zh) * 2017-08-24 2017-12-22 深圳互联先锋科技有限公司 一种故障测试方法和装置
US10754844B1 (en) 2017-09-27 2020-08-25 Amazon Technologies, Inc. Efficient database snapshot generation
US10990581B1 (en) 2017-09-27 2021-04-27 Amazon Technologies, Inc. Tracking a size of a database change log
EP3676725B1 (en) 2017-09-29 2024-08-07 Oracle International Corporation System and method for capture of change data from distributed data sources, for use with heterogeneous targets
CN110069489B (zh) * 2017-10-17 2023-01-31 株式会社日立制作所 一种信息处理方法、装置、设备及计算机可读存储介质
US10671494B1 (en) * 2017-11-01 2020-06-02 Pure Storage, Inc. Consistent selection of replicated datasets during storage system recovery
US11182372B1 (en) 2017-11-08 2021-11-23 Amazon Technologies, Inc. Tracking database partition change log dependencies
US10114857B1 (en) 2017-11-13 2018-10-30 Lendingclub Corporation Techniques for performing multi-system computer operations
US11354301B2 (en) * 2017-11-13 2022-06-07 LendingClub Bank, National Association Multi-system operation audit log
US11042503B1 (en) 2017-11-22 2021-06-22 Amazon Technologies, Inc. Continuous data protection and restoration
US11269731B1 (en) 2017-11-22 2022-03-08 Amazon Technologies, Inc. Continuous data protection
CN107943979A (zh) * 2017-11-29 2018-04-20 山东鲁能软件技术有限公司 一种数据库之间数据的准实时同步方法及装置
CN109690521B (zh) * 2017-12-28 2023-07-04 深圳配天智能技术研究院有限公司 一种数据库合并的方法以及装置
US11030216B2 (en) 2018-01-08 2021-06-08 International Business Machines Corporation Replicating non-supported data types using an existing supported replication format
CN108255621A (zh) * 2018-01-10 2018-07-06 深圳友门鹿网络科技有限公司 一种基于binlog的MySQL增量消息解析方法
CN110198327B (zh) * 2018-03-05 2021-09-28 腾讯科技(深圳)有限公司 一种数据传输方法及相关设备
US10621049B1 (en) 2018-03-12 2020-04-14 Amazon Technologies, Inc. Consistent backups based on local node clock
US11321353B2 (en) 2018-03-20 2022-05-03 International Business Machines Corporation Dynamic roll-over of source and target latency in a replication environment
US10713232B2 (en) * 2018-04-16 2020-07-14 Computational Systems, Inc. Efficient data processing
US11645261B2 (en) * 2018-04-27 2023-05-09 Oracle International Corporation System and method for heterogeneous database replication from a remote server
CN108563535B (zh) * 2018-04-27 2021-12-24 四川巧夺天工信息安全智能设备有限公司 一种对MySQL数据库全库的恢复方法
CN114610654A (zh) * 2018-05-21 2022-06-10 北京忆芯科技有限公司 一种固态存储设备以及向其写入数据的方法
CN108829543A (zh) * 2018-06-21 2018-11-16 郑州云海信息技术有限公司 一种减小备份Linux系统日志大小的方法
CN109240735B (zh) * 2018-07-27 2021-09-24 平安科技(深圳)有限公司 需求回滚方案填写方法、装置、终端及可读存储介质
US11126505B1 (en) 2018-08-10 2021-09-21 Amazon Technologies, Inc. Past-state backup generator and interface for database systems
CN110928885B (zh) * 2018-09-04 2023-05-16 三六零科技集团有限公司 Mysql数据库的数据更新到Es数据库的方法及装置
US11663207B2 (en) * 2018-09-24 2023-05-30 Salesforce, Inc. Translation of tenant identifiers
US11061872B2 (en) * 2018-10-16 2021-07-13 International Business Machines Corporation Integrating a legacy static system with an event-based system
CN109408290B (zh) * 2018-10-19 2021-02-26 厦门市美亚柏科信息股份有限公司 一种基于InnoDB的碎片文件恢复方法、装置及存储介质
US20200142985A1 (en) * 2018-11-07 2020-05-07 ZenDesk, Inc. Asynchronously publishing events to a message bus in an event-driven computing system
CN111177141A (zh) * 2018-11-09 2020-05-19 上海擎感智能科技有限公司 利用MySQL并行复制恢复数据方法、设备及系统
KR102119258B1 (ko) 2018-11-14 2020-06-05 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
US11042454B1 (en) 2018-11-20 2021-06-22 Amazon Technologies, Inc. Restoration of a data source
US11151114B2 (en) * 2018-12-04 2021-10-19 International Business Machines Corporation Log reader and parser sharing determination in a change data capture environment
CN111382140B (zh) * 2018-12-29 2023-06-16 方正国际软件(北京)有限公司 数据库序列迁移的方法及电子设备
US12093316B2 (en) * 2019-01-31 2024-09-17 Hewlett Packard Enterprise Development Lp Partial file system instances
KR102177792B1 (ko) * 2019-02-26 2020-11-11 주식회사 퍼즐시스템즈 컬럼 별 바이너리 파일 저장 구조를 이용하여 대용량 데이터를 메모리 용량 제약없이 차트로 표시하는 시스템
KR102171430B1 (ko) * 2019-02-26 2020-10-29 주식회사 퍼즐시스템즈 데이터베이스에서 조회된 대용량 데이터를 컬럼 별 바이너리 파일로 저장하는 시스템
US11392541B2 (en) 2019-03-22 2022-07-19 Hewlett Packard Enterprise Development Lp Data transfer using snapshot differencing from edge system to core system
US10997160B1 (en) 2019-03-25 2021-05-04 Amazon Technologies, Inc. Streaming committed transaction updates to a data store
US11249983B2 (en) * 2019-04-02 2022-02-15 International Business Machines Corporation Transaction change data forwarding
US11468011B2 (en) * 2019-04-11 2022-10-11 Singlestore, Inc. Database management system
CN110162571A (zh) * 2019-04-26 2019-08-23 厦门市美亚柏科信息股份有限公司 一种异构数据库之间数据同步的系统、方法、存储介质
US11100087B2 (en) * 2019-04-26 2021-08-24 Microsoft Technology Licensing, Llc Data tokenization system maintaining data integrity
US11726991B2 (en) * 2019-04-30 2023-08-15 EMC IP Holding Company LLC Bulk updating of mapping pointers with metadata transaction log
US11170029B2 (en) 2019-05-31 2021-11-09 Lendingclub Corporation Multi-user cross-device tracking
US11829384B1 (en) 2019-06-24 2023-11-28 Amazon Technologies, Inc. Amortizing replication log updates for transactions
CN110417892B (zh) * 2019-07-31 2021-08-27 中国工商银行股份有限公司 基于报文解析的数据复制链路优化方法及装置
US11886439B1 (en) 2019-08-27 2024-01-30 Amazon Technologies, Inc. Asynchronous change data capture for direct external transmission
US11494408B2 (en) * 2019-09-24 2022-11-08 Salesforce.Com, Inc. Asynchronous row to object enrichment of database change streams
CN110795420A (zh) * 2019-10-30 2020-02-14 浪潮云信息技术有限公司 一种基于Ansible的MySQL数据库自动化备份方法
CN111008246B (zh) * 2019-11-26 2024-04-19 中盈优创资讯科技有限公司 数据库日志同步方法、装置、计算机设备及可读存储介质
CN111198869A (zh) * 2019-12-17 2020-05-26 未鲲(上海)科技服务有限公司 数据迁移方法、装置、设备及计算机可读存储介质
CN111414358B (zh) * 2019-12-30 2024-09-27 杭州美创科技股份有限公司 应用于关系型数据库数据装载的方法
US11347719B2 (en) * 2019-12-31 2022-05-31 Capital One Services, Llc Multi-table data validation tool
CN111241044B (zh) * 2020-01-08 2023-09-19 中国联合网络通信集团有限公司 搭建异构数据库的方法、装置、设备及可读存储介质
KR20200056357A (ko) 2020-03-17 2020-05-22 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
US11182406B2 (en) 2020-03-27 2021-11-23 International Business Machines Corporation Increased data availability during replication
US11422970B2 (en) * 2020-05-11 2022-08-23 Sap Se Handling of data archiving events in a replication system
CN115104092A (zh) * 2020-05-29 2022-09-23 深圳市欢太科技有限公司 数据同步方法及相关装置
CN111858501B (zh) * 2020-06-02 2023-03-28 武汉达梦数据库股份有限公司 一种基于日志解析同步的日志读取方法和数据同步系统
CN113779048A (zh) * 2020-06-18 2021-12-10 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
US11416468B2 (en) 2020-07-21 2022-08-16 International Business Machines Corporation Active-active system index management
CN111984501A (zh) * 2020-08-12 2020-11-24 浪潮软件集团有限公司 一种oracle数据库的sql跟踪方法及工具
US11860894B2 (en) * 2020-08-24 2024-01-02 International Business Machines Corporation Database management system data replication
US11397718B2 (en) 2020-09-09 2022-07-26 International Business Machines Corporation Dynamic selection of synchronization update path
CN112307118B (zh) * 2020-09-30 2024-03-22 武汉达梦数据库股份有限公司 基于日志解析同步的保障数据一致性的方法和同步系统
US11182275B1 (en) 2020-10-23 2021-11-23 Capital One Services, Llc Systems and method for testing computing environments
CN112307124B (zh) * 2020-11-03 2024-09-27 深圳神拳互动科技有限公司 数据库同步验证方法、装置、设备及存储介质
CN112306994A (zh) * 2020-11-10 2021-02-02 北京沃东天骏信息技术有限公司 数据库数据迁移方法、装置以及存储介质
US11704335B2 (en) 2020-11-13 2023-07-18 International Business Machines Corporation Data synchronization in a data analysis system
CN112307108A (zh) * 2020-11-25 2021-02-02 科大国创云网科技有限公司 一种基于简单配置方式的数据抽取方法及系统
CN112507027B (zh) * 2020-12-16 2024-04-16 平安科技(深圳)有限公司 基于Kafka的增量数据同步方法、装置、设备及介质
CN112612760B (zh) * 2020-12-30 2024-08-06 中国农业银行股份有限公司 一种日志消息输出方法及装置
KR102463665B1 (ko) * 2021-02-18 2022-11-09 (주)알투비솔루션 원격 dbms 테이블간 고성능 테이블 데이터 정합성 검증 시스템
US11226878B1 (en) 2021-03-02 2022-01-18 International Business Machines Corporation Accelerator-based database recovery
US11182260B1 (en) 2021-03-02 2021-11-23 International Business Machines Corporation Avoiding recovery log archive access in database accelerator environments
US11675809B2 (en) 2021-03-02 2023-06-13 International Business Machines Corporation Replicating data changes using multiple storage devices and tracking records of pending data changes stored on the storage devices
US11797570B2 (en) 2021-03-19 2023-10-24 International Business Machines Corporation Asynchronous persistency of replicated data changes in a database accelerator
US11500733B2 (en) 2021-03-19 2022-11-15 International Business Machines Corporation Volatile database caching in a database accelerator
US11853319B1 (en) 2021-03-25 2023-12-26 Amazon Technologies, Inc. Caching updates appended to an immutable log for handling reads to the immutable log
CN113157496B (zh) * 2021-04-28 2023-03-10 深圳市腾讯网域计算机网络有限公司 应用于数据恢复的处理方法、相关装置、设备及存储介质
CN113590581B (zh) * 2021-06-28 2024-05-14 中国农业银行股份有限公司 数据传输方法、装置、设备及存储介质
CN113254983B (zh) * 2021-07-13 2021-10-01 卓尔智联(武汉)研究院有限公司 一种数据处理方法及装置
CN113704213A (zh) * 2021-08-20 2021-11-26 辽宁振兴银行股份有限公司 一种基于sqlldr2和ogg数据同步的实现方法
CN113934786B (zh) * 2021-09-29 2023-09-08 浪潮卓数大数据产业发展有限公司 一种构建统一etl的实施方法
CN114020850B (zh) * 2022-01-05 2022-04-08 深圳市明源云科技有限公司 数据库数据同步方法、装置、设备及可读存储介质
CN114527966B (zh) * 2022-02-24 2024-06-04 中国人民解放军火箭军工程大学 一种文件输入输出流高效通用化算法库实现方法
CN114648513B (zh) * 2022-03-29 2022-11-29 华南理工大学 一种基于自标注数据增广的摩托车检测方法
US12007977B1 (en) 2022-09-30 2024-06-11 Amazon Technologies, Inc. Selectively applying a replication log for logical database replica creation
CN116467372A (zh) * 2023-02-21 2023-07-21 中国人民解放军海军工程大学 一种数据库自动转换方法、装置、电子设备及存储介质
CN118277491B (zh) * 2024-06-04 2024-08-09 杭州玳数科技有限公司 基于Canal的元数据同步方法、设备、存储介质及计算机程序产品

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6314390A (ja) * 1986-07-04 1988-01-21 Nec Corp マルチボリユ−ム制御方式
US7031987B2 (en) 1997-05-30 2006-04-18 Oracle International Corporation Integrating tablespaces with different block sizes
US6016501A (en) * 1998-03-18 2000-01-18 Bmc Software Enterprise data movement system and method which performs data load and changed data propagation operations
US6173388B1 (en) 1998-04-09 2001-01-09 Teranex Inc. Directly accessing local memories of array processors for improved real-time corner turning processing
US6212628B1 (en) 1998-04-09 2001-04-03 Teranex, Inc. Mesh connected computer
US8538886B1 (en) 1998-08-31 2013-09-17 Google Inc. Watermarking system and methodology for digital multimedia content
JP4250231B2 (ja) * 1998-09-04 2009-04-08 キヤノン株式会社 ファイル管理装置、ファイル管理方法、及び記憶媒体
AU1936900A (en) 1998-12-08 2000-06-26 Mediadna, Inc. A system and method of obfuscating data
US6877023B1 (en) 2000-01-28 2005-04-05 Softwired, Inc. Messaging system for delivering data in the form of portable message formats between message clients
US6753889B1 (en) 2000-05-31 2004-06-22 Sun Microsystems, Inc. Platform independent business to business messenger adapter generation tool
US6687848B1 (en) 2000-05-31 2004-02-03 Sun Microsystems, Inc. Techniques for preventing information loss in a business to business message in an enterprise computer system
US20020123987A1 (en) 2001-01-18 2002-09-05 Cox James A. Nearest neighbor data method and system
US7143190B2 (en) 2001-04-02 2006-11-28 Irving S. Rappaport Method and system for remotely facilitating the integration of a plurality of dissimilar systems
US7124299B2 (en) 2001-05-18 2006-10-17 Claymore Systems, Inc. System, method and computer program product for auditing XML messages in a network-based message stream
US7007025B1 (en) 2001-06-08 2006-02-28 Xsides Corporation Method and system for maintaining secure data input and output
US7299230B2 (en) 2001-08-30 2007-11-20 Siebel Systems, Inc. Method, apparatus and system for transforming, converting and processing messages between multiple systems
US7254586B2 (en) 2002-06-28 2007-08-07 Microsoft Corporation Secure and opaque type library providing secure data protection of variables
US7076508B2 (en) * 2002-08-12 2006-07-11 International Business Machines Corporation Method, system, and program for merging log entries from multiple recovery log files
US7284233B2 (en) 2003-01-27 2007-10-16 Bea Systems Inc. Integrated development environment for java message service mark-up language
US7039773B2 (en) 2003-04-29 2006-05-02 Oracle International Corporation Method and mechanism for efficient implementation of ordered records
JP2004341926A (ja) * 2003-05-16 2004-12-02 Toshiba Corp データベース管理システム、データベース管理プログラム
US20040254919A1 (en) * 2003-06-13 2004-12-16 Microsoft Corporation Log parser
US7321939B1 (en) 2003-06-27 2008-01-22 Embarq Holdings Company Llc Enhanced distributed extract, transform and load (ETL) computer method
US7143123B2 (en) 2004-01-09 2006-11-28 Microsoft Corporation Well-known transactions in data replication
JP2005293323A (ja) * 2004-03-31 2005-10-20 Nec Corp 異種rdbms間での差分配信レコード反映システム
US8554806B2 (en) 2004-05-14 2013-10-08 Oracle International Corporation Cross platform transportable tablespaces
US7571173B2 (en) 2004-05-14 2009-08-04 Oracle International Corporation Cross-platform transportable database
US20060041540A1 (en) 2004-06-20 2006-02-23 Marvin Shannon System and Method Relating to Dynamically Constructed Addresses in Electronic Messages
GB0414291D0 (en) * 2004-06-25 2004-07-28 Ibm Methods, apparatus and computer programs for data replication
US7360111B2 (en) * 2004-06-29 2008-04-15 Microsoft Corporation Lossless recovery for computer systems with remotely dependent data recovery
US7257690B1 (en) * 2004-10-15 2007-08-14 Veritas Operating Corporation Log-structured temporal shadow store
US7702698B1 (en) * 2005-03-01 2010-04-20 Yahoo! Inc. Database replication across different database platforms
US7310716B2 (en) * 2005-03-04 2007-12-18 Emc Corporation Techniques for producing a consistent copy of source data at a target location
US20060212356A1 (en) * 2005-03-14 2006-09-21 Michael Lambert System and method for integrated order and channel management
US7844957B2 (en) 2005-08-19 2010-11-30 Sybase, Inc. Development system with methodology providing optimized message parsing and handling
JP2007114817A (ja) * 2005-10-18 2007-05-10 Hitachi High-Tech Science Systems Corp ログ情報のビジュアル化装置とその方法及びビジュアル化プログラム
CA2933790C (en) 2005-10-28 2019-04-30 Oracle International Corporation Apparatus and method for creating a real time database replica
CA2652111C (en) * 2006-05-12 2018-09-11 Goldengate Software, Inc. Apparatus and method for forming a homogenous transaction data store from heterogeneous sources
US7627562B2 (en) 2006-06-13 2009-12-01 Microsoft Corporation Obfuscating document stylometry
US8015214B2 (en) 2006-06-30 2011-09-06 Encapsa Technology, Llc Method of encapsulating information in a database and an encapsulated database
US20100205123A1 (en) 2006-08-10 2010-08-12 Trustees Of Tufts College Systems and methods for identifying unwanted or harmful electronic text
CN101246486B (zh) 2007-02-13 2012-02-01 国际商业机器公司 用于改进的表达式处理的方法和装置
US7873635B2 (en) 2007-05-31 2011-01-18 Microsoft Corporation Search ranger system and double-funnel model for search spam analyses and browser protection
US7730107B1 (en) 2007-08-17 2010-06-01 Oclc Online Computer Library Center, Inc. System and method for updating and sharing private library profile data to facilitate delivery of electronic content to libraries
US8074103B2 (en) 2007-10-19 2011-12-06 Oracle International Corporation Data corruption diagnostic engine
US9305180B2 (en) 2008-05-12 2016-04-05 New BIS Luxco S.à r.l Data obfuscation system, method, and computer implementation of data obfuscation for secret databases
US7962458B2 (en) * 2008-06-12 2011-06-14 Gravic, Inc. Method for replicating explicit locks in a data replication engine
US8301593B2 (en) * 2008-06-12 2012-10-30 Gravic, Inc. Mixed mode synchronous and asynchronous replication system
US8069053B2 (en) 2008-08-13 2011-11-29 Hartford Fire Insurance Company Systems and methods for de-identification of personal data
JP5694641B2 (ja) 2008-09-12 2015-04-01 スリーエム イノベイティブ プロパティズ カンパニー ラッピング立体成形体及びその製造方法
JP4789021B2 (ja) 2009-02-06 2011-10-05 日本電気株式会社 データ処理装置及びデータ処理方法
JP4722195B2 (ja) 2009-04-13 2011-07-13 富士通株式会社 データベース・メッセージ分析支援プログラム、方法及び装置
US8108343B2 (en) 2009-04-23 2012-01-31 Microsoft Corporation De-duplication and completeness in multi-log based replication
US8214515B2 (en) 2009-06-01 2012-07-03 Trion Worlds, Inc. Web client data conversion for synthetic environment interaction
CN101615199A (zh) * 2009-07-31 2009-12-30 深圳市珍爱网信息技术有限公司 异构数据库同步方法及系统
CN101719165B (zh) * 2010-01-12 2014-12-17 浪潮电子信息产业股份有限公司 一种实现数据库高效快速备份的方法
US8768902B2 (en) 2010-06-11 2014-07-01 Microsoft Corporation Unified concurrent changes to data, schema, and application
US8954385B2 (en) * 2010-06-28 2015-02-10 Sandisk Enterprise Ip Llc Efficient recovery of transactional data stores
US8626778B2 (en) 2010-07-23 2014-01-07 Oracle International Corporation System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases
US8510270B2 (en) 2010-07-27 2013-08-13 Oracle International Corporation MYSQL database heterogeneous log based replication
US9298878B2 (en) 2010-07-29 2016-03-29 Oracle International Corporation System and method for real-time transactional data obfuscation
US9130988B2 (en) 2010-12-21 2015-09-08 Microsoft Technology Licensing, Llc Scareware detection
US20120303559A1 (en) 2011-05-27 2012-11-29 Ctc Tech Corp. Creation, use and training of computer-based discovery avatars
US20130246376A1 (en) 2012-03-16 2013-09-19 Infosys Limited Methods for managing data intake and devices thereof
US9823872B2 (en) 2013-03-15 2017-11-21 Skyera, Llc Apparatus and method for translation from multi-dimensional to linear address space in storage
US10032244B2 (en) 2014-08-21 2018-07-24 Intel Corporation Method and apparatus for implementing a nearest neighbor search on a graphics processing unit (GPU)
US9818043B2 (en) 2015-06-24 2017-11-14 Microsoft Technology Licensing, Llc Real-time, model-based object detection and pose estimation
US10331753B1 (en) 2018-04-04 2019-06-25 The Florida International University Board Of Trustees Efficient progressive continuous k-nearest neighbor query algorithm for moving objects with a tree-like index

Similar Documents

Publication Publication Date Title
JP2013535737A5 (ja)
US11093466B2 (en) Incremental out-of-place updates for index structures
Taylor-Sakyi Big data: Understanding big data
US9558199B2 (en) Efficient data deduplication
CN107408114B (zh) 基于事务访问模式识别联结关系
TWI603211B (zh) Construction of inverted index system based on Lucene, data processing method and device
CN103902739B (zh) 数据库集群服务器数据分类方法
US9965355B2 (en) System and method for dynamic collection of system management data in a mainframe computing environment
CN104408097A (zh) 一种基于字符段热更新的混合索引方法及系统
CN104793892A (zh) 一种加速磁盘随机输入输出(io)读写的方法
US20120159047A1 (en) Computing device and method for merging storage space of usb flash drives
US8412738B2 (en) Portable infrastructure object for capturing machine images
Dwivedi et al. Implementation of Data Analytics for MongoDB Using Trigger Utility
Song et al. Development of Efficient Data Distribution Storage Algorithm for High Speed Data Backup in DRAM based SSD
van Gemmeren et al. Shared I/O components for the ATLAS multi-processing framework
Thomson Deterministic transaction execution in distributed database systems
Dakic et al. High-Performance Computing Storage Performance and Design Patterns—Btrfs and ZFS Performance for Different Use Cases
Petrov et al. Ensuring Secure Long-term Data Storage.
WO2014116480A3 (en) Managing intellectual property asset transaction information in a networked computing environment
Dabhade Big Data Overview
CN103885984B (zh) 处理数据库查询结果集的方法和设备
Tapper et al. TRIGGER
Bayoglu Management Information Systems And Data Warehousing: A Real Data Warehouse Retail Sample
Zheng et al. 3-Dimensional root cause diagnosis via co-analysis. In: ICAC'12 Proceedings of the 9th international conference on Autonomic computing
IX 12th USENIX Conference on File and Storage Technologies