JP2018514886A - 多数の重複するソースからの大量の時間データの集計 - Google Patents
多数の重複するソースからの大量の時間データの集計 Download PDFInfo
- Publication number
- JP2018514886A JP2018514886A JP2017567560A JP2017567560A JP2018514886A JP 2018514886 A JP2018514886 A JP 2018514886A JP 2017567560 A JP2017567560 A JP 2017567560A JP 2017567560 A JP2017567560 A JP 2017567560A JP 2018514886 A JP2018514886 A JP 2018514886A
- Authority
- JP
- Japan
- Prior art keywords
- data element
- data
- repository
- source
- sources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 101
- 230000008569 process Effects 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
Description
本出願は、2015年3月20日出願の米国特許仮出願番号第62/135,982号の優先権を主張し、その内容は、参照により本明細書に組み入れられる。
(a)要素ベースは、ヘッダ及びペイロードを包含する。
(b)ヘッダは、以下を含む多くのフィールドを包含する。
entity Id:固有の実体を参照するid、例えばDUNS番号
element Name:この要素固有の名称
timestamp:最終更新の日付及び時間
hash:データベース検索を加速させるために、この特定のレコードを参照する固有の値
(b)ペイロードは、アトミックまたは集計タイプの要素を包含する。
(d)アトミック要素は、精密なかつ単一の意味を有し、以下を包含する。
id:この特定の要素を参照する固有のid
value:当該要素の実際値
hash:データベース検索を加速させるために、この特定のレコードを参照する固有の値
attrs:この要素に関連付けられた多数の属性、例えばデータのソース、カットオフ番号
(e)集計要素は、多数のアトミック要素を組み合わせた結果、または算出された/導き出された値を包含し、以下で構成される。
id:この特定の要素を参照する固有のid
hash:データベース検索を加速させるために、この特定のレコードを参照する固有の値
element:この集計要素を作り上げる要素のリスト
GBWR_US_1987_SICS1、
GBWR_US_1987_SICS1_DNB_IND_TYPE_CODE_NORMALIZED、
GBWR_US_1987_SICS1_DNB_IND_TYPE_TEXT_NORMALIZED、
GBWR_US_1987_SICS1_DNB_IND_CODE_DESC_NORMALIZED、及び
EDGED&BSTANDARD
にマッピングしている。
Claims (12)
- データ要素を受信することと、
前記データ要素を、時間経過にともなって前記データ要素に生じた変更を包含する保留更新履歴リポジトリ内の対応するデータ要素と比較し、それによって比較をもたらすことと、
前記比較に基づいて、前記データ要素を変更したことを判定することと、
前記データ要素のためのより最新のデータを包含しているかもしれない、動作中の更新プロセスがないことを確認することと、
前記データ要素を、カットオフログにおける特定の時間範囲に関連付けられたカットオフ番号と関係付けることと、
(a)前記データ要素の現在の値及び前記データ要素の以前の値を格納する全領域データリポジトリと、(b)(i)前記データ要素が更新されていること、及び(ii)前記カットオフ番号、を示すレコードを格納するデルタデータリポジトリと、における対応するデータ要素を更新することと、
を含む、方法。 - 前記データ要素が、ソースからのものであり、
前記方法が、
前記ソースを考慮した規則に従って、前記データ要素を更新するかを判定すること、
をさらに含む、請求項1に記載の方法。 - 前記保留更新履歴リポジトリが、前のソースからの前記データ要素の現在の値を保持し、
前記規則が、前記前のソースも考慮する、
請求項2に記載の方法。 - 前記データ要素の値が、複数のソースから入手可能であり、
前記規則が、前記複数のソースを考慮する、
請求項3に記載の方法。 - 時間経過にともなってデータ要素に生じた変更を包含する保留更新履歴リポジトリと、
カットオフ番号を、特定の時間範囲と関連付けるカットオフログと、
前記データ要素の現在の値及び前記データ要素の以前の値を格納する全領域データリポジトリと、
(i)前記データ要素が更新されていること、及び(ii)前記カットオフ番号を示すレコードを格納するデルタデータリポジトリと、
プロセッサと、
前記プロセッサによって読み取り可能であり、前記プロセッサに、
データ要素を受信することと、
前記データ要素を、前記保留更新履歴リポジトリ内の対応するデータ要素と比較し、それによって比較をもたらすことと、
前記比較に基づいて、前記データ要素を変更したことを判定することと、
前記データ要素のためのより最新のデータを包含しているかもしれない、動作中の更新プロセスがないことを確認することと、
前記データ要素を、カットオフログにおける前記カットオフ番号と関係付けることと、
(a)前記全領域データリポジトリ及び(b)前記デルタデータリポジトリ内の対応するデータ要素を更新することと、
を行わせる命令を包含するメモリと、
を備える、システム。 - 前記データ要素が、ソースからのものであり、
前記命令が、前記プロセッサに、
前記ソースを考慮した規則に従って、前記データ要素を更新するかを判定すること、
をさらに行わせる、
請求項5に記載のシステム。 - 前記保留更新履歴リポジトリが、前のソースからの前記データ要素の現在の値を保持し、
前記規則が、前記前のソースも考慮する、
請求項6に記載のシステム。 - 前記データ要素の値が、複数のソースから入手可能であり、
前記規則が、前記複数のソースを考慮する、
請求項7に記載のシステム。 - 非一時的である記憶装置であって、プロセッサによって読み取り可能な命令を含み、前記プロセッサに、
データ要素を受信することと、
前記データ要素を、時間経過にともなって前記データ要素に生じた変更を包含する保留更新履歴リポジトリ内の対応するデータ要素と比較し、それによって比較をもたらすことと、
前記比較に基づいて、前記データ要素を変更したことを判定することと、
前記データ要素のためのより最新のデータを包含しているかもしれない、動作中の更新プロセスがないことを確認することと、
前記データ要素を、カットオフログにおける特定の時間範囲に関連付けられたカットオフ番号と関係付けることと、
(a)前記データ要素の現在の値及び前記データ要素の以前の値を格納する全領域データリポジトリと、(b)(i)前記データ要素が更新されていること、及び(ii)前記カットオフ番号とを示すレコードを格納するデルタデータリポジトリと、における対応するデータ要素を更新することと、
を行わせる記憶装置。 - 前記データ要素が、ソースからのものであり、
前記命令が、前記プロセッサに、
前記ソースを考慮した規則に従って、前記データ要素を更新するかを判定すること、
をさらに行わせる、
請求項9に記載の記憶装置。 - 前記保留更新履歴リポジトリが、前のソースからの前記データ要素の現在の値を保持し、
前記規則が、前記以前のソースも考慮する、
請求項10に記載の記憶装置。 - 前記データ要素の値が、複数のソースから入手可能であり、
前記規則が、前記複数のソースを考慮する、
請求項11に記載の記憶装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562135982P | 2015-03-20 | 2015-03-20 | |
US62/135,982 | 2015-03-20 | ||
PCT/IB2016/000413 WO2016151397A1 (en) | 2015-03-20 | 2016-03-17 | Aggregating high volumes of temporal data from multiple overlapping sources |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018514886A true JP2018514886A (ja) | 2018-06-07 |
JP6450865B2 JP6450865B2 (ja) | 2019-01-09 |
Family
ID=55910999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017567560A Active JP6450865B2 (ja) | 2015-03-20 | 2016-03-17 | 多数の重複するソースからの大量の時間データの集計 |
Country Status (12)
Country | Link |
---|---|
US (1) | US10942911B2 (ja) |
EP (1) | EP3271834B1 (ja) |
JP (1) | JP6450865B2 (ja) |
KR (1) | KR102011354B1 (ja) |
CN (1) | CN107624185B (ja) |
AU (1) | AU2016238517B2 (ja) |
CA (1) | CA2980271C (ja) |
DK (1) | DK3271834T3 (ja) |
HK (1) | HK1250181A1 (ja) |
MX (1) | MX2017012158A (ja) |
NZ (1) | NZ735617A (ja) |
WO (1) | WO2016151397A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209764B (zh) | 2014-10-20 | 2020-12-15 | 起元科技有限公司 | 指定和应用数据的规则 |
US10209983B2 (en) * | 2017-04-19 | 2019-02-19 | Servicenow, Inc. | Distributed incremental updating of trays using a source control system |
CN112307017A (zh) * | 2020-09-16 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据存储方法、查询方法及相关设备、存储介质 |
CN113007966B (zh) * | 2021-03-19 | 2022-05-06 | 合肥美菱物联科技有限公司 | 一种冰箱功能升级的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215984A (ja) * | 2010-04-01 | 2011-10-27 | Mitsubishi Electric Corp | データ処理装置及びデータ処理方法及びプログラム |
US20120089580A1 (en) * | 2010-10-06 | 2012-04-12 | Fujitsu Limited | Update management apparatus, update management method, and computer-readable medium storing update management program |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2296167A (en) * | 1994-12-16 | 1996-06-19 | Ibm | Serialising updates in a data conferencing network |
US5826253A (en) * | 1995-07-26 | 1998-10-20 | Borland International, Inc. | Database system with methodology for notifying clients of any additions, deletions, or modifications occurring at the database server which affect validity of a range of data records cached in local memory buffers of clients |
US6389429B1 (en) * | 1999-07-30 | 2002-05-14 | Aprimo, Inc. | System and method for generating a target database from one or more source databases |
US20040230571A1 (en) * | 2003-04-22 | 2004-11-18 | Gavin Robertson | Index and query processor for data and information retrieval, integration and sharing from multiple disparate data sources |
US7496910B2 (en) * | 2004-05-21 | 2009-02-24 | Desktopstandard Corporation | System for policy-based management of software updates |
KR100786261B1 (ko) | 2006-04-03 | 2007-12-17 | (주)위세아이텍 | 메타데이터 저장소에의 메타데이터 자동적재 방법 |
US7418453B2 (en) | 2006-06-15 | 2008-08-26 | International Business Machines Corporation | Updating a data warehouse schema based on changes in an observation model |
CN101127034B (zh) | 2006-08-18 | 2012-05-23 | 国际商业机器公司 | 数据组织、查询、呈现、存档、恢复、删除、提炼方法及装置和系统 |
US10152504B2 (en) * | 2009-03-11 | 2018-12-11 | Actian Netherlands B.V. | Column-store database architecture utilizing positional delta tree update system and methods |
CN103136308A (zh) * | 2011-11-23 | 2013-06-05 | 英业达股份有限公司 | 应用系统数据库更新的方法和系统 |
US8751525B2 (en) * | 2011-12-23 | 2014-06-10 | Sap Ag | Time slider operator for temporal data aggregation |
US10860557B2 (en) | 2013-03-13 | 2020-12-08 | Salesforce.Com, Inc. | Systems, methods, and apparatuses for implementing change value indication and historical value comparison |
-
2016
- 2016-03-17 EP EP16720548.3A patent/EP3271834B1/en active Active
- 2016-03-17 CA CA2980271A patent/CA2980271C/en active Active
- 2016-03-17 NZ NZ735617A patent/NZ735617A/en unknown
- 2016-03-17 WO PCT/IB2016/000413 patent/WO2016151397A1/en active Application Filing
- 2016-03-17 AU AU2016238517A patent/AU2016238517B2/en active Active
- 2016-03-17 CN CN201680023236.4A patent/CN107624185B/zh active Active
- 2016-03-17 US US15/073,369 patent/US10942911B2/en active Active
- 2016-03-17 KR KR1020177029486A patent/KR102011354B1/ko active IP Right Grant
- 2016-03-17 MX MX2017012158A patent/MX2017012158A/es active IP Right Grant
- 2016-03-17 DK DK16720548.3T patent/DK3271834T3/da active
- 2016-03-17 JP JP2017567560A patent/JP6450865B2/ja active Active
-
2018
- 2018-07-24 HK HK18109570.9A patent/HK1250181A1/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215984A (ja) * | 2010-04-01 | 2011-10-27 | Mitsubishi Electric Corp | データ処理装置及びデータ処理方法及びプログラム |
US20120089580A1 (en) * | 2010-10-06 | 2012-04-12 | Fujitsu Limited | Update management apparatus, update management method, and computer-readable medium storing update management program |
JP2012079259A (ja) * | 2010-10-06 | 2012-04-19 | Fujitsu Ltd | 更新管理装置、更新管理方法および更新管理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2016151397A1 (en) | 2016-09-29 |
US20160275130A1 (en) | 2016-09-22 |
CN107624185B (zh) | 2021-01-15 |
CA2980271C (en) | 2021-02-02 |
EP3271834A1 (en) | 2018-01-24 |
KR102011354B1 (ko) | 2019-08-16 |
EP3271834B1 (en) | 2019-10-23 |
NZ735617A (en) | 2019-05-31 |
AU2016238517A1 (en) | 2017-10-12 |
CN107624185A (zh) | 2018-01-23 |
MX2017012158A (es) | 2018-07-06 |
JP6450865B2 (ja) | 2019-01-09 |
KR20170137756A (ko) | 2017-12-13 |
CA2980271A1 (en) | 2016-09-29 |
AU2016238517B2 (en) | 2020-05-14 |
US10942911B2 (en) | 2021-03-09 |
DK3271834T3 (da) | 2020-01-27 |
HK1250181A1 (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230401187A1 (en) | Method and system for migrating content between enterprise content management systems | |
US8938430B2 (en) | Intelligent data archiving | |
JP6450865B2 (ja) | 多数の重複するソースからの大量の時間データの集計 | |
US10346381B2 (en) | Atomic update operations in a data storage system | |
US11977532B2 (en) | Log record identification using aggregated log indexes | |
US20130275369A1 (en) | Data record collapse and split functionality | |
WO2016138859A1 (zh) | 数据同步方法和集群节点 | |
US20140095549A1 (en) | Method and Apparatus for Generating Schema of Non-Relational Database | |
US11853279B2 (en) | Data storage using vectors of vectors | |
US20120197849A1 (en) | Retrieving information from a relational database using user defined facets in a faceted query | |
US11175993B2 (en) | Managing data storage system | |
CN112416957A (zh) | 基于数据模型层的数据增量更新方法、装置及计算机设备 | |
WO2016082559A1 (zh) | 一种数据写入方法及存储设备 | |
CN109542860B (zh) | 基于hdfs的业务数据管理方法、终端设备 | |
CN116150236A (zh) | 数据同步方法及装置、电子设备、计算机可读存储介质 | |
US11556519B2 (en) | Ensuring integrity of records in a not only structured query language database | |
JP2018028776A (ja) | ソフトウェア資産管理装置、ソフトウェア資産管理方法、および、ソフトウェア資産管理プログラム | |
JP2018085042A (ja) | データベース管理装置、情報処理システム、データベース管理方法及びデータベース管理プログラム | |
US20080155352A1 (en) | Method and system for carrying out an operation based on a log record of a computer program | |
US20240070134A1 (en) | Determining references to predefined types of records | |
JP6280006B2 (ja) | データベースシステム、データベースシステムの動作方法およびコンピュータプログラム | |
CN115617570A (zh) | 增量数据的备份方法、装置、电子设备及存储介质 | |
CN116150198A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
JP2013196086A (ja) | 構成情報管理装置,構成情報管理プログラム | |
CN115129717A (zh) | 实现自动分区的数据写入方法、设备以及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6450865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |