CN101286156A - 基于元数据去除重复对象的方法 - Google Patents
基于元数据去除重复对象的方法 Download PDFInfo
- Publication number
- CN101286156A CN101286156A CNA2007101060245A CN200710106024A CN101286156A CN 101286156 A CN101286156 A CN 101286156A CN A2007101060245 A CNA2007101060245 A CN A2007101060245A CN 200710106024 A CN200710106024 A CN 200710106024A CN 101286156 A CN101286156 A CN 101286156A
- Authority
- CN
- China
- Prior art keywords
- metadata
- typing
- treatment
- current
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 16
- 150000001875 compounds Chemical class 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000005303 weighing Methods 0.000 abstract 2
- 238000012549 training Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000414967 Colophon Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710106024 CN100576207C (zh) | 2007-05-29 | 2007-05-29 | 基于元数据去除重复对象的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710106024 CN100576207C (zh) | 2007-05-29 | 2007-05-29 | 基于元数据去除重复对象的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101286156A true CN101286156A (zh) | 2008-10-15 |
CN100576207C CN100576207C (zh) | 2009-12-30 |
Family
ID=40058367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710106024 Expired - Fee Related CN100576207C (zh) | 2007-05-29 | 2007-05-29 | 基于元数据去除重复对象的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100576207C (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102236635A (zh) * | 2010-04-22 | 2011-11-09 | 上海百果信息科技有限公司 | 一种通过捕捉比对关键元素实现多系统信息关联的方法 |
CN102325347A (zh) * | 2011-09-14 | 2012-01-18 | 中兴通讯股份有限公司 | 一种lte系统中的传输流模板匹配方法及装置 |
CN102609418A (zh) * | 2011-01-21 | 2012-07-25 | 北京世纪读秀技术有限公司 | 数据质量级别判断方法 |
CN102609419A (zh) * | 2011-01-21 | 2012-07-25 | 北京世纪读秀技术有限公司 | 相似数据排重方法 |
CN103166917A (zh) * | 2011-12-12 | 2013-06-19 | 阿里巴巴集团控股有限公司 | 网络设备身份识别方法及系统 |
CN103257961A (zh) * | 2012-02-15 | 2013-08-21 | 北大方正集团有限公司 | 书目消重的方法、装置及系统 |
CN103425711A (zh) * | 2012-05-25 | 2013-12-04 | 株式会社理光 | 基于多对象实例的对象值对齐方法 |
CN103473654A (zh) * | 2013-09-23 | 2013-12-25 | 国家电网公司 | 一种用于电力erp系统的资产数据清理辅助方法及系统 |
CN103518193A (zh) * | 2011-04-08 | 2014-01-15 | 美光科技公司 | 数据去重复 |
CN103959254A (zh) * | 2011-11-30 | 2014-07-30 | 国际商业机器公司 | 优化去重后的数据的迁移/复制 |
WO2015014180A1 (en) * | 2013-07-29 | 2015-02-05 | International Business Machines Corporation | Correlation of data sets using determined data types |
CN104899408A (zh) * | 2014-03-05 | 2015-09-09 | 孙宝文 | 有趣项集获取方法和装置 |
CN105205107A (zh) * | 2015-08-27 | 2015-12-30 | 湖南人文科技学院 | 一种物联网数据相似度处理方法 |
CN106528705A (zh) * | 2016-10-26 | 2017-03-22 | 桂林电子科技大学 | 一种基于rbf神经网络的重复记录检测方法和系统 |
CN106649650A (zh) * | 2016-12-10 | 2017-05-10 | 宁波思库网络科技有限公司 | 一种需求信息双向匹配方法 |
CN103729369B (zh) * | 2012-10-15 | 2017-06-13 | 金蝶软件(中国)有限公司 | 自动处理撞单的方法及装置 |
CN107203686A (zh) * | 2017-03-31 | 2017-09-26 | 苏州艾隆信息技术有限公司 | 药品信息差异处理方法及系统 |
CN107870991A (zh) * | 2017-10-27 | 2018-04-03 | 湖南纬度信息科技有限公司 | 一种论文元数据的相似度计算方法和计算机可读存储介质 |
CN108153793A (zh) * | 2016-12-02 | 2018-06-12 | 航天星图科技(北京)有限公司 | 一种原始数据处理方法 |
CN109034199A (zh) * | 2018-06-25 | 2018-12-18 | 泰康保险集团股份有限公司 | 数据处理方法及装置、存储介质和电子设备 |
CN109446190A (zh) * | 2018-11-07 | 2019-03-08 | 湖北省标准化与质量研究院 | 一种标准元数据的数据处理方法 |
CN110941598A (zh) * | 2019-12-02 | 2020-03-31 | 北京锐安科技有限公司 | 一种数据去重方法、装置、终端及存储介质 |
CN111158666A (zh) * | 2019-12-27 | 2020-05-15 | 北京百度网讯科技有限公司 | 实体归一化处理方法、装置、设备及存储介质 |
CN112069510A (zh) * | 2020-07-24 | 2020-12-11 | 北京思特奇信息技术股份有限公司 | 一种数据加密排重方法 |
CN115829143A (zh) * | 2022-12-15 | 2023-03-21 | 广东慧航天唯科技有限公司 | 一种基于时空数据清洗技术的水环境治理预测系统及其方法 |
-
2007
- 2007-05-29 CN CN 200710106024 patent/CN100576207C/zh not_active Expired - Fee Related
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102236635A (zh) * | 2010-04-22 | 2011-11-09 | 上海百果信息科技有限公司 | 一种通过捕捉比对关键元素实现多系统信息关联的方法 |
CN102609419B (zh) * | 2011-01-21 | 2015-02-18 | 北京世纪读秀技术有限公司 | 相似数据排重方法 |
CN102609418A (zh) * | 2011-01-21 | 2012-07-25 | 北京世纪读秀技术有限公司 | 数据质量级别判断方法 |
CN102609419A (zh) * | 2011-01-21 | 2012-07-25 | 北京世纪读秀技术有限公司 | 相似数据排重方法 |
US10282128B2 (en) | 2011-04-08 | 2019-05-07 | Micron Technology, Inc. | Data deduplication |
US9778874B2 (en) | 2011-04-08 | 2017-10-03 | Micron Technology, Inc. | Data deduplication |
CN103518193B (zh) * | 2011-04-08 | 2016-10-12 | 美光科技公司 | 用于数据去重复的方法及装置 |
CN103518193A (zh) * | 2011-04-08 | 2014-01-15 | 美光科技公司 | 数据去重复 |
US9223511B2 (en) | 2011-04-08 | 2015-12-29 | Micron Technology, Inc. | Data deduplication |
CN102325347A (zh) * | 2011-09-14 | 2012-01-18 | 中兴通讯股份有限公司 | 一种lte系统中的传输流模板匹配方法及装置 |
WO2013037208A1 (zh) * | 2011-09-14 | 2013-03-21 | 中兴通讯股份有限公司 | 一种lte系统中的传输流模板匹配方法及装置 |
US9489133B2 (en) | 2011-11-30 | 2016-11-08 | International Business Machines Corporation | Optimizing migration/copy of de-duplicated data |
CN103959254A (zh) * | 2011-11-30 | 2014-07-30 | 国际商业机器公司 | 优化去重后的数据的迁移/复制 |
US9524102B2 (en) | 2011-11-30 | 2016-12-20 | International Business Machines Corporation | Optimizing migration/copy of de-duplicated data |
CN103959254B (zh) * | 2011-11-30 | 2016-08-17 | 国际商业机器公司 | 用于优化去重后的数据的迁移/复制的方法和装置 |
CN103166917A (zh) * | 2011-12-12 | 2013-06-19 | 阿里巴巴集团控股有限公司 | 网络设备身份识别方法及系统 |
CN103166917B (zh) * | 2011-12-12 | 2016-02-10 | 阿里巴巴集团控股有限公司 | 网络设备身份识别方法及系统 |
CN103257961A (zh) * | 2012-02-15 | 2013-08-21 | 北大方正集团有限公司 | 书目消重的方法、装置及系统 |
CN103257961B (zh) * | 2012-02-15 | 2016-08-10 | 北大方正集团有限公司 | 书目消重的方法、装置及系统 |
CN103425711A (zh) * | 2012-05-25 | 2013-12-04 | 株式会社理光 | 基于多对象实例的对象值对齐方法 |
CN103425711B (zh) * | 2012-05-25 | 2017-08-25 | 株式会社理光 | 基于多对象实例的对象值对齐方法 |
CN103729369B (zh) * | 2012-10-15 | 2017-06-13 | 金蝶软件(中国)有限公司 | 自动处理撞单的方法及装置 |
WO2015014180A1 (en) * | 2013-07-29 | 2015-02-05 | International Business Machines Corporation | Correlation of data sets using determined data types |
CN103473654A (zh) * | 2013-09-23 | 2013-12-25 | 国家电网公司 | 一种用于电力erp系统的资产数据清理辅助方法及系统 |
CN104899408A (zh) * | 2014-03-05 | 2015-09-09 | 孙宝文 | 有趣项集获取方法和装置 |
CN105205107A (zh) * | 2015-08-27 | 2015-12-30 | 湖南人文科技学院 | 一种物联网数据相似度处理方法 |
CN106528705A (zh) * | 2016-10-26 | 2017-03-22 | 桂林电子科技大学 | 一种基于rbf神经网络的重复记录检测方法和系统 |
CN108153793A (zh) * | 2016-12-02 | 2018-06-12 | 航天星图科技(北京)有限公司 | 一种原始数据处理方法 |
CN106649650A (zh) * | 2016-12-10 | 2017-05-10 | 宁波思库网络科技有限公司 | 一种需求信息双向匹配方法 |
CN106649650B (zh) * | 2016-12-10 | 2020-08-18 | 宁波财经学院 | 一种需求信息双向匹配方法 |
CN107203686A (zh) * | 2017-03-31 | 2017-09-26 | 苏州艾隆信息技术有限公司 | 药品信息差异处理方法及系统 |
CN107870991A (zh) * | 2017-10-27 | 2018-04-03 | 湖南纬度信息科技有限公司 | 一种论文元数据的相似度计算方法和计算机可读存储介质 |
CN109034199A (zh) * | 2018-06-25 | 2018-12-18 | 泰康保险集团股份有限公司 | 数据处理方法及装置、存储介质和电子设备 |
CN109034199B (zh) * | 2018-06-25 | 2022-02-01 | 泰康保险集团股份有限公司 | 数据处理方法及装置、存储介质和电子设备 |
CN109446190A (zh) * | 2018-11-07 | 2019-03-08 | 湖北省标准化与质量研究院 | 一种标准元数据的数据处理方法 |
CN109446190B (zh) * | 2018-11-07 | 2022-11-01 | 湖北省标准化与质量研究院 | 一种标准元数据的数据处理方法 |
CN110941598A (zh) * | 2019-12-02 | 2020-03-31 | 北京锐安科技有限公司 | 一种数据去重方法、装置、终端及存储介质 |
CN111158666A (zh) * | 2019-12-27 | 2020-05-15 | 北京百度网讯科技有限公司 | 实体归一化处理方法、装置、设备及存储介质 |
CN112069510A (zh) * | 2020-07-24 | 2020-12-11 | 北京思特奇信息技术股份有限公司 | 一种数据加密排重方法 |
CN112069510B (zh) * | 2020-07-24 | 2024-01-30 | 北京思特奇信息技术股份有限公司 | 一种数据加密排重方法 |
CN115829143A (zh) * | 2022-12-15 | 2023-03-21 | 广东慧航天唯科技有限公司 | 一种基于时空数据清洗技术的水环境治理预测系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100576207C (zh) | 2009-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100576207C (zh) | 基于元数据去除重复对象的方法 | |
CN101770446B (zh) | 一种版式文件中表格识别方法及系统 | |
US9575947B2 (en) | System and method of automatically mapping a given annotator to an aggregate of given annotators | |
CN101189607A (zh) | 模式匹配 | |
CN111127068B (zh) | 一种工程量清单自动组价方法和装置 | |
CN104484380A (zh) | 个性化搜索方法及装置 | |
CN112364172A (zh) | 一种政务公文领域知识图谱构建方法 | |
CN104765729A (zh) | 一种跨平台微博社区账户匹配方法 | |
CN103049581A (zh) | 一种基于一致性聚类的Web文本分类方法 | |
CN109190099B (zh) | 句模提取方法及装置 | |
CN105550253A (zh) | 一种类型关系的获取方法及装置 | |
CN110516048A (zh) | pdf文档中表格数据的提取方法、设备和存储介质 | |
CN104699614A (zh) | 一种软件缺陷组件预测的方法 | |
CN1320481C (zh) | 一种对报纸版面进行标题与正文逻辑关联的方法 | |
CN105243053A (zh) | 提取文档关键句的方法及装置 | |
CN112883004B (zh) | 一种基于日志聚合的日志知识库与健康度获取方法及系统 | |
CN111898351B (zh) | 基于Aviator的Excel数据自动导入方法、装置、终端设备及存储介质 | |
CN109977131A (zh) | 一种房型匹配系统 | |
CN104217025B (zh) | 针对多记录网页的记录项抽取系统及方法 | |
Berntsen et al. | Sustainability in software engineering-a systematic mapping | |
CN111143457A (zh) | 一种基于多种来源数据集的学者同名排歧方法 | |
CN110163498B (zh) | 课件原创度评分方法、装置、存储介质及处理器 | |
CN103870590A (zh) | 具有报错特征的网页识别方法和装置 | |
CN109685453B (zh) | 智能识别工作流有效路径的方法 | |
CN111814457B (zh) | 一种电网工程合同文本生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: LIDE TECHNOLOGY DEVELOPMENT CO., LTD. Free format text: FORMER OWNER: PEKING UNIVERSITY FOUNDER GROUP CORP. Effective date: 20120823 |
|
C41 | Transfer of patent application or patent right or utility model | ||
COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100871 HAIDIAN, BEIJING TO: 409000 QIANJIANG, CHONGQING |
|
TR01 | Transfer of patent right |
Effective date of registration: 20120823 Address after: 409000 Zhengyang Industrial Park, Chongqing Patentee after: Lide Technology Development Co.,Ltd. Patentee after: FOUNDER APABI TECHNOLOGY Ltd. Address before: 100871 Beijing, Haidian District into the house road, founder of the building on the 5 floor, No. 298 Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: FOUNDER APABI TECHNOLOGY Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091230 |