CN116303392A - 关于不动产登记数据的多源数据表管理方法 - Google Patents

关于不动产登记数据的多源数据表管理方法 Download PDF

Info

Publication number
CN116303392A
CN116303392A CN202310192336.1A CN202310192336A CN116303392A CN 116303392 A CN116303392 A CN 116303392A CN 202310192336 A CN202310192336 A CN 202310192336A CN 116303392 A CN116303392 A CN 116303392A
Authority
CN
China
Prior art keywords
data table
keyword
data
deduplication
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310192336.1A
Other languages
English (en)
Other versions
CN116303392B (zh
Inventor
王雪
陈柯吟
汪蓓
赵根
陈坤
蒋正坤
闫亮
朱丹
曾航
倪又隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Planning And Natural Resources Information Center
Original Assignee
Chongqing Planning And Natural Resources Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Planning And Natural Resources Information Center filed Critical Chongqing Planning And Natural Resources Information Center
Priority to CN202310192336.1A priority Critical patent/CN116303392B/zh
Publication of CN116303392A publication Critical patent/CN116303392A/zh
Application granted granted Critical
Publication of CN116303392B publication Critical patent/CN116303392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种关于不动产登记数据的多源数据表管理方法，包括如下步骤：S1，获取不同IP地址的多源数据表，将多源数据表进行标准化处理，对于限定的文件名文字进行去重处理；S2，对去重处理的标准化多源数据表进行表格内容映射过程，并根据设置的融合模型进行批量相似度去重；S3，根据设置的权重对多源数据表中的相似数据进行融合后，通过字符匹配度进行校验，并对融合后的多源数据表存储至数据库。

Description

关于不动产登记数据的多源数据表管理方法
技术领域
本发明涉及数据分析领域，尤其涉及一种关于不动产登记数据的多源数据表管理方法。
背景技术
不动产登记数据中的获取的数据源种类多、总量大，且各种数据的统计口径、范围不尽一致，在实际工作中，需要同时使用多个原始数据表，按要求分类展示，数据分类多，且每个分类下属的字段也多，不便于在同一个表中展示。所展示的内容不成体系，不方便查找、保持和展示，这就亟需本领域技术人员解决相应的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种关于不动产登记数据的多源数据表管理方法。
为了实现本发明的上述目的，本发明提供了一种关于不动产登记数据的多源数据表管理方法，包括如下步骤：
S1，获取不同IP地址的多源数据表，将多源数据表进行标准化处理，对于限定的文件名文字进行去重处理；
S2，对去重处理的标准化多源数据表进行表格内容映射过程，并根据设置的融合模型进行批量相似度去重；
S3，根据设置的权重对多源数据表中的相似数据进行融合后，通过字符匹配度进行校验，并对融合后的多源数据表存储至数据库。
上述技术方案优选的，所述S1包括：
S1-1，从不同IP地址获取Excel数据表，对多个Excel数据表格的快速联表处理，根据标准化处理方式形成集成数据表；
所述标准化处理方式包括：
S1-2，获取原始数据表，设置第一关键词，设置第二关键词；设置第三关键词，通过第一关键词、第二关键词和第三关键词遍历每一张原始数据表，根据第一关键词遍历之后的全部原始数据表，具有第一关键词属性的原始数据表进行合并处理，不具有第一关键词属性的原始数据表保存在备选数据库。
上述技术方案优选的，所述S1包括：
S1-3，根据合并之后的原始数据表形成第一合并数据表，根据第二关键词遍历之后的第一合并数据表，去除第一关键词字段内容，将具有第二关键词属性的第一合并数据表进行字段判断处理，将相同关键词的字段在数据表中集中展示，形成第二合并数据表，
S1-4，根据第二关键词形成的第二合并数据表所归类展示的内容，对第三关键词形成的字段进行归类，选择第二关键词所归类展示的内容，根据第三关键词的时间轴顺序进行排序，形成第三合并数据表；
S1-5，经过第一关键词、第二关键词和第三关键词遍历之后的第三合并数据表进行重新命名文件名，命名包含第二关键词以及相应的属性信息，从而第三合并数据表进行数据去重处理。
上述技术方案优选的，所述S2包括：
S2-1，去重处理过程中，从所述第三合并数据表对应的关联数据中获取所述重复字段以及重复数值对应的任一合并数据表作为去重数据表，所述去重数据表对应的任一关联数据在所述第一合并数据集以及第二合并数据集中都已经保存；
S2-2，校验所述第三合并数据表和所述去重数据表，获取所述第三合并数据表和所述去重数据表之间的第三关键词，其中，所述第三关键词在第一映射数据表和第二映射数据表中，该第一映射数据表和第二映射数据表具有相同的关键词和相同的关键词对应的字段名表达方式。
上述技术方案优选的，所述S2包括：
S2-3，将去重处理完成的去重数据表存入数据库中，并运行融合执行脚本，获取进行深度融合去重数据表的路径；根据所属的日期进行排序处理；
在深度融合去重过程中，根据第一至第三关键词和预设字段，在去重数据表中获取第三关键词对应的匹配字段列表，其中，所述匹配字段列表包括若干中间匹配字段名和每一中间匹配字段名对应的匹配字符串；根据匹配字符串获取所述去重数据表对应的融合模型。
上述技术方案优选的，根据匹配字符串获取所述去重数据表对应的融合模型，还包括如下步骤：
融合模型
Figure BDA0004106027510000031
σ为重复字段分布的权重，n为去重数据表中全部重复的数量，μi为去重数据表在第i行数据列表中的存在的重复字符串数量；
根据中间匹配字段名和每一中间匹配字段名对应的匹配字符串，获取所述匹配字符串对应的相似度列表；遍历所述中间匹配字符串对应的相似度列表当所述相似度不小于预设的融合模型权重阈值，将去重数据表中的匹配字符串作为参考字符串；
S2-4，经过融合模型计算后的参考字符串进行批处理，并存储至数据库。
上述技术方案优选的，所述S3包括：
对于参考字符串在去重数据表中具备的字符匹配度，如果参考字符串为数值形式，数值内包含取值，如果参考字符串为文本形式，则文本包含文本字符数量，形成相应的参考字符串数组，对于字符匹配度在去重数据集中的作用是通过匹配度进行判断，
字符匹配度M计算公式为：
Figure BDA0004106027510000041
其中ma为去重数据表中匹配字符串数量，mb为去重数据表中参考字符串数量，Q1为匹配字符串在去重数据表中的重叠程度，Q2为参考字符串在去重数据表中的重叠程度。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
通过对不动产登记数据的多源数据表管理，减少在多源数据表处理时需要人工操作的繁琐过程，从而对不动产登记数据中的多源数据表处理的更加高效。改变了需要依赖多方人员进行数据管理，而且人员操作过程标准不统一，而且转换过程效率的不足，有效提高多源数据表的查询结果准确度，提高不动产登记数据中大规模多源数据表的管理效率。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明总体示意图；
图2是本发明第一合并数据表示意图；
图3是本发明第二合并数据表示意图；
图4是本发明第三合并数据表示意图；
图5是本发明去重数据表示意图；
图6是本发明融合数据示意图；
图7是本发明根据匹配字符串进行数据整理示意图；
图8是本发明形成的数据表示意图；
图9是本发明通过融合模型形成的数据表示意图；
图10是本发明进行字符匹配度计算的数据表示意图；
图11是本发明执行代码示意图；
图12是本发明执行代码示意图；
图13是本发明根据字符匹配度形成的数据表示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明公开一种关于不动产登记数据的多源数据表管理方法，包括如下步骤：
S1，获取不同IP地址的多源数据表，将多源数据表进行标准化处理，对于限定的文件名文字进行去重处理；其中包括：城市名字段去重，不动产登记属性字段去重，时间节点字段去重；
S2，对去重处理的标准化多源数据表进行表格内容映射过程，并根据设置的融合模型进行批量相似度去重；
S3，根据设置的权重对多源数据表中的相似数据进行融合后，通过字符匹配度进行校验，并对融合后的多源数据表存储至数据库。
上述技术方案优选的，所述S1包括：
S1-1，从不同IP地址获取Excel数据表，对多个Excel数据表格的快速联表处理，根据标准化处理方式形成集成数据表；
所述标准化处理方式包括：
S1-2，获取原始数据表，设置第一关键词(城市名，例如：重庆)，设置第二关键词(房屋属性名，例如农房)，即标准化农村住房(简称：农房，城市商品房)数据；设置第三关键词(日期名，例如：年，月)，通过第一关键词、第二关键词和第三关键词遍历每一张原始数据表，根据第一关键词遍历之后的全部原始数据表，具有第一关键词属性的原始数据表进行合并处理，不具有第一关键词属性的原始数据表保存在备选数据库；
S1-3，根据合并之后的原始数据表形成第一合并数据表，根据第二关键词遍历之后的第一合并数据表，去除第一关键词字段内容，将具有第二关键词属性的第一合并数据表进行字段判断处理，将相同关键词的字段在数据表中集中展示，形成第二合并数据表，
S1-4，根据第二关键词形成的第二合并数据表所归类展示的内容，对第三关键词形成的字段进行归类，选择第二关键词所归类展示的内容，根据第三关键词的时间轴顺序进行排序，形成第三合并数据表；
将农房数据按年份拆分，并标准化字段名(“区县”、“件数”、“月”)，同时给月字段赋上值。仅选择区县的数值，“重庆市或重庆”行不用保留。最后重命名文件名：如图2和图3“不动产登记总量(1)农房登记业务”；导入相应的表格数据；
S1-5，经过第一关键词、第二关键词和第三关键词遍历之后的第三合并数据表进行重新命名文件名，命名包含第二关键词以及相应的属性信息，从而第三合并数据表进行数据去重处理；
根据图4和图5的内容，标准化房屋保有量数据；将现房和期房对应的住宅与非住宅数值相加，标准字段名(“区县”、“住宅套数”、“住宅面积”、“非住宅套数”、“非住宅面积”、“月”)。
最后重命名文件名：如“一、城镇产权房屋保有量_2204”标准化证书证明数据；
增加“月”字段并赋值，最后重命名文件，如：“二、不动产登记总量(2)证书证明_2204”；
如图6所示，标准化不动产共享数据。
增加“月”字段并赋值，标准字段名(“SL”、“件数”、“月”)，最后重命名文件，如：“不动产数据查询和共享服务_2204”；
如图7和8所示，标准化土地权籍调查数据。按年份按类型拆分表格中文件，增加“月”字段并赋值。最后重命名文件，如：“土地权籍调查情况(1)xx登记权籍调查_xx04”；
如图9和10所示，所有表格处理完成后，将本月收集的所有数据追加到本年度同类型累计数据中。
上述技术方案优选的，所述S2包括：
S2-1，去重处理过程中，从所述第三合并数据表对应的关联数据中获取所述重复字段以及重复数值对应的任一合并数据表作为去重数据表，所述去重数据表对应的任一关联数据在所述第一合并数据集以及第二合并数据集中都已经保存；
S2-2，校验所述第三合并数据表和所述去重数据表，获取所述第三合并数据表和所述去重数据表之间的第三关键词，其中，所述第三关键词在第一映射数据表和第二映射数据表中，该第一映射数据表和第二映射数据表具有相同的关键词和相同的关键词对应的字段名表达方式；其中，所述第一映射数据表为基于第三合并数据表所有与第三关键词对应的字段表达方式；其中，所述第二映射数据表为基于去重数据表中所有与第三关键词对应的字段表达方式；
S2-3，将去重处理完成的去重数据表存入数据库中，并运行融合执行脚本，获取进行深度融合去重数据表的路径；根据所属的日期进行排序处理；
在深度融合去重过程中，根据第一至第三关键词和预设字段，在去重数据表中获取第三关键词对应的匹配字段列表，其中，所述匹配字段列表包括若干中间匹配字段名和每一中间匹配字段名对应的匹配字符串；根据匹配字符串获取所述去重数据表对应的融合模型，
其中，根据匹配字符串获取所述去重数据表对应的融合模型，还包括如下步骤：
融合模型
Figure BDA0004106027510000081
σ为重复字段分布的权重，n为去重数据表中全部重复的数量，μi为去重数据表在第i行数据列表中的存在的重复字符串数量；
根据中间匹配字段名和每一中间匹配字段名对应的匹配字符串，获取所述匹配字符串对应的相似度列表；遍历所述中间匹配字符串对应的相似度列表当所述相似度不小于预设的融合模型阈值，将去重数据表中的匹配字符串作为参考字符串；
融合模型是对于匹配字符串的一种校验过程，其为后续得到参考字符串提供限定条件。
输入处理后表格的存放路径；输入处理的月份；选择处理的类型(“单月”：仅用于区县不动产登记报告；“累计”：全市不动产登记快报和全市不动产登记月报)；
S2-4，经过融合模型计算后的参考字符串进行批处理，并存储至数据库。
如图11所示，快速批量处理，不动产登记快报、全市不动产登记报告、区县不动产登记报告批处理的脚本都为同一个。
Figure BDA0004106027510000082
处理的方式有细微的不同。数据输入界面如图12所示；如图13所示，为批处理后的表格。
上述技术方案优选的，所述S3包括：
S3-1，对于参考字符串在去重数据表中具备的字符匹配度，如果参考字符串为数值形式，数值内包含取值，如果参考字符串为文本形式，则文本包含文本字符数量，形成相应的参考字符串数组，对于字符匹配度在去重数据集中的作用是通过匹配度进行判断，
S3-2，字符匹配度M计算公式为：
Figure BDA0004106027510000083
其中ma为去重数据表中匹配字符串数量，mb为去重数据表中参考字符串数量，Q1为匹配字符串在去重数据表中的重叠程度，Q2为参考字符串在去重数据表中的重叠程度。
通过字符匹配度进行计算之后，能够根据去重数据表中匹配字段的映射关系获得数据表重复信息融合程度的最终数值。如果在多源数据表的字符匹配度并不高，这就需要对映射的字符进行数据校正，从而提高字符匹配度，完成对不动产登记数据的多源数据表管理工作，通过融合模型和字符匹配度进行双重验证，能够提高多源数据表中数据融合的准确度，从而防止数据因为融合过程造成数据丢失或者数据匹配不准确，为用户提供更准确的数据表管理工作，提高工作效率。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种关于不动产登记数据的多源数据表管理方法，其特征在于，包括如下步骤：
S1，获取不同IP地址的多源数据表，将多源数据表进行标准化处理，对于限定的文件名文字进行去重处理；
S2，对去重处理的标准化多源数据表进行表格内容映射过程，并根据设置的融合模型进行批量相似度去重；
S3，根据设置的权重对多源数据表中的相似数据进行融合后，通过字符匹配度进行校验，并对融合后的多源数据表存储至数据库。
2.根据权利要求1所述的关于不动产登记数据的多源数据表管理方法，其特征在于，所述S1包括：
S1-1，从不同IP地址获取Excel数据表，对多个Excel数据表格的快速联表处理，根据标准化处理方式形成集成数据表；
所述标准化处理方式包括：
S1-2，获取原始数据表，设置第一关键词，设置第二关键词；设置第三关键词，通过第一关键词、第二关键词和第三关键词遍历每一张原始数据表，根据第一关键词遍历之后的全部原始数据表，具有第一关键词属性的原始数据表进行合并处理，不具有第一关键词属性的原始数据表保存在备选数据库。
3.根据权利要求1所述的关于不动产登记数据的多源数据表管理方法，其特征在于，所述S1包括：
S1-3，根据合并之后的原始数据表形成第一合并数据表，根据第二关键词遍历之后的第一合并数据表，去除第一关键词字段内容，将具有第二关键词属性的第一合并数据表进行字段判断处理，将相同关键词的字段在数据表中集中展示，形成第二合并数据表，
S1-4，根据第二关键词形成的第二合并数据表所归类展示的内容，对第三关键词形成的字段进行归类，选择第二关键词所归类展示的内容，根据第三关键词的时间轴顺序进行排序，形成第三合并数据表；
S1-5，经过第一关键词、第二关键词和第三关键词遍历之后的第三合并数据表进行重新命名文件名，命名包含第二关键词以及相应的属性信息，从而第三合并数据表进行数据去重处理。
4.根据权利要求1所述的关于不动产登记数据的多源数据表管理方法，其特征在于，所述S2包括：
S2-1，去重处理过程中，从所述第三合并数据表对应的关联数据中获取所述重复字段以及重复数值对应的任一合并数据表作为去重数据表，所述去重数据表对应的任一关联数据在所述第一合并数据集以及第二合并数据集中都已经保存；
S2-2，校验所述第三合并数据表和所述去重数据表，获取所述第三合并数据表和所述去重数据表之间的第三关键词，其中，所述第三关键词在第一映射数据表和第二映射数据表中，该第一映射数据表和第二映射数据表具有相同的关键词和相同的关键词对应的字段名表达方式。
5.根据权利要求1所述的关于不动产登记数据的多源数据表管理方法，其特征在于，所述S2包括：
S2-3，将去重处理完成的去重数据表存入数据库中，并运行融合执行脚本，获取进行深度融合去重数据表的路径；根据所属的日期进行排序处理；
在深度融合去重过程中，根据第一至第三关键词和预设字段，在去重数据表中获取第三关键词对应的匹配字段列表，其中，所述匹配字段列表包括若干中间匹配字段名和每一中间匹配字段名对应的匹配字符串；根据匹配字符串获取所述去重数据表对应的融合模型。
6.根据权利要求5所述的关于不动产登记数据的多源数据表管理方法，其特征在于，根据匹配字符串获取所述去重数据表对应的融合模型，还包括如下步骤：
融合模型
Figure FDA0004106027500000031
σ为重复字段分布的权重，n为去重数据表中全部重复的数量，μi为去重数据表在第i行数据列表中的存在的重复字符串数量；
根据中间匹配字段名和每一中间匹配字段名对应的匹配字符串，获取所述匹配字符串对应的相似度列表；遍历所述中间匹配字符串对应的相似度列表当所述相似度不小于预设的融合模型权重阈值，将去重数据表中的匹配字符串作为参考字符串；
S2-4，经过融合模型计算后的参考字符串进行批处理，并存储至数据库。
7.根据权利要求1所述的关于不动产登记数据的多源数据表管理方法，其特征在于，所述S3包括：
对于参考字符串在去重数据表中具备的字符匹配度，如果参考字符串为数值形式，数值内包含取值，如果参考字符串为文本形式，则文本包含文本字符数量，形成相应的参考字符串数组，对于字符匹配度在去重数据集中的作用是通过匹配度进行判断，
字符匹配度M计算公式为：
Figure FDA0004106027500000032
其中ma为去重数据表中匹配字符串数量，mb为去重数据表中参考字符串数量，Q1为匹配字符串在去重数据表中的重叠程度，Q2为参考字符串在去重数据表中的重叠程度。
CN202310192336.1A 2023-03-02 2023-03-02 关于不动产登记数据的多源数据表管理方法 Active CN116303392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310192336.1A CN116303392B (zh) 2023-03-02 2023-03-02 关于不动产登记数据的多源数据表管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310192336.1A CN116303392B (zh) 2023-03-02 2023-03-02 关于不动产登记数据的多源数据表管理方法

Publications (2)

Publication Number Publication Date
CN116303392A true CN116303392A (zh) 2023-06-23
CN116303392B CN116303392B (zh) 2023-09-01

Family

ID=86793556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310192336.1A Active CN116303392B (zh) 2023-03-02 2023-03-02 关于不动产登记数据的多源数据表管理方法

Country Status (1)

Country Link
CN (1) CN116303392B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760515A (zh) * 2016-02-24 2016-07-13 国家电网公司 一种多数据源的同一对象数据的融合方法
CN105893526A (zh) * 2016-03-30 2016-08-24 上海坤士合生信息科技有限公司 多源数据融合系统和方法
CN109254969A (zh) * 2018-08-31 2019-01-22 平安科技（深圳）有限公司 数据表处理方法、装置、设备及存储介质
CN109559808A (zh) * 2018-11-07 2019-04-02 平安医疗健康管理股份有限公司 一种数据处理方法、装置、设备及存储介质
CN111767325A (zh) * 2020-09-03 2020-10-13 国网浙江省电力有限公司营销服务中心 基于深度学习的多源数据深度融合方法
CN111858649A (zh) * 2020-08-05 2020-10-30 哈尔滨工业大学（威海） 一种基于本体映射的异构数据融合方法
WO2021135474A1 (zh) * 2020-01-02 2021-07-08 平安科技（深圳）有限公司 多数据来源的数据融合方法、装置、电子设备及存储介质
CN113282623A (zh) * 2021-05-20 2021-08-20 浙江网商银行股份有限公司 数据处理方法及装置
CN113407723A (zh) * 2021-07-16 2021-09-17 湖南五凌电力科技有限公司 多源异构电力负荷数据融合方法、装置、设备和存储介质
CN113792115A (zh) * 2021-08-17 2021-12-14 北京百度网讯科技有限公司 实体相关性确定方法、装置、电子设备及存储介质
CN114356933A (zh) * 2022-01-04 2022-04-15 执中数据科技(苏州)有限责任公司 一种基于元数据的企业数据治理方法和装置
CN115603318A (zh) * 2022-11-08 2023-01-13 国家电网有限公司（Cn） 基于营配数据的跨地区大面积停电故障研判方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760515A (zh) * 2016-02-24 2016-07-13 国家电网公司 一种多数据源的同一对象数据的融合方法
CN105893526A (zh) * 2016-03-30 2016-08-24 上海坤士合生信息科技有限公司 多源数据融合系统和方法
CN109254969A (zh) * 2018-08-31 2019-01-22 平安科技（深圳）有限公司 数据表处理方法、装置、设备及存储介质
CN109559808A (zh) * 2018-11-07 2019-04-02 平安医疗健康管理股份有限公司 一种数据处理方法、装置、设备及存储介质
WO2021135474A1 (zh) * 2020-01-02 2021-07-08 平安科技（深圳）有限公司 多数据来源的数据融合方法、装置、电子设备及存储介质
CN111858649A (zh) * 2020-08-05 2020-10-30 哈尔滨工业大学（威海） 一种基于本体映射的异构数据融合方法
CN111767325A (zh) * 2020-09-03 2020-10-13 国网浙江省电力有限公司营销服务中心 基于深度学习的多源数据深度融合方法
CN113282623A (zh) * 2021-05-20 2021-08-20 浙江网商银行股份有限公司 数据处理方法及装置
CN113407723A (zh) * 2021-07-16 2021-09-17 湖南五凌电力科技有限公司 多源异构电力负荷数据融合方法、装置、设备和存储介质
CN113792115A (zh) * 2021-08-17 2021-12-14 北京百度网讯科技有限公司 实体相关性确定方法、装置、电子设备及存储介质
CN114356933A (zh) * 2022-01-04 2022-04-15 执中数据科技(苏州)有限责任公司 一种基于元数据的企业数据治理方法和装置
CN115603318A (zh) * 2022-11-08 2023-01-13 国家电网有限公司（Cn） 基于营配数据的跨地区大面积停电故障研判方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRIS ROBINSON 等: "Error in geometric morphometric data collection: Combining data from multiple sources", AMERICAN JOURNAL OF BIOLOGICAL ANTHROPOLOGY, vol. 164, no. 1, pages 62 - 75, XP071077157, DOI: 10.1002/ajpa.23257 *
李亚洁 等: "基于XML的柔性数据校验系统的设计与实现", 信息系统工程, no. 04, pages 26 - 28 *

Also Published As

Publication number Publication date
CN116303392B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN107239892B (zh) 基于大数据的区域人才供需平衡量化分析方法
CN109669934B (zh) 一种切合电力客服业务的数据仓库系统及其构建方法
CN104881424B (zh) 一种基于正则表达式的电力大数据采集、存储及分析方法
CN106709065B (zh) 一种地址信息标准化处理方法及装置
CN102722531B (zh) 一种云环境中基于分片位图索引的查询方法
CN111046035B (zh) 数据自动化处理方法、系统、计算机设备及可读存储介质
US20140222793A1 (en) System and Method for Automatically Importing, Refreshing, Maintaining, and Merging Contact Sets
CN111159191A (zh) 一种数据处理方法、装置和界面
CN110119395B (zh) 大数据治理中基于元数据实现数据标准与数据质量关联处理的方法
CN110597870A (zh) 一种企业关系挖掘方法
WO2008137086A2 (en) Method and system for disambiguating informational objects
JP2019527898A (ja) 大規模データセットの高速検索またはフィルタリングのためのシステム、方法、およびデータ構造
CN104573022A (zh) 一种HBase的数据查询方法及装置
CN103970842A (zh) 一种面向防洪减灾领域的水利大数据存取系统及方法
CN105117442B (zh) 一种基于概率的大数据查询方法
CN112231333A (zh) 一种生态环境数据共享交换方法和系统
CN111400354B (zh) 基于mes系统的机床制造bom存储查询及树形结构构建方法
CN102402615A (zh) 一种基于结构化查询语言语句的源信息追踪方法
CN111078766A (zh) 一种基于多维理论的数据仓库模型建设系统及方法
CN107577744A (zh) 非标地址自动匹配模型、匹配方法以及模型建立方法
CN106528641A (zh) 一种数据存储方法、装置及通信网关机
CN115617776A (zh) 一种数据管理系统及方法
CN111191123A (zh) 业务信息推送方法、装置、可读存储介质和计算机设备
US20080294673A1 (en) Data transfer and storage based on meta-data
CN106980639B (zh) 短文本数据聚合系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant