CN112612840A - 异构数据的处理方法、装置、设备及存储介质 - Google Patents
异构数据的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112612840A CN112612840A CN202011594978.7A CN202011594978A CN112612840A CN 112612840 A CN112612840 A CN 112612840A CN 202011594978 A CN202011594978 A CN 202011594978A CN 112612840 A CN112612840 A CN 112612840A
- Authority
- CN
- China
- Prior art keywords
- data
- target data
- target
- processed
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 9
- 238000012545 processing Methods 0.000 claims abstract description 70
- 230000004927 fusion Effects 0.000 claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000007689 inspection Methods 0.000 claims description 21
- 238000007499 fusion processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种异构数据的处理方法、装置、设备及存储介质。其中，该方法包括：获取待处理地理实体的第一源数据和第二源数据，其中，第一源数据和第二源数据为异构数据；对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据，其中，第一目标数据和第二目标数据的数据结构相同；对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。由此通过获取多源数据，并对多源数据进行转换，可自动化将转换的数据进行融合，减少了人工处理，提升了多源数据的融合处理效率。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种异构数据的处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着大数据与人工智能技术的应用普及，海量多源异构数据急剧增加，传统数据平台在面临多源异构数据处理时，通常采用多源异构数据在软件上通过一定的数据处理规则及大量的人工辅助才能完成数据的转换，融合与成果输出，以实现异构数据的处理，进而投入的人力成本过大，导致工作过程较复杂，工作效率低。因此，如何更好的实现异构数据的处理成为亟待解决的问题。
发明内容
本申请的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种异构数据的处理方法，该方法通过获取多源数据，并对多源数据进行转换，可自动化将转换的数据进行融合，减少了人工处理，提升了多源数据的融合处理效率。
本申请的第二个目的在于提出了一种异构数据的处理装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的，本申请第一方面实施例提出了一种异构数据的处理方法，包括：获取待处理地理实体的第一源数据和第二源数据，其中，所述第一源数据和所述第二源数据为异构数据；对所述第一源数据进行数据转换，以得到第一目标数据，并对所述第二源数据进行数据转换，以得到第二目标数据，其中，所述第一目标数据和所述第二目标数据的数据结构相同；对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。
根据本申请实施例的异构数据的处理方法，通过获取待处理地理实体的第一源数据和第二源数据，其中，第一源数据和第二源数据为异构数据，然后对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据，其中，第一目标数据和第二目标数据的数据结构相同，之后对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。由此通过获取多源数据，并自动对多源数据进行转换，进而可自动将转换的数据进行融合，提升了多源数据的融合处理效率，避免了人工处理数据融合导致的耗时且繁琐的问题。
为达到上述目的，本申请第二方面实施例提出了一种异构数据的处理装置，包括：第一获取模块，用于获取待处理地理实体的第一源数据和第二源数据，其中，所述第一源数据和所述第二源数据为异构数据；第一转换模块，用于对所述第一源数据进行数据转换，以得到第一目标数据，并对所述第二源数据进行数据转换，以得到第二目标数据，其中，所述第一目标数据和所述第二目标数据的数据结构相同；第二获取模块，用于对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。
根据本申请实施例的异构数据的处理装置，通过获取待处理地理实体的第一源数据和第二源数据，其中，第一源数据和第二源数据为异构数据，然后对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据，其中，第一目标数据和第二目标数据的数据结构相同，之后对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。由此通过获取多源数据，并自动对多源数据进行转换，进而可自动将转换的数据进行融合，提升了多源数据的融合处理效率，避免了人工处理数据融合导致的耗时且繁琐的问题。
为达到上述目的，本申请第三方面实施例提出了电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面实施例所述的瓦片数据的迁移方法。
为达到上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的异构数据的处理方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的异构数据的处理方法的流程示意图；
图2是根据本申请一个具体实施例的异构数据的处理方法的流程图；
图3是根据本申请一个异构数据的处理结果的示意图；
图4是根据本申请一个具体实施例的确定地理实体均通过拓扑检查的流程图；
图5是根据本申请一个类型信息与拓扑检查规则关系示意图；
图6是根据本申请一个拓扑规则中表示要素叠置的示意图；
图7是根据本申请一个错误数据与异常数据存储在拓扑图层的示意图；
图8是根据本申请一个实施例的异构数据的处理装置的结构示意图；
图9是根据本申请一个实施例的异构数据的处理装置的结构示意图；
图10是根据本申请一个实施例的异构数据的处理装置的结构示意图；
图11是是根据本申请实施例的异构数据的处理方法的电子设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，传统数据平台在面临多源异构数据处理时，通常采用多源异构数据在软件上通过一定的数据处理规则及大量的人工辅助才能完成数据的转换，融合与成果输出，以实现异构数据的处理。
其中，在数据转换融合前需要对所有数据格式，图层，字段属性进行人工判别筛选处理，导致处理过程较耗时且繁琐，
其中，数据进行人工判别筛选处理后，使用软件进行相关数据转换，然后对数据图层字段名称及属性内容进行处理，最后提取数据及拓扑检查。因此导致整个过程各个软件是相互独立操作且缺乏流程化操作模式，过程繁琐，效率低。
其中，在数据拓扑检查中，数据拓扑检查及数据拓扑处理全部需要人工参与处理，尤其是拓扑错误处理，效率非常低，数据融合全部需要人工一一对比，选取正确数据，删除错误数据。
其中，数据处理完成后，需要单独导出对应的成果图层数据，如果数据图层越多，相应花费的工作时间就会越多，导致效率低。
因此，由于现有的人工处理阶段比重较大，使其投入的人力成本过大，同时数据质量也不能完全得到保证。在数据更新或者新数据融合时，又会重复人工处理等操作，导致异构数据的处理效率低，因此，为了解决上述技术问题，本申请提出了一种异构数据的处理方法、装置、电子设备和计算机可读存储介质。
图1是根据本申请一个实施例的异构数据的处理方法的流程示意图。其中，需要说明的是，本实施例提供的异构数据的处理方法的执行主体为异构数据的处理装置，该异构数据的处理装置可配置于电子设备中，其中，电子设备可以为服务器等硬件设备，或者为硬件设备上安装的软件。
如图1所示，该异构数据的处理方法可以包括：
步骤101，获取待处理地理实体的第一源数据和第二源数据。
其中，第一源数据和第二源数据为异构数据。
其中，异构数据可理解为不同结构的数据，其中，异构数据可体现在以下五个层次上：1)计算机体系结构的异构：数据的物理存储来源于不同体系结构的计算机中，如：大型机、小型机、工作站、PC或嵌入式系统中；2)操作系统的异构：数据的存储来源于不同的操作系统，如：Unix、Windows、Linux、OS/400等；3)数据格式的异构：数据的存储管理机制不同，可以是关系型数据库系统，如：Oracle、SQL Server、DB2等，也可以是文件行二维数据，如：txt、CSV、XLS等；4)数据存储地点异构：数据存储在分散的物理位置上，此类情况大多出现在大型机构中，如：销售数据分别存储在北京、上海、日本、韩国等多个分支机构的本地销售系统中；5)数据存储的逻辑模型异构：数据分别在不同的业务逻辑中存储和维护，从而相同意义的数据存在表现的异构；如：独立的销售系统和独立的采购系统中存在部门的编码不一致等。
在本申请的实施例中，第一源数据和第二源数据的数据提供方不同，例如，源数据为地组数据，第一源数据可以为第一地图系统提供的数据，第二源数据可以为第二地图系统提供的数据。
举例而言，可通过网络爬虫、内部资料收集或手动输入等方式获取待处理地理实体的第一源数据和第二源数据。
其中，地理实体可理解为地理数据库中的实体，是指在现实世界中再也不能划分为同类现象的现象。例如城市可看做一个地理实体，并可划分成若干部分，但这些部分不叫城市，只能称为区、街道。
步骤102，对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据，其中，第一目标数据和第二目标数据的数据结构相同。
为了减少数据计算，进而提升读取效率，对应地，在本申请的实施例中，可预先通过针对不同数据源，配置相关的转换参数。
举例而言，获取到待处理地理实体的第一源数据和第二源数据后，可根据第一源数据和第二源数据的转换参数，对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据。
步骤103，对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。
为了解决不同数据来源存在一定的范围内存在同名不同坐标的问题，在本申请的实施例中，得到第一目标数据和第二目标数据后，可对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。
其中，在本申请的实施例中，可通过将第一目标数据和第二目标数据进行比对，以确定出第一目标数据和第二目标数据中的相同数据以及第一目标数据以及第二目标数据各自单独存在的数据，然后将相同数据和第一目标数据以及第二目标数据各自单独存在的数据进行合并，以得到待处理实体对应的融合数据。
为了实现数据自动更新，对应地，数据处理完成后自动按照要求分层分类输出到指定的目录及数据格式。在本申请的一个实施例中，进行数据融合完成后，可通过获取待处理地理实体所对应的数据格式以及存储位置，然后根据数据格式对融合数据进行格式转换，并根据存储位置存储转换后的融合数据，实现了如果源数据发生了变化，即可将更新后的数据重新转换输出，无需再配置及处理。
根据本申请实施例的异构数据的处理方法，通过获取待处理地理实体的第一源数据和第二源数据，其中，第一源数据和第二源数据为异构数据，然后对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据，其中，第一目标数据和第二目标数据的数据结构相同，之后对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。由此通过获取多源数据，并对多源数据进行转换，可自动化将转换的数据进行融合，减少了人工处理，提升了多源数据的融合处理效率。
为了本领域人员更容易理解本申请，图2是根据本申请一个具体实施例的异构数据的处理方法的流程图，需要说明的是，需要说明的是，第二实施例是对第一实施例的进一步细化或者优化。如图2所示，该异构数据的处理方法可以包括：
步骤201，获取待处理地理实体的第一源数据和第二源数据。
其中，第一源数据和第二源数据为异构数据。
步骤202，对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据。
其中，第一目标数据和第二目标数据的数据结构相同。
步骤203，根据第一目标数据以及第二目标数据，确定地理实体均通过拓扑检查。
在本申请的实施例中，可通过确定待处理地理实体所对应的类型信息，并获取与类型信息对应的拓扑检查规则，然后根据第一目标数据，确定地理实体是否通过拓扑检查规则，根据第二目标数据，确定地理实体是否通过拓扑检查规则，在基于第一目标数据以及第二目标数据确定地理实体均通过拓扑检查的情况下，执行对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。具体的实现过程可参考后续实施例。
在本申请的一个实施例中，根据第一目标数据和第二目标数据，确定地理实体均未通过拓扑检查时，可将未通过拓扑检查的数据输入人工处理及检查环节，在确认处理无问题后执行对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据的步骤。
步骤204，根据第一目标数据以及第二目标数据，确定第一目标数据以及第二目标数据均通过属性检查。
在本申请的实施例里中，获取与待处理地理实体对应的属性检查规则，然后根据属性检查规则，对第一目标数据以及第二目标数据进行属性检查，以确定第一目标数据以及第二目标数据是否均通过属性检查，在第一目标数据以及第二目标数据均通过属性检查的情况下，执行对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据的步骤。
其中，在本申请的一个实施例中，属性检查规则包括但不仅限于验证字符串、校验唯一ID、比较表属性、复合检验、属性值正确性检查等。
在本申请的一个实施例中，根据第一目标数据和第二目标数据，确定地理实体均未通过属性时，可将未通过属性检查的数据输入人工处理及检查环节，在确认处理无问题后执行对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据的步骤。
步骤205，根据地理实体均通过拓扑检查以及第一目标数据和第二目标数据均通过属性检查，执行对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。
在本申请的实施例中，可通过将第一目标数据和第二目标数据进行比对，以确定出第一目标数据和第二目标数据中的相同数据以及第一目标数据以及第二目标数据各自单独存在的数据，然后将相同数据和第一目标数据以及第二目标数据各自单独存在的数据进行合并，以得到待处理实体对应的融合数据。
举例而言，可根据数据双方的坐标及属性进行比对，排重然后再融合。例如具体的实现过程可通过以下方式实现：1：对特定网格区域范围内的数据进行数据坐标及属性比对标记；2：对特定网格分别向东西南北四个方向平移5公里根据数据属性及坐标比对标记；3：然后根据坐标及数据属性标记进行排重；4：对排重后的数据进行融合。例如，处理结果可如图3所示，其中，处理前(“矩形”表示为排重前结果)，处理后(“圆形”表示为排重后结果)。
举例而言，在本申请的一个实施例中，数据处理完成后可根据数据的图层名称或者属性信息重新对数据进行合并或者将数据重新划分到不同的图层进行输出。举例，比如数据来源为两个不同源的全国学校POI数据，对两个来源的学校数据进行前面阶段处理后，可以根据实际需要对数据进行合并或者分层处理，其中，合并可以按照数据类型(例如，大中小类型)或者数据区域(例如，全国省市县)；分层可以按照数据类型(例如，大中小类型)或者数据区域(例如，全国省市县)。
根据本申请实施例的异构数据的处理方法，获取待处理地理实体的第一源数据和第二源数据，然后对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据，之后根据第一目标数据以及第二目标数据，确定地理实体均通过拓扑检查以及确定均通过属性检查，进而执行对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。由此通过获取多源数据，并对多源数据进行转换，可自动化将转换的数据进行融合，减少了人工处理，提升了多源数据的融合处理效率，且多源异构数据可以实现配置复用，提升数据更新效率，以及可以大批量的多源异构数据融合处理及转换输出。
为了本领域技术人员更容易理解本申请，图4是根据本申请一个具体实施例的确定地理实体均通过拓扑检查的流程图，如图4所示，该确定地理实体均通过拓扑检查的具体实现过程可参考以下实施例：步骤401，通过确定待处理地理实体所对应的类型信息，并获取与类型信息对应的拓扑检查规则。
其中，定待处理地理实体所对应的类型信息，包括但不仅限于点状实体、线状实体、面状实体以及体状实体。
其中，可预先建立类型信息与拓扑检查规则之间的对应关系，以形成类型信息与拓扑检查规则关系图，例如，类型信息与拓扑检查规则关系可如图5所示。
举例而言，预先建立类型信息与拓扑检查规则之间的对应关系时，可预先新建一个拓扑规则，将要素集中所需检查要素选中，然后添加拓扑规则，其中，拓扑规则定义了要素之间允许的空间关系。拓扑规则可控制一个要素类中各要素之间、不同要素类中各要素之间以及要素的子类型之间的关系。
例如，拓扑规则“不能叠置”用于管理同一个要素类中要素的完整性。如果两个要素叠置，则叠置几何将以突出颜色(例如红色)显示，例如，如图6所示，相邻多边形之间的叠置区域为红色区域，以及两条线之间的叠置区域为红色线性段部分)。
需要说明的是，在要素类的子类型之间也可以定义拓扑规则。例如，假设有两个街道线要素的子类型，正常街道(在两个结点处与其他街道相连)与死胡同街道(在一个结点处为死角)，其中，拓扑规则便可以要求街道要素在两端与其他街道要素相连，除非遇到街道属于死胡同子类型的情况。
步骤402，根据第一目标数据，确定地理实体是否通过拓扑检查规则。
例如，拓扑检查包含以下四个过程：1)对要素折点进行裂化和聚类以查找共享同一位置(具有通用坐标)的重合要素；2)将共有坐标折点插入到共享几何的重合要素中；3)运行一系列完整性检查以确定是否违反了为拓扑定义的规则；4)在要素数据集中创建潜在拓扑错误的错误日志。
步骤403，根据第二目标数据，确定地理实体是否通过拓扑检查规则。
在本申请的一个实施例中，根据第一目标数据和根据第二目标数据，进行拓扑检查完成后，可根据检查结果对错误数据进行修正处理，其中，错误数据会在拓扑检查过程中记录发现拓扑错误的位置。某些错误是可以接受的，这种情况下可将该错误要素标记为异常。例如，如图7所示中，错误数据(图7中标记“1”)与异常数据(图7中标记“2”)会以要素形式存储在拓扑图层中，可用于呈现和管理要素不需要符合拓扑规则的情况。
步骤404，在基于第一目标数据以及第二目标数据确定地理实体均通过拓扑检查的情况下，执行对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。
与上述几种实施例提供的异构数据的处理方法相对应，本申请的一种实施例还提供一种异构数据的处理装置，由于本申请实施例提供的异构数据的处理装置与上述几种实施例提供的异构数据的处理方法相对应，因此在异构数据的处理方法的实施方式也适用于本实施例提供的异构数据的处理装置，在本实施例中不再详细描述。图8是根据本申请一个实施例的异构数据的处理装置的结构示意图。
如图8所示，该异构数据的处理装置800可以包括：第一获取模块810、第一转换模块820和第二获取模块830。
具体地，第一获取模块810，用于获取待处理地理实体的第一源数据和第二源数据，其中，所述第一源数据和所述第二源数据为异构数据。
第一转换模块820，用于对所述第一源数据进行数据转换，以得到第一目标数据，并对所述第二源数据进行数据转换，以得到第二目标数据，其中，所述第一目标数据和所述第二目标数据的数据结构相同。
第二获取模块830，用于对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。作为一种示例，所述第二获取模块830，包括：第一确定单元，用于将所述第一目标数据和所述第二目标数据进行比对，以确定出所述第一目标数据和所述第二目标数据中的相同数据以及所述第一目标数据以及所述第二目标数据各自单独存在的数据；第一获取单元，用于将所述相同数据和所述第一目标数据以及所述第二目标数据各自单独存在的数据进行合并，以得到所述待处理实体对应的融合数据。
在本申请的一个实施例中，如图9所示，所述第二获取模块830之前，所述装置800还包括：第三获取模块840，用于确定所述待处理地理实体所对应的类型信息，并获取与所述类型信息对应的拓扑检查规则；第一确定模块850，用于根据所述第一目标数据，确定所述地理实体是否通过所述拓扑检查规则；第二确定模块860，用于根据所述第二目标数据，确定所述地理实体是否通过所述拓扑检查规则；以及第一执行模块870，用于在基于所述第一目标数据以及第二目标数据确定所述地理实体均通过所述拓扑检查的情况下，执行所述对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。
在本申请的一个实施例中，如图10所示，所述第二获取模块830之前，所述装置800还包括：第四获取模块880，用于获取与所述待处理地理实体对应的属性检查规则；第三确定模块890，用于根据所述属性检查规则，对所述第一目标数据以及所述第二目标数据进行属性检查，以确定所述第一目标数据以及所述第二目标数据是否均通过属性检查；第二执行模块8110，用于在所述第一目标数据以及所述第二目标数据均通过属性检查的情况下，执行对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据的步骤。
在本申请的一个实施例中，所述装置还包括：第五获取模块，用于获取所述待处理地理实体所对应的数据格式以及存储位置；第二转换模块，用于根据所述数据格式对所述融合数据进行格式转换，并根据所述存储位置存储转换后的所述融合数据。
根据本申请实施例的异构数据的处理装置，通过获取待处理地理实体的第一源数据和第二源数据，其中，第一源数据和第二源数据为异构数据，然后对第一源数据进行数据转换，以得到第一目标数据，并对第二源数据进行数据转换，以得到第二目标数据，其中，第一目标数据和第二目标数据的数据结构相同，之后对第一目标数据和第二目标数据进行数据融合，以得到待处理实体对应的融合数据。由此通过获取多源数据，并对多源数据进行转换，可自动化将转换的数据进行融合，减少了人工处理，提升了多源数据的融合处理效率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图11所示，是根据本申请实施例的异构数据的处理方法的电子设备的框图。
如图11所示，该电子设备包括：
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机指令。
处理器1002执行所述指令时实现上述实施例中提供的异构数据的处理方法。
进一步地，电子设备还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机指令。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1002，用于执行所述程序时实现上述实施例所述的异构数据的处理方法。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种异构数据的处理方法，其特征在于，包括：
获取待处理地理实体的第一源数据和第二源数据，其中，所述第一源数据和所述第二源数据为异构数据；
对所述第一源数据进行数据转换，以得到第一目标数据，并对所述第二源数据进行数据转换，以得到第二目标数据，其中，所述第一目标数据和所述第二目标数据的数据结构相同；
对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。
2.如权利要求1所述的方法，其特征在于，所述对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据，包括：
将所述第一目标数据和所述第二目标数据进行比对，以确定出所述第一目标数据和所述第二目标数据中的相同数据以及所述第一目标数据以及所述第二目标数据各自单独存在的数据；
将所述相同数据和所述第一目标数据以及所述第二目标数据各自单独存在的数据进行合并，以得到所述待处理实体对应的融合数据。
3.如权利要求1所述的方法，其特征在于，对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据之前，所述方法还包括：
确定所述待处理地理实体所对应的类型信息，并获取与所述类型信息对应的拓扑检查规则；
根据所述第一目标数据，确定所述地理实体是否通过所述拓扑检查规则；
根据所述第二目标数据，确定所述地理实体是否通过所述拓扑检查规则；以及
在基于所述第一目标数据以及第二目标数据确定所述地理实体均通过所述拓扑检查的情况下，执行所述对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。
4.如权利要求1所述的方法，其特征在于，在对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据之前，所述方法还包括：
获取与所述待处理地理实体对应的属性检查规则；
根据所述属性检查规则，对所述第一目标数据以及所述第二目标数据进行属性检查，以确定所述第一目标数据以及所述第二目标数据是否均通过属性检查；
在所述第一目标数据以及所述第二目标数据均通过属性检查的情况下，执行对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据的步骤。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述待处理地理实体所对应的数据格式以及存储位置；
根据所述数据格式对所述融合数据进行格式转换，并根据所述存储位置存储转换后的所述融合数据。
6.一种异构数据的处理装置，其特征在于，包括：
第一获取模块，用于获取待处理地理实体的第一源数据和第二源数据，其中，所述第一源数据和所述第二源数据为异构数据；
第一转换模块，用于对所述第一源数据进行数据转换，以得到第一目标数据，并对所述第二源数据进行数据转换，以得到第二目标数据，其中，所述第一目标数据和所述第二目标数据的数据结构相同；
第二获取模块，用于对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。
7.如权利要求6所述的装置，其特征在于，所述第二获取模块，包括：
第一确定单元，用于将所述第一目标数据和所述第二目标数据进行比对，以确定出所述第一目标数据和所述第二目标数据中的相同数据以及所述第一目标数据以及所述第二目标数据各自单独存在的数据；
第一获取单元，用于将所述相同数据和所述第一目标数据以及所述第二目标数据各自单独存在的数据进行合并，以得到所述待处理实体对应的融合数据。
8.如权利要求6所述的装置，其特征在于，所述第二获取模块之前，所述装置还包括：
第三获取模块，用于确定所述待处理地理实体所对应的类型信息，并获取与所述类型信息对应的拓扑检查规则；
第一确定模块，用于根据所述第一目标数据，确定所述地理实体是否通过所述拓扑检查规则；
第二确定模块，用于根据所述第二目标数据，确定所述地理实体是否通过所述拓扑检查规则；以及
第一执行模块，用于在基于所述第一目标数据以及第二目标数据确定所述地理实体均通过所述拓扑检查的情况下，执行所述对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据。
9.如权利要求6所述的装置，其特征在于，在所述第二获取模块之前，所述装置还包括：
第四获取模块，用于获取与所述待处理地理实体对应的属性检查规则；
第三确定模块，用于根据所述属性检查规则，对所述第一目标数据以及所述第二目标数据进行属性检查，以确定所述第一目标数据以及所述第二目标数据是否均通过属性检查；
第二执行模块，用于在所述第一目标数据以及所述第二目标数据均通过属性检查的情况下，执行对所述第一目标数据和所述第二目标数据进行数据融合，以得到所述待处理实体对应的融合数据的步骤。
10.如权利要求6所述的装置，其特征在于，所述装置还包括：
第五获取模块，用于获取所述待处理地理实体所对应的数据格式以及存储位置；
第二转换模块，用于根据所述数据格式对所述融合数据进行格式转换，并根据所述存储位置存储转换后的所述融合数据。
11.一种电子设备，包括：存储器，处理器；所述存储器中存储有计算机指令，当所述计算机指令被所述处理器执行时，实现如权利要求1-5中任一项所述的异构数据的处理方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的异构数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011594978.7A CN112612840A (zh) | 2020-12-29 | 2020-12-29 | 异构数据的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011594978.7A CN112612840A (zh) | 2020-12-29 | 2020-12-29 | 异构数据的处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112612840A true CN112612840A (zh) | 2021-04-06 |
Family
ID=75248819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011594978.7A Pending CN112612840A (zh) | 2020-12-29 | 2020-12-29 | 异构数据的处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612840A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573875A (zh) * | 2023-12-05 | 2024-02-20 | 安芯网盾(北京)科技有限公司 | 一种同名文件聚类算法优化方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110515926A (zh) * | 2019-08-28 | 2019-11-29 | 国网天津市电力公司 | 基于分词和语义依存分析的异构数据源海量数据梳理方法 |
| CN110716970A (zh) * | 2018-06-27 | 2020-01-21 | 百度在线网络技术（北京）有限公司 | 异构数据同构化处理方法、装置、计算机设备及存储介质 |
| CN111159177A (zh) * | 2019-12-10 | 2020-05-15 | 大唐软件技术股份有限公司 | 一种基于异构数据的数据融合方法、装置、设备及介质 |
| CN111339071A (zh) * | 2020-02-21 | 2020-06-26 | 苏宁云计算有限公司 | 一种多源异构数据的处理方法及装置 |
| CN111897875A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 城市多源异构数据的融合处理方法、装置和计算机设备 |
| CN112000725A (zh) * | 2020-08-28 | 2020-11-27 | 哈尔滨工业大学 | 一种面向多源异构资源的本体融合前处理方法 |
-
2020
- 2020-12-29 CN CN202011594978.7A patent/CN112612840A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110716970A (zh) * | 2018-06-27 | 2020-01-21 | 百度在线网络技术（北京）有限公司 | 异构数据同构化处理方法、装置、计算机设备及存储介质 |
| CN110515926A (zh) * | 2019-08-28 | 2019-11-29 | 国网天津市电力公司 | 基于分词和语义依存分析的异构数据源海量数据梳理方法 |
| CN111159177A (zh) * | 2019-12-10 | 2020-05-15 | 大唐软件技术股份有限公司 | 一种基于异构数据的数据融合方法、装置、设备及介质 |
| CN111339071A (zh) * | 2020-02-21 | 2020-06-26 | 苏宁云计算有限公司 | 一种多源异构数据的处理方法及装置 |
| CN111897875A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 城市多源异构数据的融合处理方法、装置和计算机设备 |
| CN112000725A (zh) * | 2020-08-28 | 2020-11-27 | 哈尔滨工业大学 | 一种面向多源异构资源的本体融合前处理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573875A (zh) * | 2023-12-05 | 2024-02-20 | 安芯网盾(北京)科技有限公司 | 一种同名文件聚类算法优化方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Karan et al. | Extending BIM interoperability to preconstruction operations using geospatial analyses and semantic web services | |
| CN107885790B (zh) | 一种道路空间网络多因子自动更新方法 | |
| CN106104472A (zh) | 指定逻辑验证规则并将逻辑验证规则应用于数据 | |
| CN101509783A (zh) | 应用于导航电子地图生产中的数据检查方法及装置 | |
| CN113239107B (zh) | 基于etl的道路矢量数据要素匹配与联动方法 | |
| CN114692236B (zh) | 一种面向大数据的国土空间规划底图底数处理方法 | |
| JP2002032773A (ja) | 地図データの処理装置及び方法 | |
| KR20160019344A (ko) | 지적전산자료의 오류확인 및 이중선 보정 방법 | |
| CN112084289A (zh) | 一种轨迹融合方法及装置 | |
| CN114662253A (zh) | 一种仿真建模方法、装置、电子设备及存储介质 | |
| CN112612840A (zh) | 异构数据的处理方法、装置、设备及存储介质 | |
| CN116483811A (zh) | 地理信息数据生产过程实时同步质检方法、装置及其计算机设备 | |
| CN113626408B (zh) | 一种城市信息数据库构建方法及一张图显示方法 | |
| CN107679305B (zh) | 路网模型创建方法及装置 | |
| Glake et al. | Data management in multi-agent simulation systems | |
| CN110232063B (zh) | 层级数据查询方法、装置、计算机设备和存储介质 | |
| CN108804401B (zh) | 一种报表模板的合并方法及装置 | |
| CN114124977B (zh) | 跨租户间的数据分享方法、装置和电子设备 | |
| CN109189304A (zh) | 一种地图编辑方法及装置 | |
| KR101026107B1 (ko) | 하천 지리정보 검수 시스템 및 방법 | |
| Lazorenko-Hevel et al. | Automation of quality control of digital topographic maps at the scale 1: 50 000 of the Main State Topographic Map in Ukraine | |
| CN113010230B (zh) | 配置信息处理方法、装置、设备及存储介质 | |
| US20230228594A1 (en) | Validating high definition mapping data | |
| CN117633138A (zh) | 土地权属数据库构建方法、数据查询方法、设备及介质 | |
| CN118069701A (zh) | 反向查询链路的构建方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |