CN110716952A - 一种多源异构数据处理方法、装置和存储介质 - Google Patents

一种多源异构数据处理方法、装置和存储介质 Download PDF

Info

Publication number
CN110716952A
CN110716952A CN201910903339.5A CN201910903339A CN110716952A CN 110716952 A CN110716952 A CN 110716952A CN 201910903339 A CN201910903339 A CN 201910903339A CN 110716952 A CN110716952 A CN 110716952A
Authority
CN
China
Prior art keywords
data
query
structured
sql
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910903339.5A
Other languages
English (en)
Inventor
郑作亚
仇林遥
陈旭
呙维
贾向阳
潘一凡
柳罡
李黔湘
鲁续坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
China Electronics Technology Group Corp CETC
Electronic Science Research Institute of CTEC
Original Assignee
Wuhan University WHU
China Electronics Technology Group Corp CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU, China Electronics Technology Group Corp CETC filed Critical Wuhan University WHU
Priority to CN201910903339.5A priority Critical patent/CN110716952A/zh
Publication of CN110716952A publication Critical patent/CN110716952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83—Querying
    • G06F16/838—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种多源异构数据处理方法、装置和存储介质，用以提供一种实现多源数据统一接入和管理。本发明实施例提供一种多源异构数据处理方法，包括：接收数据源系统上传的结构化数据，所述结构化数据为利用预先定义的可扩展标记语言XML模板对元数据进行处理后得到的；利用XSL文本转换器将所述结构化数据转换为键值对K‑V类型数据，所述XSL文本转换器为根据所述XML模板生成的，所述K‑V类型数据中包含有混合字段，所述混合字段为利用需要被搜索的字段拼接得到的；从所述K‑V类型数据中抽取数据值存储至地理空间关系型数据库中。

Description

一种多源异构数据处理方法、装置和存储介质
技术领域
本发明涉及数据汇聚与管理技术领域，尤其涉及一种多源异构数据处理方法、装置和存储介质。
背景技术
地面信息港依托天地一体化信息网络，汇聚多源异构时空数据，搭建分布式云公共基础设施环境，部署统一服务开放平台，打造新型时空数据服务枢纽。
其中，数据存管模块是地面信息港的数据接收中心、多源数据资源中心和搜索大脑，是多系统间的连接集成中心。提供将运管个人空间内流程化生产的数据注册存储至数据中心、为可视化中心三维展示提供数据源、数据中心数据发布、多源异构数据接收等多种集成功能。
然而地面信息港的数据来源复杂，尤其是包含大量地理空间数据和非空间数据常规数据，如何将这些数据用一种合理、灵活、易理解的方式组织起来成为现有技术中亟待解决的技术问题之一。
发明内容
本发明实施例提供一种多源异构数据处理方法、装置和存储介质，用以提供一种实现多源数据统一接入和管理。
本发明实施例提供一种多源异构数据处理方法，包括：
接收数据源系统上传的结构化数据，所述结构化数据为利用预先定义的可扩展标记语言XML模板对元数据进行处理后得到的；
利用XSL文本转换器将所述结构化数据转换为键值对K-V类型数据，所述XSL文本转换器为根据所述XML模板生成的，所述K-V类型数据中包含有混合字段，所述混合字段为利用需要被搜索的字段拼接得到的；
从所述K-V类型数据中抽取数据值存储至地理空间关系型数据库中。
在一种实施方式中，接收数据源系统上传的结构化数据，具体包括：
接收数据源系统通过文件传输协议FTP上传的结构化数据。
在一种实施方式中，本发明实施例提供的多源异构数据处理方法，还包括：
接收数据查询请求，所述数据查询请求中携带有查询参数；
根据所述查询参数，生成结构化查询语言sql语句；
利用所述sql语句在所述地理空间关系型数据库中进行查询得到查询结果。
在一种实施方式中，生成sql语句，具体包括：
将所述查询参数转换为K-V键值对；
针对每一查询参数，根据该查询参数的值，生成sql子语句；
将每一查询参数对应的sql子语句拼接成sql语句。
在一种实施方式中，所述查询参数包括以下至少一项：选择参数，条件参数，起始位置参数，结束位置参数和排序参数。
在一种实施方式中，所述XML模板中包含有若干字段及其对应的数据类型，所述数据类型包括以下至少一项：整型，浮点型，地理空间类型，字符型，日期型和二进制类型。
本发明实施例还提供一种多源异构数据处理装置，包括：
第一接收单元，用于接收数据源系统上传的结构化数据，所述结构化数据为利用预先定义的可扩展标记语言XML模板对元数据进行处理后得到的；
转换单元，用于利用XSL文本转换器将所述结构化数据转换为键值对K-V类型数据，所述XSL文本转换器为根据所述XML模板生成的，所述K-V类型数据中包含有混合字段，所述混合字段为利用需要被搜索的字段拼接得到的；
数据抽取单元，用于从所述K-V类型数据中抽取数据值存储至地理空间关系型数据库中。
在一种实施方式中，本发明实施例提供的多源异构数据处理装置，还包括：
第二接收单元，用于接收数据查询请求，所述数据查询请求中携带有查询参数；
生成单元，用于根据所述查询参数，生成结构化查询语言sql语句；
查询单元，用于利用所述sql语句在所述地理空间关系型数据库中进行查询得到查询结果。
本发明实施例提供一种计算装置，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一多源异构数据处理方法所述的步骤。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一多源异构数据处理方法所述的步骤。
采用上述技术方案，本发明至少具有下列优点：
本发明所述多源异构数据处理方法、装置和存储介质中，通过定义XML模板实现了数据子定义配置，可以根据实际需求定义自身所需数据类型，从而实现了数据字段结构定制化，可配置化，实现了类型繁杂，数据量庞大的海量多源地理空间数据的统一接入和管理。
附图说明
图1为本发明实施例的数据接入架构示意图；
图2为本发明实施例的多源异构数据处理流程示意图；
图3为本发明实施例的正向转换器和反向转换器示意图；
图4为本发明实施例的SQL拼接过程示意图；
图5为本发明实施例的多源异构数据处理装置结构示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
需要说明的是，本发明实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
管理多源异构数据，地理空间数据是难点。随着信息时代的发展和地理信息系统的普及，如何更好的将类型繁杂、数据量庞大的海量多源地理空间数据存起来、管起来、用起来成为地理信息科学所关注的重点。目前，GIS(Geographic Information System，地理信息系统)已进入了社会化GIS时代，GIS应用需要集多种数据源以及不同数据格式的数据才能完成；随着GIS化的进一步发展、网络技术的广泛应用以及地理数据的数量、复杂性和多样性的增加，多源空间地理数据的共享和集成已成为必然趋势。地理空间数据的多源性主要表现在多语义性、多时空性和多尺度、获取手段多样性、存储格式多源性、分布式特征和空间拓扑特征等方面。地理空间数据还具有数据量大、结构和关系复杂的特点。传统的一幅遥感影像往往需要占据1G以上，甚至10多G的存储空间，并且同一地区，不同时间内影像数据也会发生变化，如果全部存储下来，将导致数据库趋于越来越大。一个小范围的地理空间数据文件或一个大规模集成电路可能就需要上百GB的存储空间，如果要记录存储一片区域的数据，单一服务器往往难以拥有如此大的存储空间，因此需要分布式的存储数据系统并对重要数据提供灾备功能，并且随着数据量越来越大，将元数据保存在数据库中这种模式是必要的。
合理的解决对海量空间数据处理，发展能存储、访问和管理TB到PB量级的海量数据的能力可以促进GIS学科的发展，为实现社会地理信息化有重大推进作用，帮助人们科学解释发生在地理空间中现象和规律、事件发生的因果关系、条件关系及相关关系，对人类干预或科学开发利用地理信息资源进行宏观管理决策和微观管理决策等。
有鉴于此，本发明实施例提供了分布式文件存储集群，通过glusterfs(一个开源的分布式文件系统)将不同节点的服务器连接起来，汇聚成一个大的存储池，通过网络进行通信，对多源地理空间数据的数据体进行存储，存储的数据以遥感影像数据为主。
具体实施时，接入地面信息港的各数据源系统可以通过文件传输协议将元数据推送到数据管理中心进行存储，并可通过地面信息港的其他系统对数据进行操作并注册入库。在一种实施方式中，各数据源系统可以通过FTP网络传输数据，如图1所示，其为本发明实施例提供的数据接入架构示意图，通过提供FTP站点供各数据源系统进行数据上传和数据入库。各数据源系统采集的元数据通过FTP文件传输协议被推送到数据管理中心，进行数据分布式存储或者准备数据注册。
为了实现对来自不同数据源系统的异构数据的统一接入与管理，本发明实施例中，通过XML(可扩展标记语言)、XSL(可扩展样式表语言)转换器和postgres关系型地理空间数据库对多元异构数据进行统一定义。其中，XML是一种可扩展标记语言，当前处理结构化文档信息的有力工具。
本发明实施例中，XML模板定义如下：
Figure BDA0002212529660000051
通过定义的XML模板可对接入的数据进行分级结构化描述，结构清晰富有层次。预先定义的XML模板中包含有若干字段及其对应的数据类型，所述数据类型包括以下至少一项：整型，浮点型，地理空间类型(点、线、面、复合图形)，字符型，日期型和二进制类型。
将定义好的XML模板提供给各数据源系统，数据源系统在上传数据之前利用接收到的XML模板对上传的数据进行处理得到结构化数据。
如图2所示，其为本发明实施例提供的多源异构数据处理方法实施流程示意图，可以包括以下步骤：
S21、接收数据源系统上传的结构化数据。
其中，结构化数据为数据源系统利用预先定义的XML模板对元数据进行处理后得到的。具体地，数据管理系统首先建立一个用于记录uuid(通用唯一识别码)的数据表，该数据表中包含两个字段，分别为uuid和该条数据对应的数据类型。
具体实施时，每一种数据类型被定义时，会针对该数据类型生成一张XML数据表，根据待上传数据的数据类型，将其填入相应类型的XML数据表中得到所述结构化数据。
S22、利用XSL文本转换器将接收到的结构化数据转换为键值对K-V类型数据。
其中，XSL文本转换器为根据所述XML模板生成的。当XML数据表被上传到数据管理系统中后，利用XSL文本转换器将接收到的结构化数据转换为键值对K-V类型数据。
具体实施时，xsl转换器包括正向转换和反向转换，正向转换器将xml转换成K-V类型，反向转换器将K-V类型转化成xml类型，转换器的字段随xml模板的变化而变化，如图3所示，其为本发明实施例中，正向转换器和反向转换器示意图。
其中，正向转换器格式设定如下：
Figure BDA0002212529660000071
Figure BDA0002212529660000081
反向转换器设定如下：
Figure BDA0002212529660000082
需要说明的是，由于在后续的搜索功能中，搜索是对整个数据体，而不单单是数据标题的搜索，也应该支持深度搜索，包括数据的其他详细信息。有鉴于此，本发明实施例中，在K-V类型数据中，增加了一个anytext字段，该字段由需要被搜索的字段拼接而成，供后续分词入库，提供搜索依据。
S23、从K-V类型数据中抽取数据值存储至地理空间关系型数据库中。
为了便于系统识别，步骤S23中得到的K-V类型数据被提取，转换成执行插入语句的SQL语句被插入数据中。每一条数据都有一个唯一标识，唯一标识根据文件所处的路径，由base64编码生成。
由于postgres提供当插入数据的主键存在时，插入数据将执行更新操作，这一特性使得数据的更新变得简单、智能。
具体实施时，数据被保存在数据库的不同表内，一条XML数据表单会被识别它是属于什么数据类型。首先，它会被插入单独记录uuid和该条数据对应的数据类型的数据表中。随后该数据的详细信息被插入对应的数据类型表单中，其中地理空间信息会被转换成WKB形式保存在数据表中。当该条数据拥有缩略图或快视图时，改图会被转化成二进制存储到快视图表中。而在详细信息表单中则填写该快试图的链接信息，该链接为本软件提供的快试图查询接口，通过该链接可以返回图片信息，通过上述流程数据被存储至postgres关系型数据库中。
需要说明的是，WKT(well-known text)是一种文本标记语言，该格式由开放地理空间联盟(OGC)制定，用于表示矢量数据中的几何对象，在数据传输与数据库存储时，常用到它的二进制形式，即WKB(well-known binary)。WKT与WKB在GIS中的重要作用在于，他们能利用文本简洁明了的表达矢量空间要素的几何信息，使得几何信息能以字段的形式存储于数据库中。
在多源异构数据存储到地理空间关系型数据库中后，为了解决数据只能单一简单查询问题，本发明实施例中，通过SQL拼接方式，提供结构化语义检索功能，提供高效检索技术能力，支持时空查询、关联查询、空间信息全文检索等检索手段，主要包括：时空检索模块、关键字检索模块、条件检索模块、专题查询模块、用户行为记录模块，其中：时空检索模块：支持按照时间范围和空间范围进行元数据查询检索；关键字检索模块：支持按照用户提交的关键字进行查询检索；条件检索模型：支持用户输入多个查询条件，进行组合查询检索；专题检索模型：支持用户按照不同领域的典型专题，进行查询检索；用户行为记录模块：用于记录用户的查询行为。
基于此，本发明实施例提供的多源异构数据处理方法，还可以包括以下步骤：接收数据查询请求，数据查询请求中携带有查询参数；根据数据查询请求中携带的查询参数，生成结构化查询语言SQL语句；利用SQL语句在地理空间关系型数据库中进行查询得到查询结果。
本发明实施例中，根据不同的查询参数，将SQL语句划分为六大模块，当输入查询条件是更换模块相应内容，重新组合成完整的SQL查询语句。Sql语句分为select_part、from_part、where_part、limit_part、oderby_part或oderby_parts。本发明实施提供查询统一的一体化查询接口，该接口可选择不同的查询参数，以达到不同的查询效果。具体地，所述查询参数包括以下至少一项：选择参数，条件参数，起始位置参数，结束位置参数和排序参数等。
以下对本发明实施例提供的查询参数进行说明。1、resultType：该参数表示确定查询结果返回的是详细信息还是简略信息。2、orderBy：该参数表示确定排序方式，选择降序还是升序排列。3、sortBy：该参数表示排序依据的条件。4、table：该参数表示查询的数据库表，如raster_metainfo。这些是必填字段除此之外还有其他很多字段可以任选：1、from：该参数表示确定返回条目的起始位置。2、to：该参数表示确定返回条目的结束为止。3、polygon：该参数用于地理范围的查询检索，可以是空间相交查询，也可以是空间包含查询。4、其他数据字段。在该字段中，若在字段末尾加上from和to字符，则会查询该字段处于该范围内的结果。如creationTimeFrom和creationTimeTo可以查询数据创建时间在这个时间段的数据条目。若不加from和to字段，则会精确匹配该内容。5、anytext：该字段用于模糊匹配，会返回与之相关的所有信息。6、isrecord：该字段用于判断这条数据是否需要被记录。
具体实施时，可以按照以下流程拼接SQL语句，将数据查询请求中携带的查询参数转换为K-V键值对；针对每一查询参数，根据该查询参数的值，生成SQL子语句；将每一查询参数对应的SQL子语句拼接成SQL语句。
具体地，可以按照以下流程实施：
1、将查询参数转换成键值对，然后初始化查询参数。在该过程中确定所要查询的表、排序方式、排序字段、返回值的详细与否、起始和终止条目、数据查询的形式，统计还是其他，geoType确定空间查询的形式。
2、根据返回详细还是简略，确定查询内容，生产select_part。在每个字段间用逗号隔开，对于空间位置的查询，将地理空间信息转化ST_AsGeoJson(geographicBoundingBox,7)as geographicBoundingBox。
3、生产where_part，该部分是一体化查询中核心的sql部分，首先判断参数中是否包含from、to和not，若有分别转化成>＝，<＝和><。否则则转化成＝。多个字段之间用and拼接，针对数值型、字符型、地理空间型、日期型做不同的处理。形成where_part。
4、生产limit_part，该部分有请求参数from和to决定，确定返回多少条数据。
5、生产order_part或order_parts当有不止一个排序条件时使用order_parts。最终生产的sql模块，通过拼接形成完整的sql语句。
如图4所示，其为SQL语句拼接过程示意图，利用拼接得到的完整的sql语句，在地理空间关系型数据库中查询获得查询结构，将结果重新排版，例如，根据查询参数对查询结果进行排序，或者将查询结果中表示图像的二进制数据还原为图片等，以的格式返回查询结果，实现一体化结构检索。
本发明实施例在应用层提供多种服务接口，主要包括：元数据模板自定义接口、栅格矢量数据注册入库接口、多源数据批量入库接口、元数据查询管理接口等，其中：
元数据模板自定义接口可以根据实际情况定义自己所需的数据类型。该接口参数包括：1、想要定义的数据的模板名称，该模板名称不能重复。2、自定义数据的各字段名称，及字段对应的数据类型。3、定义的数据字段中一定包含唯一标识字段，以防数据重复冗余。
调用该元数据模板自定义接口后，首先将生成对应的XML和XSL文件，为后续将数据库的内容转化成xml做准备。参数传输入后生成对应的数据库表。如果中间出现故障，将会回滚到最初的状态。元数据模板自定义完成后，便可根据自己定义数据模式，上传自己的数据。
栅格矢量数据注册入库接口，由于本发明实施例是针对地面信息港的，数据来源以栅格数据和矢量数据为主。该接口提供数量栅格数据自动化注册和信息提取。本发明实施例中使用了栅矢元数据提取机，通过调动该软件，可以对栅格和矢量数据进行元数据提取。提取内容包括数据的地理空间范围、数据的真实分辨率，构建栅格数据金字塔、矢量数据各图层，坐标系信息等众多信息，一般常规的遥感图像抽取在三秒钟之内。
多源数据批量入库接口。将文件上传到FTP站点之后，数据所在的位置实际路径需要加上FTP站点的相对值位置信息。该接口一定要填的两个参数filePath和organisationName分别代表文件路径和单位名称，同样的单位名称会被汇入相应的个人空间。
多源数据批量入库策略：参数中filePath代表所要注册入库的数据路径。如果该文件目录下没有遥感或者矢量数据文件，它会把该文件目录下的所有xml文件都找到，抽取里面的信息并上传，抽取的数据类型需要是系统中已存在的数据类型，如果不存在可通过元数据模板自定义接口先注册定义自己的数据类型，有相关联的其他类型文件需要与描述其的xml文件的文件名一样。如果存在矢量及栅格文件会直接将矢量和栅格数据信息自动提取出来，并填充到与其文件名相同的xml文件中。如果没有xml文件，则我们会使用空白模板。其他xml提取信息上传。对于批量数据的统一信息可以加入相关字段参数，以丰富信息。
元数据查询管理接口。元数据一体化信息查询接口针对海量多源时空元数据，提供高效检索技术能力，支持时空查询、关联查询、空间信息全文检索等检索手段，主要包括：时空检索模块、关键字检索模块、条件检索模块、专题查询模块、用户行为记录。
元数据管理提供由多个子接口组成。可以对元数据信息进行单一操作。包括元数据信息的上传、修改、删除。
本方法以管理地理空间数据为重点，兼顾常规结构化数据，实现数据字段结构定制化、可配置化，实现多源数据元数据统一接入和管理。
基于相同的技术构思，本发明实施例还提供了一种多源异构数据处理装置，如图5所示，其为本发明实施例提供的多源异构数据处理装置结构示意图，包括：
第一接收单元51，用于接收数据源系统上传的结构化数据，所述结构化数据为利用预先定义的可扩展标记语言XML模板对元数据进行处理后得到的；
转换单元52，用于利用XSL文本转换器将所述结构化数据转换为键值对K-V类型数据，所述XSL文本转换器为根据所述XML模板生成的，所述K-V类型数据中包含有混合字段，所述混合字段为利用需要被搜索的字段拼接得到的；
数据抽取单元53，用于从所述K-V类型数据中抽取数据值存储至地理空间关系型数据库中。
在一种实施方式中，所述第一接收单元，具体用于接收数据源系统通过文件传输协议FTP上传的结构化数据。
在一种实施方式中，本发明实施例提供的多源异构数据处理装置，还包括：
第二接收单元，用于接收数据查询请求，所述数据查询请求中携带有查询参数；
生成单元，用于根据所述查询参数，生成结构化查询语言sql语句；
查询单元，用于利用所述sql语句在所述地理空间关系型数据库中进行查询得到查询结果。
在一种实施方式中，所述生成单元，具体用于将所述查询参数转换为K-V键值对；针对每一查询参数，根据该查询参数的值，生成SQL子语句；将每一查询参数对应的SQL子语句拼接成SQL语句。
在一种实施方式中，所述查询参数包括以下至少一项：选择参数，条件参数，起始位置参数，结束位置参数和排序参数。
在一种实施方式中，所述XML模板中包含有若干字段及其对应的数据类型，所述数据类型包括以下至少一项：整型，浮点型，地理空间类型，字符型，日期型和二进制类型。
基于相同的技术构思，本发明实施例还提供了一种计算装置，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一多源异构数据处理方法所述的步骤。
基于相同的技术构思，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一多源异构数据处理方法所述的步骤。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (10)

1.一种多源异构数据处理方法，其特征在于，包括：
接收数据源系统上传的结构化数据，所述结构化数据为利用预先定义的可扩展标记语言XML模板对元数据进行处理后得到的；
利用可扩展样式表语言XSL文本转换器将所述结构化数据转换为键值对K-V类型数据，所述XSL文本转换器为根据所述XML模板生成的，所述K-V类型数据中包含有混合字段，所述混合字段为利用需要被搜索的字段拼接得到的；
从所述K-V类型数据中抽取数据值存储至地理空间关系型数据库中。
2.根据权利要求1所述的方法，其特征在于，接收数据源系统上传的结构化数据，具体包括：
接收数据源系统通过文件传输协议FTP上传的结构化数据。
3.根据权利要求1所述的方法，其特征在于，还包括：
接收数据查询请求，所述数据查询请求中携带有查询参数；
根据所述查询参数，生成结构化查询语言SQL语句；
利用所述SQL语句在所述地理空间关系型数据库中进行查询得到查询结果。
4.根据权利要求3所述的方法，其特征在于，根据所述查询参数，生成SQL语句，具体包括：
将所述查询参数转换为K-V键值对；
针对每一查询参数，根据该查询参数的值，生成SQL子语句；
将每一查询参数对应的SQL子语句拼接成SQL语句。
5.根据权利要求4所述的方法，其特征在于，所述查询参数包括以下至少一项：选择参数，条件参数，起始位置参数，结束位置参数和排序参数。
6.根据权利要求1所述的方法，其特征在于，所述XML模板中包含有若干字段及其对应的数据类型，所述数据类型包括以下至少一项：整型，浮点型，地理空间类型，字符型，日期型和二进制类型。
7.一种多源异构数据处理装置，其特征在于，包括：
第一接收单元，用于接收数据源系统上传的结构化数据，所述结构化数据为利用预先定义的可扩展标记语言XML模板对元数据进行处理后得到的；
转换单元，用于利用可扩展样式表语言XSL文本转换器将所述结构化数据转换为键值对K-V类型数据，所述XSL文本转换器为根据所述XML模板生成的，所述K-V类型数据中包含有混合字段，所述混合字段为利用需要被搜索的字段拼接得到的；
数据抽取单元，用于从所述K-V类型数据中抽取数据值存储至地理空间关系型数据库中。
8.根据权利要求7所述的装置，其特征在于，还包括：
第二接收单元，用于接收数据查询请求，所述数据查询请求中携带有查询参数；
生成单元，用于根据所述查询参数，生成结构化查询语言SQL语句；
查询单元，用于利用所述SQL语句在所述地理空间关系型数据库中进行查询得到查询结果。
9.一种计算装置，其特征在于，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
10.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
CN201910903339.5A 2019-09-24 2019-09-24 一种多源异构数据处理方法、装置和存储介质 Pending CN110716952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910903339.5A CN110716952A (zh) 2019-09-24 2019-09-24 一种多源异构数据处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910903339.5A CN110716952A (zh) 2019-09-24 2019-09-24 一种多源异构数据处理方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN110716952A true CN110716952A (zh) 2020-01-21

Family

ID=69210049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910903339.5A Pending CN110716952A (zh) 2019-09-24 2019-09-24 一种多源异构数据处理方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN110716952A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444293A (zh) * 2020-04-17 2020-07-24 重庆市勘测院 一种多源异构安全监测数据的报表智能生成方法
CN111552839A (zh) * 2020-05-04 2020-08-18 武汉众邦银行股份有限公司 一种基于xml模板的对象转换方法
CN112231283A (zh) * 2020-09-08 2021-01-15 苏宁金融科技(南京)有限公司 基于多源异构数据统一实体标识码的生成管理方法及系统
CN112364857A (zh) * 2020-10-23 2021-02-12 中国平安人寿保险股份有限公司 基于数值抽取的图像识别方法、装置及存储介质
CN113094343A (zh) * 2021-04-07 2021-07-09 中国工商银行股份有限公司 数据处理方法、装置及系统
CN113987131A (zh) * 2021-11-11 2022-01-28 江苏天汇空间信息研究院有限公司 异构多源数据关联分析系统和方法
CN114333301A (zh) * 2021-12-06 2022-04-12 北京东土正创科技有限公司 交通信号的控制优化方法、系统及交通信号优化设备
CN114791840A (zh) * 2021-01-26 2022-07-26 武汉斗鱼网络科技有限公司 数据组装方法、装置、电子设备及介质
CN116385206A (zh) * 2023-04-23 2023-07-04 中国长江电力股份有限公司 一种水电站集控一体化智慧管理系统
CN116955463A (zh) * 2023-06-12 2023-10-27 自然资源陕西省卫星应用技术中心 多源异构数据整合系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646125A (zh) * 2012-02-28 2012-08-22 中国标准化研究院 一种结构化数字内容析取与重组方法
CN104715051A (zh) * 2015-03-30 2015-06-17 东南大学 一种面向电站系统异构数据融合的一体化处理方法
US20180341650A1 (en) * 2012-02-02 2018-11-29 Visa International Service Association Multi-source, multi-dimensional, cross-entity, multimedia analytical model sharing database platform apparatuses, methods and systems
CN109376160A (zh) * 2018-08-21 2019-02-22 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341650A1 (en) * 2012-02-02 2018-11-29 Visa International Service Association Multi-source, multi-dimensional, cross-entity, multimedia analytical model sharing database platform apparatuses, methods and systems
CN102646125A (zh) * 2012-02-28 2012-08-22 中国标准化研究院 一种结构化数字内容析取与重组方法
CN104715051A (zh) * 2015-03-30 2015-06-17 东南大学 一种面向电站系统异构数据融合的一体化处理方法
CN109376160A (zh) * 2018-08-21 2019-02-22 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444293A (zh) * 2020-04-17 2020-07-24 重庆市勘测院 一种多源异构安全监测数据的报表智能生成方法
CN111552839A (zh) * 2020-05-04 2020-08-18 武汉众邦银行股份有限公司 一种基于xml模板的对象转换方法
CN112231283A (zh) * 2020-09-08 2021-01-15 苏宁金融科技(南京)有限公司 基于多源异构数据统一实体标识码的生成管理方法及系统
CN112364857A (zh) * 2020-10-23 2021-02-12 中国平安人寿保险股份有限公司 基于数值抽取的图像识别方法、装置及存储介质
CN112364857B (zh) * 2020-10-23 2024-04-26 中国平安人寿保险股份有限公司 基于数值抽取的图像识别方法、装置及存储介质
CN114791840B (zh) * 2021-01-26 2023-09-22 武汉斗鱼网络科技有限公司 数据组装方法、装置、电子设备及介质
CN114791840A (zh) * 2021-01-26 2022-07-26 武汉斗鱼网络科技有限公司 数据组装方法、装置、电子设备及介质
CN113094343A (zh) * 2021-04-07 2021-07-09 中国工商银行股份有限公司 数据处理方法、装置及系统
CN113987131A (zh) * 2021-11-11 2022-01-28 江苏天汇空间信息研究院有限公司 异构多源数据关联分析系统和方法
CN113987131B (zh) * 2021-11-11 2022-08-23 江苏天汇空间信息研究院有限公司 异构多源数据关联分析系统和方法
CN114333301A (zh) * 2021-12-06 2022-04-12 北京东土正创科技有限公司 交通信号的控制优化方法、系统及交通信号优化设备
CN114333301B (zh) * 2021-12-06 2023-09-26 北京东土正创科技有限公司 交通信号的控制优化方法、系统及交通信号优化设备
CN116385206A (zh) * 2023-04-23 2023-07-04 中国长江电力股份有限公司 一种水电站集控一体化智慧管理系统
CN116955463A (zh) * 2023-06-12 2023-10-27 自然资源陕西省卫星应用技术中心 多源异构数据整合系统
CN116955463B (zh) * 2023-06-12 2024-04-02 自然资源陕西省卫星应用技术中心 多源异构数据整合系统

Similar Documents

Publication Publication Date Title
CN110716952A (zh) 一种多源异构数据处理方法、装置和存储介质
CN110941612B (zh) 基于关联数据的自治数据湖构建系统及方法
US20240012810A1 (en) Clause-wise text-to-sql generation
CN107491561B (zh) 一种基于本体的城市交通异构数据集成系统及方法
US11727000B2 (en) System and method for reducing resource usage in a data retrieval process
US10223417B1 (en) System and method for reducing query-related resource usage in a data retrieval process
US9753960B1 (en) System, method, and computer program for dynamically generating a visual representation of a subset of a graph for display, based on search criteria
CN108446313B (zh) 一种数据格式转换方法和装置
US20100185700A1 (en) Method and system for aligning ontologies using annotation exchange
CN103455540A (zh) 从数据仓库模型生成内存模型的系统和方法
CN106294695A (zh) 一种面向实时大数据搜索引擎的实现方法
WO2009036555A1 (en) Method and system for aligning ontologies using annotation exchange
US9824128B1 (en) System for performing single query searches of heterogeneous and dispersed databases
CN114461603A (zh) 多源异构数据融合方法及装置
CN107491476B (zh) 一种适用于多种大数据管理系统的数据模型转换及查询分析方法
Afzal et al. OWLMap: fully automatic mapping of ontology into relational database schema
CN105007314A (zh) 面向海量读者阅读数据的大数据处理系统
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN113779349A (zh) 数据检索系统、装置、电子设备和可读存储介质
CN115587082A (zh) 多模态数据存储管理的方法及系统
Kang et al. Research on construction methods of big data semantic model
AU2024205713A1 (en) Multi-source-type interoperability and/or information retrieval optimization
Gu Integration and optimization of ancient literature information resources based on big data technology
Kim et al. Comprehensive Knowledge Archive Network harvester improvement for efficient open‐data collection and management
Nachouki et al. MashUp web data sources and services based on semantic queries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121