CN108520019A - 数据管理方法、装置、设备及计算机可读存储介质 - Google Patents
数据管理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108520019A CN108520019A CN201810239535.2A CN201810239535A CN108520019A CN 108520019 A CN108520019 A CN 108520019A CN 201810239535 A CN201810239535 A CN 201810239535A CN 108520019 A CN108520019 A CN 108520019A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- address
- target
- directory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013523 data management Methods 0.000 claims description 13
- 238000006116 polymerization reaction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 229920002755 poly(epichlorohydrin) Polymers 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 239000004568 cement Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据管理方法、装置、设备和计算机可读存储介质。本发明为多源异构的数据源提供开放式集成注册功能，简化了数据源接入的操作，降低了开发成本，为数据查询和搜索服务的推广提供了基础；此外还提供标准的结构化查询，实现了查询方式低成本和简易化，降低了数据查询的难度，为搜索方提供了方便，也有利于服务的推广。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据管理方法、装置、设备及计算机可读存储介质。
背景技术
随着信息技术的不断发展，市面有许多服务商提供数据搜索服务，服务提供商从数据源获取数据，并根据数据源进行单独的二次开发和管理，为不同应用提供搜索服务。
在实际使用中，不同的应用往往伴随着不同的数据需求(即不同的应用需要使用到不同的数据源)；针对不同的数据需求，目前常用数据管理方法是为每个应用都单独开发专门的搜索平台定制服务，对多个数据源分别进行管理并提供搜索功能。但是这样往往会增大数据管理难度、提高了服务成本，不利于服务的进行。
发明内容
本发明的主要目的在于提供一种数据管理方法、装置、设备及计算机可读存储介质，旨在实现对多源数据的统一管理，降低数据管理的成本。
为实现上述目的，本发明提供一种数据管理方法，所述数据管理方法包括以下步骤：
在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；
获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据；
在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；
根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。
可选地，所述获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据的步骤之后，还包括：
在所述数据索引中对所述数据源进行全量更新设置，并设定对应的全量更新时间；
当处于所述全量更新时间时，向所述数据源发送全量数据请求，以进行数据全量更新。
可选地，所述获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据的步骤之后，还包括：
在所述数据索引中对所述数据源进行增量更新设置，并向所述数据源发送更新订阅指令；
当接收到所述数据源推送的增量更新信息时，根据所述增量更新信息中包括的更新基准判断增量数据是否与所述原始数据匹配；
若所述增量数据与所述原始数据匹配，则根据所述增量更新信息中包括的反查地址获取所述增量数据进行数据更新。
可选地，所述在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址的步骤包括：
在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述结构化查询语言的语法规则提取出所述数据查询指令的对象，并根据预设查询语法对所述对象进行编译，获得对应的查询语句；
根据所述查询语句查询所述数据索引，以查找匹配的字段对象，并根据所述字段对象的值存储地址获取目标数据地址。
可选地，所述数据查询指令包括非聚合数据查询指令，
所述根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端的步骤包括：
根据所述目标数据地址在导入的原始数据中获取目标数据，并根据所述目标数据的字段含义将所述目标数据拼接为离散需求数据，以将所述离散需求数据返回所述查询端。
可选地，所述数据查询指令包括聚合数据查询指令，
所述根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端的步骤包括：
根据所述目标数据地址在导入的原始数据中获取目标数据，并所述聚合数据查询指令中包括的聚合函数对所述目标数据进行聚合运算，获得聚合数据；
根据所述聚合数据查询指令中包括的聚合含义将所述聚合数据拼接为聚合需求数据，以将所述聚合需求数据返回查询端。
可选地，所述在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址的步骤包括：
在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令中包括的权限标识对所述查询端的查询权限进行验证；
当所述查询端的查询权限通过验证时，根据所述数据查询指令查询所述数据索引，获取目标数据地址。
此外，为实现上述目的，本发明还提供一种数据管理装置，所述数据管理装置包括：
索引创建模块，用于在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；
数据导入模块，用于获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据；
地址获取模块，用于在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；
数据返回模块，用于根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。
此外，为实现上述目的，本发明还提供一种数据管理设备，所述数据管理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据管理程序，其中所述数据管理程序被所述处理器执行时，实现如上述的数据管理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据管理程序，其中所述数据管理程序被处理器执行时，实现如上述的数据管理方法的步骤。
本发明通过在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据；在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。通过以上方式，本发明为多源异构的数据源提供开放式集成注册功能，简化了数据源接入的操作，降低了开发成本，为数据查询和搜索服务的推广提供了基础；此外还提供标准的结构化查询，实现了查询方式低成本和简易化，降低了数据查询的难度，为搜索方提供了方便，也有利于服务的推广。
附图说明
图1为本发明实施例方案中涉及的数据管理设备硬件结构示意图；
图2为本发明数据管理方法第一实施例的流程示意图；
图3为本发明数据管理方法第二实施例的流程示意图；
图4为本发明数据管理方法第三实施例的流程示意图；
图5为本发明数据管理方法第四实施例的流程示意图；
图6为本发明数据管理装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例涉及的数据管理方法应用于数据管理设备。参照图1，图1为本发明实施例方案中涉及的数据管理设备硬件结构示意图。本发明实施例中，数据管理设备可以包括处理器1001(例如CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对数据管理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及调用追踪程序。网络通信模块主要用于连接数据源和查询端，与数据源、查询端进行数据通信；而处理器1001可以调用存储器1005中存储的数据管理程序，并执行本发明实施例提供的数据管理方法。
本发明实施例提供了一种数据管理方法。
参照图2，图2为本发明数据管理方法第一实施例的流程示意图。
本实施例中，所述数据管理方法包括以下步骤：
步骤S10，在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；
本实施例提出了一种数据管理方法，该方法应用于数据管理设备，该设备根据实现功能又可称为数据云平台(或搜索云平台)，数据云平台可对多个应用的数据进行一站式管理，有利于降低了数据管理难度和数据搜索查询服务成本。
本实施例的数据云平台在提供数据查询服务前，需要准备和接入用于查询的数据源。具体的，数据云平台的管理人员在PC或是其它的管理端登录数据云平台，并在相关的配置界面选择数据接入选项，触发数据接入指令；当然该数据指令也可以是由管理人员在配置界面输入相关的指令语句后触发的。数据云平台在接收到该数据接入指令时，首先需要为将要接入的数据源进行应用数据索引的创建。
其中，本实施例的数据云管理平台的数据索引结构包括app和index两级。app级可理解为该数据库的对接应用(即该数据库是为哪一个应用提供数据服务)，包括app名称、项目编码(appcode)、状态等信息，当然为了便于对数据进行管理，还可以包括数据负责人等信息。index级为数据库下的数据表，每个app级在实际中可能具有多个index级，也即一个应用中可能会使用到多个数据表。对于每个app下的index(或称为索引数据表)，包括字段名称、字段类型、必填选项、存储原始值等内容；字段名称可理解为索引数据表的每行(或每列)的数据(值)的含义；字段类型为该行(或列)的数据的类型，包括整型int、长整型long、单精度浮点型float、双精度浮点型double、字符串string、分词my_ik等；必填选项为该行(或列)的数据是否对象的为必填数据，例如对于房源数据中，其地址数据是必填，附近公交地铁数据是非必填。除了上述内容外，索引数据表(index)还可包括其它内容，例如存储原始值、多值选项、默认值等。在数据表的若干行(列)中，还需要确定某一目标行(列)作为主键，该主键行是索引每条数据的唯一依据，例如对于房源表中，具有id行，id行是每条房源数据独有id，可将该id行作为主键；又例如可以将房源数据的地址行(包括楼层和房号)作为主键。管理人员在进行数据索引的信息录入后，数据云平台将根据录入的内容创建对应的数据索引，同时根据录入信息配置该数据索引的相关属性，并根据该其属性为数据索引开辟对应的存储空间。
步骤S20，获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述数据源导入与所述数据索引对应的原始数据；
本实施例中，在创建好对应的数据索引时，将进行数据源的注册，即为该数据索引导入对应的数据源。具体的，管理人员需要在数据索引的配置界面输入数据源地址。数据云平台则会获取该数据源地址，并根据该数据源地址查找到对应的数据源；然后数据云平台将从数据源中获取到原始数据，并按照数据索引将原始数据导入至对应的存储空间。
进一步，考虑到各数据源中可能是用了不同的协议语言且数据量较大，本实施例中可采用json_rpc的方式进行原始数据的导入。json-rpc是基于json的跨语言远程调用协议，比xml-rpc、webservice等基于文本的协议传输数据格小；相对hessian、java-rpc等二进制协议便于调试、实现、扩展。具体的，在进行数据源接入时，数据云平台在显示数据请求示例；管理人员在输入数据源地址的同时还需要根据该请求示例输入请求描述，其中请求描述包括协议版本、方法名、参数和调用标识符；在录入完成时，数据云平台根据数据源地址将请求描述发送至对应的数据源；在接收到数据源返回的成功响应时，数据云平台即可与数据源建立远程调用连接，并从数据源获取相关原始数据，完成数据源的导入。
在将数据源导入后，即完成云平台数据源的准备。值得说明的是，本实施例中可以是由数据云平台专门的管理人员进行索引创建和数据源注册等管理，也可以是将管理权限向数据源方进行开放，实现开放式注册，不需要数据云平台的操作者介入也可实现数据接入。
步骤S30，在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；
本实施例中，在数据云平台在接入数据源后，即可提供数据查询服务。考虑到不同应用的差异性，本实施例中的数据云平台的前端将协议统一使用结构化查询语言SQL的进行查询，从而实现标准化查询，降低查询成本。具体的，查询端在需要查询数据时，其发送的数据查询指令是以SQL预计的方式发送。数据云平台在接收到该数据查询指令，将对该SQL的数据查询指令进行解读，根据该数据查询指令中包括的项目编码确定需要查询的数据索引；然后在该数据索引查找匹配的字段对象，并根据匹配的字段对象的值存储地址获取目标数据地址。
进一步的，数据云平台本身的索引引擎根据其类型的不同，可能采用与SQL不同的查询方言；为了使得查询能够正常进行，搜索云平台在接收到SQL的数据查询指令时，会对SQL语句进行解读，并将其编译成对应查询语句，然后再根据该查询语句进行查询。其中，对应查询方言，是与云平台本身的索引引擎(如solr、ES等)关联，即不同的索引引擎具有其自身的查询方言。具体的，云平台在进行查询前，会对SQL语法进行学习，获取各命令(执行)指令的含义，以及对象的表达方式，其中这个学习的过程可以是以机器学习的方式实现；在学习完成时，数据云平台对于某个SQL命令，可先对其命令进行解析，然后提取出对象，并根据索引引擎的语法进行编译，将其转化为对应的查询语句，再根据查询语句查询数据索引。通过这样的方式，云平台前端可以是以SQL的方式进行查询，降低了各应用的数据查询难度，同时云平台后端可自行对SQL语句进行转化和编译，保证查询的正常进行，有利于搜索业务的推广。
步骤S40，根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。
本实施例中，在得到目标数据地址时，数据云平台将根据目标数据地址查询查询到目标数据(即数据索引对应的对象值)。在获得目标数据时，由于目标数据是以值的方式存在(例如数字、字符串等)，为了便于解读，数据云平台还将根据目标数据的含义对其进行语义拼接，获得对应的需求数据，并将该需求数据返回到查询端。
进一步的，本实施例中数据云平台的查询可以包括非聚合数据查询和聚合数据查询。其中，非聚合数据查询为查询出符合条件的对象，并将其以离散的方式返回；聚合数据查询则在查询到符合条件的对象后，通过一定的聚合函数进行汇总计算后再将聚合数据返回。
具体的，当查询端发送的数据查询指令为非聚合数据查询指令时，数据云平台将在数据索引中查找匹配的字段对象，并获取目标数据的地址，然后根据目标数据的地址查找对应的存储区域，并获取目标数据；并根据目标数据的字段含义将所述目标数据拼接为离散需求数据，以将所述离散需求数据返回所述查询端。例如，在查询房源数据时，可以是查询查询上海经纬度“31.850609，111.476141”半径2公里内价格大于2000的房子，即：
select id,name,address,price,location_coordinate
from hf_house where cityId＝1and price>2000
and location_coordinate＝‘31.850609,111.476141’and d＝2
limit 10
数据云平台在接收到该查询语句时，首先会在索引中查找到对应的字段(name、address、price、location_coordinate)，然后获取各字段满足上述条件的目标房源数据(对象)，并将这些目标数据拼接为带有数据含义的离散需求数据后，将其返回至客户端。
当查询端发送的数据查询指令为聚合数据查询指令时，数据云平台将在数据索引中查找匹配的字段对象，并获取目标数据的地址，然后根据目标数据的地址查找对应的存储区域，并获取目标数据。在获取到目标数据时，数据云平台将根据聚合数据查询指令中包括的聚合函数对所述目标数据进行聚合运算，获得聚合数据，并根据聚合语义将该聚合数据拼接为聚合需求数据。例如，查询上海每个区域的房子总数、最小单价、最大单价、均价，并按均价倒数排列，即：
select count(*)as houseNum,min(price)as priceMin,max(price)aspriceMax,avg(price)as priceAvgfrom hf_house where cityId＝1group by areaIdorder by priceAvg desc
数据云平台在接收到该查询语句时，首先会在索引中查找到用于聚类的字段(区域)，然后根据聚类字段将对象进行分类，并将聚合函数将各类对象的对应字段值进行相关的函数运行处理(如房子数量累加，房子单价求最小、最大和均价)，获得聚合数据；然后根据聚合语义将该聚合数据拼接为聚合需求数据，并将其返回至查询端。
本实施例中，在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据；在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。通过以上方式，本实施例为多源异构的数据源提供开放式集成注册功能，简化了数据源接入的操作，降低了开发成本，为数据查询和搜索服务的推广提供了基础；此外还提供标准的结构化查询，实现了查询方式低成本和简易化，降低了数据查询的难度，为搜索方提供了方便，也有利于服务的推广。
参照图3，图3为本发明数据管理方法第二实施例的流程示意图。
基于上述图2所示实施例，本实施例中，步骤S20之后还包括：
步骤S50，在所述数据索引中对所述数据源进行全量更新设置，并设定对应的全量更新时间；
数据源的数据是可能进行更新或变动的，为了保证数据云平台中原始数据的准确性和完整性，数据云平台需要设置数据更新规则以更新数据。本实施例中可以是以全量更新(Bypage)的方式进行更新。具体的，在导入原始数据后，管理人员需要将该数据源的更新选项设置为全量更新，并输入更新表达式；对于该更新表达式，用以表示更新时间。本实施例中的更新表达式可以是通过cron表达式进行设置，每个索引只配置一个cron定时，该索引下的数据源的全量将会按顺序执行导入。其中cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，cron有两种语法格式：SecondsMinutes Hours DayofMonth Month DayofWeek Year或Seconds Minutes HoursDayofMonth Month DayofWeek。在设置完成时，数据云平台将对该表达式进行解析，获取该表达式的含义，并根据该含义设置数据索引下数据源的全量更新时间，同时对时间进行监控。
步骤S60，当处于所述全量更新时间时，向所述数据源发送全量数据请求，以进行数据全量更新。
本实施例中，当时间处于设定的全量更新时间时，数据云平台将向数据源发送全量数据请求，并根据数据源返回的全量数据进行数据更新。
参照图4，图4为本发明数据管理方法第三实施例的流程示意图。
基于上述图2所示实施例，本实施例中，步骤S20之后还包括：
步骤S70，在所述数据索引中对所述数据源进行增量更新设置，并向所述数据源发送更新订阅指令；
数据源的数据是可能进行更新或变动的，为了保证数据云平台中原始数据的准确性和完整性，数据云平台需要设置数据更新规则以更新数据。考虑到数据更新时，涉及到的变动数据数量一般较小，因此本实施例中可以是以增量更新(Byid)的方式进行更新(即仅更新变化的数据)。具体的，在导入原始数据后，管理人员需要将该数据源的更新选项设置为增量更新。数据云平台则根据管理人员的操作对数据源进行增量更新设置，并向所述数据源发送更新订阅指令，以使得数据源在出现数据更新(变动)时向数据云平台进行信息推送。
步骤S80，当接收到所述数据源推送的增量更新信息时，根据所述增量更新信息中包括的更新基准判断增量数据是否与所述原始数据匹配；
本实施例中，数据云平台在接收到数据源推送的增量更新信息时，即可确定数据源进行了数据变动。当然，在进行增量更新时，是基于全量数据进行的，因此数据源在推送增量更新信息时，可以在增量更新信息中添加全量更新基准信息(例如版本号等标识)；数据云平台在接收到更新信息时，首先将对全量更新基准信息进行校对，判断该全量更新基准是否与当前导入的原始数据匹配，若不匹配，则可认为该增量数据是过期的，此时不会执行相关增量更新；若匹配，则认为该增量数据是有效的，需要进行更新，此时进入步骤S90。
步骤S90，若所述增量数据与所述原始数据匹配，则根据所述增量更新信息中包括的反查地址获取所述增量数据进行数据更新。
本实施例中，数据源推送的增量更新信息中还包括增量数据反查地址，根据该反查地址即可获取到数据源更新的增量数据。数据云平台在判断更新基准与原始数据匹配时，将会根据该反查地址获取相关的增量数据，并进行增量数据更新。
参照图5，图5为本发明数据管理方法第四实施例的流程示意图。
基于上述图2至图4中所示的任一实施例，本实施例中，步骤S30包括：
步骤S31，在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令中包括的权限标识对所述查询端的查询权限进行验证；
本实施例中，考虑到数据云平台的数据可能是非公开的，因此可设置对应的查询权限，以对非公开数据进行一定的保护。具体的，查询端在向数据云平台发送数据查询指令时，会在该数据查询指令中添加对应的查询权限标识。数据云平台在接收到该数据查询指令时，将根据该权限标识对查询端的查询权限进行验证，判断所述查询端是否有资格进行数据查询。当该查询权限未通过验证时，此时数据云平台将拒绝执行查询事项，并向该查询端返回对应的无权限信息；当该查询权限通过验证时，进入步骤S32。
步骤S32，当所述查询端的查询权限通过验证时，根据所述数据查询指令查询所述数据索引，获取目标数据地址。
本实施例中，当所述查询端的查询权限通过验证时，数据云平台将确定该查询端具有数据查询的资格，此时数据云平台将对该SQL的数据查询指令进行解读，根据该数据查询指令中包括的项目编码确定需要查询的数据索引；然后在该数据索引查找匹配的字段对象，并根据匹配的字段对象的值存储地址获取目标数据地址。
进一步的，在具体实施中，由于数据平台可能是接入了不同的数据源，而不同的数据源可能会具有不能的权限设置；对此，查询端除了权限标识外，还需要在数据查询指令中添加入其要查询的数据库标识(例如步骤S10中的app信息，项目编码appcode等)。数据云平台在接收到该数据查询指令时，首先根据数据库标识确定其目标数据库，然后根据目标数据库对应的权限规则对查询端的权限标识进行验证，以判断查询端是否具有数据查询权限。通过以上方式，数据云平台可对不同的非公开数据设置不同查询门槛，以对非公开数据进行个性化查询保护。
此外，本发明实施例还提供一种数据管理装置。
参照图6，图6为本发明数据管理装置第一实施例的功能模块示意图。
本实施例中，所述数据管理装置包括：
索引创建模块10，用于在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；
数据导入模块20，用于获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据；
地址获取模块30，用于在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；
数据返回模块40，用于根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。
进一步的，所述数据管理装置还包括：
第一设置模块，用于在所述数据索引中对所述数据源进行全量更新设置，并设定对应的全量更新时间；
第一更新模块，用于当处于所述全量更新时间时，向所述数据源发送全量数据请求，以进行数据全量更新。
进一步的，所述数据管理装置还包括：
第二设置模块，用于在所述数据索引中对所述数据源进行增量更新设置，并向所述数据源发送更新订阅指令；
数据判断模块，用于当接收到所述数据源推送的增量更新信息时，根据所述增量更新信息中包括的更新基准判断增量数据是否与所述原始数据匹配；
第二更新模块，用于若所述增量数据与所述原始数据匹配，则根据所述增量更新信息中包括的反查地址获取所述增量数据进行数据更新。
进一步的，所述地址获取模块30包括：
语句编译单元，用于在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述结构化查询语言的语法规则提取出所述数据查询指令的对象，并根据预设查询语法对所述对象进行编译，获得对应的查询语句；
第一获取单元，用于根据所述查询语句查询所述数据索引，以查找匹配的字段对象，并根据所述字段对象的值存储地址获取目标数据地址。
进一步的，所述数据返回模块40，还用于根据所述目标数据地址在导入的原始数据中获取目标数据，并根据所述目标数据的字段含义将所述目标数据拼接为离散需求数据，以将所述离散需求数据返回所述查询端。
进一步的，所述数据返回模块40，还用于根据所述目标数据地址在导入的原始数据中获取目标数据，并所述聚合数据查询指令中包括的聚合函数对所述目标数据进行聚合运算，获得聚合数据；根据所述聚合数据查询指令中包括的聚合含义将所述聚合数据拼接为聚合需求数据，以将所述聚合需求数据返回查询端。
进一步的，所述地址获取模块30，还包括：
权限验证单元，用于在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令中包括的权限标识对所述查询端的查询权限进行验证；
第二获取单元，用于当所述查询端的查询权限通过验证时，根据所述数据查询指令查询所述数据索引，获取目标数据地址。
其中，上述数据管理装置中各个模块与上述数据管理方法实施例中各步骤相对应，其功能和实现过程在此处不再赘述。
此外，本发明实施例还提供一种存储介质。
本发明存储介质上存储有数据管理程序，其中所述数据管理程序被处理器执行时，实现如上述的数据管理方法的步骤。
其中，数据管理程序被执行时所实现的方法可参照本发明数据管理方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据管理方法，其特征在于，所述数据管理方法包括以下步骤：
在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；
获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据；
在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；
根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。
2.如权利要求1所述的数据管理方法，其特征在于，所述获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据的步骤之后，还包括：
在所述数据索引中对所述数据源进行全量更新设置，并设定对应的全量更新时间；
当处于所述全量更新时间时，向所述数据源发送全量数据请求，以进行数据全量更新。
3.如权利要求1所述的数据管理方法，其特征在于，所述获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据的步骤之后，还包括：
在所述数据索引中对所述数据源进行增量更新设置，并向所述数据源发送更新订阅指令；
当接收到所述数据源推送的增量更新信息时，根据所述增量更新信息中包括的更新基准判断增量数据是否与所述原始数据匹配；
若所述增量数据与所述原始数据匹配，则根据所述增量更新信息中包括的反查地址获取所述增量数据进行数据更新。
4.如权利要求1所述的数据管理方法，其特征在于，所述在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址的步骤包括：
在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述结构化查询语言的语法规则提取出所述数据查询指令的对象，并根据预设查询语法对所述对象进行编译，获得对应的查询语句；
根据所述查询语句查询所述数据索引，以查找匹配的字段对象，并根据所述字段对象的值存储地址获取目标数据地址。
5.如权利要求1所述的数据管理方法，其特征在于，所述数据查询指令包括非聚合数据查询指令，
所述根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端的步骤包括：
根据所述目标数据地址在导入的原始数据中获取目标数据，并根据所述目标数据的字段含义将所述目标数据拼接为离散需求数据，以将所述离散需求数据返回所述查询端。
6.如权利要求1所述的数据管理方法，其特征在于，所述数据查询指令包括聚合数据查询指令，
所述根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端的步骤包括：
根据所述目标数据地址在导入的原始数据中获取目标数据，并所述聚合数据查询指令中包括的聚合函数对所述目标数据进行聚合运算，获得聚合数据；
根据所述聚合数据查询指令中包括的聚合含义将所述聚合数据拼接为聚合需求数据，以将所述聚合需求数据返回查询端。
7.如权利要求1至6中任一项所述的数据管理方法，其特征在于，所述在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址的步骤包括：
在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令中包括的权限标识对所述查询端的查询权限进行验证；
当所述查询端的查询权限通过验证时，根据所述数据查询指令查询所述数据索引，获取目标数据地址。
8.一种数据管理装置，其特征在于，所述数据管理装置包括：
索引创建模块，用于在接收到数据接入指令时，根据所述数据接入指令创建数据索引，并对所述数据索引的属性进行配置；
数据导入模块，用于获取数据源地址，并根据所述数据源地址与数据源建立远程调用连接，从所述目标数据源导入与所述数据索引对应的原始数据；
地址获取模块，用于在接收到查询端基于结构化查询语言发送的数据查询指令时，根据所述数据查询指令查询所述数据索引，获取目标数据地址；
数据返回模块，用于根据所述目标数据地址在导入的原始数据中获取目标数据，并将所述目标数据拼接为需求数据，以将所述需求数据返回所述查询端。
9.一种数据管理设备，其特征在于，所述数据管理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据管理程序，其中所述数据管理程序被所述处理器执行时，实现如权利要求1至7中任一项所述的数据管理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据管理程序，其中所述数据管理程序被处理器执行时，实现如权利要求1至7中任一项所述的数据管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810239535.2A CN108520019A (zh) | 2018-03-22 | 2018-03-22 | 数据管理方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810239535.2A CN108520019A (zh) | 2018-03-22 | 2018-03-22 | 数据管理方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108520019A true CN108520019A (zh) | 2018-09-11 |
Family
ID=63434012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810239535.2A Pending CN108520019A (zh) | 2018-03-22 | 2018-03-22 | 数据管理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520019A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069633A (zh) * | 2019-04-24 | 2019-07-30 | 普元信息技术股份有限公司 | 大数据治理中实现辅助制定数据标准的系统及方法 |
| CN110764814A (zh) * | 2019-09-02 | 2020-02-07 | 深圳壹账通智能科技有限公司 | 数据源动态配置方法、装置、计算机设备和存储介质 |
| CN111444170A (zh) * | 2018-12-28 | 2020-07-24 | 第四范式（北京）技术有限公司 | 基于预测业务场景的自动机器学习方法和设备 |
| CN111899148A (zh) * | 2020-07-03 | 2020-11-06 | Tcl华星光电技术有限公司 | 帧数据的处理方法及系统、存储介质 |
| CN112163234A (zh) * | 2020-09-21 | 2021-01-01 | 北京中软华泰信息技术有限责任公司 | 一种基于业务系统数据库的sql权限控制方法 |
| CN112765200A (zh) * | 2021-01-18 | 2021-05-07 | 武汉悦学帮网络技术有限公司 | 一种基于Elasticsearch的数据查询方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2317194A1 (en) * | 1999-09-03 | 2001-03-03 | Cognos Incorporated | Query engine and method for querying data using metadata model |
| US20070244865A1 (en) * | 2006-04-17 | 2007-10-18 | International Business Machines Corporation | Method and system for data retrieval using a product information search engine |
| CN106250382A (zh) * | 2016-01-28 | 2016-12-21 | 新博卓畅技术（北京）有限公司 | 一种元数据管理引擎系统及实现方法 |
| CN107133267A (zh) * | 2017-04-01 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 查询elasticsearch集群的方法、装置、电子设备和可读存储介质 |
-
2018
- 2018-03-22 CN CN201810239535.2A patent/CN108520019A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2317194A1 (en) * | 1999-09-03 | 2001-03-03 | Cognos Incorporated | Query engine and method for querying data using metadata model |
| US20070244865A1 (en) * | 2006-04-17 | 2007-10-18 | International Business Machines Corporation | Method and system for data retrieval using a product information search engine |
| CN106250382A (zh) * | 2016-01-28 | 2016-12-21 | 新博卓畅技术（北京）有限公司 | 一种元数据管理引擎系统及实现方法 |
| CN107133267A (zh) * | 2017-04-01 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 查询elasticsearch集群的方法、装置、电子设备和可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 杨淙钧;艾中良;刘忠麟;李常宝;: "基于多级列式索引的海量数据高效查询设计" * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444170A (zh) * | 2018-12-28 | 2020-07-24 | 第四范式（北京）技术有限公司 | 基于预测业务场景的自动机器学习方法和设备 |
| CN111444170B (zh) * | 2018-12-28 | 2023-10-03 | 第四范式（北京）技术有限公司 | 基于预测业务场景的自动机器学习方法和设备 |
| CN110069633A (zh) * | 2019-04-24 | 2019-07-30 | 普元信息技术股份有限公司 | 大数据治理中实现辅助制定数据标准的系统及方法 |
| CN110069633B (zh) * | 2019-04-24 | 2022-12-06 | 普元信息技术股份有限公司 | 大数据治理中实现辅助制定数据标准的系统及方法 |
| CN110764814A (zh) * | 2019-09-02 | 2020-02-07 | 深圳壹账通智能科技有限公司 | 数据源动态配置方法、装置、计算机设备和存储介质 |
| CN111899148A (zh) * | 2020-07-03 | 2020-11-06 | Tcl华星光电技术有限公司 | 帧数据的处理方法及系统、存储介质 |
| CN111899148B (zh) * | 2020-07-03 | 2023-11-28 | Tcl华星光电技术有限公司 | 帧数据的处理方法及系统、存储介质 |
| CN112163234A (zh) * | 2020-09-21 | 2021-01-01 | 北京中软华泰信息技术有限责任公司 | 一种基于业务系统数据库的sql权限控制方法 |
| CN112163234B (zh) * | 2020-09-21 | 2024-02-20 | 北京中软华泰信息技术有限责任公司 | 一种基于业务系统数据库的sql权限控制方法 |
| CN112765200A (zh) * | 2021-01-18 | 2021-05-07 | 武汉悦学帮网络技术有限公司 | 一种基于Elasticsearch的数据查询方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520019A (zh) | 数据管理方法、装置、设备及计算机可读存储介质 | |
| US11669503B2 (en) | Building and managing data-processing attributes for modeled data sources | |
| US9128979B2 (en) | Enriching database query responses using data from external data sources | |
| CN105849726B (zh) | 用于高效地支持通过分层标记数据的即席查询的通用索引 | |
| CN102844756B (zh) | 具有基于角色的访问控制的计算机关系数据库方法和系统 | |
| CN106651247A (zh) | 基于gis拓扑分析的地址匹配区域块方法和系统 | |
| CN113377805B (zh) | 数据查询方法、装置、电子设备及计算机可读存储介质 | |
| CN104200402A (zh) | 一种电网多个数据源的源数据发布方法及系统 | |
| CN104160381A (zh) | 多租户环境中租户特定数据集的管理 | |
| CN109885665A (zh) | 一种数据查询方法、装置及系统 | |
| CN104050225A (zh) | 数据库模式映射中的视图变量 | |
| US10289620B1 (en) | Reporting and data governance management | |
| CN103678396B (zh) | 一种基于数据模型的数据备份方法和装置 | |
| KR101810518B1 (ko) | Ifc 포맷의 bim 데이터를 이용한 객체 질의 시스템 및 방법 | |
| CN113505143B (zh) | 语句类型的转换方法、装置、存储介质及电子装置 | |
| CN113609141B (zh) | 一种基于api拼接的无侵入式跨库数据融合方法 | |
| US12117999B2 (en) | Masking shard operations in distributed database systems | |
| CN113342921B (zh) | 资源编目方法及装置 | |
| US10003492B2 (en) | Systems and methods for managing data related to network elements from multiple sources | |
| Figueiredo et al. | Moredata: A geospatial data enrichment framework | |
| US10318524B2 (en) | Reporting and data governance management | |
| US20230195792A1 (en) | Database management methods and associated apparatus | |
| CN105912573A (zh) | 数据更新方法及装置 | |
| CN105808628A (zh) | 网页转码方法、装置及系统 | |
| CN110019177A (zh) | 规则存储的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180911 |