CN111782682A - 数据查询方法、装置、设备及存储介质 - Google Patents
数据查询方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111782682A CN111782682A CN202010620851.1A CN202010620851A CN111782682A CN 111782682 A CN111782682 A CN 111782682A CN 202010620851 A CN202010620851 A CN 202010620851A CN 111782682 A CN111782682 A CN 111782682A
- Authority
- CN
- China
- Prior art keywords
- target
- query
- file
- data source
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013507 mapping Methods 0.000 claims abstract description 130
- 230000009471 action Effects 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims description 19
- 238000013468 resource allocation Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 239000002699 waste material Substances 0.000 abstract description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了数据查询方法、装置、设备及存储介质。该方法涉及云计算领域，应用于数据库系统；数据库系统中预先创建有各个数据源内的文件所对应的映射文件，各个映射文件的元数据，所述方法包括：获取针对已创建的映射文件的目标查询语句；对目标查询语句进行解析，得到查询对象和查询动作；从包含目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果；所述目标查询指令为用于对所述查询对象执行所述查询动作的查询指令；基于查询结果，输出目标查询语句对应的输出结果。可以解决“数据孤岛”的问题，且避免存储空间的浪费。
Description
技术领域
本发明涉及大数据处理技术领域，特别是涉及数据查询方法、装置、设备及存储介质。
背景技术
随着信息化时代的飞速发展，各企业和组织长时间以来积累了海量的数据。但是，由于各个部门的差异性以及信息系统架构的演化升级，各个部门的数据的来源、种类、格式呈多样化发展，导致“数据孤岛”的出现。所谓“数据孤岛”是指：各部门各自定义所需存储的数据，并各自存储在指定的数据源中，形成多源异构数据，导致各个部门间的数据缺乏关联性，彼此不兼容。针对这些多源异构数据而言，无疑加大了数据挖掘和商业智能分析的难度。
相关技术中，基于Hadoop生态组件构建数据仓库的方式解决“数据孤岛”的问题。具体而言：将多源异构的原始数据，即各个数据源所存储的原始数据，进行抽取转换，构建ODS层(Operational Data Store，即操作型数据存储)，实现数据集成；进而，对集成后的数据进行数据查询。这样，后续利用查询结果进行数据挖掘、商业智能分析等操作。
但是，基于Hadoop平台构建数据仓库的方式解决“数据孤岛”的问题时，由于数据存在重复存储，因此会造成存储空间的浪费。可见，如何在保证解决“数据孤岛”的问题的同时，避免存储空间的浪费，是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供数据查询方法、装置、设备及存储介质，以解决“数据孤岛”的问题且避免存储空间的浪费。具体技术方案如下：
第一方面，本发明实施例所提供的一种数据查询方法，应用于数据库系统；所述数据库系统中预先创建有各个数据源内的文件所对应的映射文件，以及各个映射文件的元数据，每一映射文件的元数据包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址，所述目标数据库为该映射文件对应的文件所属的数据源中，包含该映射文件对应的文件的数据库；
所述方法包括：
获取针对已创建的映射文件的目标查询语句；
对所述目标查询语句进行解析，得到查询对象和查询动作；其中，所述查询对象包括目标库名和目标文件名；
从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；
利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果；其中，所述目标查询指令为用于对所述查询对象执行所述查询动作的查询指令；基于所述查询结果，输出所述目标查询语句对应的输出结果。
可选地，每一映射文件的元数据还包括：该映射文件对应的文件的文件大小；
所述从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址之后，利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果之前，所述方法还包括：
基于各个元数据中的文件大小以及访问地址，确定所述目标节点中的数据源所包括的各个文件的总数据量；
基于所述总数据量，确定所述目标节点在数据查询时所需硬件资源的目标资源信息；
所述利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果，包括：
向具有所述目标地址的目标节点发送目标查询指令，以及携带有所述目标资源信息的资源分配指令，以使所述目标节点中的数据源通过占用所述目标资源信息所指示的硬件资源，响应所述目标查询指令，得到所述目标查询语句对应的查询结果，并将所述查询结果反馈至所述数据库系统；
接收所述目标节点反馈的所述查询结果。
可选地，所述方法还包括：
获取针对任一数据源内所存储的一目标文件的文件创建语句；
按照所述文件创建语句进行文件创建，得到所述目标文件对应的映射文件；
基于设置人员所给定的待处理库名和待处理访问地址，以及所得到的映射文件的文件名，生成所述目标文件对应的映射文件的元数据；其中，所述待处理库名为在该数据源内包含所述目标文件的数据库的库名，所述待处理访问地址为存储所述目标文件的存储节点的访问地址。
可选地，所述基于所述查询结果，输出所述目标查询语句对应的输出结果，包括：
当所述目标节点的数量为多个时，对各个目标节点反馈的所述查询结果，进行合并处理，得到所述目标查询语句对应的输出结果；
输出所述目标查询语句对应的输出结果。
可选地，所述目标节点中的数据源响应所述目标查询指令的过程，包括：
所述目标节点中的数据源基于自身能够识别的指令形式，对所述目标查询指令进行形式转换，得到转换后的查询指令，按照所述转换后的查询指令进行数据查询，得到所述目标查询语句对应的查询结果。
可选地，所述数据库系统为PostgreSQL数据库系统；
所述获取针对已创建的映射文件的目标查询语句，包括：
获取针对已创建的映射文件的结构化查询语言SQL查询语句，作为目标查询语句。
第二方面，本发明实施例提供了一种数据查询装置，应用于数据库系统；所述数据库系统中预先创建有各个数据源内的文件所对应的映射文件，以及各个映射文件的元数据，每一映射文件的元数据包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址，所述目标数据库为该映射文件对应的文件所属的数据源中，包含该映射文件对应的文件的数据库；
所述装置包括：
获取模块，用于获取针对已创建的映射文件的目标查询语句；
解析模块，用于对所述目标查询语句进行解析，得到查询对象和查询动作；其中，所述查询对象包括目标库名和目标文件名；
确定模块，用于从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；
处理模块，用于利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果；其中，所述目标查询指令为用于对所述查询对象执行所述查询动作的查询指令；
输出模块，用于基于所述查询结果，输出所述目标查询语句对应的输出结果。
可选地，每一映射文件的元数据还包括：该映射文件对应的文件的文件大小；
所述装置还包括：
分析模块，用于所述确定模块从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址之后，所述处理模块利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果之前，基于各个元数据中的文件大小以及访问地址，确定所述目标节点中的数据源所包括的各个文件的总数据量；基于所述总数据量，确定所述目标节点在数据查询时所需硬件资源的目标资源信息；
所述处理模块具体用于：
向具有所述目标地址的目标节点发送目标查询指令，以及携带有所述目标资源信息的资源分配指令，以使所述目标节点内的数据源通过占用所述目标资源信息所指示的硬件资源，响应所述目标查询指令，得到所述目标查询语句对应的查询结果，并将所述查询结果反馈至所述数据库系统；
接收所述目标节点反馈的所述查询结果。
可选地，所述装置还包括：
配置模块，用于获取针对任一数据源内所存储的一目标文件的文件创建语句；按照所述文件创建语句进行文件创建，得到所述目标文件对应的映射文件；基于设置人员所给定的待处理库名和待处理访问地址，以及所得到的映射文件的文件名，生成所述目标文件对应的映射文件的元数据；其中，所述待处理库名为在该数据源内包含所述目标文件的数据库的库名，所述待处理访问地址为存储所述目标文件的存储节点的访问地址。
可选地，所述输出模块具体用于：
当所述目标节点的数量为多个时，对各个目标节点反馈的所述查询结果，进行合并处理，得到所述目标查询语句对应的输出结果；输出所述目标查询语句对应的输出结果。
可选地，所述目标节点中的数据源响应所述目标查询指令的过程，包括：
所述目标节点中的数据源基于自身能够识别的指令形式，对所述目标查询指令进行形式转换，得到转换后的查询指令，按照所述转换后的查询指令进行数据查询，得到所述目标查询语句对应的查询结果。
可选地，所述数据库系统为PostgreSQL数据库系统；所述获取模块具体用于：获取针对已创建的映射文件的结构化查询语言SQL查询语句，作为目标查询语句。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本发明实施例所提供的数据查询方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的数据查询方法。
本发明实施例有益效果：
本发明实施例所提供的方案中，预先在数据库系统中创建各个数据源内的文件所对应的映射文件，并建立各个映射文件的元数据；进而，后续进行数据查询时，通过查询语句，即可获得针对各个数据源内文件的查询结果。由于本方案无需将各个数据源中的数据重复存储，即可使得各个数据源可以被集中查询，因此，通过本方案可以解决“数据孤岛”的问题且避免存储空间的浪费。
另外，相对于现有技术，本方案无需从各个数据源处获取数据，使得网络带宽消耗大大降低；同时，本方案无需对数据进行转存以及抽取转换，这样可以解决由于数据转存和抽取转换所导致的数据延迟问题。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的数据查询方法的流程图；
图2为本发明实施例所提供的数据查询方法的另一流程图；
图3示例性的给出了用于实现数据查询方法的多个模块的工作原理图；
图4为本发明实施例所提供的数据查询装置的结构示意图；
图5为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决“数据孤岛”的问题且避免存储空间的浪费，本发明实施例提供了数据查询方法、装置、设备及存储介质。
其中，本发明实施例所提供的数据查询方法应用于数据库系统；其中，该数据库系统可以为PostgreSQL数据库系统，当然并不局限于此，例如，该数据库系统可以为Mysql数据库系统等其他数据库系统。本领域技术人员可以理解的是，PostgreSQL数据库系统不仅是一个关系数据库，而且还是一个对象关系数据库，具体而言：PostgreSQL是一种特性齐全的自由软件的对象-关系型数据库管理系统(ORDBMS)，是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。
为了解决“数据孤岛”的问题且避免存储空间的浪费，该数据库系统中预先创建有各个数据源内的文件所对应的映射文件，以及各个映射文件的元数据，每一映射文件的元数据包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址；其中，目标数据库为该映射文件对应的文件所属的数据源中，包含该映射文件对应的文件的数据库。通过在数据库系统中预先创建映射文件以及映射文件的元数据，能够使得：当需要对各个数据源内的数据进行挖掘或智能分析等之前，可以通过本发明实施例所提供的数据查询方法针对已创建的映射文件进行数据查询，达到对各个数据源内的文件的查询，最终得到用于挖掘或智能分析的数据。
可以理解的是，上述的数据源可以为任一种用于数据存储的数据库或系统，示例性的，上述的数据源可以为Oracle、Mysql、MongoDB、Hive等数据库，也可以为文件系统等；另外，上述的各个数据源的类型可以互不相同，也可以至少两个数据源的系统类型相同。并且，不同类型的数据源，所谓的文件的具体类型可以不同，例如：针对Oracle、Mysql、MongoDB、Hive等数据库而言，文件可以为数据表；而针对文件系统而言，文件可以为文本文件。其中，Oracle数据库是甲骨文公司的一款关系数据库管理系统；Mysql数据库是一个关系型数据库管理系统；MongoDB数据库是一个基于分布式文件存储的数据库，由C++语言编写；Hive数据库是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制；而文件系统是操作系统中负责管理和存储文件信息的软件机构。
并且，针对每一数据源内的各个文件而言，在该数据库系统中预先创建各个文件对应的映射文件，以及各个映射文件的元数据。需要强调的是，在该数据库系统中预先创建的任一文件对应的映射文件是：与该文件具有相同属性且存储内容为空的文件。针对不同的数据源而言，文件的属性可以不同。示例性的，针对数据源为Oracle、Mysql、MongoDB、Hive等数据库而言，文件的属性可以包括：文件名和文件内的字段名称；而针对数据源为文件系统而言，文件的属性可以包括文件名和属性列。
另外，任一文件对应的映射文件的创建可以通过设置人员手动输入文件创建语句的方式来创建，当然并不局限于此。
如图1所示，本发明实施例所提供的数据查询方法，可以包括如下步骤：
S101，获取针对已创建的映射文件的目标查询语句；
当需要进行数据查询时，查询人员可以向数据库系统输入针对已创建的映射文件的目标查询语句，相应的，该数据库系统可以获取针对已创建的映射文件的目标查询语句，从而后续利用该目标查询语句进行数据查询处理。其中，查询人员可以通过数据库系统提供的输入界面，来向该数据库系统输入目标查询语句，并且，该目标查询语句的具体形式可以与现有技术中该数据库系统所支持的语句形式相同。
可以理解的是，由于数据库系统中预先创建有各个数据源内文件对应的映射文件，即建立了数据库系统与各个数据源的数据表映射关系，因此，当需要从各个数据源中查询数据时，可以直接向该数据库系统输入针对已创建的映射文件的目标查询语句。其中，已创建的映射文件即为待查询文件对应的映射文件。
其中，目标查询语句的类型可以基于数据库系统的类型所确定。示例性，该数据库系统可以为PostgreSQL数据库系统；
相应的，获取针对已创建的映射文件的目标查询语句，可以包括：
获取针对已创建的映射文件的结构化查询语言SQL查询语句，作为目标查询语句。
为了方便理解SQL查询语句，下面结合具体例子，对SQL查询语句的具体形式进行介绍。例如：针对从数据库school所包括的数据表course中，查询学生姓名和分数而言，该目标查询语句的具体形式可以为：Select name,score from school.course；而针对从数据库school所包括数据表student中，查询年龄大于10岁的学生的姓名而言，该目标查询语句的具体形式可以为：Select name,age from school.student where age>10。另外，由于映射文件的数量有很多，在设置人员输入目标查询语句时，可以给出关于映射文件的文件名和/或数据库的库名的提示信息，以使得设置人员可以基于提示信息来完成目标查询语句的输入。
S102，对该目标查询语句进行解析，得到查询对象和查询动作；其中，该查询对象包括目标库名和目标文件名；
其中，目标查询语句中可以包括两部分内容：查询动作和查询对象。具体而言，查询对象可以包括：目标库名和目标文件名，目标文件名为该已创建的映射文件的文件名，即待查询文件的文件名；而目标库名为已创建的映射文件对应的文件所属的数据源内，包含该已创建的映射文件对应的文件的数据库，即待查询文件所属的数据源内，包含该待查询文件的数据库。可以理解的是，针对任一数据源，由于该数据源内的文件通常是在数据库中建立的，因此，查询对象中包括库名和文件名，通过库名和文件名可以定位到该数据源内的一文件。
为了便于理解，仍以上述所示出的SQL查询语句为例，介绍目标查询语句中的查询对象和查询动作。示例性的，针对目标查询语句为：Select name,score fromschool.course而言，则查询对象为：school.course，查询动作为：Select name,Selectscore；针对目标查询语句为：Select name,age from school.student where age>10而言，查询对象为school.student，查询动作为select name,select age,age>10。
其中，对该目标查询语句进行解析，得到查询对象和查询动作的具体实现方式可以采用现有技术中的任一种解析方式，本发明实施例对此不做限定。
S103，从包含该目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；
由于每一映射文件的元数据包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址，因此，在获得查询对象后，可以基于该数据库系统中已经建立的元数据，确定包含该目标库名和目标文件名的元数据，进而，从所确定的元数据中，获取访问地址，作为目标地址。
其中，该目标地址为存储有该已创建的映射文件所对应的文件存储节点的访问地址，即存储有待查询文件的存储节点的访问地址。
S104，利用目标查询指令，从具有该目标地址的目标节点中的数据源中，获取该目标查询语句对应的查询结果；其中，该目标查询指令为用于对该查询对象执行该查询动作的查询指令；
在获得目标地址后，该数据库系统可以构建目标查询指令，并利用目标查询指令，从具有该目标地址的目标节点中的数据源中，获取该目标查询语句对应的查询结果。其中，所谓的利用目标查询指令即向具有该目标地址的目标节点分发该目标查询指令，这样，目标节点中的数据源可以响应该目标查询指令。
示例性的，在一种实现方式中，利用目标查询指令，从具有该目标地址的目标节点中的数据源中，获取该目标查询语句对应的查询结果可以包括：向具有该目标地址的目标节点发送目标查询指令，以使该目标节点中的数据源响应该目标查询指令，得到该目标查询语句对应的查询结果，并将该查询结果反馈至该数据库系统。
其中，数据源进行查询数据时所支持的指令形式可能与该目标查询指令的指令形式不同，因此，该目标节点中的数据源可以先对目标查询指令进行形式转换，然后再进行数据查询。基于该种思路，可选地，在一种实现方式中，该目标节点中的数据源响应该目标查询指令的过程，可以包括：
该目标节点中的数据源基于自身能够识别的指令形式，对该目标查询指令进行形式转换，得到转换后的查询指令，按照该转换后的查询指令进行数据查询，得到该目标查询语句对应的查询结果。
示例性的，如果该目标节点中的数据源为文件系统，则将该目标查询指令转换为用于对该查询对象执行该查询动作的shell指令；而如果该目标节点中的数据源为Oracle、Mysql、MongoDB等数据库，则将该目标查询指令转换为用于对该查询对象执行该查询动作的查询语句；而如果该目标节点中的数据源为Hive，则将该目标查询指令转换为用于对该查询对象执行该查询动作的MapReduce任务指令。
另外，目标地址的数量可以为一个或多个，目标查询指令的数量可以一个或多个。那么，在构建完成一个或多个目标查询指令后，可以将所构建的目标查询指令记录在预定的动作分发表中，进而，对动作分发表中的目标查询指令进行分发，即向目标节点发送目标查询指令。
S105，基于该查询结果，输出该目标查询语句对应的输出结果。
在获得数据源反馈的查询结果后，该数据库系统可以基于所获得的查询结果，输出该目标查询语句对应的输出结果。
可选地，在一种实现方式中，基于该查询结果，输出该目标查询语句对应的输出结果，可以包括：
当目标节点的数量为一个时，将该查询结果作为该目标查询语句对应的输出结果。
可选地，在另一种实现方式中，基于该查询结果，输出该目标查询语句对应的输出结果，包括：
当目标节点的数量为多个时，对各个目标节点反馈的查询结果，进行合并处理，得到该目标查询语句对应的输出结果；
输出该目标查询语句对应的输出结果。
由于目标节点数量为多个，每一目标节点均可以向数据库系统反馈查询结果，为了向查询人员反馈整体的查询结果，可以对各个目标节点反馈的查询结果进行合并处理，得到该目标查询语句对应的输出结果。
另外，在获得的查询结果中，可以存在符合预定无效条件的结果，因此，可以利用该预定无效条件，对所获得的查询结果进行过滤，以过滤掉符合预定无效条件的结果。
可以理解的是，上述的各个步骤可以通过数据库系统中的多个模块来执行，通过各个模块的配合来实现数据查询。为了方便理解方案，图3示例性的给出了用于实现数据查询方法的多个模块的工作原理图。其中，图3给出的五个数据源，该五个数据源具体包括：文件系统、Oracle、Mysql、MongoDb、Hive；并且，该数据库系统为PostgreSQL数据库系统。
结合图3所示的内容，本发明实施例所提供的查询方法可以包括如下步骤：
SQL输入模块，用于获取针对已创建的映射文件的目标查询语句；
SQL语句解析模块，用于对目标查询语句进行解析，得到查询对象和查询动作；从包含目标库名和目标文件名的元数据中，获取访问地址，作为目标地址，并构建用于对查询对象执行查询动作的查询指令；其中，查询对象包括目标库名和目标文件名；
SQL执行模块，用于利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果；
结果聚合模块，用于当基于SQL语句解析模块所构建的查询指令的数量判断出目标节点为多个时，基于对各个目标节点反馈的查询结果，进行合并处理，得到该目标查询语句对应的输出结果；
结果输出模块，用于输出该目标查询语句对应的输出结果。
需要强调的是，图3所示出的各个模块仅仅是示例性的模块，并不应该构成对本发明实施例的限定。
本发明实施例所提供的方案中，预先在数据库系统中创建各个数据源内的文件所对应的映射文件，并建立各个映射文件的元数据；进而，后续进行数据查询时，通过查询语句，即可获得针对各个数据源内文件的查询结果。由于本方案无需将各个数据源中的数据重复存储，即可使得各个数据源可以被集中查询，因此，通过本方案可以解决“数据孤岛”的问题且避免存储空间的浪费。
另外，相对于现有技术，本方案无需从各个数据源处获取数据，使得网络带宽消耗大大降低；同时，本方案无需对数据进行转存以及抽取转换，这样可以解决由于数据转存和抽取转换所导致的数据延迟问题。
在数据查询过程中，为了保证目标节点对于其他任务的正常响应，数据库系统可以基于目标节点中的数据源所包括的各个文件的总数据量，设定目标节点在数据查询时所需占用的硬件资源，以避免在目标节点进行数据查询时，查询任务占用目标节点的全部或过多硬件资源，从而保证目标节点对于其他任务的正常响应。可以理解的是，该硬件资源可以包括CPU内核和内存，当然并不局限于此。
基于上述处理思路，该数据库系统中每一映射文件的元数据除了包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址，还包括该映射文件对应的文件的文件大小。
相应的，如图2所示，本发明实施例所提供的数据查询方法，可以包括如下步骤：
S201，获取针对已创建的映射文件的目标查询语句；
S202，对该目标查询语句进行解析，得到查询对象和查询动作；其中，该查询对象包括目标库名和目标文件名；
S203，从包含该目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；
其中，S201-S203与上述实施例的S101-S103相同，在此不做赘述。
S204，基于各个元数据中的文件大小以及访问地址，确定该目标节点中的数据源所包括的各个文件的总数据量；
其中，在确定出目标地址后，为了确定目标节点中的数据源所包括的各个文件的总数据量，可以基于各个元数据中的文件大小以及访问地址，确定该目标节点中的数据源所包括的各个文件的总数据量。具体而言：筛选所包括访问地址为该目标地址的元数据；将所筛选得到的元数据中的文件大小的和值，作为该目标节点中的数据源所包括的各个文件的总数据量。
S205，基于该总数据量，确定该目标节点在数据查询时所需硬件资源的目标资源信息；
在获得该总数据量后，可以按照预定的资源信息确定方式，基于该总数据量，确定该目标节点在数据查询时所需硬件资源的目标资源信息。
可选地，在一种实现方式中，基于该总数据量，确定该目标节点在数据查询时所需硬件资源的目标资源信息，可以包括：
从预定的关于数据量与资源信息的对应关系中，确定与该总数据量对应的资源信息，作为该目标节点在数据查询时所需硬件资源的资源信息。
示例性的：预定的关于数据量与资源信息的对应关系可以包括：数据量范围(0，500M]对应有2核CPU和500M内存，数据量范围(500，1000M]对应有4核CPU和1000M内存。
S206，向具有该目标地址的目标节点发送目标查询指令，以及携带有该目标资源信息的资源分配指令，以使该目标节点中的数据源通过占用该目标资源信息所指示的硬件资源，响应该目标查询指令，得到该目标查询语句对应的查询结果，并将所述查询结果反馈至该数据库系统；
S207，接收该目标节点反馈的该查询结果；
在数据库系统可以构建该目标查询指令和该资源分配指令，进而，向该目标节点发送该目标查询指令和资源分配指令。在向该目标节点发送该目标查询指令和资源分配指令后，该目标节点中的数据源可以向操作系统申请该资源分配指令中所携带的目标资源信息所指示的硬件资源，进而，通过占用该目标资源信息所指示的硬件资源，响应该目标查询指令，得到查询结果，并将该查询结果反馈至该数据库系统。
可以理解的是，目标地址的数量可以为一个或多个，目标查询指令的数量可以一个或多个，目标资源分配指令的数量可以为一个或多个。那么，在构建完成一个或多个目标查询指令后，可以将所构建的目标查询指令记录在预定的动作分发表中，进而，对动作分发表中的目标查询指令进行分发，即向目标节点发送目标查询指令；类似的，在构建完成一个或多个资源分配指令后，可以将所构建的资源分配指令记录在预定的资源分发表中，进而，对资源分发表中的资源分配指令进行分发，即向目标节点发送资源分配指令。
可以理解的是，在向具有该目标地址的目标节点发送该目标查询指令之前或同时，可以向该目标节点发送携带有该资源信息的资源分配指令。
S208，基于该查询结果，输出该目标查询语句对应的输出结果。
其中，S208与上述实施例的S105相同，在此不做赘述。
本发明实施例所提供的方案中，预先在数据库系统中创建各个数据源内的文件所对应的映射文件，并建立各个映射文件的元数据；进而，后续进行数据查询时，通过查询语句，即可获得针对各个数据源内文件的查询结果。由于本方案无需将各个数据源中的数据重复存储，即可使得各个数据源可以被集中查询，因此，通过本方案可以解决“数据孤岛”的问题且避免存储空间的浪费。并且，本方案中向数据库系统设定目标节点在数据查询时所需占用的硬件资源，可以避免在目标节点进行数据查询时，查询任务占用目标节点的全部或过多硬件资源，从而保证目标节点对于其他任务的正常响应。
另外，相对于现有技术，本方案无需从各个数据源处获取数据，使得网络带宽消耗大大降低；同时，本方案无需对数据进行转存以及抽取转换，这样可以解决由于数据转存和抽取转换所导致的数据延迟问题。
可选地，基于上述图1和图2所示的任一实施例，本发明实施例所提供的数据查询方法，还可以包括如下步骤A1-A3：
A1，获取针对任一数据源内所存储的一目标文件的文件创建语句；
A2，按照该文件创建语句进行文件创建，得到该目标文件对应的映射文件；
A3，基于设置人员所给定的待处理库名和待处理访问地址，以及所得到的映射文件的文件名，生成该目标文件对应的映射文件的元数据；其中，该待处理库名为在该数据源内包含所述目标文件的数据库的库名，该待处理访问地址为存储所述目标文件的存储节点的访问地址。
通过上述步骤A1-A3，设置人员可以在数据库系统中创建数据源内各个文件的映射文件，以及每一映射文件的元数据。并且，设置人员可以通过输入界面来输入文件创建语句，相应的，该数据源系统可以获取针对任一数据源内所存储的一目标文件的文件创建语句。数据库系统预先设定有文件创建语句的具体形式，设置人员可以按照关于文件创建语句的具体形式的设定内容，来在输入界面中输出文件创建语句。另外，按照该文件创建语句进行文件创建，得到该目标文件对应的映射文件的具体实现方式，为现有技术，在此不做限定。
相应于上述方法实施例，本发明实施例提供了数据查询装置。本发明实施例所提供的数据查询装置，应用于数据库系统；所述数据库系统中预先创建有各个数据源内的文件所对应的映射文件，以及各个映射文件的元数据，每一映射文件的元数据包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址，所述目标数据库为该映射文件对应的文件所属的数据源中，包含该映射文件对应的文件的数据库；
如图4所示，所述装置包括：
获取模块410，用于获取针对已创建的映射文件的目标查询语句；
解析模块420，用于对所述目标查询语句进行解析，得到查询对象和查询动作；其中，所述查询对象包括目标库名和目标文件名；
确定模块430，用于从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；
处理模块440，用于利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果；其中，所述目标查询指令为用于对所述查询对象执行所述查询动作的查询指令；输出模块450，用于基于所述查询结果，输出所述目标查询语句对应的输出结果。
本发明实施例所提供的方案中，预先在数据库系统中创建各个数据源内的文件所对应的映射文件，并建立各个映射文件的元数据；进而，后续进行数据查询时，通过查询语句，即可获得针对各个数据源内文件的查询结果。由于本方案无需将各个数据源中的数据重复存储，即可使得各个数据源可以被集中查询，因此，通过本方案可以解决“数据孤岛”的问题且避免存储空间的浪费。
另外，相对于现有技术，本方案无需从各个数据源处获取数据，使得网络带宽消耗大大降低；同时，本方案无需对数据进行转存以及抽取转换，这样可以解决由于数据转存和抽取转换所导致的数据延迟问题。
可选地，每一映射文件的元数据还包括：该映射文件对应的文件的文件大小；
所述装置还包括：
分析模块，用于所述确定模块从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址之后，所述处理模块440利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果之前，基于各个元数据中的文件大小以及访问地址，确定所述目标节点中的数据源所包括的各个文件的总数据量；基于所述总数据量，确定所述目标节点在数据查询时所需硬件资源的目标资源信息；
所述处理模块440具体用于：
向具有所述目标地址的目标节点发送目标查询指令，以及携带有所述目标资源信息的资源分配指令，以使所述目标节点内的数据源通过占用所述目标资源信息所指示的硬件资源，响应所述目标查询指令，得到所述目标查询语句对应的查询结果，并将所述查询结果反馈至所述数据库系统；
接收所述目标节点反馈的所述查询结果。可选地，所述装置还包括：
配置模块，用于获取针对任一数据源内所存储的一目标文件的文件创建语句；按照所述文件创建语句进行文件创建，得到所述目标文件对应的映射文件；基于设置人员所给定的待处理库名和待处理访问地址，以及所得到的映射文件的文件名，生成所述目标文件对应的映射文件的元数据；其中，所述待处理库名为在该数据源内包含所述目标文件的数据库的库名，所述待处理访问地址为存储所述目标文件的存储节点的访问地址。
可选地，所述输出模块具体用于：
当所述目标节点的数量为多个时，对各个目标节点反馈的所述查询结果，进行合并处理，得到所述目标查询语句对应的输出结果；输出所述目标查询语句对应的输出结果。
可选地，所述目标节点中的数据源响应所述目标查询指令的过程，包括：
所述目标节点中的数据源基于自身能够识别的指令形式，对所述目标查询指令进行形式转换，得到转换后的查询指令，按照所述转换后的查询指令进行数据查询，得到所述目标查询语句对应的查询结果。
可选地，所述数据库系统为PostgreSQL数据库系统；所述获取模块具体用于：获取针对已创建的映射文件的结构化查询语言SQL查询语句，作为目标查询语句。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本发明实施例所提供的数据查询方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述数据查询方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中数据查询方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (14)
1.一种数据查询方法，其特征在于，应用于数据库系统；所述数据库系统中预先创建有各个数据源内的文件所对应的映射文件，以及各个映射文件的元数据，每一映射文件的元数据包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址，所述目标数据库为该映射文件对应的文件所属的数据源中，包含该映射文件对应的文件的数据库；
所述方法包括：
获取针对已创建的映射文件的目标查询语句；
对所述目标查询语句进行解析，得到查询对象和查询动作；其中，所述查询对象包括目标库名和目标文件名；
从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；
利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果；其中，所述目标查询指令为用于对所述查询对象执行所述查询动作的查询指令；基于所述查询结果，输出所述目标查询语句对应的输出结果。
2.根据权利要求1所述的方法，其特征在于，每一映射文件的元数据还包括：该映射文件对应的文件的文件大小；
所述从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址之后，利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果之前，所述方法还包括：
基于各个元数据中的文件大小以及访问地址，确定所述目标节点中的数据源所包括的各个文件的总数据量；
基于所述总数据量，确定所述目标节点在数据查询时所需硬件资源的目标资源信息；
所述利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果，包括：
向具有所述目标地址的目标节点发送目标查询指令，以及携带有所述目标资源信息的资源分配指令，以使所述目标节点中的数据源通过占用所述目标资源信息所指示的硬件资源，响应所述目标查询指令，得到所述目标查询语句对应的查询结果，并将所述查询结果反馈至所述数据库系统；
接收所述目标节点反馈的所述查询结果。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取针对任一数据源内所存储的一目标文件的文件创建语句；
按照所述文件创建语句进行文件创建，得到所述目标文件对应的映射文件；
基于设置人员所给定的待处理库名和待处理访问地址，以及所得到的映射文件的文件名，生成所述目标文件对应的映射文件的元数据；其中，所述待处理库名为在该数据源内包含所述目标文件的数据库的库名，所述待处理访问地址为存储所述目标文件的存储节点的访问地址。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述查询结果，输出所述目标查询语句对应的输出结果，包括：
当所述目标节点的数量为多个时，对各个目标节点反馈的所述查询结果，进行合并处理，得到所述目标查询语句对应的输出结果；
输出所述目标查询语句对应的输出结果。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述目标节点中的数据源响应所述目标查询指令的过程，包括：
所述目标节点中的数据源基于自身能够识别的指令形式，对所述目标查询指令进行形式转换，得到转换后的查询指令，按照所述转换后的查询指令进行数据查询，得到所述目标查询语句对应的查询结果。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述数据库系统为PostgreSQL数据库系统；
所述获取针对已创建的映射文件的目标查询语句，包括：
获取针对已创建的映射文件的结构化查询语言SQL查询语句，作为目标查询语句。
7.一种数据查询装置，其特征在于，应用于数据库系统；所述数据库系统中预先创建有各个数据源内的文件所对应的映射文件，以及各个映射文件的元数据，每一映射文件的元数据包括该映射文件的文件名、目标数据库的库名和存储该映射文件对应的文件的存储节点的访问地址，所述目标数据库为该映射文件对应的文件所属的数据源中，包含该映射文件对应的文件的数据库；
所述装置包括：
获取模块，用于获取针对已创建的映射文件的目标查询语句；
解析模块，用于对所述目标查询语句进行解析，得到查询对象和查询动作；其中，所述查询对象包括目标库名和目标文件名；
确定模块，用于从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址；
处理模块，用于利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果；其中，所述目标查询指令为用于对所述查询对象执行所述查询动作的查询指令；输出模块，用于基于所述查询结果，输出所述目标查询语句对应的输出结果。
8.根据权利要求7所述的装置，其特征在于，每一映射文件的元数据还包括：该映射文件对应的文件的文件大小；
所述装置还包括：
分析模块，用于所述确定模块从包含所述目标库名和目标文件名的元数据中，获取访问地址，作为目标地址之后，所述处理模块利用目标查询指令，从具有所述目标地址的目标节点中的数据源中，获取所述目标查询语句对应的查询结果之前，基于各个元数据中的文件大小以及访问地址，确定所述目标节点中的数据源所包括的各个文件的总数据量；基于所述总数据量，确定所述目标节点在数据查询时所需硬件资源的目标资源信息；
所述处理模块具体用于：
向具有所述目标地址的目标节点发送目标查询指令，以及携带有所述目标资源信息的资源分配指令，以使所述目标节点内的数据源通过占用所述目标资源信息所指示的硬件资源，响应所述目标查询指令，得到所述目标查询语句对应的查询结果，并将所述查询结果反馈至所述数据库系统；
接收所述目标节点反馈的所述查询结果。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
配置模块，用于获取针对任一数据源内所存储的一目标文件的文件创建语句；按照所述文件创建语句进行文件创建，得到所述目标文件对应的映射文件；基于设置人员所给定的待处理库名和待处理访问地址，以及所得到的映射文件的文件名，生成所述目标文件对应的映射文件的元数据；
其中，所述待处理库名为在该数据源内包含所述目标文件的数据库的库名，所述待处理访问地址为存储所述目标文件的存储节点的访问地址。
10.根据权利要求7-9任一项所述的装置，其特征在于，所述输出模块具体用于：
当所述目标节点的数量为多个时，对各个目标节点反馈的所述查询结果，进行合并处理，得到所述目标查询语句对应的输出结果；输出所述目标查询语句对应的输出结果。
11.根据权利要求7-9任一项所述的装置，其特征在于，所述目标节点中的数据源响应所述目标查询指令的过程，包括：
所述目标节点中的数据源基于自身能够识别的指令形式，对所述目标查询指令进行形式转换，得到转换后的查询指令，按照所述转换后的查询指令进行数据查询，得到所述目标查询语句对应的查询结果。
12.根据权利要求7-9任一项所述的装置，其特征在于，所述数据库系统为PostgreSQL数据库系统；所述获取模块具体用于：获取针对已创建的映射文件的结构化查询语言SQL查询语句，作为目标查询语句。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620851.1A CN111782682B (zh) | 2020-06-30 | 2020-06-30 | 数据查询方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620851.1A CN111782682B (zh) | 2020-06-30 | 2020-06-30 | 数据查询方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111782682A true CN111782682A (zh) | 2020-10-16 |
| CN111782682B CN111782682B (zh) | 2024-01-02 |
Family
ID=72760033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010620851.1A Active CN111782682B (zh) | 2020-06-30 | 2020-06-30 | 数据查询方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111782682B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515564A (zh) * | 2021-05-18 | 2021-10-19 | 平安国际智慧城市科技股份有限公司 | 基于j2ee的数据访问方法、装置、设备及存储介质 |
| CN113535754A (zh) * | 2021-07-27 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 一种数据访问方法、装置及系统 |
| CN114640715A (zh) * | 2022-03-18 | 2022-06-17 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及计算机存储介质 |
| CN116975126A (zh) * | 2023-09-25 | 2023-10-31 | 恒生电子股份有限公司 | 数据查询方法、装置、计算设备和计算机可读存储介质 |
| WO2024011932A1 (zh) * | 2022-07-11 | 2024-01-18 | 华为云计算技术有限公司 | 一种文件管理方法及相关设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868411A (zh) * | 2016-04-27 | 2016-08-17 | 国网上海市电力公司 | 一种非关系型与关系型数据库一体化数据查询方法与系统 |
| CN110175157A (zh) * | 2019-04-24 | 2019-08-27 | 平安科技（深圳）有限公司 | 一种列存储文件的查询方法及查询装置 |
| CN110399388A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 数据查询方法、系统和设备 |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
| WO2020015495A1 (zh) * | 2018-07-16 | 2020-01-23 | 中兴通讯股份有限公司 | 访问异构数据库的方法、装置、设备、插件及存储介质 |
| CN111190924A (zh) * | 2019-12-18 | 2020-05-22 | 中思博安科技（北京）有限公司 | 跨域的数据查询方法及装置 |
-
2020
- 2020-06-30 CN CN202010620851.1A patent/CN111782682B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868411A (zh) * | 2016-04-27 | 2016-08-17 | 国网上海市电力公司 | 一种非关系型与关系型数据库一体化数据查询方法与系统 |
| WO2020015495A1 (zh) * | 2018-07-16 | 2020-01-23 | 中兴通讯股份有限公司 | 访问异构数据库的方法、装置、设备、插件及存储介质 |
| CN110175157A (zh) * | 2019-04-24 | 2019-08-27 | 平安科技（深圳）有限公司 | 一种列存储文件的查询方法及查询装置 |
| CN110399388A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 数据查询方法、系统和设备 |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
| CN111190924A (zh) * | 2019-12-18 | 2020-05-22 | 中思博安科技（北京）有限公司 | 跨域的数据查询方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘威;杨丹;: "基于虚拟视图的异构数据库集成平台的研究", 计算机技术与发展, no. 06 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515564A (zh) * | 2021-05-18 | 2021-10-19 | 平安国际智慧城市科技股份有限公司 | 基于j2ee的数据访问方法、装置、设备及存储介质 |
| CN113535754A (zh) * | 2021-07-27 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 一种数据访问方法、装置及系统 |
| CN114640715A (zh) * | 2022-03-18 | 2022-06-17 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及计算机存储介质 |
| WO2024011932A1 (zh) * | 2022-07-11 | 2024-01-18 | 华为云计算技术有限公司 | 一种文件管理方法及相关设备 |
| CN116975126A (zh) * | 2023-09-25 | 2023-10-31 | 恒生电子股份有限公司 | 数据查询方法、装置、计算设备和计算机可读存储介质 |
| CN116975126B (zh) * | 2023-09-25 | 2023-12-19 | 恒生电子股份有限公司 | 数据查询方法、装置、计算设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111782682B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111782682B (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN109062952B (zh) | 一种数据查询方法、装置及电子设备 | |
| US8677366B2 (en) | Systems and methods for processing hierarchical data in a map-reduce framework | |
| CN111124476B (zh) | 业务规则配置和创建方法及装置 | |
| CN112307122B (zh) | 一种基于数据湖的数据管理系统及方法 | |
| CN109241159B (zh) | 一种数据立方体的分区查询方法、系统及终端设备 | |
| CN109902114B (zh) | Es集群数据复用方法、系统、计算机装置及存储介质 | |
| Sivaraman et al. | High performance and fault tolerant distributed file system for big data storage and processing using hadoop | |
| CN112182045B (zh) | 元数据管理方法、装置、计算机设备及存储介质 | |
| KR101877828B1 (ko) | 인공지능 기반의 사용자 인터페이스 통합 플랫폼 시스템 | |
| CN104881466A (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
| CN111427748A (zh) | 任务告警方法、系统、设备及存储介质 | |
| CN110019111B (zh) | 数据处理方法、装置、存储介质以及处理器 | |
| CN110825694A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN110889272A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN111221698A (zh) | 任务数据采集方法与装置 | |
| CN111159264A (zh) | 一种数据处理方法及装置 | |
| CN110659283A (zh) | 数据标签处理方法、装置、计算机设备及存储介质 | |
| US10996855B2 (en) | Memory allocation in a data analytics system | |
| CN115543428A (zh) | 一种基于策略模板的模拟数据生成方法和装置 | |
| CN111459411B (zh) | 数据迁移方法、装置、设备及存储介质 | |
| CN113849482A (zh) | 一种数据迁移方法、装置及电子设备 | |
| CN109905475B (zh) | 一种基于sql以规定格式输出云计算监控数据的方法 | |
| US11977997B1 (en) | Tagging systems and methods for efficient cloud service provisioning | |
| CN115858183B (zh) | 异步并行i/o请求的进程间联合分析方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |