CN107622124B - 基于块数据的数据查询方法及系统 - Google Patents

基于块数据的数据查询方法及系统 Download PDF

Info

Publication number
CN107622124B
CN107622124B CN201710897206.2A CN201710897206A CN107622124B CN 107622124 B CN107622124 B CN 107622124B CN 201710897206 A CN201710897206 A CN 201710897206A CN 107622124 B CN107622124 B CN 107622124B
Authority
CN
China
Prior art keywords
data
layer
query
application layer
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710897206.2A
Other languages
English (en)
Other versions
CN107622124A (zh
Inventor
黎仁全
唐明辉
李邱林
贾西贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huaao Data Technology Co Ltd
Original Assignee
Shenzhen Huaao Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huaao Data Technology Co Ltd filed Critical Shenzhen Huaao Data Technology Co Ltd
Priority to CN201710897206.2A priority Critical patent/CN107622124B/zh
Publication of CN107622124A publication Critical patent/CN107622124A/zh
Application granted granted Critical
Publication of CN107622124B publication Critical patent/CN107622124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据处理技术领域,提供了一种基于块数据的数据查询方法及系统。该方法包括:获取对目标区域的查询请求,在应用层中,根据查询请求进行查询,获取与目标区域对应的数据,进行反馈,应用层缓存带有地域属性的块数据。本发明基于块数据的数据查询方法及系统,能够准确地查询不同地域属性的数据,又能够提高数据分发效率,保障数据访问的安全性。

Description

基于块数据的数据查询方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于块数据的数据查询方法及系统。
背景技术
随着信息技术与经济社会的交汇融合,虽然各政府部门中存储着海量的政务数据,但是各部门间的数据都互不共享,没有进行统一的管理。在现有技术中,并没有成熟的技术能够对海量零碎的政务数据资源进行整合与处理,各政务部门间的数据存在壁垒,数据共享性差,无法实现对某一地区所有数据的统筹、管理与分析,为政府决策提供数据支撑或市民服务。
并且,现有的政府数据量大,增大了数据查询的难度,导致数据分发效率低,安全性差。
如何准确地进行区域数据查询,提高数据分发效率,是本领域技术人员亟需解决的问题。
发明内容
针对现有技术中的缺陷,本发明提供基于块数据的数据查询方法及系统,能够准确地进行区域数据查询,提高数据分发效率。
第一方面,本发明提供一种基于块数据的数据查询方法,该方法包括:
获取对目标区域的查询请求;
在应用层中,根据查询请求进行查询,获取与目标区域对应的数据,进行反馈,应用层缓存带有地域属性的块数据。
进一步地,根据查询请求进行查询之前,该方法还包括:
将带有地域属性的块数据挂载至应用层的服务总线;
根据查询请求进行查询,获取与目标区域对应的数据,具体包括:
检验查询请求是否具有授权权限:
若有,则根据目标区域查询块数据的地域属性,从服务总线上获取与目标区域对应的数据。
进一步地,将带有地域属性的块数据挂载至应用层的服务总线,具体包括:按照预定的更新方式,将带有地域属性的块数据挂载至应用层的服务总线。
进一步地,将带有地域属性的块数据挂载至应用层的服务总线之前,该方法还包括:
将整合层所存储的不同区域的块数据同步至集市层;
按照应用层的主题,拼接与该主题关联的块数据;
将带有地域属性的块数据挂载至应用层的服务总线,具体包括:
根据应用层的主题,将拼接后的带有地域属性的块数据挂载至该应用层的服务总线。
基于上述任意基于块数据的数据查询方法实施例,进一步地,获取对目标区域的查询请求之后,在应用层中,根据查询请求进行查询之前,该方法还包括:
根据查询请求和数据仓库的层级架构,确定待查询数据所在的层级;
若待查询数据所在的层级为贴源层,则从贴源层调取与目标区域对应的数据;
若待查询数据所在的层级为原子层,则从原子层调取与目标区域对应的数据;
若待查询数据所在的层级为整合层,则从整合层调取与目标区域对应的数据;
若待查询数据所在的层级为集市层,则从集市层调取与目标区域对应的数据;
若待查询数据所在的层级为应用层,则从应用层调取与目标区域对应的数据。
第二方面,本发明提供一种基于块数据的数据查询系统,该系统包括数据仓库的应用层,应用层包括请求获取模块和数据查询模块,请求获取模块用于获取对目标区域的查询请求;数据查询模块用于根据查询请求进行查询,获取与目标区域对应的数据,进行反馈,应用层缓存带有地域属性的块数据。
进一步地,应用层还包括数据加载模块:用于将带有地域属性的块数据挂载至应用层的服务总线;数据查询模块根据查询请求进行查询,获取与目标区域对应的数据时,具体用于:检验查询请求是否具有授权权限:若有,则根据目标区域查询块数据的地域属性,从服务总线上获取与目标区域对应的数据。
进一步地,数据查询模块将带有地域属性的块数据挂载至应用层的服务总线时,具体用于:按照预定的更新方式,将带有地域属性的块数据挂载至应用层的服务总线。
进一步地,数据仓库还包括整合层和集市层,整合层用于将整合层所存储的不同区域的块数据同步至集市层;集市层用于按照应用层的主题,拼接与该主题关联的块数据;数据加载模块将带有地域属性的块数据挂载至应用层的服务总线时,具体用于:根据应用层的主题,将拼接后的带有地域属性的块数据挂载至该应用层的服务总线。
基于上述任意基于块数据的数据查询系统实施例,进一步地,应用层还包括请求分析模块用于:根据查询请求和数据仓库的层级架构,确定待查询数据所在的层级;数据查询模块具体用于:若待查询数据所在的层级为贴源层,则从贴源层调取与目标区域对应的数据;若待查询数据所在的层级为原子层,则从原子层调取与目标区域对应的数据;若待查询数据所在的层级为整合层,则从整合层调取与目标区域对应的数据;若待查询数据所在的层级为集市层,则从集市层调取与目标区域对应的数据;若待查询数据所在的层级为应用层,则从应用层调取与目标区域对应的数据。
由上述技术方案可知,本实施例提供的基于块数据的数据查询方法及系统,采用应用层缓存带有地域属性的数据。在接收到关于目标区域的查询请求时,即可在应用层查询,获取与目标区域对应的块数据,进行反馈,无需与地址表比对,提高数据查询与数据分发的效率。
同时,应用层缓存带有地域属性的块数据,在针对每个查询请求时,根据目标区域进行查询即可,避免访问越界的现象,提高数据安全性。并且,查询获取到块数据内部已经建立各个实体之间的关联关系,数据全面、准确,为数据统筹、管理,进行政府决策提供有效的信息支持。
因此,本实施例基于块数据的数据查询方法及系统,既能够准确地查询不同地域属性的数据,又能够提高数据分发效率,保障数据访问的安全性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1示出了本发明所提供的一种基于块数据的数据查询方法的方法流程图;
图2示出了本发明所提供的一种基于块数据的数据查询系统的结构框图;
图3示出了本发明所提供的另一种基于块数据的数据查询系统的结构框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
本发明基于块数据的数据查询方法基于多层级的数据仓库,进行数据处理与存储,结合图2,数据仓库包括缓冲层、贴源层、原子层、整合层、集市层和应用层。
其中,缓冲层是数据仓库的数据入口,其数据表模型与源系统完全一致,数据不会做任何处理,但是会加一个时间戳字段,供贴源层抽取数据用,数据只保留固定周期的数据,例如保留一周或者一个月的数据,具体周期根据实际情况决定。
贴源层的数据保存了源系统数据的所有信息,并且在此基础上对源头数据做了历史归档、标准化等处理,该层存储了较长周期的历史数据,一般为三年,以保证能做历史数据分析,保证整个数据仓库用的是一套完整的数据标准。
原子层是数据仓库中最具有设计元素的层。它以某种形式组织或归类分散在各个源表中的信息项,具有高度抽象性、原子性等特点的层。通过这种形式组织或归类方式,有效的避免了数据冗余、数据缺失等情况带来的数据不一致。
整合层是将原子层的多源数据通过一定的规则进行合并,最终整合成唯一的信息。
集市层是应用基础层,关联拼接整合区的片段表,将这些信息拼在一起形成各类应用需要的基础宽表;同时生成一些公共的统计指标表,以减少应用层的重复计算。
应用层是面向各类个性化应用的数据服务区域。
第一方面,本发明实施例所提供的一种基于块数据的数据查询方法,结合图1,该方法包括:
步骤S1:获取对目标区域的查询请求。
步骤S2:在应用层中,根据查询请求进行查询,获取与目标区域对应的数据,进行反馈,应用层缓存带有地域属性的块数据。
由上述技术方案可知,本实施例提供的基于块数据的数据查询方法,采用应用层缓存带有地域属性的数据。在接收到关于目标区域的查询请求时,即可在应用层查询,获取与目标区域对应的块数据,进行反馈,无需与地址表比对,提高数据查询与数据分发的效率。
同时,应用层缓存带有地域属性的块数据,在针对每个查询请求时,根据目标区域进行查询即可,避免访问越界的现象,提高数据安全性。并且,查询获取到块数据内部已经建立各个实体之间的关联关系,数据全面、准确,为数据统筹、管理,进行政府决策提供有效的信息支持。
因此,本实施例基于块数据的数据查询方法,既能够准确地查询不同地域属性的数据,又能够提高数据分发效率,保障数据访问的安全性。
为了进一步提高本实施例基于块数据的数据查询方法的稳定性,具体地,在应用层,根据查询请求进行查询之前,该方法还能够将带有地域属性的块数据挂载至应用层的服务总线。
根据查询请求进行查询,获取与目标区域对应的数据时,具体实现过程如下:
检验查询请求是否具有授权权限:若有,则根据目标区域查询块数据的地域属性,从服务总线上获取与目标区域对应的数据。
例如,将脱敏处理后的数据封装成数据接口方式挂载到服务总线上,通过授权后提供给上游应用来调用,大大降低数据泄漏的风险。
在此,本实施例基于块数据的数据查询方法采用服务总线上挂载带有地域属性的块数据,便于具有授权权限的查询请求进行查询,保证数据安全性和数据查询效率。
并且,本实施例基于块数据的数据查询方法能够按照预定的更新方式,将带有地域属性的块数据挂载至应用层的服务总线。
例如,按照指定的更新频率,更新服务总线上的数据。对于统计类的指标,是按周期保存,使统计数据具有历史性。对于资料类数据的查询接口,通常使用覆盖更新式保存,既能够满足用户查询的需求,又能够充分利用系统资源。
具体地,本实施例基于块数据的数据查询方法采用多层级的数据仓库对数据进行处理,具体实现过程如下:
将集市层的数据挂载至服务总线,将带有地域属性的块数据挂载至应用层的服务总线之前,该方法还能够将整合层所存储的不同区域的块数据同步至集市层。其中,整合层存储的信息具有唯一性,如人的婚姻信息是某种确定的状态,如未婚、初婚、再婚、复婚、离婚、丧偶等中的某一种状态,它已经在多源的原子层信息中做出了最合理的判断。也只有针对人的每种属性的状态确定了,才能支撑后续的各类应用场景。
整合层的数据来源于原子层,整合层是在原子层数据基础上进行数据合并。与其它数据层级相比,整合层的数据解决了信息的唯一性问题,并且针对每一项信息的合并规则,都通过足够的样本验证,以确定数据的准确性。
按照应用层的主题,拼接与该主题关联的块数据,形成歌喉只能够应用需要的数据。从集市层来看人口信息,它显示的是最全面的。如统计分析的宽表,会将一些统计分析所需求的基础属性,如性别、年龄、籍贯、政治面貌、婚姻状况、户籍、居住区域、工作区域、五险状态、最近缴纳社保时间、公积金状态、最近缴纳公积时间等多达50多个属性、标签或统计指标,通过这些维度和指标和组合,可以进行多样化的统计分析应用,而挖掘基础宽表更是多达150多个字段,这些属性都是基于大量的应用和经验抽象出来的。如果还有更个性化的需求,则可以扩展出更多的应用基础表或宽表。
将带有地域属性的块数据挂载至应用层的服务总线时,具体实现过程如下:根据应用层的主题,将拼接后的带有地域属性的块数据挂载至该应用层的服务总线。
在此,本实施例基于块数据的数据查询方法能够对整合层的块数据按照应用的主题进行拼接,再挂载至服务总线,有助于提高应用层查询请求的响应速度,提高数据查询效率。
具体地,本实施例基于块数据的数据查询方法还能够从不同层级调取相应的数据,满足多样化的查询请求,具体实现过程如下:
获取对目标区域的查询请求之后,在应用层中,根据查询请求进行查询之前,该方法还能够根据查询请求和数据仓库的层级架构,确定待查询数据所在的层级。
若待查询数据所在的层级为贴源层,则从贴源层调取与目标区域对应的数据。
若待查询数据所在的层级为原子层,则从原子层调取与目标区域对应的数据。
若待查询数据所在的层级为整合层,则从整合层调取与目标区域对应的数据。
若待查询数据所在的层级为集市层,则从集市层调取与目标区域对应的数据。
若待查询数据所在的层级为应用层,则从应用层调取与目标区域对应的数据。
在此,本实施例基于块数据的数据查询方法能够从不同层级调取数据,满足不同查询粒度的请求,该方法能够从应用层或集市层调取数据,能够满足查询请求的响应速度、提高数据分发效率,满足针对不同主题的查询请求。该方法又能够从底层调取相应的数据。例如,从贴源层提取标准化处理之后的数据,从原子层提取针对某一属性下的多条数据,从整合层提取某一属性的唯一性数据。
第二方面,本发明实施例提供一种基于块数据的数据查询系统,结合图2或图3,该系统包括数据仓库的应用层,应用层包括请求获取模块1和数据查询模块2,请求获取模块1用于获取对目标区域的查询请求;数据查询模块2用于根据查询请求进行查询,获取与目标区域对应的数据,进行反馈,应用层缓存带有地域属性的块数据。
由上述技术方案可知,本实施例提供的基于块数据的数据查询系统,采用应用层缓存带有地域属性的数据。在接收到关于目标区域的查询请求时,即可在应用层查询,获取与目标区域对应的块数据,进行反馈,无需与地址表比对,提高数据查询与数据分发的效率。
同时,应用层缓存带有地域属性的块数据,在针对每个查询请求时,根据目标区域进行查询即可,避免访问越界的现象,提高数据安全性。并且,查询获取到块数据内部已经建立各个实体之间的关联关系,数据全面、准确,为数据统筹、管理,进行政府决策提供有效的信息支持。
因此,本实施例基于块数据的数据查询系统,既能够准确地查询不同地域属性的数据,又能够提高数据分发效率,保障数据访问的安全性。
为了进一步提高本实施例基于块数据的数据查询系统的稳定性,具体地,对于应用层,应用层还包括数据加载模块,数据加载模块用于将带有地域属性的块数据挂载至应用层的服务总线;数据查询模块2根据查询请求进行查询,获取与目标区域对应的数据时,具体用于:检验查询请求是否具有授权权限:若有,则根据目标区域查询块数据的地域属性,从服务总线上获取与目标区域对应的数据。
在此,本实施例基于块数据的数据查询系统采用服务总线上挂载带有地域属性的块数据,便于具有授权权限的查询请求进行查询,保证数据安全性和数据查询效率。
并且,数据查询模块2将带有地域属性的块数据挂载至应用层的服务总线时,具体用于:按照预定的更新方式,将带有地域属性的块数据挂载至应用层的服务总线。例如,按照指定的更新频率,更新服务总线上的数据。对于统计类的指标,是按周期保存,使统计数据具有历史性。对于资料类数据的查询接口,通常使用覆盖更新式保存,既能够满足用户查询的需求,又能够充分利用系统资源。
具体地,本实施例基于块数据的数据查询系统采用多层级的数据仓库对数据进行处理、存储,数据仓库还包括整合层和集市层,整合层用于将整合层所存储的不同区域的块数据同步至集市层;集市层用于按照应用层的主题,拼接与该主题关联的块数据;数据加载模块将带有地域属性的块数据挂载至应用层的服务总线时,具体用于:根据应用层的主题,将拼接后的带有地域属性的块数据挂载至该应用层的服务总线。
在此,本实施例基于块数据的数据查询系统能够对整合层的块数据按照应用的主题进行拼接,再挂载至服务总线,有助于提高应用层查询请求的响应速度,提高数据查询效率。
具体地,本实施例基于块数据的数据查询系统还能够从不同层级调取相应的数据,满足多样化的查询请求,即应用层还包括请求分析模块用于:根据查询请求和数据仓库的层级架构,确定待查询数据所在的层级;数据查询模块2具体用于:若待查询数据所在的层级为贴源层,则从贴源层调取与目标区域对应的数据;若待查询数据所在的层级为原子层,则从原子层调取与目标区域对应的数据;若待查询数据所在的层级为整合层,则从整合层调取与目标区域对应的数据;若待查询数据所在的层级为集市层,则从集市层调取与目标区域对应的数据;若待查询数据所在的层级为应用层,则从应用层调取与目标区域对应的数据。
在此,本实施例基于块数据的数据查询系统能够从不同层级调取数据,满足不同查询粒度的请求,该系统能够从应用层或集市层调取数据,能够满足查询请求的响应速度、提高数据分发效率,满足针对不同主题的查询请求。该系统又能够从底层调取相应的数据。例如,从贴源层提取标准化处理之后的数据,从原子层提取针对某一属性下的多条数据,从整合层提取某一属性的唯一性数据。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
需要说明的是,附图中的流程图和框图显示了根据本发明的多个实施例的服务器、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的服务器来实现,或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的配置装置可以是计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的服务器、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的服务器、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个服务器,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以发布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (4)

1.一种基于块数据的数据查询方法,其特征在于,包括:
获取对目标区域的查询请求;
在应用层中,根据所述查询请求进行查询,获取与所述目标区域对应的数据,进行反馈,所述应用层缓存带有地域属性的块数据;
根据所述查询请求进行查询之前,该方法还包括:
将带有地域属性的块数据挂载至所述应用层的服务总线;
根据所述查询请求进行查询,获取与所述目标区域对应的数据,具体包括:
检验所述查询请求是否具有授权权限:
若有,则根据所述目标区域查询块数据的地域属性,从所述服务总线上获取与所述目标区域对应的数据;
所述将带有地域属性的块数据挂载至所述应用层的服务总线,具体包括:按照预定的更新方式,将带有地域属性的块数据挂载至所述应用层的服务总线;
所述数据查询方法基于多层级的数据仓库进行数据处理与存储;所述数据仓库包括缓冲层、贴源层、原子层、整合层、集市层和应用层;
其中,缓冲层是数据仓库的数据入口,其数据表模型与源系统完全一致,会加一个时间戳字段,供贴源层抽取数据用;贴源层的数据保存了源系统数据的所有信息,并且对源头数据进行历史归档和标准化;原子层以某种形式组织或归类分散在各个源表中的信息项;整合层是将原子层的多源数据通过一定的规则进行合并,最终整合成唯一的信息;集市层是应用基础层,关联拼接整合区的片段表,将这些信息拼在一起形成各类应用需要的基础宽表;同时生成一些公共的统计指标表;应用层是面向各类个性化应用的数据服务区域;
将带有地域属性的块数据挂载至所述应用层的服务总线之前,该方法还包括:
将整合层所存储的不同区域的块数据同步至集市层;
按照所述应用层的主题,拼接与该主题关联的块数据;
将带有地域属性的块数据挂载至所述应用层的服务总线,具体包括:
根据所述应用层的主题,将拼接后的带有地域属性的块数据挂载至该应用层的服务总线。
2.根据权利要求1所述基于块数据的数据查询方法,其特征在于,
获取对目标区域的查询请求之后,在应用层中,根据所述查询请求进行查询之前,该方法还包括:
根据所述查询请求和数据仓库的层级架构,确定待查询数据所在的层级;
若待查询数据所在的层级为贴源层,则从贴源层调取与所述目标区域对应的数据;
若待查询数据所在的层级为原子层,则从原子层调取与所述目标区域对应的数据;
若待查询数据所在的层级为整合层,则从整合层调取与所述目标区域对应的数据;
若待查询数据所在的层级为集市层,则从集市层调取与所述目标区域对应的数据;
若待查询数据所在的层级为应用层,则从应用层调取与所述目标区域对应的数据。
3.一种基于块数据的数据查询系统,其特征在于,包括:
数据仓库的应用层,所述应用层包括:
请求获取模块:用于获取对目标区域的查询请求;
数据查询模块:用于根据所述查询请求进行查询,获取与所述目标区域对应的数据,进行反馈,所述应用层缓存带有地域属性的块数据;
所述应用层还包括数据加载模块:用于将带有地域属性的块数据挂载至所述应用层的服务总线;
所述数据查询模块,根据所述查询请求进行查询,获取与所述目标区域对应的数据时,具体用于:检验所述查询请求是否具有授权权限:若有,则根据所述目标区域查询块数据的地域属性,从所述服务总线上获取与所述目标区域对应的数据;
所述数据查询模块,将带有地域属性的块数据挂载至所述应用层的服务总线时,具体用于:按照预定的更新方式,将带有地域属性的块数据挂载至所述应用层的服务总线;
所述数据查询系统基于多层级的数据仓库进行数据处理与存储;所述数据仓库包括缓冲层、贴源层、原子层、整合层、集市层和应用层;
其中,缓冲层是数据仓库的数据入口,其数据表模型与源系统完全一致,会加一个时间戳字段,供贴源层抽取数据用;贴源层的数据保存了源系统数据的所有信息,并且对源头数据进行历史归档和标准化;原子层以某种形式组织或归类分散在各个源表中的信息项;整合层是将原子层的多源数据通过一定的规则进行合并,最终整合成唯一的信息;集市层是应用基础层,关联拼接整合区的片段表,将这些信息拼在一起形成各类应用需要的基础宽表;同时生成一些公共的统计指标表;应用层是面向各类个性化应用的数据服务区域;
所述数据仓库还包括整合层和集市层,
所述整合层,用于将整合层所存储的不同区域的块数据同步至集市层;
所述集市层,用于按照所述应用层的主题,拼接与该主题关联的块数据;
所述数据加载模块,将带有地域属性的块数据挂载至所述应用层的服务总线时,具体用于:根据所述应用层的主题,将拼接后的带有地域属性的块数据挂载至该应用层的服务总线。
4.根据权利要求3所述基于块数据的数据查询系统,其特征在于,
所述应用层还包括请求分析模块,用于:根据所述查询请求和数据仓库的层级架构,确定待查询数据所在的层级;
所述数据查询模块,具体用于:
若待查询数据所在的层级为贴源层,则从贴源层调取与所述目标区域对应的数据;
若待查询数据所在的层级为原子层,则从原子层调取与所述目标区域对应的数据;
若待查询数据所在的层级为整合层,则从整合层调取与所述目标区域对应的数据;
若待查询数据所在的层级为集市层,则从集市层调取与所述目标区域对应的数据;
若待查询数据所在的层级为应用层,则从应用层调取与所述目标区域对应的数据。
CN201710897206.2A 2017-09-28 2017-09-28 基于块数据的数据查询方法及系统 Active CN107622124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710897206.2A CN107622124B (zh) 2017-09-28 2017-09-28 基于块数据的数据查询方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710897206.2A CN107622124B (zh) 2017-09-28 2017-09-28 基于块数据的数据查询方法及系统

Publications (2)

Publication Number Publication Date
CN107622124A CN107622124A (zh) 2018-01-23
CN107622124B true CN107622124B (zh) 2021-02-02

Family

ID=61090819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710897206.2A Active CN107622124B (zh) 2017-09-28 2017-09-28 基于块数据的数据查询方法及系统

Country Status (1)

Country Link
CN (1) CN107622124B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307510A (zh) * 2020-11-02 2021-02-02 国网江苏省电力有限公司信息通信分公司 数据中台数据资产权限管理方法和管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023993A (zh) * 2012-11-28 2013-04-03 青岛双瑞海洋环境工程股份有限公司 一种基于云计算的企业信息系统
CN106708826A (zh) * 2015-07-30 2017-05-24 中兴通讯股份有限公司 数据处理及查询方法、装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008145193A (ja) * 2006-12-07 2008-06-26 Pioneer Electronic Corp 経路探索装置、経路探索方法、経路探索プログラム及び記憶媒体
CN101685449B (zh) * 2008-09-26 2012-07-11 国际商业机器公司 一种用于连接多个异构分布式数据库中的表的方法和系统
US8438364B2 (en) * 2010-12-30 2013-05-07 Facebook Inc. Distributed cache for graph data
CN106156255A (zh) * 2015-04-28 2016-11-23 天脉聚源(北京)科技有限公司 一种数据缓存层实现方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023993A (zh) * 2012-11-28 2013-04-03 青岛双瑞海洋环境工程股份有限公司 一种基于云计算的企业信息系统
CN106708826A (zh) * 2015-07-30 2017-05-24 中兴通讯股份有限公司 数据处理及查询方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Oracle & BI & 大数据分析》;xuzhengzhu;《https://www.cnblogs.com/HondaHsu/p/5314176.html》;20160324;第1-10页 *

Also Published As

Publication number Publication date
CN107622124A (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
US11281793B2 (en) User permission data query method and apparatus, electronic device and medium
US10262050B2 (en) Distributed database systems and methods with pluggable storage engines
KR102005831B1 (ko) 범위-기반 검색을 위한 데이터 저장 관리
US8498998B2 (en) Grouping identity records to generate candidate lists to use in an entity and relationship resolution process
CN109947668B (zh) 存储数据的方法和装置
KR102311032B1 (ko) 데이터베이스 동기화
JP2022534215A (ja) ハイブリッド・インデックス作成方法、システム、プログラム
US9798762B2 (en) Real time big data master data management
US10289707B2 (en) Data skipping and compression through partitioning of data
CN109656958B (zh) 数据查询方法以及系统
CN107729399B (zh) 数据处理的方法和装置
CN103678494A (zh) 客户端同步服务端数据的方法及装置
CN107515879B (zh) 用于文档检索的方法和电子设备
CN104978324B (zh) 一种数据处理方法和装置
CN112434015B (zh) 数据存储的方法、装置、电子设备及介质
KR101621385B1 (ko) 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법
CN107103011B (zh) 终端数据搜索的实现方法和装置
US20140019454A1 (en) Systems and Methods for Caching Data Object Identifiers
US9734178B2 (en) Searching entity-key associations using in-memory objects
US10936640B2 (en) Intelligent visualization of unstructured data in column-oriented data tables
CN112182004A (zh) 实时查看数据方法、装置、计算机设备及存储介质
CN107622124B (zh) 基于块数据的数据查询方法及系统
US11163801B2 (en) Execution of queries in relational databases
US8200673B2 (en) System and method for on-demand indexing
CN116628042A (zh) 数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 518000 2203/2204, Building 1, Huide Building, Beizhan Community, Minzhi Street, Longhua District, Shenzhen, Guangdong

Patentee after: SHENZHEN AUDAQUE DATA TECHNOLOGY Ltd.

Address before: 518000 units J and K, 12 / F, block B, building 7, Baoneng Science Park, Qinghu Industrial Zone, Qingxiang Road, Longhua New District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN AUDAQUE DATA TECHNOLOGY Ltd.