CN112069215A - 一种基于整合数据的数据查询方法及装置 - Google Patents
一种基于整合数据的数据查询方法及装置 Download PDFInfo
- Publication number
- CN112069215A CN112069215A CN202010982904.4A CN202010982904A CN112069215A CN 112069215 A CN112069215 A CN 112069215A CN 202010982904 A CN202010982904 A CN 202010982904A CN 112069215 A CN112069215 A CN 112069215A
- Authority
- CN
- China
- Prior art keywords
- data
- time node
- integrated
- target
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 abstract description 7
- 238000007726 management method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于整合数据的数据查询方法及装置。所述方法包括：在获取到业务需求时，进行数据采集；将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。采用本申请所提供的方案，可以基于业务需求对采集到的数据进行整合，使得整合后的数据能够适配于业务需求，从而在接收到与业务需求相关的查询指令后，可以基于与业务需求适配的整合后的数据响应查询指令，因此，被查询的数据能够适配于查询指令，提升了数据提取效率，也降低了数据提取失败的概率。
Description
技术领域
本申请涉及数据分析技术领域，特别涉及一种基于整合数据的数据查询方法及装置。
背景技术
目前数据分析使用日益趋近场景化和专业化，但是数据分散在各部门或各系统中，数据形态各异、元数据各异，数据管理环境与分析工具脱节。且各种表关联关系复杂繁琐，因此，直接通过查询语句对各部门或各系统的数据进行提取时，且从海量的数据中提取数据的速率很低，因此，如何提供一种新的数据查询方式，使得被查询的数据更加符合业务需求，进而提升数据提取效率，是一亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种基于整合数据的数据查询方法及装置。
为了解决上述技术问题，本申请的实施例采用了如下技术方案：一种基于整合数据的数据查询方法，包括：
在获取到业务需求时，进行数据采集；
将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；
在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。
本申请的有益效果在于：可以基于业务需求对采集到的数据进行整合，使得整合后的数据能够适配于业务需求，从而在接收到与业务需求相关的查询指令后，可以基于与业务需求适配的整合后的数据响应查询指令，因此，被查询的数据能够适配于查询指令，提升了数据提取效率，也降低了数据提取失败的概率。
在一个实施例中，所述进行数据采集，包括：
从与本地连接的目标数据库中采集数据，其中，所述目标数据库为各个业务系统对应的数据库。
在一个实施例中，从与本地连接的目标数据库中采集数据，包括：
根据各个业务系统的运行特征，确定采集数据的时间节点，所述时间节点为进行数据采集时不影响业务系统运行的时间节点；
根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集。
本实施例的有益效果在于，进行数据采集工作时，会根据各个业务系统的运行特征，选择不影响业务系统运行的时间节点进行采集，从而避免影响各个业务系统运行，进而避免影响各个系统对应的日常业务工作的开展。
在一个实施例中，根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集，包括：
确定本地是否存在采集的数据；
当本地不存在采集的数据时，对所述时间节点对应的目标数据库进行全量数据采集；
当本地存在采集的数据时，对所述时间节点对应的目标数据库采集与本地数据不同的增量数据，并将所述增量数据与本地数据进行合并。
本实施例的有益效果在于，当本地存在采集的数据时，只采集与本地数据不同的增量数据，然后将所述增量数据与本地数据进行合并即可，无需进行全量采集就能得到所有的数据，提升了数据的采集效率。
在一个实施例中，所述方法还包括：
对采集自不同的目标数据库中的数据进行比对；
当比对结果中存在相同的数据时，对所述相同的数据进行去重处理。
本实施例的有益效果在于，不同的目标数据库中，存在相同数据时，对所述相同的数据进行去重处理，从而减少了数据量，节省了存储空间，简化了数据结构，提升了后续查询时的查询效率。
在一个实施例中，所述将采集到的数据进行整合，以使整合后的数据适配于所述业务需求，包括：
提取符合于业务需求的字段所对应的数据，以形成目标数据表；
对所述目标数据表中的数据进行规范化处理；
其中：
所述字段的确定方式，包括：根据对业务需求所包含的意图的解析结果，确定该意图所匹配的字段。
本实施例的有益效果在于，能够对符合业务需求的字段所对应的数据进行自动提取，从而无需人工操作即可确定相应的字段，基于符合业务需求的字段所对应的数据形成目标数据表，并对其进行规范化处理，使得被查询的数据更加规范化，规范化的被查询数据能够进一步提升查询效率。
在一个实施例中，所述对所述目标数据表中的数据进行规范化处理，包括：
将相同类型的数据进行格式转换和/或值转换，以使相同类型的数据的信息统一化。
在一个实施例中，所述对所述目标数据表中的数据进行规范化处理，包括：
获取数据资源管理所涉及的标准信息代码；
将能够通过标准信息代码表征的字段信息全部转换为标准信息代码。
本申请还提供一种基于整合数据的数据查询装置，包括：
采集模块，用于在获取到业务需求时，进行数据采集；
整合模块，用于将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；
响应模块，用于在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。
在一个实施例中，所述采集模块，包括：
采集子模块，用于从与本地连接的目标数据库中采集数据，其中，所述目标数据库为各个业务系统对应的数据库。
在一个实施例中，所述采集子模块，用于：
根据各个业务系统的运行特征，确定采集数据的时间节点，所述时间节点为进行数据采集时不影响业务系统运行的时间节点；
根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集。
在一个实施例中，根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集，包括：
确定本地是否存在采集的数据；
当本地不存在采集的数据时，对所述时间节点对应的目标数据库进行全量数据采集；
当本地存在采集的数据时，对所述时间节点对应的目标数据库采集与本地数据不同的增量数据，并将所述增量数据与本地数据进行合并。
在一个实施例中，所述装置还包括：
比对模块，用于对采集白不同的目标数据库中的数据进行比对；
去重模块，用于当比对结果中存在相同的数据时，对所述相同的数据进行去重处理。
在一个实施例中，所述整合模块，包括：
提取子模块，用于提取符合于业务需求的字段所对应的数据，以形成目标数据表；
处理子模块，用于对所述目标数据表中的数据进行规范化处理；
其中：
所述字段的确定方式，包括：根据对业务需求所包含的意图的解析结果，确定该意图所匹配的字段。
在一个实施例中，所述处理子模块，包括：
将相同类型的数据进行格式转换和/或值转换，以使相同类型的数据的信息统一化。
在一个实施例中，所述处理子模块，包括：
获取数据资源管理所涉及的标准信息代码；
将能够通过标准信息代码表征的字段信息全部转换为标准信息代码。
附图说明
图1为本申请一实施例中一种基于整合数据的数据查询方法的流程图；
图2A为数据整合所涉及的基于元数据表生成整合数据表的示意图；
图2B为本申请另一实施例中一种基于整合数据的数据查询方法的流程图；
图3为本申请一实施例中一种基于整合数据的数据查询装置的框图；
图4为本申请另一实施例中一种基于整合数据的数据查询装置的框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
图1为本申请实施例的一种基于整合数据的数据查询方法的流程图，该方法包括以下步骤S11-S13：
在步骤S11中，在获取到业务需求时，进行数据采集；
在步骤S12中，将采集到的数据进行整合，以使整合后的数据适配于业务需求；
在步骤S13中，在接收到与业务需求相关的查询指令时，通过整合后的数据响应查询指令。
本实施例中，在获取到业务需求时，进行数据采集；具体的，获取业务需求可以是指获取特定数据的需求，例如，母公司巡视组提出查看各子公司汇总数据的需求可以看做是一业务需求。在获取到业务需求之后，采集各业务系统对应的数据库中的数据，各业务系统对应的数据库中都是与本地连接的目标数据库，数据采集工作要根据各个业务系统的运行特点，选择合适的时机，不能影响各个业务系统用户的日常业务工作的开展。
在采集数据之后，将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；
提取符合于业务需求的字段所对应的数据，以形成目标数据表；
对所述目标数据表中的数据进行规范化处理；
其中：
所述字段的确定方式，包括：根据对业务需求所包含的意图的解析结果，确定该意图所匹配的字段。
所述对所述目标数据表中的数据进行规范化处理，包括：
将相同类型的数据进行格式转换和/或值转换，以使相同类型的数据的信息统一化。或者获取数据资源管理所涉及的标准信息代码；将能够通过标准信息代码表征的字段信息全部转换为标准信息代码。
具体的，数据转换的过程包括数据格式转换、信息代码转换和值转换。由于基础数据库的数据来源为业务数据库或者业务集中库，这些数据库当初在建立的过程中并没有考虑到统一数据格式或者信息代码规范，为了保证专题数据库数据的规范和一致，有必要在数据整合过程中对数据进行相应的转换。例如，将人员的出生日期统一为八位的字符日期的转换属于格式转换，将人员的性别数据统一转换为国标性别信息代码为信息代码转换，将人的身份证号统一转换为18位的身份证号为值转换。
汇集整理数据资源管理所需的标准规范信息，建立数据标准数据库。汇集整理资源库所需的信息代码，包括国标、部标和本省定义的标准代码信息，对应用系统自定义的代码进行采集、维护。数据标准主要包含数据元管理、限定词管理、代码项管理、数据项标准管理四项功能。
需要说明的是，统一化或规范化处理过程，仅仅是数据整合的一部分，数据整合的核心是将业务需求所需要的字段合并到同一数据表中，具体如图2A所示，假设业务需求是要获取员工的基本信息，那么，所涉及的字段可能有NAME(姓名)、CARD(身份证号)、SCH(毕业院校)、PRO(专业)、SEX(性别)和TEL(联系方式)等。但是，这些字段没有在同一个表中，例如，“NAME”项目列举有“A、B、C”“CARD”项目列举有“11、22、33”、在左侧的表中，假设其为表I；“SCH”项目列举有“A1、B1、C1”、“PRO”项目列举有“A2、B2、C2”，在中间的表中，假设其为表II；而“SEX”项目列举有“A3、B3和B3”、“TEL”项目列举有“A4、B4、C4”，在右侧的表中，假设其为表III；各表中以“ID”表征统一排序序号。当然，需要说明的是，上述三张表I、II和III中不止包含两个字段，只是为了便于理解，只示出了本示例用到的字段的信息。另外，可以理解的是，图中用于表征具体字段信息A、B、C、A1、B1、11、12、B1、B2等只是示例，并非实际应用过程中的真实字段信息。那么，进一步可以理解的是，性别只有两种，那么，A3、B3和C3中必然是存在相同信息的真实字段信息的，只是为了便于表示，没有示出具体的国标性别信息代码，而是采用A3、B3和C3来表示。
那么，如果通过查询语句查询这些字段信息，就需要分别查询I、II和III三张表，从每一个表中取出对应的字段，这样的查询过程，假设用户信息太多，查询起来会及其耗时，所以可以基于业务需求可能涉及到的字段，对数据进行整合，形成一包含NAME(姓名)、CARD(身份证号)、SCH(毕业院校)、PRO(专业)、SEX(性别)和TEL(联系方式)的字段的一张整合数据表，即图2A最下方的整合数据表，此过程为数据整合的核心过程，在此过程的基础上，进行具体字段对应信息的统一化和标准化。
在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。例如，根据对业务需求进行分析，最终确定要查询的数据为NAME(姓名)、CARD(身份证号)、SCH(毕业院校)和TEL(联系方式)，那么，从这张表中进行查询，必然比从表I、II和III中分别查询要更加迅速，且由于可以对该表进行统一化和规范化，因此，可以进一步提升查询速率。根据上述方案，针对业务处理过程中的切面进行提取，面对处理过程中的某个步骤或阶段提取相关业务数据，根据查询需求与目的进行抽取相关数据并拉取形成新的表结构，将表关联关系拉平提高查询分析效率。
本实施例中，建立元数据(即各个业务系统对应的数据库中的数据)与数据管理关系，通过计划、实施和控制活动，以实现轻松访问高质量的整合的元数据。元数据管理是企业数据治理的基础。通过元数据管理，可以形成系统化数据资产的准确视图，从而精确把握数据、获取数据，将数据转为有价资产。
通过自动化的采集方式，自动调取内部元数据。能够进行映射管理各元数据和表字段关联，从而做到无需手动建立表关联，即可将数据加载入库，从而不需要研发人员进行代码工作介入。
本申请的有益效果在于：可以基于业务需求对采集到的数据进行整合，使得整合后的数据能够适配于业务需求，从而在接收到与业务需求相关的查询指令后，可以基于与业务需求适配的整合后的数据响应查询指令，因此，被查询的数据能够适配于查询指令，提升了数据提取效率，也降低了数据提取失败的概率。
在一个实施例中，上述步骤S11可被实施为如下步骤：
从与本地连接的目标数据库中采集数据，其中，所述目标数据库为各个业务系统对应的数据库。
在一个实施例中，上述从与本地连接的目标数据库中采集数据，可被实施为如下步骤A1-A2：
在步骤A1中，根据各个业务系统的运行特征，确定采集数据的时间节点，所述时间节点为进行数据采集时不影响业务系统运行的时间节点；
在步骤A2中，根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集。
本实施例中，在获取到业务需求之后，采集各业务系统对应的数据库中的数据，各业务系统对应的数据库中都是与本地连接的目标数据库，数据采集工作要根据各个业务系统的运行特点，选择合适的时机，不能影响各个业务系统用户的日常业务工作的开展。因此，本实施例中，可以根据各个业务系统的运行特征，确定采集数据的时间节点，所述时间节点为进行数据采集时不影响业务系统运行的时间节点；根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集。
本实施例的有益效果在于，进行数据采集工作时，会根据各个业务系统的运行特征，选择不影响业务系统运行的时间节点进行采集，从而避免影响各个业务系统运行，进而避免影响各个系统对应的日常业务工作的开展。
在一个实施例中，如图2B所示，上述步骤A2可被实施为如下步骤S21-S23：
在步骤S21中，确定本地是否存在采集的数据；
在步骤S22中，当本地不存在采集的数据时，对时间节点对应的目标数据库进行全量数据采集；
在步骤S23中，当本地存在采集的数据时，对时间节点对应的目标数据库采集与本地数据不同的增量数据，并将增量数据与本地数据进行合并。
本实施例中，确定本地是否存在采集的数据；当本地不存在采集的数据时，对所述时间节点对应的目标数据库进行全量数据采集；当本地存在采集的数据时，对所述时间节点对应的目标数据库采集与本地数据不同的增量数据，并将所述增量数据与本地数据进行合并。
具体的，在采集时，本申请提供增量分离功能，在本地第一次进行数据采集时，本地没有保存各个目标数据库中的数据，因此，需要进行全量采集，而在第一次采集之后的后续各个采集过程中，则可以进行增量采集，例如，第一次采集之后的一周之内进行第二次采集，则可以只采集这一种之内各个目标数据库中的增量信息，并且将这些增量信息与本地数据进行合并。
本实施例的有益效果在于，当本地存在采集的数据时，只采集与本地数据不同的增量数据，然后将所述增量数据与本地数据进行合并即可，无需进行全量采集就能得到所有的数据，提升了数据的采集效率。
在一个实施例中，方法还可被实施为如下步骤B1-B2：
在步骤B1中，对采集白不同的目标数据库中的数据进行比对；
在步骤B2中，当比对结果中存在相同的数据时，对所述相同的数据进行去重处理。
本实施还提供数据比对功能，数据比对可以是对相同目标数据库中的数据进行比对，也可以是对不同目标数据库中的数据进行比对，通常情况下适用于不同目标数据库中数据的比对，比对之后，对相同数据进行去重。具体的，如果存在多条重复数据，只保留其中一条数据的操作即为去重操作。
本实施例的有益效果在于，不同的目标数据库中，存在相同数据时，对所述相同的数据进行去重处理，从而减少了数据量，节省了存储空间，简化了数据结构，提升了后续查询时的查询效率。
在一个实施例中，上述步骤S12可被实施为如下步骤C1-C2：
在步骤C1中，提取符合于业务需求的字段所对应的数据，以形成目标数据表；
在步骤C2中，对所述目标数据表中的数据进行规范化处理；
其中：
所述字段的确定方式，包括：根据对业务需求所包含的意图的解析结果，确定该意图所匹配的字段。
本实施例中，提取符合于业务需求的字段所对应的数据，以形成目标数据表；
其中，所述字段的确定方式包括：根据对业务需求所包含的意图的解析结果，确定该意图所匹配的字段。
例如，业务需求是“所有员工的资料”。
对这个业务需求进行语义分析，就可以确定对应的数据表的表名为“Employeeinformation”，每一个业务系统对应的数据库中都存在这个表，这个表里面的所有字段都是与业务需求所包含的意图匹配的字段。
又例如，业务需求是“所有员工的薪酬情况”。基于语义分析或者预设关键词匹配，就能得到“salary”或者“pay”这样的字段。即“salary”或者“pay”为与业务需求所包含的意图匹配的字段。
当然，业务需求可以是由用户提出的需求，也可以是智能化分析出的需求，例如，通过机器学习算法，结合历史的查询信息，或者通过接口调用，在管理员查询之前，通过历史数据查询记录、运用机器学习算法，智能化预测业务需求，或者智能调取热点数据，调取所需要的数据接口，提前将数据进行整合并推荐展现出来。
对所述目标数据表中的数据进行规范化处理；
由于基础数据库的数据来源为业务数据库或者业务集中库，这些数据库当初在建立的过程中并没有考虑到统一数据格式或者信息代码规范，为了保证专题数据库数据的规范和一致，有必要在数据整合过程中对数据进行相应的规范化处理。具体的规范化处理大体包括格式转换、值转换和代码转换三种形式。
本实施例的有益效果在于，能够对符合业务需求的字段所对应的数据进行自动提取，从而无需人工操作即可确定相应的字段，基于符合业务需求的字段所对应的数据形成目标数据表，并对其进行规范化处理，使得被查询的数据更加规范化，规范化的被查询数据能够进一步提升查询效率。
在一个实施例中，上述步骤C2可被实施为如下步骤：
将相同类型的数据进行格式转换和/或值转换，以使相同类型的数据的信息统一化。
本实施例中，将相同类型的数据进行格式转换和/或值转换，以使相同类型的数据的信息统一化。例如，将人员的出生日期统一为八位的字符日期的转换属于格式转换，将人的身份证号统一转换为18位的身份证号为值转换。
在一个实施例中，上述步骤C2可被实施为如下步骤D1-D2：
在步骤D1中，获取数据资源管理所涉及的标准信息代码；
在步骤D2中，将能够通过标准信息代码表征的字段信息全部转换为标准信息代码。
本实施例中，获取数据资源管理所涉及的标准信息代码；将能够通过标准信息代码表征的字段信息全部转换为标准信息代码。例如，将人员的性别数据统一转换为国标性别信息代码。
另外，需要说明的是，本申请还可以进行可视化即席分析，将加载入库的整合数据进行读取和分析，形成报表和相关的图表，如柱状图、趋势图、流程图、树状图等，这些图形的设计将抽象的概念转化成为可视化信息。使得信息显示更加直观。
图3为本申请实施例的一种基于整合数据的数据查询装置的框图，该装置包括：
采集模块31，用于在获取到业务需求时，进行数据采集；
整合模块32，用于将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；
响应模块33，用于在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。
在一个实施例中，如图4所示，所述采集模块31，包括：
采集子模块41，用于从与本地连接的目标数据库中采集数据，其中，所述目标数据库为各个业务系统对应的数据库。
在一个实施例中，所述采集子模块，用于：
根据各个业务系统的运行特征，确定采集数据的时间节点，所述时间节点为进行数据采集时不影响业务系统运行的时间节点；
根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集。
在一个实施例中，根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集，包括：
确定本地是否存在采集的数据；
当本地不存在采集的数据时，对所述时间节点对应的目标数据库进行全量数据采集；
当本地存在采集的数据时，对所述时间节点对应的目标数据库采集与本地数据不同的增量数据，并将所述增量数据与本地数据进行合并。
在一个实施例中，所述装置还包括：
比对模块，用于对采集自不同的目标数据库中的数据进行比对；
去重模块，用于当比对结果中存在相同的数据时，对所述相同的数据进行去重处理。
在一个实施例中，所述整合模块，包括：
提取子模块，用于提取符合于业务需求的字段所对应的数据，以形成目标数据表；
处理子模块，用于对所述目标数据表中的数据进行规范化处理；
其中：
所述字段的确定方式，包括：根据对业务需求所包含的意图的解析结果，确定该意图所匹配的字段。
在一个实施例中，所述处理子模块，包括：
将相同类型的数据进行格式转换和/或值转换，以使相同类型的数据的信息统一化。
在一个实施例中，所述处理子模块，包括：
获取数据资源管理所涉及的标准信息代码；
将能够通过标准信息代码表征的字段信息全部转换为标准信息代码。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种基于整合数据的数据查询方法，其特征在于，包括：
在获取到业务需求时，进行数据采集；
将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；
在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。
2.如权利要求1所述的方法，其特征在于，所述进行数据采集，包括：
从与本地连接的目标数据库中采集数据，其中，所述目标数据库为各个业务系统对应的数据库。
3.如权利要求2所述的方法，其特征在于，从与本地连接的目标数据库中采集数据，包括：
根据各个业务系统的运行特征，确定采集数据的时间节点，所述时间节点为进行数据采集时不影响业务系统运行的时间节点；
根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集。
4.如权利要求3所述的方法，其特征在于，根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集，包括：
确定本地是否存在采集的数据；
当本地不存在采集的数据时，对所述时间节点对应的目标数据库进行全量数据采集；
当本地存在采集的数据时，对所述时间节点对应的目标数据库采集与本地数据不同的增量数据，并将所述增量数据与本地数据进行合并。
5.如权利要求2所述的方法，其特征在于，所述方法还包括：
对采集自不同的目标数据库中的数据进行比对；
当比对结果中存在相同的数据时，对所述相同的数据进行去重处理。
6.如权利要求1所述的方法，其特征在于，所述将采集到的数据进行整合，以使整合后的数据适配于所述业务需求，包括：
提取符合于业务需求的字段所对应的数据，以形成目标数据表；
对所述目标数据表中的数据进行规范化处理；
其中：
所述字段的确定方式，包括：根据对业务需求所包含的意图的解析结果，确定该意图所匹配的字段。
7.如权利要求6所述的方法，其特征在于，所述对所述目标数据表中的数据进行规范化处理，包括：
将相同类型的数据进行格式转换和/或值转换，以使相同类型的数据的信息统一化。
8.如权利要求6所述的方法，其特征在于，所述对所述目标数据表中的数据进行规范化处理，包括：
获取数据资源管理所涉及的标准信息代码；
将能够通过标准信息代码表征的字段信息全部转换为标准信息代码。
9.一种基于整合数据的数据查询装置，其特征在于，包括：
采集模块，用于在获取到业务需求时，进行数据采集；
整合模块，用于将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；
响应模块，用于在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。
10.如权利要求9所述的装置，其特征在于，所述采集模块，包括：
采集子模块，用于从与本地连接的目标数据库中采集数据，其中，所述目标数据库为各个业务系统对应的数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010982904.4A CN112069215A (zh) | 2020-09-17 | 2020-09-17 | 一种基于整合数据的数据查询方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010982904.4A CN112069215A (zh) | 2020-09-17 | 2020-09-17 | 一种基于整合数据的数据查询方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112069215A true CN112069215A (zh) | 2020-12-11 |
Family
ID=73681076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010982904.4A Pending CN112069215A (zh) | 2020-09-17 | 2020-09-17 | 一种基于整合数据的数据查询方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112069215A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996589B1 (en) * | 2002-01-16 | 2006-02-07 | Convergys Cmg Utah, Inc. | System and method for database conversion |
| CN101694665A (zh) * | 2009-10-27 | 2010-04-14 | 中兴通讯股份有限公司 | 一种异构数据源数据查询方法及装置 |
| CN103136335A (zh) * | 2013-01-31 | 2013-06-05 | 北京千分点信息科技有限公司 | 一种基于数据平台的数据控制方法 |
| CN105302917A (zh) * | 2015-11-19 | 2016-02-03 | 中国建设银行股份有限公司 | 应用于电子商务平台的数据处理系统及数据处理方法 |
| CN105574657A (zh) * | 2015-12-11 | 2016-05-11 | 山东新网格信息技术有限公司 | 智能警务实战综合应用平台 |
| CN105574660A (zh) * | 2015-12-15 | 2016-05-11 | 四川长虹电器股份有限公司 | 供应商评价分析系统 |
| CN106294498A (zh) * | 2015-06-09 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和设备 |
| CN107832463A (zh) * | 2017-11-28 | 2018-03-23 | 中国银行股份有限公司 | 一种金融数据服务平台 |
| CN108197297A (zh) * | 2018-01-23 | 2018-06-22 | 正方软件股份有限公司 | 数据展示方法及系统 |
-
2020
- 2020-09-17 CN CN202010982904.4A patent/CN112069215A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996589B1 (en) * | 2002-01-16 | 2006-02-07 | Convergys Cmg Utah, Inc. | System and method for database conversion |
| CN101694665A (zh) * | 2009-10-27 | 2010-04-14 | 中兴通讯股份有限公司 | 一种异构数据源数据查询方法及装置 |
| CN103136335A (zh) * | 2013-01-31 | 2013-06-05 | 北京千分点信息科技有限公司 | 一种基于数据平台的数据控制方法 |
| CN106294498A (zh) * | 2015-06-09 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和设备 |
| CN105302917A (zh) * | 2015-11-19 | 2016-02-03 | 中国建设银行股份有限公司 | 应用于电子商务平台的数据处理系统及数据处理方法 |
| CN105574657A (zh) * | 2015-12-11 | 2016-05-11 | 山东新网格信息技术有限公司 | 智能警务实战综合应用平台 |
| CN105574660A (zh) * | 2015-12-15 | 2016-05-11 | 四川长虹电器股份有限公司 | 供应商评价分析系统 |
| CN107832463A (zh) * | 2017-11-28 | 2018-03-23 | 中国银行股份有限公司 | 一种金融数据服务平台 |
| CN108197297A (zh) * | 2018-01-23 | 2018-06-22 | 正方软件股份有限公司 | 数据展示方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭晓英等: "遥感影像数据的规范化处理和时空尺度整合", 遥感信息, 30 September 2004 (2004-09-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10860548B2 (en) | Generating and reusing transformations for evolving schema mapping | |
| CN102262640A (zh) | 一种全文检索文档数据库的方法及装置 | |
| US20050223032A1 (en) | Loading data from a vertical database table into a horizontal database table | |
| CN103605651A (zh) | 一种基于olap多维分析的数据处理展现方法 | |
| CN112965979B (zh) | 一种用户行为分析方法、装置及电子设备 | |
| US7860903B2 (en) | Techniques for generic data extraction | |
| CN111737335B (zh) | 产品信息集成处理方法、装置、计算机设备和存储介质 | |
| CN110413708B (zh) | 一种面向业务术语的数据分析系统 | |
| CN112672370A (zh) | 网元指标数据的自动检测方法及系统、设备和存储介质 | |
| CN112328805A (zh) | 基于nlp的漏洞描述信息与数据库表的实体映射方法 | |
| EP1510935A1 (en) | Mapping a data from a data warehouse to a data mart | |
| CN115130847A (zh) | 一种设备画像建模方法及系统 | |
| CN110705297A (zh) | 一种企业曾用名识别方法、系统、介质及设备 | |
| CN111143370A (zh) | 用于分析多个数据表之间关系的方法、设备和计算机可读存储介质 | |
| CN113901037A (zh) | 数据管理方法、装置及存储介质 | |
| CN113673889A (zh) | 一种智能化数据资产识别的方法 | |
| CN112420172A (zh) | 一种医学影像信息管理系统 | |
| CN116484084B (zh) | 基于应用信息挖掘的元数据血缘分析方法、介质及系统 | |
| CN112200212A (zh) | 一种基于人工智能的企业物资分类目录构建方法 | |
| CN112069215A (zh) | 一种基于整合数据的数据查询方法及装置 | |
| CN117076692A (zh) | 一种档案在线管理方法及系统 | |
| US8793268B1 (en) | Smart key access and utilization to optimize data warehouse performance | |
| CN116089417A (zh) | 信息获取方法、装置、存储介质及计算机设备 | |
| CN115510289A (zh) | 一种数据立方体配置方法、装置、电子设备及存储介质 | |
| CN112988730A (zh) | 一种基于企业数据盘点的元数据采集方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |