CN117271562B - 一种数据采集处理方法及系统 - Google Patents

一种数据采集处理方法及系统 Download PDF

Info

Publication number
CN117271562B
CN117271562B CN202311552052.5A CN202311552052A CN117271562B CN 117271562 B CN117271562 B CN 117271562B CN 202311552052 A CN202311552052 A CN 202311552052A CN 117271562 B CN117271562 B CN 117271562B
Authority
CN
China
Prior art keywords
data acquisition
data
data table
user
acquisition request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311552052.5A
Other languages
English (en)
Other versions
CN117271562A (zh
Inventor
冯占军
兰玉雄
何鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingya Chengdu Science And Technology Co ltd
Original Assignee
Lingya Chengdu Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingya Chengdu Science And Technology Co ltd filed Critical Lingya Chengdu Science And Technology Co ltd
Priority to CN202311552052.5A priority Critical patent/CN117271562B/zh
Publication of CN117271562A publication Critical patent/CN117271562A/zh
Application granted granted Critical
Publication of CN117271562B publication Critical patent/CN117271562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2423—Interactive query statement specification based on a database schema
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据采集处理方法及系统，涉及数据采集处理技术领域，本发明通过根据用户数据采集请求调取相似的预设数据采集请求，从而获取多个第一SQL语句组成的SQL语句集，以及与SQL语句集对应的多个数据表组成的数据表集供用户选择，在得到用户的选择结果后，返回到后端对SQL语句与预设数据采集请求的第一映射关系进行优化，无需用户进行SQL语句编写即可满足数据采集处理需求，能够更高效地进行数据采集处理，且还能够根据用户选择结果完善SQL语句与预设数据采集请求的映射关系，智能化程度高。

Description

一种数据采集处理方法及系统
技术领域
本发明涉及数据采集处理技术领域，具体涉及一种数据采集处理方法及系统。
背景技术
在大数据领域针对于不同存储介质、不同频次的数据采集有许多技术方案。一些方案中根据不同的数据采取场景构建稳定的单独的数据采集系统，一个典型的例子是实时日志数据的采集。一些方案中通过编写数据采集脚本由任务调度系统管理数据采集任务，典型的例子是数据库数据同步，文件采集。此外还有一些方案中采用第三方工具针对不同场景采用不同组件与大数据集群进行对接，现如今的数据采集系统中，用户需要通过待采集的数据内容编写SQL语句作为第三方工具，这样的采集方式需要依靠依赖采集方的语句编写能力，采集难度高。
发明内容
针对现有技术中的上述问题，本发明提供了一种数据采集处理方法及系统，能够在高效进行数据采集处理，且还能够根据用户选择结果完善SQL语句与预设数据采集请求的映射关系，智能化程度高。
为了达到上述发明目的，本发明采用的技术方案如下：
一方面，提供一种数据采集处理方法，包括以下步骤：
预先对数据表进行统一化处理，根据预设数据采集请求生成第一SQL语句，经所述预设数据采集请求与所述第一SQL语句进行映射，得到第一映射关系，并根据SQL语句请求调取对应的数据表，将根据第一SQL语句与所述数据表进行映射，得到第二映射关系；
响应于用户数据采集请求，调取相似度高于第一阈值的多个预设数据采集请求，并根据第一映射关系得到多个第一SQL语句组成的SQL语句集，再根据SQL语句集与第二映射关系得到多个数据表组成的数据表集，并将数据表集发送给用户；
获取用户在数据表集中所选择的字段，根据所述数据表集和所述字段生成第二SQL语句，根据所述第二SQL语句优化第一映射关系。
作为优选地，获取用户在数据表集中所选择的字段，根据所述数据表集和所述字段生成第二SQL语句时，还包括以下步骤：
获取用户在数据表集中所选择的字段；
识别所述字段的数据类型；
根据所述数据类型配置筛选条件；
根据所述数据表集、所述字段以及所述筛选条件生成SQL语句。
作为优选地，响应于用户数据采集请求时，还包括以下步骤：
步骤a：根据预设数据采集请求对用户数据采集请求进行需求分析；
步骤b：若存在有相似度高于第一阈值的预设数据采集请求，则调取所述预设数据采集请求；
步骤c：若有相似度低于第一阈值但高于第二阈值的预设数据采集请求，则对用户数据采集请求进行填补，填补后返回步骤a。
步骤d：若无相似度高于第二阈值的预设数据采集请求，则将所述用户数据采集请求标记为错误请求，返回至用户端。
作为优选地，所述对用户数据采集请求进行填补时可采用均值插补、利用同类均值插补、极大似然估计、多重插补中的一个或多个缺失值填补方法。
作为优选地，根据SQL语句集与第二映射关系得到数据表集时，具体包括以下步骤：
对所述SQL语句集中的SQL语句进行一一解析，获得多个解析结果，任一所述解析结果包括每个所述字段对应的目标数据所在预设数据表的表名以及每个所述字段对应的目标数据的数据类型；
基于所述解析结果、所述数据表集以及所述筛选条件从所述预设数据表中采集所述目标数据，得到执行结果。
作为优选地，预先对数据表进行统一化处理时，具体包括以下步骤：
对数据表的不同数据采集场景进行统一的数据准备处理；
采用统一的数据采集通道架构流转数据表。
第二方面，提供一种数据采集处理系统，包括如下内容：
统一化模块：所述统一化模块用于对数据表进行统一化处理；
映射模块：所述映射模块用于将数据采集请求与第一SQL语句进行映射，得到第一映射关系；所述映射模块用于将第一SQL语句与数据表进行映射，得到第二映射关系。
获取模块：所述获取模块用于获取用户数据采集请求。
比对模块：所述比对模块用于将用户数据采集请求与预设数据采集请求进行比对。
SQL语句生成模块：所述SQL语句生成模块用于根据用户在数据表集中所选择的字段和所述数据表集生成SQL语句。
作为优选地，还包括存储模块，所述存储模块中存储有数据表和预设数据采集请求。
第三方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述数据采集处理方法。
第四方面，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述数据采集处理方法。
本发明的有益效果为：本发明通过根据用户数据采集请求调取相似的预设数据采集请求，从而获取多个第一SQL语句组成的SQL语句集，以及与SQL语句集对应的多个数据表组成的数据表集供用户选择，在得到用户的选择结果后，返回到后端对SQL语句与预设数据采集请求的第一映射关系进行优化，无需用户进行SQL语句编写即可满足数据采集处理需求，能够在高效进行数据采集处理，且还能够根据用户选择结果完善SQL语句与预设数据采集请求的映射关系，智能化程度高。
附图说明
图1为本发明提供的一种数据采集处理方法的流程图；
图2为本发明提供的一种数据采集处理方法中根据SQL语句集与第二映射关系得到数据表集时的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该数据采集处理方法，包括以下步骤：
预先对数据表进行统一化处理，根据预设数据采集请求生成第一SQL语句，经所述预设数据采集请求与所述第一SQL语句进行映射，得到第一映射关系，并根据SQL语句请求调取对应的数据表，将根据第一SQL语句与所述数据表进行映射，得到第二映射关系；
响应于用户数据采集请求，调取相似度高于第一阈值的多个预设数据采集请求，并根据第一映射关系得到多个第一SQL语句组成的SQL语句集，再根据SQL语句集与第二映射关系得到多个数据表组成的数据表集，并将数据表集发送给用户；
获取用户在数据表集中所选择的字段，根据所述数据表集和所述字段生成第二SQL语句，根据所述第二SQL语句优化第一映射关系。
在本方案中，通过根据用户数据采集请求调取相似的预设数据采集请求，从而获取多个第一SQL语句组成的SQL语句集，以及与SQL语句集对应的多个数据表组成的数据表集供用户选择，在得到用户的选择结果后，返回到后端对SQL语句与预设数据采集请求的第一映射关系进行优化，无需用户进行SQL语句编写即可满足数据采集处理需求，能够在高效进行数据采集处理，且还能够根据用户选择结果完善SQL语句与预设数据采集请求的映射关系，智能化程度高；
此处优化的具体步骤包括更改SQL语句与预设数据采集请求的映射关系，增加预设数据采集请求与SQL语句。
更为具体的，获取用户在数据表集中所选择的字段，根据所述数据表集和所述字段生成第二SQL语句时，还包括以下步骤：
获取用户在数据表集中所选择的字段；
识别所述字段的数据类型；
根据所述数据类型配置筛选条件；
根据所述数据表集、所述字段以及所述筛选条件生成SQL语句。
筛选条件为预设条件，可以是用户设置，也可以是计算机默认设置，例如表1中的f1字段的数据类型为数字，则筛选条件配置为表1中的f1字段大于预设值，表2中的f2字段的数据类型为字符串，则筛选条件配置为表2中的f2字段不为空，表3中的f3字段的数据类型为时间，则筛选条件配置为表3中的f3字段的格式为年/月/日。
更为具体的，响应于用户数据采集请求时，还包括以下步骤：
步骤a：根据预设数据采集请求对用户数据采集请求进行需求分析；
步骤b：若存在有相似度高于第一阈值的预设数据采集请求，则调取所述预设数据采集请求；
步骤c：若有相似度低于第一阈值但高于第二阈值的预设数据采集请求，则对用户数据采集请求进行填补，填补后返回步骤a。
步骤d：若无相似度高于第二阈值的预设数据采集请求，则将所述用户数据采集请求标记为错误请求，返回至用户端。
此处第一阈值为：预设数据采集请求与用户数据采集请求相似度大于或等于90%；此处第一阈值为：预设数据采集请求与用户数据采集请求相似度大于或等于70%。
更为具体的，所述对用户数据采集请求进行填补时可采用均值插补、利用同类均值插补、极大似然估计、多重插补中的一个或多个缺失值填补方法。
根据用户数据采集请求的不同情况，可以选用不同的缺失值填补方法，均值插补与利用同类均值插补两种方法适宜于缺失值的类型为随机缺失的情况，极大似然估计和多重插补对用户数据采集请求干扰小，当插补后的值作为解释变量进行回归时，参数的估计值与真实值的偏差较小。
如图2所示，更为具体的，根据SQL语句集与第二映射关系得到数据表集时，具体包括以下步骤：
对所述SQL语句集中的SQL语句进行一一解析，获得多个解析结果，任一解析结果包括每个所述字段对应的目标数据所在预设数据表的表名以及每个所述字段对应的目标数据的数据类型；
基于所述解析结果、所述数据表集以及所述筛选条件从所述预设数据表中采集所述目标数据，得到执行结果。
对解析结果进行筛选处理，减少数据预览处理量，从而提高数据采集效率。
更为具体的，预先对数据表进行统一化处理时，具体包括以下步骤：
对数据表的不同数据采集场景进行统一的数据准备处理；
采用统一的数据采集通道架构流转数据表。
通过对数据表的数据采集场景与数据采集通道架构进行统一化处理，避免由不同的数据采集形式导致的任务部署分散问题，提升数据采集处理的效率。
第二方面，提供一种数据采集处理系统，包括如下内容：
统一化模块：所述统一化模块用于对数据表进行统一化处理；
映射模块：所述映射模块用于将数据采集请求与第一SQL语句进行映射，得到第一映射关系；所述映射模块用于将第一SQL语句与数据表进行映射，得到第二映射关系。
获取模块：所述获取模块用于获取用户数据采集请求。
比对模块：所述比对模块用于将用户数据采集请求与预设数据采集请求进行比对。
SQL语句生成模块：所述SQL语句生成模块用于根据用户在数据表集中所选择的字段和所述数据表集生成SQL语句。
可以理解的是，本发明提供的一种数据采集处理系统与前述各实施例提供的一种数据采集处理方法相对应，一种数据采集处理系统的相关技术特征可参考一种数据采集处理方法的相关技术特征，在此不再赘述。
更为具体的，还包括存储模块，所述存储模块中存储有数据表和预设数据采集请求。
在实施例三中，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述数据采集处理方法。
其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器、软盘驱动器、固态驱动器、闪存、光盘、磁光盘、磁带或通用串行总线驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性存储器。在特定实施例中，存储器包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programable Read-Only Memory，简称为PROM）、可擦除PROM、电可擦除PROM、电可改写ROM或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器、扩展数据输出动态随机存取存储器、同步动态随机存取内存等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种数据采集处理方法。
在实施例四中，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述数据采集处理方法。
所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器、磁性存储器、磁盘、光盘等。所述可读存储介质在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述可读存储介质在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡、安全数字卡、闪存卡等。可读存储介质还可以既包括电子设备的内部存储单元也包括外部存储设备。可读存储介质不仅可以用于存储安装于电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域内的技术人员应明白，尽管已经描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性的概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围内的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求机器等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据采集处理方法，其特征在于，包括以下步骤：
预先对数据表进行统一化处理，根据预设数据采集请求生成第一SQL语句，经所述预设数据采集请求与所述第一SQL语句进行映射，得到第一映射关系，并根据SQL语句请求调取对应的数据表，将根据第一SQL语句与所述数据表进行映射，得到第二映射关系；
响应于用户数据采集请求，调取相似度高于第一阈值的多个预设数据采集请求，并根据第一映射关系得到多个第一SQL语句组成的SQL语句集，再根据SQL语句集与第二映射关系得到多个数据表组成的数据表集，并将数据表集发送给用户；
获取用户在数据表集中所选择的字段，根据所述数据表集和所述字段生成第二SQL语句，根据所述第二SQL语句优化第一映射关系。
2.根据权利要求1所述的数据采集处理方法，其特征在于，获取用户在数据表集中所选择的字段，根据所述数据表集和所述字段生成第二SQL语句时，还包括以下步骤：
获取用户在数据表集中所选择的字段；
识别所述字段的数据类型；
根据所述数据类型配置筛选条件；
根据所述数据表集、所述字段以及所述筛选条件生成SQL语句。
3.根据权利要求1所述的数据采集处理方法，其特征在于，响应于用户数据采集请求时，还包括以下步骤：
步骤a：根据预设数据采集请求对用户数据采集请求进行需求分析；
步骤b：若存在有相似度高于第一阈值的预设数据采集请求，则调取所述预设数据采集请求；
步骤c：若有相似度低于第一阈值但高于第二阈值的预设数据采集请求，则对用户数据采集请求进行填补，填补后返回步骤a；
步骤d：若无相似度高于第二阈值的预设数据采集请求，则将所述用户数据采集请求标记为错误请求，返回至用户端。
4.根据权利要求3所述的数据采集处理方法，其特征在于，所述对用户数据采集请求进行填补时采用均值插补、利用同类均值插补、极大似然估计、多重插补中的一个或多个缺失值填补方法。
5.根据权利要求2所述的数据采集处理方法，其特征在于，根据SQL语句集与第二映射关系得到数据表集时，具体包括以下步骤：
对所述SQL语句集中的SQL语句进行一一解析，获得多个解析结果，任一所述解析结果包括每个所述字段对应的目标数据所在预设数据表的表名以及每个所述字段对应的目标数据的数据类型；
基于所述解析结果、所述数据表集以及所述筛选条件从所述预设数据表中采集所述目标数据，得到执行结果。
6.根据权利要求1所述的数据采集处理方法，其特征在于，预先对数据表进行统一化处理时，具体包括以下步骤：
对数据表的不同数据采集场景进行统一的数据准备处理；
采用统一的数据采集通道架构流转数据表。
7.一种数据采集处理系统，所述系统用于权利要求1~6任一所述的数据采集处理方法，其特征在于，包括如下内容：
统一化模块：所述统一化模块用于对数据表进行统一化处理；
映射模块：所述映射模块用于将数据采集请求与第一SQL语句进行映射，得到第一映射关系；所述映射模块用于将第一SQL语句与数据表进行映射，得到第二映射关系；
获取模块：所述获取模块用于获取用户数据采集请求；
比对模块：所述比对模块用于将用户数据采集请求与预设数据采集请求进行比对；
SQL语句生成模块：所述SQL语句生成模块用于根据用户在数据表集中所选择的字段和所述数据表集生成SQL语句。
8.根据权利要求7所述的数据采集处理系统，其特征在于，还包括存储模块，所述存储模块中存储有数据表和预设数据采集请求。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述数据采集处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据采集处理方法。
CN202311552052.5A 2023-11-21 2023-11-21 一种数据采集处理方法及系统 Active CN117271562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311552052.5A CN117271562B (zh) 2023-11-21 2023-11-21 一种数据采集处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311552052.5A CN117271562B (zh) 2023-11-21 2023-11-21 一种数据采集处理方法及系统

Publications (2)

Publication Number Publication Date
CN117271562A CN117271562A (zh) 2023-12-22
CN117271562B true CN117271562B (zh) 2024-01-19

Family

ID=89221908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311552052.5A Active CN117271562B (zh) 2023-11-21 2023-11-21 一种数据采集处理方法及系统

Country Status (1)

Country Link
CN (1) CN117271562B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064933A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 数据查询方法及系统
CN103425780A (zh) * 2013-08-19 2013-12-04 曙光信息产业股份有限公司 一种数据的查询方法和装置
CN104281700A (zh) * 2014-10-16 2015-01-14 北京国双科技有限公司 网站查询收集方法和装置
CA2926931A1 (en) * 2015-08-18 2017-02-18 Fiserv, Inc. Generating integrated data records by correlating source data records from disparate data sources
CN106503058A (zh) * 2016-09-27 2017-03-15 华为技术有限公司 一种数据加载方法、终端和计算集群
CN106846142A (zh) * 2015-12-07 2017-06-13 腾讯科技（深圳）有限公司 一种信息处理方法及服务器
CN108614842A (zh) * 2016-12-13 2018-10-02 北京国双科技有限公司 查询数据的方法和装置
CN109344336A (zh) * 2018-12-25 2019-02-15 北京时光荏苒科技有限公司 搜索方法、搜索集生成方法、装置、介质、终端及服务器
CN111930777A (zh) * 2020-10-09 2020-11-13 武汉中科通达高新技术股份有限公司 查询界面生成方法、装置、服务器及计算机可读存储介质
CN113590650A (zh) * 2021-08-04 2021-11-02 中国工商银行股份有限公司 基于特征表达式的结构化查询语句甄别方法及装置
CN114860693A (zh) * 2022-05-30 2022-08-05 北京方胜有成科技股份有限公司 一种智能终端结构化数据管理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140108445A1 (en) * 2011-05-05 2014-04-17 Google Inc. System and Method for Personalizing Query Suggestions Based on User Interest Profile
US11106679B2 (en) * 2019-10-30 2021-08-31 Ocient Holdings LLC Enforcement of sets of query rules for access to data supplied by a plurality of data providers

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064933A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 数据查询方法及系统
CN103425780A (zh) * 2013-08-19 2013-12-04 曙光信息产业股份有限公司 一种数据的查询方法和装置
CN104281700A (zh) * 2014-10-16 2015-01-14 北京国双科技有限公司 网站查询收集方法和装置
CA2926931A1 (en) * 2015-08-18 2017-02-18 Fiserv, Inc. Generating integrated data records by correlating source data records from disparate data sources
CN106846142A (zh) * 2015-12-07 2017-06-13 腾讯科技（深圳）有限公司 一种信息处理方法及服务器
CN106503058A (zh) * 2016-09-27 2017-03-15 华为技术有限公司 一种数据加载方法、终端和计算集群
CN108614842A (zh) * 2016-12-13 2018-10-02 北京国双科技有限公司 查询数据的方法和装置
CN109344336A (zh) * 2018-12-25 2019-02-15 北京时光荏苒科技有限公司 搜索方法、搜索集生成方法、装置、介质、终端及服务器
CN111930777A (zh) * 2020-10-09 2020-11-13 武汉中科通达高新技术股份有限公司 查询界面生成方法、装置、服务器及计算机可读存储介质
CN113590650A (zh) * 2021-08-04 2021-11-02 中国工商银行股份有限公司 基于特征表达式的结构化查询语句甄别方法及装置
CN114860693A (zh) * 2022-05-30 2022-08-05 北京方胜有成科技股份有限公司 一种智能终端结构化数据管理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Uniform data access platform for SQL and NoSQL database systems;Ágnes Vathy-Fogarassy 等;《Information Systems》;第69卷;93-105 *
基于日志数据的临床数据采集算法研究与原型实现;朱远燕 等;《智慧健康》;第1卷(第02期);22-27 *
联合收获机知识库数据多表联合查询方法研究;刘宏新 等;《农业机械学报》;第54卷(第05期);150-162 *

Also Published As

Publication number Publication date
CN117271562A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110175157B (zh) 一种列存储文件的查询方法及查询装置
WO2019105420A1 (zh) 数据查询
CN107391544B (zh) 列式存储数据的处理方法、装置、设备及计算机储存介质
CN111061758B (zh) 数据存储方法、装置及存储介质
WO2017161540A1 (zh) 数据查询的方法、数据对象的存储方法和数据系统
CN101763433B (zh) 一种数据存储系统及方法
CN113111038B (zh) 文件存储方法、装置、服务器及存储介质
CN111008246A (zh) 数据库日志同步方法、装置、计算机设备及可读存储介质
CN112650753A (zh) 一种日志管理方法、装置、系统、设备及可读存储介质
CN111858730A (zh) 一种图数据库的数据导入导出装置、方法、设备及介质
CN112965939A (zh) 一种文件合并方法、装置和设备
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN111897828A (zh) 数据批处理实现方法、装置、设备及存储介质
CN117271562B (zh) 一种数据采集处理方法及系统
CN109522281A (zh) 一种分布式文件系统数据快速拷贝的方法
CN111752941B (zh) 一种数据存储、访问方法、装置、服务器及存储介质
CN116303278A (zh) 文件合并方法、文件读取方法、装置、设备及存储介质
CN107391708B (zh) 一种存储系统中性能统计文件存储的方法及装置
CN104750846A (zh) 一种子串查找方法及装置
CN106446080B (zh) 数据查询的方法、查询服务设备、客户端设备和数据系统
WO2017028718A1 (zh) 数据读取方法和装置
US20130198138A1 (en) Model for capturing audit trail data with reduced probability of loss of critical data
CN105095511A (zh) 一种基于分布式系统的文件处理方法、装置及系统
CN109284260B (zh) 大数据文件读取方法、装置、计算机设备及存储介质
CN109063201B (zh) 一种基于混合存储方案的impala在线交互式查询方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant