CN112416964A - 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质 - Google Patents

一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112416964A
CN112416964A CN202011287207.3A CN202011287207A CN112416964A CN 112416964 A CN112416964 A CN 112416964A CN 202011287207 A CN202011287207 A CN 202011287207A CN 112416964 A CN112416964 A CN 112416964A
Authority
CN
China
Prior art keywords
data
user
query
sql
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011287207.3A
Other languages
English (en)
Inventor
李阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yishi Huolala Technology Co Ltd
Original Assignee
Shenzhen Yishi Huolala Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yishi Huolala Technology Co Ltd filed Critical Shenzhen Yishi Huolala Technology Co Ltd
Priority to CN202011287207.3A priority Critical patent/CN112416964A/zh
Publication of CN112416964A publication Critical patent/CN112416964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2423—Interactive query statement specification based on a database schema
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质，移动终端通过用户界面，接收用户输入的请求数据；接收服务器发送的查询数据。服务器接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；根据所述API请求，获取用户的基本信息并认证所述基本信息；提取所述API请求中的存储引擎和SQL语句；将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。本实施例实现界面化的可配置的数据查询方案，单一SQL化的数据查询服务,支持多种存储引擎,可以根据存储引擎的不同，选择对应的SQL解析器在存储引擎上查询数据。

Description

一种数据处理的方法、装置、系统、计算机设备及计算机可读 存储介质
技术领域
本申请实施例涉及数据处理的视频领域，尤其涉及一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质。
背景技术
随着大数据行业的快速发展，数据的采集和计算已经有相当成熟的解决方案，但是数据的输出，由于受到大数据多组件、多技术使用的影响，并没有统一并且有效的办法。另外，传统的接口调用使用场景单一，很难做到接口的重复使用，还要不断的对接口进行维护和升级，随着需求的不断增多，接口的数据会越来越多，很大程度的增加了开发和维护的成本。
本发明人发现，在数据的输出中，针对特定的需要进行专门的查询接口开发，开发成本大；支持的存储引擎单一，一般情况下一个接口只能查询一种存储引擎里面的数据；查询接口不够灵活，不能做到接口的重复使用；对开发者来说，要了解对应存储引擎的使用场景以及高效的查询方式，学习成本高，开发周期长；接口查询参数单一，接口扩展性差；查询返回结果的数据量难以控制，在大数据量查询的过程中，影响服务的性能。
发明内容
本申请实施例的目的是提供一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质，旨在解决数据查询复杂的问题。
本申请实施例的一个方面提供了一种数据处理的方法，所述方法包括：
通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；
接收服务器发送的查询数据。
本申请实施例的一个方面提供了一种数据处理的方法，所述方法包括：
接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；
根据所述API请求，获取用户的基本信息并认证所述基本信息；
提取所述API请求中的存储引擎和SQL语句；
将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
本申请实施例的一个方面提供了一种数据处理的装置，所述装置包括：
第一接收模块，用于通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；
第二接收模块，用于接收服务器发送的查询数据。
本申请实施例的一个方面提供了一种数据处理的装置，所述装置包括：
生成模块，用于接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；
认证模块，用于根据所述API请求，获取用户的基本信息并认证所述基本信息；
提取模块，用于提取所述API请求中的存储引擎和SQL语句；
返回模块，用于将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
本申请实施例的一个方面又提供了一种数据处理的系统，包括：
移动终端，用于通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；接收服务器发送的查询数据；
服务器，用于接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；根据所述API请求，获取用户的基本信息并认证所述基本信息；提取所述API请求中的存储引擎和SQL语句；将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
本申请实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例提供的一种数据处理的方法、装置系统、计算机设备及计算机可读存储介质，移动终端通过用户界面，接收用户输入的请求数据；接收服务器发送的查询数据。服务器接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；根据所述API请求，获取用户的基本信息并认证所述基本信息；提取所述API请求中的存储引擎和SQL语句；将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。本实施例实现界面化的可配置的数据查询方案，单一SQL化的数据查询服务,支持多种存储引擎,可以根据存储引擎的不同，选择对应的SQL解析器在存储引擎上查询数据。
附图说明
图1示意性示出了根据本申请实施例的数据处理的方法的应用环境图；
图2示意性示出了根据本申请实施例一的数据处理的方法的流程图；
图3示意性示出了根据本申请实施例二的数据处理的方法的另一流程图；
图4示意性示出了根据本申请实施例三的数据处理的装置400的结构示意图；
图5示意性示出了根据本申请实施例四的数据处理的装置500的结构示意图；
图6示意性示出了根据本申请实施例五的适于实现数据处理的方法的计算机设备的硬件架构示意图；
图7示意性示出了根据本申请实施例七的数据处理的系统的结构示意图；
图8示意性示出了根据本申请实施例八的数据处理的系统的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1示意性示出了根据本申请实施例的环境应用示意图。
用户端11可以通过服务器12连接多个移动终端13。用户端11接收用户输入的关键词，服务器12根据用户输入的关键词，解析成SQL并生成API，并在不同的存储引擎中执行API中的SQL语句。服务器12将检索到的信息发送给移动终端13。移动终端13与用户端11可以为同一个设备，也可以为不同的设备。
用户端11、服务器12以及移动终端13之间，都是通过网络来连接的。网络包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或类似。网络可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，其组合等。网络可以包括无线链路，诸如蜂窝链路，卫星链路，Wi-Fi链路等。
多个移动终端13可以被配置为接收服务器12的内容和服务。多个移动终端13可以包括任何类型的电子设备，诸如移动设备、平板设备、膝上型计算机、工作站、虚拟现实设备，游戏设备、机顶盒、数字流媒体设备、车辆终端、智能电视、机顶盒等。
多个移动终端13可以与一个或多个用户相关联。单个用户可以使用多个移动终端13中的一个或多个来访问服务器12。
实施例一
图2示意性示出了根据本申请实施例一的数据处理的方法的流程图。可以理解，本方法实施例可以被执行在移动终端13中，且本方法实施例的流程图不用于对执行步骤的顺序进行限定。
如图2所示，该数据处理的方法可以包括步骤S200～S202，其中：
步骤S200，通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；
步骤S202，接收服务器发送的查询数据。
用户端11接收用户输入的关键词，服务器12根据用户输入的关键词，解析成SQL并生成API，并在不同的存储引擎中执行API中的SQL语句。服务器12将检索到的信息发送给移动终端13。移动终端13与用户端11可以为同一个设备，也可以为不同的设备。
示例性的，用户界面是数据使用方在界面上配置自己所需要数据需求，主要包括：
1、指定存储引擎；
2、指定数据所在的库、表信息；
3、设置查询条件，返回字段和返回数据记录数；
4、选定数据查询的频率每秒查询次数(query per second，QPS)。
用户完成这些设置以后，可以通过点击test按钮结果样例展示，查询测试返回数据与自己想要的结果是否一致，从而来调整查询条件，直到符合自己所期望的测试结果。
本申请实施例提供的数据处理的方法、装置、系统、计算机设备及计算机可读存储介质，通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；接收服务器发送的查询数据，从而实现基于界面化的可配置的数据查询方案。
实施例二
图3示意性示出了根据本申请实施例二的数据处理的方法的流程图。可以理解，本方法实施例可以被执行在服务器12中，且本方法实施例的流程图不用于对执行步骤的顺序进行限定。
如图3所示，该数据处理的方法可以包括步骤S300～S306，其中：
步骤S300，接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；
步骤S302，根据所述API请求，获取用户的基本信息并认证所述基本信息；
步骤S304，提取所述API请求中的存储引擎和SQL语句；
步骤S306，将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
可选的，所述将所述请求数据解析成SQL查询语句并生成API请求，包括：
在解析所述SQL查询语句之后，根据所述基本信息生成对应的身份令牌、QPS以及SQL信息；
自动生成支持http协议的API请求。
可选的，所述根据所述API请求，获取用户的基本信息并认证所述基本信息，包括：
根据所述API请求提取所述基本信息，所述基本信息包括身份令牌；
请求QPS进行接口的鉴权和限流操作。
具体的，服务器12将用户参数解析成SQL并生成API：
1、数据云服务会根据用户在界面所填入的数据查询信息解析成SQL查询语句，严格的控制数据查询的条件，返回字段名称和返回结果记录数。
2、在解析SQL之后，数据云服务会根据用户的基本信息生成对应的身份令牌(token),以及用户设定的QPS以及SQL信息自动生成支持http协议的API，用户可以在应用当中，通过HTTP请求获取在业务当中所需要的数据。
3、服务接收API请求并执行SQL：
数据云服务根据接收到的API请求,提取用户的基本信息，如身份令牌(token)，请求QPS等进行接口的鉴权和限流操作，目的是为了保证数据安全性和服务稳定性。
在完成身份认证之后，数据云服务会提取API中的存储引擎和SQL语句，然后根据存储引擎支持的SQL解析器，把SQL语句放入对应的SQL解析器中执行，然后把查询结果返回给API调用者。不同的存储引擎所对应的SQL解析器有所不同，比如Kafka-SQL支持SQL查询kafka，Calcite可以支持多种存储引擎查询，Phoneix可以支持SQL查询Hbase等等。
实施例三
图4示意性示出了根据本申请实施例三的数据处理的装置400的结构示意图。该数据处理的装置400可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图4所示，该数据处理的装置400可以包括第一接收模块402、第二接收模块404，其中：
第一接收模块402，用于通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；
第二接收模块404，用于接收服务器发送的查询数据。
用户端11接收用户输入的关键词，服务器12根据用户输入的关键词，解析成SQL并生成API，并在不同的存储引擎中执行API中的SQL语句。服务器12将检索到的信息发送给移动终端13。移动终端13与用户端11可以为同一个设备，也可以为不同的设备。
示例性的，用户界面是数据使用方在界面上配置自己所需要数据需求，主要包括：
1、指定存储引擎；
2、指定数据所在的库、表信息；
3、设置查询条件，返回字段和返回数据记录数；
4、选定数据查询的频率每秒查询次数(query per second，QPS)。
用户完成这些设置以后，可以通过点击test按钮结果样例展示，查询测试返回数据与自己想要的结果是否一致，从而来调整查询条件，直到符合自己所期望的测试结果。
本申请实施例提供的数据处理的装置，通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；接收服务器发送的查询数据，从而实现基于界面化的可配置的数据查询方案。
实施例四
图5示意性示出了根据本申请实施例四的数据处理的装置500的结构示意图。该数据处理的装置500可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
生成模块510，用于接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；
认证模块520，用于根据所述API请求，获取用户的基本信息并认证所述基本信息；
提取模块530，用于提取所述API请求中的存储引擎和SQL语句；
返回模块540，用于将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
服务器12将用户参数解析成SQL并生成API：
1、数据云服务会根据用户在界面所填入的数据查询信息解析成SQL查询语句，严格的控制数据查询的条件，返回字段名称和返回结果记录数。
2、在解析SQL之后，数据云服务会根据用户的基本信息生成对应的身份令牌(token),以及用户设定的QPS以及SQL信息自动生成支持http协议的API，用户可以在应用当中，通过HTTP请求获取在业务当中所需要的数据。
3、服务接收API请求并执行SQL：
数据云服务根据接收到的API请求,提取用户的基本信息，如身份令牌(token)，请求QPS等进行接口的鉴权和限流操作，目的是为了保证数据安全性和服务稳定性。
在完成身份认证之后，数据云服务会提取API中的存储引擎和SQL语句，然后根据存储引擎支持的SQL解析器，把SQL语句放入对应的SQL解析器中执行，然后把查询结果返回给API调用者。不同的存储引擎所对应的SQL解析器有所不同，比如Kafka-SQL支持SQL查询kafka，Calcite可以支持多种存储引擎查询，Phoneix可以支持SQL查询Hbase等等。
实施例五
图6示意性示出了根据本申请实施例五的适于实现数据处理的方法的计算机设备的硬件架构示意图。
本实施例中，计算机设备6可以用于作为提供商网络或组成提供商网络的组成部分，计算机设备6可以是诸如虚拟机主机进程和一个或多个虚拟机实例，或者是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。
本实施例中，计算机设备6也可以用于作为是移动终端或组成移动终端的组成部分。当计算机设备6是移动终端或组成移动终端的组成部分时，计算机设备6可以是诸如智能手机、电脑、投影仪、机顶盒等。
本实施例中，计算机设备6是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。如图6所示，计算机设备6至少包括但不限于：可通过系统总线相互通信链接存储器610、处理器620、网络接口630。
其中：
存储器610至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器610可以是计算机设备6的内部存储模块，例如该计算机设备6的硬盘或内存。在另一些实施例中，存储器610也可以是计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(SmartMedia Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器610还可以既包括计算机设备6的内部存储模块也包括其外部存储设备。本实施例中，存储器610通常用于存储安装于计算机设备6的操作系统和各类应用软件，例如数据处理的方法的程序代码等。此外，存储器610还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器620在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器620通常用于控制计算机设备6的总体操作，例如执行与计算机设备6进行数据或者通信相关的控制和处理等。本实施例中，处理器620用于运行存储器610中存储的程序代码或者处理数据。
网络接口630可包括无线网络接口或有线网络接口，该网络接口630通常用于在计算机设备6与其他计算机设备之间建立通信链接。例如，网络接口630用于通过网络将计算机设备6与外部终端相连，在计算机设备6与外部终端之间的建立数据处理通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图6仅示出了具有部件610-630的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器610中的数据处理的方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器620)所执行，以完成本申请。
实施例六
本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的数据处理的方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的数据处理的方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
实施例七
图7示意性示出了根据本申请实施例七的数据处理的系统的结构示意图。数据处理的系统包括：移动终端710和服务器720。
移动终端710，用于通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；接收服务器发送的查询数据；
服务器720，用于接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；根据所述API请求，获取用户的基本信息并认证所述基本信息；提取所述API请求中的存储引擎和SQL语句；将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
实施例八
图8示意性示出了根据本申请实施例八的数据处理的系统的结构示意图。
本系统包括三大模块，分别是：
第一，用户界面：
用户界面是数据使用方在界面上配置自己所需要数据需求，主要包括：
1.指定存储引擎；
2.指定数据所在的库、表信息
3.设置查询条件，返回字段和返回数据记录数
4.选定数据查询的频率每秒查询次数(query per second，QPS)
用户完成这些设置以后,可以通过点击test按钮结果样例展示，查询测试返回数据与自己想要的结果是否一致，从而来调整查询条件,直到符合自己所期望的测试结果。
第二，用户参数解析成SQL并生成API：
1、数据云服务会根据用户在界面所填入的数据查询信息解析成SQL查询语句，严格的控制数据查询的条件，返回字段名称和返回结果记录数。
2、在解析SQL之后，数据云服务会根据用户的基本信息生成对应的身份令牌(token)，以及用户设定的QPS，以及SQL信息自动生成支持http协议的API，用户可以在应用当中，通过HTTP请求获取在业务当中所需要的数据。
第三，服务接收API请求并执行SQL：
1、数据云服务根据接收到的API请求,提取用户的基本信息,如身份令牌(token),请求QPS等进行接口的鉴权和限流操作,目的是为了保证数据安全性和服务稳定性.
2、在完成身份认证之后,数据云服务会提取API中的存储引擎和SQL语句,然后根据存储引擎支持的SQL解析器,把SQL语句放入对应的SQL解析器中执行,然后把查询结果返回给API调用者。不同的存储引擎所对应的SQL解析器有所不同,比如Kafka-SQL支持SQL查询kafka,Calcite可以支持多种存储引擎查询，Phoneix可以支持SQL查询Hbase等等。
本发明针对单一接口查询的不足，开发了基于配置的数据云服务,可以动态自行生成查询数据的接口，不需要提供专门的接口开发。
1、本发明数据云服务提供多个存储引擎数据的查询，查询的数据源不再单一，应有更加广泛的应用场景。
2、统一的对外SQL语句查询接口，简化了业务开发的成本，使接口变的简单。
3、统一的对外SQL语句查询接口，使得参数查询更加灵活，针对单个存储引擎的数据可以有不同维度的利用，提高数据的使用效率。
4、统一的对外SQL语句查询接口，使接口维护更加简单,可以使开发人员更加专注于服务本身的开发，不需要过多的投入接口的维护过程。
5、统一的对外SQL语句查询接口，可以通过SQL语句方便的控制返回结果的数据量，减少服务器的压力，从而提高服务的稳定性。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种数据处理的方法，其特征在于，所述方法包括：
通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；
接收服务器发送的查询数据。
2.一种数据处理的方法，其特征在于，所述方法包括：
接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；
根据所述API请求，获取用户的基本信息并认证所述基本信息；
提取所述API请求中的存储引擎和SQL语句；
将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
3.根据权利要求2所述的方法，其特征在于，所述将所述请求数据解析成SQL查询语句并生成API请求，包括：
在解析所述SQL查询语句之后,根据所述基本信息生成对应的身份令牌、QPS以及SQL信息；
自动生成支持http协议的API请求。
4.根据权利要求2所述的方法，其特征在于，所述根据所述API请求，获取用户的基本信息并认证所述基本信息，包括：
根据所述API请求提取所述基本信息，所述基本信息包括身份令牌；
请求QPS进行接口的鉴权和限流操作。
5.一种数据处理的装置，其特征在于，所述装置包括：
第一接收模块，用于通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；
第二接收模块，用于接收服务器发送的查询数据。
6.一种数据处理的装置，其特征在于，所述装置包括：
生成模块，用于接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；
认证模块，用于根据所述API请求，获取用户的基本信息并认证所述基本信息；
提取模块，用于提取所述API请求中的存储引擎和SQL语句；
返回模块，用于将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
7.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至4任一项所述方法的步骤。
9.一种数据处理的系统，其特征在于，所述系统包括：
移动终端，用于通过用户界面，接收用户输入的请求数据，所述请求数据包括：指定的存储引擎、指定数据所在的库表信息、设置的查询条件、返回的字段、返回的数据记录数和选定数据查询的频率；接收服务器发送的查询数据；
服务器，用于接收用户输入的请求数据，并将所述请求数据解析成SQL查询语句并生成API请求；根据所述API请求，获取用户的基本信息并认证所述基本信息；提取所述API请求中的存储引擎和SQL语句；将所述SQL语句运行在对应的SQL解析器中，并将查询结果返回给所述用户。
CN202011287207.3A 2020-11-17 2020-11-17 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质 Pending CN112416964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011287207.3A CN112416964A (zh) 2020-11-17 2020-11-17 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011287207.3A CN112416964A (zh) 2020-11-17 2020-11-17 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112416964A true CN112416964A (zh) 2021-02-26

Family

ID=74831902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011287207.3A Pending CN112416964A (zh) 2020-11-17 2020-11-17 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112416964A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064925A (zh) * 2021-03-15 2021-07-02 深圳依时货拉拉科技有限公司 一种大数据查询方法、系统及计算机可读存储介质
CN113282625A (zh) * 2021-05-31 2021-08-20 重庆富民银行股份有限公司 一种基于sql的api数据查询和处理系统及方法
CN113742366A (zh) * 2021-09-14 2021-12-03 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备及存储介质
CN113761246A (zh) * 2021-09-06 2021-12-07 北京金山云网络技术有限公司 数据获取方法、装置、电子设备和存储介质
CN114741396A (zh) * 2022-04-28 2022-07-12 北京远舢智能科技有限公司 一种数据服务的处理方法、装置、电子设备及存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120077830A (ko) * 2010-12-31 2012-07-10 (주)네오위즈게임즈 자동화된 정보 추출 서비스를 제공하는 방법 및 그 단말기와 서버
CN105677681A (zh) * 2014-11-21 2016-06-15 北京神州泰岳软件股份有限公司 基于多个数据库的数据查询方法及装置
GB201617232D0 (en) * 2016-10-11 2016-11-23 Sage Global Services Ltd System and method for retrieving data from server computers
US20170262501A1 (en) * 2016-03-10 2017-09-14 Ricoh Co., Ltd. Open Query Language
US20180144026A1 (en) * 2016-11-21 2018-05-24 International Business Machines Corporation Selectively retrieving data from remote share nothing computer clusters
CN108520037A (zh) * 2018-03-30 2018-09-11 新华三大数据技术有限公司 数据查询方法、装置及数据可视化系统
CN109241101A (zh) * 2018-08-31 2019-01-18 阿里巴巴集团控股有限公司 一种数据库查询优化方法、装置、及计算机设备
CN109522321A (zh) * 2018-11-15 2019-03-26 北京锐安科技有限公司 一种数据库查询方法、装置、服务器及存储介质
CN110032575A (zh) * 2019-04-15 2019-07-19 网易（杭州）网络有限公司 数据查询方法、装置、设备和存储介质
CN110162408A (zh) * 2018-02-11 2019-08-23 阿里巴巴集团控股有限公司 一种数据处理方法、装置、设备和机器可读介质
CN110399388A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 数据查询方法、系统和设备
CN110795485A (zh) * 2019-10-29 2020-02-14 杭州求是优脉科技有限公司 一种数据库访问方法、装置及设备
CN110808840A (zh) * 2019-10-30 2020-02-18 网易（杭州）网络有限公司 业务处理方法及装置、电子设备、存储介质
CN110825767A (zh) * 2019-11-15 2020-02-21 江苏满运软件科技有限公司 数据查询方法、平台、设备及存储介质
CN110839065A (zh) * 2019-10-30 2020-02-25 北京一撕得物流技术有限公司 一种信息的存储方法、系统、设备以及存储介质
CN110955712A (zh) * 2019-11-26 2020-04-03 北京天元创新科技有限公司 基于多数据源的开发api处理方法及装置
CN111030812A (zh) * 2019-12-16 2020-04-17 Oppo广东移动通信有限公司 令牌验证方法、装置、存储介质及服务器
CN111198901A (zh) * 2020-01-06 2020-05-26 北京邮电大学 基于多数据源的统一数据服务开放方法及系统
CN111259037A (zh) * 2020-01-14 2020-06-09 重庆特斯联智慧科技股份有限公司 一种基于规则配置的数据查询方法、装置、存储介质及终端
CN111431813A (zh) * 2020-06-09 2020-07-17 北京信安世纪科技股份有限公司 访问限流方法、设备及存储介质
CN111641563A (zh) * 2020-05-28 2020-09-08 深圳壹账通智能科技有限公司 基于分布式场景的流量自适应方法与系统
CN111639078A (zh) * 2020-05-25 2020-09-08 北京百度网讯科技有限公司 数据查询方法、装置、电子设备以及可读存储介质
CN111882143A (zh) * 2020-06-05 2020-11-03 西安能控安远信息技术有限公司 一种高危行业企业风险预警与防控系统

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120077830A (ko) * 2010-12-31 2012-07-10 (주)네오위즈게임즈 자동화된 정보 추출 서비스를 제공하는 방법 및 그 단말기와 서버
CN105677681A (zh) * 2014-11-21 2016-06-15 北京神州泰岳软件股份有限公司 基于多个数据库的数据查询方法及装置
US20170262501A1 (en) * 2016-03-10 2017-09-14 Ricoh Co., Ltd. Open Query Language
GB201617232D0 (en) * 2016-10-11 2016-11-23 Sage Global Services Ltd System and method for retrieving data from server computers
US20180144026A1 (en) * 2016-11-21 2018-05-24 International Business Machines Corporation Selectively retrieving data from remote share nothing computer clusters
CN110162408A (zh) * 2018-02-11 2019-08-23 阿里巴巴集团控股有限公司 一种数据处理方法、装置、设备和机器可读介质
CN108520037A (zh) * 2018-03-30 2018-09-11 新华三大数据技术有限公司 数据查询方法、装置及数据可视化系统
CN109241101A (zh) * 2018-08-31 2019-01-18 阿里巴巴集团控股有限公司 一种数据库查询优化方法、装置、及计算机设备
CN109522321A (zh) * 2018-11-15 2019-03-26 北京锐安科技有限公司 一种数据库查询方法、装置、服务器及存储介质
CN110032575A (zh) * 2019-04-15 2019-07-19 网易（杭州）网络有限公司 数据查询方法、装置、设备和存储介质
CN110399388A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 数据查询方法、系统和设备
CN110795485A (zh) * 2019-10-29 2020-02-14 杭州求是优脉科技有限公司 一种数据库访问方法、装置及设备
CN110808840A (zh) * 2019-10-30 2020-02-18 网易（杭州）网络有限公司 业务处理方法及装置、电子设备、存储介质
CN110839065A (zh) * 2019-10-30 2020-02-25 北京一撕得物流技术有限公司 一种信息的存储方法、系统、设备以及存储介质
CN110825767A (zh) * 2019-11-15 2020-02-21 江苏满运软件科技有限公司 数据查询方法、平台、设备及存储介质
CN110955712A (zh) * 2019-11-26 2020-04-03 北京天元创新科技有限公司 基于多数据源的开发api处理方法及装置
CN111030812A (zh) * 2019-12-16 2020-04-17 Oppo广东移动通信有限公司 令牌验证方法、装置、存储介质及服务器
CN111198901A (zh) * 2020-01-06 2020-05-26 北京邮电大学 基于多数据源的统一数据服务开放方法及系统
CN111259037A (zh) * 2020-01-14 2020-06-09 重庆特斯联智慧科技股份有限公司 一种基于规则配置的数据查询方法、装置、存储介质及终端
CN111639078A (zh) * 2020-05-25 2020-09-08 北京百度网讯科技有限公司 数据查询方法、装置、电子设备以及可读存储介质
CN111641563A (zh) * 2020-05-28 2020-09-08 深圳壹账通智能科技有限公司 基于分布式场景的流量自适应方法与系统
CN111882143A (zh) * 2020-06-05 2020-11-03 西安能控安远信息技术有限公司 一种高危行业企业风险预警与防控系统
CN111431813A (zh) * 2020-06-09 2020-07-17 北京信安世纪科技股份有限公司 访问限流方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张育军: "《上海证券交易所联合研究报告 2011》", 30 November 2012, 上海人民出版社, pages: 273 - 274 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064925A (zh) * 2021-03-15 2021-07-02 深圳依时货拉拉科技有限公司 一种大数据查询方法、系统及计算机可读存储介质
CN113282625A (zh) * 2021-05-31 2021-08-20 重庆富民银行股份有限公司 一种基于sql的api数据查询和处理系统及方法
CN113761246A (zh) * 2021-09-06 2021-12-07 北京金山云网络技术有限公司 数据获取方法、装置、电子设备和存储介质
CN113742366A (zh) * 2021-09-14 2021-12-03 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备及存储介质
CN113742366B (zh) * 2021-09-14 2023-07-21 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备及存储介质
CN114741396A (zh) * 2022-04-28 2022-07-12 北京远舢智能科技有限公司 一种数据服务的处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112416964A (zh) 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质
CN107948314B (zh) 基于规则文件的业务处理方法、装置及服务器
CN109462601B (zh) 基于eSIM的多平台访问方法及装置
CN109829287A (zh) Api接口权限访问方法、设备、存储介质及装置
CN111611207B (zh) 状态数据处理方法、装置及计算机设备
CN110661829B (zh) 文件下载方法及装置、客户端和计算机可读存储介质
CN109815112B (zh) 基于功能测试的数据调试方法、装置及终端设备
CN111274512A (zh) 一种页面加载方法、装置及介质
CN111352851A (zh) 一种程序测试方法、装置、计算机设备及存储介质
CN108427639B (zh) 自动化测试方法、应用服务器及计算机可读存储介质
CN113132267B (zh) 一种分布式系统、数据聚合方法和计算机可读存储介质
CN115390991A (zh) 虚拟机的导入导出方法、装置、设备及存储介质
CN112714365A (zh) 视频播放方法和系统
CN112235124B (zh) 一种皮基站配置方法、装置、存储介质和电子装置
CN114153910A (zh) 数据采集方法、装置及电子装置、计算机程序产品
CN113760242A (zh) 一种数据处理方法、装置、服务器和介质
CN108959294B (zh) 一种访问搜索引擎的方法和装置
CN116450353A (zh) 处理器核匹配方法、装置、电子设备及存储介质
CN113076231A (zh) 服务器应用场景设置方法、系统、终端及存储介质
CN112671878A (zh) 一种区块链的信息订阅方法、装置、服务器和存储介质
CN113392131A (zh) 数据处理方法、装置及计算机设备
CN112565472A (zh) 静态资源的处理方法和装置
CN113032820A (zh) 文件存储方法、访问方法、装置、设备及存储介质
CN117290378A (zh) Sql语句的处理方法和装置
CN109194529B (zh) 一种用于虚拟SIM卡与服务器apdu的交互方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination