CN109857763A - 基于Websocket的大数据处理方法、装置、电子设备、存储介质 - Google Patents

基于Websocket的大数据处理方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN109857763A
CN109857763A CN201910124790.7A CN201910124790A CN109857763A CN 109857763 A CN109857763 A CN 109857763A CN 201910124790 A CN201910124790 A CN 201910124790A CN 109857763 A CN109857763 A CN 109857763A
Authority
CN
China
Prior art keywords
data
big data
websocket
inquired
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910124790.7A
Other languages
English (en)
Inventor
张翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Network Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Network Technology Shanghai Co Ltd filed Critical Ctrip Travel Network Technology Shanghai Co Ltd
Priority to CN201910124790.7A priority Critical patent/CN109857763A/zh
Publication of CN109857763A publication Critical patent/CN109857763A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种基于Websocket的大数据处理方法、装置、电子设备、存储介质,基于Websocket的大数据处理方法包括:根据所接入的大数据平台,确定自提供的多个接入方式中,确定一接入方式,以接入所述大数据平台;接收查询指令,以根据所述查询指令自所接入的大数据平台中查询数据;将所查询数据加密后通过Websocket协议发送至前端浏览器;根据加密后的所查询数据的数据大小进行分块和/或分页处理。本发明提供的基于Websocket的大数据处理方法及装置实现大数据快速查询和展示。

Description

基于Websocket的大数据处理方法、装置、电子设备、存储介质
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种基于Websocket的大数 据处理方法、装置、电子设备、存储介质。
背景技术
在传统的数据查询中,如果数据量较小,前端技术人员处理难度较低, 如果数据量较大可以采用分页、延迟加载等技术来实现,但是涉及到大数据 级别的处理时,采用文件下载等方式虽然能够解决一部分问题,但这种方式 无法很快的实时查询数据的情况,尤其是不了解具体数据组成的情况下,所 以大数据量的查询和前端展现是非常有必要的。
随着大数据技术的发展迅猛,从hadoop(一种分布式系统基础架构)到 OLAP(联机分析处理,Online Analytical Processing)在线联机分析产品层出 不穷等,在众多的大数据处理产品平台之间,用户常常无所适从,能不能简 单一些更简单一些,怎么样快速的进行大数据量的查询,能否快速查询、下 载数据变成了用户普遍的心声。
用户需要一种整体的解决方案,一方面适配各种大数据平台,一方面能 够准确、无误的传输数据,能够让用户快速的查询和看到数据。
对于大数据量的查询和展现,一直以来也是前端技术人员比较关注的问 题,大数据量下浏览器的渲染可能会导致渲染缓慢、本地内存超出等异常故 障和各种莫名其妙的问题,如何接收大数据量并且快速的渲染,有很大的挑 战性。
现有技术主要有如下的缺点和问题:
(1)平台多,一般的只是针对某一平台进行适配,无法适配多种平台。
(2)查询和展现慢,Hadoop等数据仓库类查询非常缓慢,OLAP等产 品数据查询比较快,但是获取数据后渲染也需要花费较长时间。
(3)易用性差,很多系统只看重能用,不看重好用,在大数据量查询人 机交互方面做得不够好,无法看到实时的查询进度。
(4)安全性低,通常查询前后台直接采用明文数据传输,容易被监听或 窃取重要业务数据。
发明内容
本发明为了克服上述现有技术存在的缺陷,提供一种基于Websocket的 大数据处理方法、装置、电子设备、存储介质,以实现大数据快速查询展示。
根据本发明的一个方面,提供一种基于Websocket的大数据处理方法, 包括:
根据所接入的大数据平台,确定自提供的多个接入方式中,确定一接入 方式,以接入所述大数据平台;
接收查询指令,以根据所述查询指令自所接入的大数据平台中查询数据;
将所查询数据加密后通过Websocket协议发送至前端浏览器;
根据加密后的所查询数据的数据大小进行分块和/或分页处理。
可选地,所述将所查询数据加密后通过Websocket协议发送至前端浏览 器还包括:
将所查询数据进行压缩。
可选地,所述根据加密后的所查询数据的数据大小进行分块和/或分页处 理包括:
判断加密后的所查询数据的数据大小是否超过第一预定阈值;
若是,则对加密后的所查询数据进行分为若干数据块,当所分数据块被 使用时,对所分数据块进行解压和解密。
可选地,所述对所分数据块进行解压和解密还包括:
对解压和解密后的数据块进行分页处理。
可选地,所述根据加密后的所查询数据的数据大小进行分块和/或分页处 理包括:
对所查询数据进行解压和解密;
对解压和解密后的所查询数据进行分页处理。
可选地,所述大数据平台至少包括:Presto、Hive、ElaticSearch。
可选地,所述接入方式至少包括:JDBC、OSGI、Restful。
根据本发明的又一方面,还提供一种基于Websocket的大数据处理装置, 包括:
接入模块,用于根据所接入的大数据平台,确定自提供的多个接入方式 中,确定一接入方式,以接入所述大数据平台;
查询模块,用于接收查询指令,以根据所述查询指令自所接入的大数据 平台中查询数据;
加密传输模块,用于将所查询数据加密后通过Websocket协议发送至前 端浏览器;
前端模块,用于根据加密后的所查询数据的数据大小进行分块和/或分页 处理。
根据本发明的又一方面,还提供一种电子设备,所述电子设备包括:处 理器;存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运 行时执行如上所述的步骤。
根据本发明的又一方面,还提供一种存储介质,所述存储介质上存储有 计算机程序,所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术,本发明的优势在于:
1)统一适配各种后端平台系统,实现企业实时和非实时数据的统一查询, 有效降低培训和学习成本。
2)通过WebSocket技术,实时展现丰富的即时查询状态,查询进度可控 可视,降低用户的焦虑感,另外前端数据通过压缩、分页等方式,减少数据 体积,加快渲染速度,减少用户的等待时长。
3)查询简单易用,通过SQL语法查询,提供完善的智能提醒和帮助,提 升易用性。
4)数据传输过程安全可控,数据传输前后进行加密和解密,确保数据传 输过程中不泄密。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优 点将变得更加明显。
图1示出了根据本发明实施例的基于Websocket的大数据处理方法的示 意图。
图2示出了根据本发明实施例的基于Websocket的大数据处理装置的示 意图。
图3示意性示出本公开示例性实施例中一种计算机可读存储介质示意 图。
图4示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够 以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实 施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达 给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结 合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相 同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图 中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相 对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或 集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制 器装置中实现这些功能实体。
为了解决现有技术的缺陷,保障用户号码的私密性,本发明提供一种基 于Websocket的大数据处理方法、装置、电子设备、存储介质。
首先参见图1,图1示出了根据本发明实施例的基于Websocket的大数据 处理方法的示意图。基于Websocket的大数据处理方法包括如下步骤:
步骤S110:根据所接入的大数据平台,确定自提供的多个接入方式中, 确定一接入方式,以接入所述大数据平台;
步骤S120:接收查询指令,以根据所述查询指令自所接入的大数据平台 中查询数据;
步骤S130:将所查询数据加密后通过Websocket协议发送至前端浏览器;
步骤S140:根据加密后的所查询数据的数据大小进行分块和/或分页处 理。
在本发明提供的基于Websocket的大数据处理方法中,1)统一适配各种 后端平台系统,实现企业实时和非实时数据的统一查询,有效降低培训和学 习成本;2)通过WebSocket技术,实时展现丰富的即时查询状态,查询进 度可控可视,降低用户的焦虑感,另外前端数据通过压缩、分页等方式,减 少数据体积,加快渲染速度,减少用户的等待时长;3)查询简单易用,通过 SQL语法查询,提供完善的智能提醒和帮助,提升易用性;4)数据传输过程 安全可控,数据传输前后进行加密和解密,确保数据传输过程中不泄密。
具体而言,WebSocket是一种网络通信协议,RFC6455定义了它的通信 标准,同时WebSocket是HTML5开始提供的一种在单个TCP连接上进 行全双工通讯的协议。WebSocket使得客户端和服务器之间的数据交换变得 更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览 器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接, 并进行双向数据传输。
具体而言,本发明接入的大数据平台可以包括Presto、Hive、ElaticSearch。Presto是Facebook开发的数据查询引擎,可对250PB以上的数据进行快速地 交互式分析。hive是基于Hadoop的一个数据仓库工具,可以将结构化的数 据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL(结 构化查询语言,Structured Query Language)语句转换为MapReduce (MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。) 任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单 的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库 的统计分析。Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系 列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、 查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类 SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。同时,这 个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer 来处理内建的mapper和reducer无法完成的复杂的分析工作。Hive没有专 门的数据格式。Hive可以很好的工作在Thrift(thrift是一个软件框架,用 来进行可扩展且跨语言的服务的开发)之上,控制分隔符,也允许用户指定 数据格式。ElasticSearch是一个基于Lucene(是一个开放源代码的全文检索 引擎工具包)的搜索服务器。它提供了一个分布式多用户能力的全文搜索引 擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache (一种Web服务器端软件)许可条款下的开放源码发布,是当前流行的企业 级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速, 安装使用方便。当建立一个网站或应用程序,并要添加搜索功能,但是想要 完成搜索工作的创建是非常困难的。一般希望搜索解决方案要运行速度快, 我们希望能有一个零配置和一个完全免费的搜索模式,通常希望能够简单地 使用JSON(JavaScript Object Notation,JS对象简谱是一种轻量级的数据交 换格式)通过HTTP来索引数据,且搜索服务器始终可用,能够从一台开始 并扩展到数百台,当要实时搜索,要简单的多租户,希望建立一个云的解决 方案。因此,利用Elasticsearch来解决所有这些问题及可能出现的更多其它 问题。大数据平台的接入需要逐个接入和测试。
具体而言,本发明提供的多个接入方式可以包括JDBC、OSGi、Restful。 JDBC(JavaDataBase Connectivity,java数据库连接)是一种用于执行SQL语 句的Java API(Application Programming Interface,应用程序编程接口),可以 为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组 成。JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库 开发人员能够编写数据库应用程序。OSGi(OpenService Gateway Initiative)技 术是Java动态化模块化系统的一系列规范。OSGi一方面指维护OSGi规范 的OSGI官方联盟,另一方面指的是该组织维护的基于Java语言的服务(业务)规范。简单来说,OSGi可以认为是Java平台的模块层。OSGi服务平台 向Java提供服务,这些服务使Java成为软件集成和软件开发的首选环境。Java 提供在多个平台支持产品的可移植性。OSGi技术提供允许应用程序使用精 炼、可重用和可协作的组件构建的标准化原语,这些组件能够组装进一个应 用和部署中。Restful是一种软件架构风格、设计风格,而不是标准,只是提 供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。 基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。
具体而言,本发明使用的所查询数据的加密算法可以包括AES128、AES256、DES等对称加密算法和RSA等非对称加密算法。
以上仅仅是示意性地描述本发明的多个实现方式,本发明并非以此为限。
本发明还提供了一种基于Websocket的大数据处理装置,参见图2。基于Websocket的大数据处理装置包括语音信令网关103、IVR平台104、中间件 105以及绑定关系数据库106。
在一些实施例中,所述步骤S130将所查询数据加密后通过Websocket协 议发送至前端浏览器还包括:将所查询数据进行压缩。
在一些实施例中,所述步骤S140根据加密后的所查询数据的数据大小进 行分块和/或分页处理包括:判断加密后的所查询数据的数据大小是否超过第 一预定阈值;若是,则对加密后的所查询数据进行分为若干数据块,当所分 数据块被使用时,对所分数据块进行解压和解密。进一步地,所述对所分数 据块进行解压和解密还包括:对解压和解密后的数据块进行分页处理。
在另一些实施例中,所述根据加密后的所查询数据的数据大小进行分块 和/或分页处理包括:对所查询数据进行解压和解密;对解压和解密后的所查 询数据进行分页处理。
由此,通过上述步骤可以降低对前端浏览器的性能需求,且不会影响用 户体验。
进一步地,步骤S140之后还可以包括对解压和解密后的所查询数据进行 渲染和排序的步骤,在此不予赘述。
由此,在本发明的具体实现中,1)通过统一的平台,为各类大数据平台 接入提供各种接入渠道,平均接入一个平台的时间比以往要快50%以上;2) 数据查询高效、查询进度可见,如遇到查询高峰异常缓慢,用户可以取消查 询,有效的降低了用户的焦虑感,减少平均等待时长30%以上;3)可以提 供统一界面和查询方式,通过统一的风格和友好的查询方式、智能提醒等方 式,大大提示易用性和可用性;4)基于WebSocket全双工方式数据通讯传 输,通讯前进行数据加密,收到后进行数据解密,确保传输过程中的数据安 全,有效防止各种安全泄密事件发生的可能性。
本发明还提供一种基于Websocket的大数据处理装置,图2示出了根据 本发明实施例的基于Websocket的大数据处理装置的示意图。基于Websocket 的大数据处理装置200包括接入模块210、查询模块220、加密传输模块230 及前端模块240。
接入模块210用于根据所接入的大数据平台,确定自提供的多个接入方 式中,确定一接入方式,以接入所述大数据平台;
查询模块220用于接收查询指令,以根据所述查询指令自所接入的大数 据平台中查询数据;
加密传输模块230用于将所查询数据加密后通过Websocket协议发送至 前端浏览器;
前端模块240用于根据加密后的所查询数据的数据大小进行分块和/或分 页处理。
在本发明提供的基于Websocket的大数据处理装置中,1)统一适配各种 后端平台系统,实现企业实时和非实时数据的统一查询,有效降低培训和学 习成本;2)通过WebSocket技术,实时展现丰富的即时查询状态,查询进 度可控可视,降低用户的焦虑感,另外前端数据通过压缩、分页等方式,减 少数据体积,加快渲染速度,减少用户的等待时长;3)查询简单易用,通过 SQL语法查询,提供完善的智能提醒和帮助,提升易用性;4)数据传输过程 安全可控,数据传输前后进行加密和解密,确保数据传输过程中不泄密。
图2仅仅是示意性的示出本发明提供的基于Websocket的大数据处理装 置,在不违背本发明构思的前提下,模块的拆分、合并、增加都在本发明的 保护范围之内。本发明提供的基于Websocket的大数据处理装置可以由软件、 硬件、固件、插件及他们之间的任意组合来实现,本发明并非以此为限。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上 存储有计算机程序,该程序被例如处理器执行时可以实现上述任意一个实施 例中所述基于Websocket的大数据处理方法的步骤。在一些可能的实施方式 中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码, 当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执 行本说明书上述基于Websocket的大数据处理方法部分中描述的根据本发明 各种示例性实施方式的步骤。
参考图3所示,描述了根据本发明的实施方式的用于实现上述方法的程 序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代 码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不 限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质, 该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以 是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、 磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组 合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个 导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧 凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合 适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的 数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形 式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介 质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播 或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。 可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于 无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作 的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、 C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计 语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执 行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设 备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备 的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或 广域网(WAN),连接到租户计算设备,或者,可以连接到外部计算设备(例 如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中,还提供一种电子设备,该电子设备可以包 括处理器,以及用于存储所述处理器的可执行指令的存储器。其中,所述处 理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述基于 Websocket的大数据处理方法的步骤。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、 方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即: 完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬 件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图4来描述根据本发明的这种实施方式的电子设备600。图4 显示的电子设备600仅仅是一个示例,不应对本发明实施例的功能和使用范 围带来任何限制。
如图4所示,电子设备600以通用计算设备的形式表现。电子设备600 的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、 连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单 元640等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单 元610执行,使得所述处理单元610执行本说明书上述基于Websocket的大 数据处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如, 所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质,例如随机 存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包 括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程 序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或 者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种 组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线 或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总 线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、 蓝牙设备等)通信,还可与一个或者多个使得租户能与该电子设备600交互 的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行 通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过 输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配 器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或 公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设 备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600 使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处 理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系 统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的 示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来 实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出 来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘, 移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人 计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述基于 Websocket的大数据处理方法。
相比现有技术,本发明的优势在于:
1)统一适配各种后端平台系统,实现企业实时和非实时数据的统一查询, 有效降低培训和学习成本。
2)通过WebSocket技术,实时展现丰富的即时查询状态,查询进度可控 可视,降低用户的焦虑感,另外前端数据通过压缩、分页等方式,减少数据 体积,加快渲染速度,减少用户的等待时长。
3)查询简单易用,通过SQL语法查询,提供完善的智能提醒和帮助,提 升易用性。
4)数据传输过程安全可控,数据传输前后进行加密和解密,确保数据传 输过程中不泄密。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本 公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性 变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公 开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的,本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种基于Websocket的大数据处理方法,其特征在于,包括:
根据所接入的大数据平台,确定自提供的多个接入方式中,确定一接入方式,以接入所述大数据平台;
接收查询指令,以根据所述查询指令自所接入的大数据平台中查询数据;
将所查询数据加密后通过Websocket协议发送至前端浏览器;
根据加密后的所查询数据的数据大小进行分块和/或分页处理。
2.如权利要求1所述的基于Websocket的大数据处理方法,其特征在于,所述将所查询数据加密后通过Websocket协议发送至前端浏览器还包括:
将所查询数据进行压缩。
3.如权利要求2所述的基于Websocket的大数据处理方法,其特征在于,所述根据加密后的所查询数据的数据大小进行分块和/或分页处理包括:
判断加密后的所查询数据的数据大小是否超过第一预定阈值;
若是,则对加密后的所查询数据进行分为若干数据块,当所分数据块被使用时,对所分数据块进行解压和解密。
4.如权利要求3所述的基于Websocket的大数据处理方法,其特征在于,所述对所分数据块进行解压和解密还包括:
对解压和解密后的数据块进行分页处理。
5.如权利要求2所述的基于Websocket的大数据处理方法,其特征在于,所述根据加密后的所查询数据的数据大小进行分块和/或分页处理包括:
对所查询数据进行解压和解密;
对解压和解密后的所查询数据进行分页处理。
6.如权利要求1所述的基于Websocket的大数据处理方法,其特征在于,所述大数据平台至少包括:Presto、Hive、ElaticSearch。
7.如权利要求1所述的基于Websocket的大数据处理方法,其特征在于,所述接入方式至少包括:JDBC、OSGI、Restful。
8.一种基于Websocket的大数据处理装置,其特征在于,包括:
接入模块,用于根据所接入的大数据平台,确定自提供的多个接入方式中,确定一接入方式,以接入所述大数据平台;
查询模块,用于接收查询指令,以根据所述查询指令自所接入的大数据平台中查询数据;
加密传输模块,用于将所查询数据加密后通过Websocket协议发送至前端浏览器;
前端模块,用于根据加密后的所查询数据的数据大小进行分块和/或分页处理。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如权利要求1至7任一项所述的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的步骤。
CN201910124790.7A 2019-02-19 2019-02-19 基于Websocket的大数据处理方法、装置、电子设备、存储介质 Pending CN109857763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910124790.7A CN109857763A (zh) 2019-02-19 2019-02-19 基于Websocket的大数据处理方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910124790.7A CN109857763A (zh) 2019-02-19 2019-02-19 基于Websocket的大数据处理方法、装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN109857763A true CN109857763A (zh) 2019-06-07

Family

ID=66898354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910124790.7A Pending CN109857763A (zh) 2019-02-19 2019-02-19 基于Websocket的大数据处理方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN109857763A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948890A (zh) * 2021-03-31 2021-06-11 北京众享比特科技有限公司 一种全同态加密检索的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148833A (zh) * 2011-04-18 2011-08-10 中国工商银行股份有限公司 数据报表的传输方法、服务器、客户端以及系统
CN105824910A (zh) * 2016-03-15 2016-08-03 深圳市游科互动科技有限公司 基于html5的数据可视化系统及方法
CN106547790A (zh) * 2015-09-22 2017-03-29 中移(杭州)信息技术有限公司 一种关系型数据库服务系统
CN107704608A (zh) * 2017-10-17 2018-02-16 北京览群智数据科技有限责任公司 一种olap多维分析和数据挖掘系统
US10025599B1 (en) * 2013-05-21 2018-07-17 Progress Software Corporation Connectivity as a service

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148833A (zh) * 2011-04-18 2011-08-10 中国工商银行股份有限公司 数据报表的传输方法、服务器、客户端以及系统
US10025599B1 (en) * 2013-05-21 2018-07-17 Progress Software Corporation Connectivity as a service
CN106547790A (zh) * 2015-09-22 2017-03-29 中移(杭州)信息技术有限公司 一种关系型数据库服务系统
CN105824910A (zh) * 2016-03-15 2016-08-03 深圳市游科互动科技有限公司 基于html5的数据可视化系统及方法
CN107704608A (zh) * 2017-10-17 2018-02-16 北京览群智数据科技有限责任公司 一种olap多维分析和数据挖掘系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾凯等: "《大数据治理及数据仓库模型设计》", 30 July 2017, 电子科技大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948890A (zh) * 2021-03-31 2021-06-11 北京众享比特科技有限公司 一种全同态加密检索的方法和系统

Similar Documents

Publication Publication Date Title
US10866975B2 (en) Dialog system for transitioning between state diagrams
US9954746B2 (en) Automatically generating service documentation based on actual usage
CN105900396B (zh) 移动云服务体系架构
CN109086409A (zh) 微服务数据处理方法、装置、电子设备及计算机可读介质
US11032410B2 (en) Mobile data insight platforms for data analysis
US11113305B1 (en) Modeling of a non-relational database as a normalized relational database
WO2013044141A2 (en) Process transformation and transitioning apparatuses, methods and systems
WO2011029055A1 (en) Apparatuses, methods and systems for a visual query builder
US20150120729A1 (en) Web-based representational state transfer api server
US10268839B1 (en) Anonymizing and grouping confidential data from members
CN109074265A (zh) 移动云服务的预先形成的指令
US11470037B2 (en) Navigation pathway generation
CN112017059B (zh) 一种分级优化的风险控制方法、装置和电子设备
US20230033804A1 (en) Information sharing chain generation method and apparatus, electronic device, and storage medium
CN109359237A (zh) 一种用于搜索寄宿程序的方法与设备
CN110334299A (zh) 一种基于地址栏监听的弹窗展示方法、装置和电子设备
Tyagi et al. Managing computing infrastructure for IoT data
CN110335140A (zh) 基于社交关系预测贷款黑中介的方法、装置、电子设备
CN109062560B (zh) 用于生成信息的方法和装置
CN111078761A (zh) 数据探查方法、装置、设备及存储介质
JP2022091904A (ja) ミニプログラムページのスキン切り替え方法、装置及び電子機器
JP6100832B2 (ja) メッセンジャの対話内容に基づいて推薦検索語を提供する方法とシステム、および記録媒体
CN109857763A (zh) 基于Websocket的大数据处理方法、装置、电子设备、存储介质
US20150169673A1 (en) Method for providing immediate result for user input, and apparatus therefor
WO2013026953A2 (en) Method and apparatus for providing search with contextual processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190607