CN106953847B - 一种基于thrift的大数据跨平台实时处理方法 - Google Patents

一种基于thrift的大数据跨平台实时处理方法 Download PDF

Info

Publication number
CN106953847B
CN106953847B CN201710108944.4A CN201710108944A CN106953847B CN 106953847 B CN106953847 B CN 106953847B CN 201710108944 A CN201710108944 A CN 201710108944A CN 106953847 B CN106953847 B CN 106953847B
Authority
CN
China
Prior art keywords
data
module
real
user
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710108944.4A
Other languages
English (en)
Other versions
CN106953847A (zh
Inventor
张启亮
李凯
张毅
周林林
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XCMG Hanyun Technologies Co Ltd
Original Assignee
Jiangsu Xugong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xugong Information Technology Co ltd filed Critical Jiangsu Xugong Information Technology Co ltd
Priority to CN201710108944.4A priority Critical patent/CN106953847B/zh
Publication of CN106953847A publication Critical patent/CN106953847A/zh
Application granted granted Critical
Publication of CN106953847B publication Critical patent/CN106953847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823—Network architectures or network communication protocols for network security for authentication of entities using certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0892—Network architectures or network communication protocols for network security for authentication of entities by using authentication-authorization-accounting [AAA] servers or protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于thrift的大数据跨平台实时处理方法，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，基于thrift的大数据跨平台实时处理方法的具体步骤如下：首先，用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；其次，若授权认证通过，则可进行实时数据、历史数据或下发指令的操作；反之，告知用户不具备访问权限；最后，将请求的相应结果返回给用户，并记录每一步的操作日志。本发明解决了传统解决方案存在的弊端，更灵活更实用。

Description

一种基于thrift的大数据跨平台实时处理方法
技术领域
本发明涉及一种基于thrift的大数据跨平台实时处理方法，属于数据处理技术领域。
背景技术
随着汽车产业的飞速发展、车辆数量的大幅提升，如何获取更多车辆信息、实现对车辆的远程控制，成为车辆生命周期上各个环节机构的首要问题。传统的车辆管理系统可以做到提供用户所需的车辆信息，但由于各级用户侧重点不同，导致了其对车辆各项数据的关注度有巨大的差异，而从海量数据里分离出各自所需的数据会给用户带来了不便，并且由于传统车辆管理系统的数据储存机制，导致数据量越来越庞大，对车辆实时信息的读取和历史数据的分析更是难上加难。如何快速查询信息、分析历史数据、下发指令等功能给客户，是目前亟待解决的问题。
目前，工程机械行业中对车辆信息的管理，一般采用的方式是：车辆关系数据库，使用分库分表存储；前端应用将关系数据库中车辆实时数据、历史数据展现；前端应用远程下发指令到终端。这种方式能解决传统的数据处理和数据存储问题，但当存在海量数据需要处理时，计算机性能和数据存储上都会遇到瓶颈，只能通过提高服务器配置，购买昂贵的硬件设施等方式来解燃眉之急，然而也只能暂时解决问题，无法从根本上解决问题；而且当前端应用编程语言改变，必须重新编写应用代码，开发者的工作量要增加，用户的体验也不好。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于thrift的大数据跨平台实时处理方法，可解决传统解决方案存在的弊端，并且更灵活更实用。
为了实现上述目的，本发明采用的一种基于thrift的大数据跨平台实时处理方法，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，SSL认证模块用于认证用户和服务器，确保数据发送到正确的客户机和服务器，并且将数据加密以防止数据中途被窃取，维护数据的完整性，确保数据在传输过程中不被改变；授权认证模块用于通过业务逻辑验证访问者是否拥有对车辆信息的查询及管理权限，拒绝无效访问者，避免数据信息的泄露；实时数据查询模块用于将车辆的实时数据信息提供给访问者，进行高并发、缓存机制处理，保证数据信息的及时性；历史数据查询模块用于将存储的车辆历史数据提供给访问者，简化访问方式，给客户更高效的使用效率；下发指令模块用于将指令准确的发送给终端，统一对终端的命令操作，解决使用者的多个入口，避免下发指令的混乱；基于thrift的大数据跨平台实时处理方法的具体步骤如下：
首先，用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；
其次，若授权认证通过，则可进行实时数据、历史数据或下发指令的操作；反之，告知用户不具备访问权限；
最后，将请求的相应结果返回给用户，并记录每一步的操作日志。
所述实时数据查询模块采用缓存技术redis与界面进行实时交互，其中，redis指高性能的“键值对”存储系统。
所述历史数据查询模块采用了hadoop的Hbase技术进行分布式存储。其中，Hbase是分布式的、面向列的开源数据库。
与现有技术相比，本发明通过在授权认证中使用SSL认证和车辆授权验证，保证数据传输、使用上安全；在车辆信息查询中使用Redis数据库，保证数据查询的及时性；在车辆历史信息分析中使用封装的方法对Hbase的读取，简化对Hbase数据的访问；在车辆远程下发中建立车辆信息通信通道，保证数据传输安全，并保存下发指令历史。最终，具有如下优点：
1、通过授权认证,使应用层与平台层之间的数据交换既安全又简捷；
2、表达相同的内容所需的数据包比XML和JSON小，传输所占用的服务器资源更少；
3、技术成熟,性能良好,具备高并发的数据访问与处理能力；
4、跨平台，支持多语言客户端的应用；
5、数据存储采用redis缓存数据库，提供数据访问速度。
附图说明
图1为本发明的原理示意图；
图2为本发明的流程示意图；
图3为本发明的程序部署示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
Thrift主要用于各个服务之间的RPC通信，支持跨语言，常用的语言比如C++，Java，Python，PHP，Ruby,Erlang,Perl,Haskell,C#,Cocoa,JavaScript,Node.js,Smalltalk,and OCaml都支持。Thrift是一个典型的CS(客户端/服务端)结构，客户端和服务端可以使用不同的语言开发。既然客户端和服务端能使用不同的语言开发，那么一定就要有一种中间语言来关联客户端和服务端的语言，这种语言就是IDL(InterfaceDescription Language)。Thrift IDL支持的数据类型包括：基本类型、容器类型、结构体、枚举、异常、服务、类型定义、常量、命名空间、文件包含等。知道了怎么定义thrift文件，接下来就是此方法的具体实施步骤，如图3所示：
1、编写thrift文件，定义SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块和下发指令模块，此方法的目标语言为Java，所以在终端执行命令：“thrift--gen java Test.thrift”，则在当前目录会生成一个gen-java目录，该目录下会按照命名空间定义的路径名一层层生成文件夹，这样就完成了支持Java语言的基本的框架代码，这些代码是包含了模块的接口。
2、建立服务端项目，创建模块接口的实现类，实现具体的逻辑。
3、在服务端项目中创建启动类，并将Hbase配置文件、Redis配置文件、数据库配置文件、私钥文件等加入代码中，编译项目后将程序放到服务器上并启动服务，至此服务端已经完成。
4、建立客户端项目，创建访问类，加载配置文件和公钥文件，通过SSL认证与服务端的连接。
5、认证通过之后进入授权认证模块，验证通过后可以访问实时数据查询模块、历史数据查询模块以及下发指令模块，得到服务端返回的结果。每一步操作都记录到日志中，最后将与服务端的连接关闭。
如图1和图2所示，一种基于thrift的大数据跨平台实时处理方法，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，SSL认证模块用于认证用户和服务器，确保数据发送到正确的客户机和服务器，并且将数据加密以防止数据中途被窃取，维护数据的完整性，确保数据在传输过程中不被改变；授权认证模块用于通过业务逻辑验证访问者是否拥有对车辆信息的查询及管理权限，拒绝无效访问者，避免数据信息的泄露；实时数据查询模块用于将车辆的实时数据信息提供给访问者，进行高并发、缓存机制处理，保证数据信息的及时性；历史数据查询模块用于将存储的车辆历史数据提供给访问者，简化访问方式，给客户更高效的使用效率；下发指令模块用于将指令准确的发送给终端，统一对终端的命令操作，解决使用者的多个入口，避免下发指令的混乱；基于thrift的大数据跨平台实时处理方法的具体步骤如下：
首先，用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；
其次，若授权认证通过，则可进行实时数据、历史数据或下发指令的操作；反之，告知用户不具备访问权限；
最后，将请求的相应结果返回给用户，并记录每一步的操作日志。
所述实时数据查询模块采用缓存技术redis与界面进行实时交互，其中，redis指高性能的“键值对”存储系统。
所述历史数据查询模块采用了hadoop的Hbase技术进行分布式存储。其中，Hbase是分布式的、面向列的开源数据库。
综上所述，本发明在工程机械行业中使用了大数据技术，其中Thrift作为目前最火的远程服务调用框架，在车辆信息管理中承担着重要角色，因其跨平台、高性能、高并发等特性能快速准确处理数据。另一方面，实时数据存储采用缓存技术redis进行与界面进行实时交互，大大提升了数据读取性能，历史数据采用了hadoop的Hbase技术进行分布式存储。同时，在数据安全方面，采用SSL技术和授权验证技术，保证数据安全、及时的提供给客户，正确的指导生产工作。具备如下优点：
1、通过授权认证,使应用层与平台层之间的数据交换既安全又简捷；
2、表达相同的内容所需的数据包比XML和JSON小，传输所占用的服务器资源更少；
3、技术成熟,性能良好,具备高并发的数据访问与处理能力；
4、跨平台，支持多语言客户端的应用；
5、数据存储采用redis缓存数据库，提供数据访问速度。

Claims (1)

1.一种基于thrift的大数据跨平台实时处理方法，其特征在于，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，SSL认证模块用于认证用户和服务器，确保数据发送到正确的客户机和服务器，并且将数据加密以防止数据中途被窃取，维护数据的完整性，确保数据在传输过程中不被改变；授权认证模块用于通过业务逻辑验证访问者是否拥有对车辆信息的查询及管理权限，拒绝无效访问者，避免数据信息的泄露；实时数据查询模块用于将车辆的实时数据信息提供给访问者，进行高并发、缓存机制处理，保证数据信息的及时性；历史数据查询模块用于将存储的车辆历史数据提供给访问者；下发指令模块用于将指令准确的发送给终端，统一对终端的命令操作；基于thrift的大数据跨平台实时处理方法的具体步骤如下：
(1)编写thrift文件，定义SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块和下发指令模块，此方法的目标语言为Java，所以在终端执行命令：“thrift--genjavaTest.thrift”，则在当前目录会生成一个gen-java目录，该目录下会按照命名空间定义的路径名一层层生成文件夹，如此就完成了支持Java语言的框架代码，该代码包含各模块的接口；
(2)建立服务端项目，创建模块接口的实现类，实现具体的逻辑；
(3)在服务端项目中创建启动类，并将Hbase配置文件、Redis配置文件、数据库配置文件、私钥文件加入代码中，编译项目后将程序放到服务器上并启动服务，至此服务端已经完成；
(4)建立客户端项目，创建访问类，加载配置文件和公钥文件，通过SSL认证与服务端的连接；
(5)用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；
(6)若授权认证通过，则可进行实时数据、历史数据或下发指令的操作；反之，告知用户不具备访问权限；
(7)将请求的相应结果返回给用户，并记录每一步的操作日志；
所述实时数据查询模块采用缓存技术redis与界面进行实时交互；
所述历史数据查询模块采用了hadoop的Hbase技术进行分布式存储。
CN201710108944.4A 2017-02-27 2017-02-27 一种基于thrift的大数据跨平台实时处理方法 Active CN106953847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710108944.4A CN106953847B (zh) 2017-02-27 2017-02-27 一种基于thrift的大数据跨平台实时处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710108944.4A CN106953847B (zh) 2017-02-27 2017-02-27 一种基于thrift的大数据跨平台实时处理方法

Publications (2)

Publication Number Publication Date
CN106953847A CN106953847A (zh) 2017-07-14
CN106953847B true CN106953847B (zh) 2020-10-16

Family

ID=59467004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710108944.4A Active CN106953847B (zh) 2017-02-27 2017-02-27 一种基于thrift的大数据跨平台实时处理方法

Country Status (1)

Country Link
CN (1) CN106953847B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474632B (zh) * 2018-12-28 2021-05-28 优刻得科技股份有限公司 对用户进行认证和权限管理的方法、装置、系统和介质
CN110597798B (zh) * 2019-09-17 2023-08-25 浪潮卓数大数据产业发展有限公司 一种基于Thrift的数据检测方法
CN110851544A (zh) * 2019-11-12 2020-02-28 芜湖盟博科技有限公司 一种使用远程服务控制远程车辆的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131126A (zh) * 2016-06-23 2016-11-16 广州亿程交通信息有限公司 基于车联网云平台服务的车辆管理系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9032493B2 (en) * 2011-03-31 2015-05-12 Intel Corporation Connecting mobile devices, internet-connected vehicles, and cloud services
CN103745599A (zh) * 2014-01-21 2014-04-23 兰州大学 一种基于云计算平台的车辆智能管理系统
CN105491084B (zh) * 2014-09-16 2019-06-28 钛马信息网络技术有限公司 基于ota协议的车联网系统及其控制方法
CN105610850A (zh) * 2016-01-13 2016-05-25 天津大学 基于车联网的车辆服务与管理系统
CN105577700B (zh) * 2016-03-04 2019-05-21 广州益车益路软件科技有限公司 基于远程密钥的车辆出入口控制系统及其控制方法
CN106406296B (zh) * 2016-12-14 2019-04-23 东北大学 一种基于车载和云端的列车故障诊断系统及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131126A (zh) * 2016-06-23 2016-11-16 广州亿程交通信息有限公司 基于车联网云平台服务的车辆管理系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"CADAL项目标准规范汇编 5";黄晨;《浙江大学出版社》;20160730;第105-106页 *
"harpc/java/README.md";dsfan;《GitHub》;"https://github.com/baifendian/harpc/blob/master/java/README.md";20161018;第1-4页 *
"thrift实践";Jark;《Jark’s Blog》;http://wuchong.me/blog/2015/10/07/thrift-practice/;20151007;第1-6页 *
"基于Hbase的车联网传感数据管理系统设计";孙旭等;《软件导刊》;20160826;第15卷(第8期);第71-73页 *
"大数据浪潮 大数据整体解决方案及关键技术探索";陈敏等;《华中科技大学出版社》;20151030;第88页 *
"社交网络服务";梁晓涛等;《武汉大学出版社》;20130330;第135页 *
王思澄.基于Thrift框架的离线大数据中间件的设计与实现".《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,(第02期), *

Also Published As

Publication number Publication date
CN106953847A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN105786998B (zh) 数据库中间件系统及利用其处理数据的方法
CN112260877B (zh) 基于ai的rpa机器人管理方法、平台及存储介质
CN106953847B (zh) 一种基于thrift的大数据跨平台实时处理方法
CN111625510A (zh) 一种基于云映射的多源数据共享系统及方法
CN111475795A (zh) 一种面向多应用进行统一认证授权的方法及装置
WO2014206129A1 (zh) 一种执行数据库操作命令的计算设备和方法
CN109951553B (zh) 数据处理方法、系统、电子设备以及计算机可读存储介质
CN110704476A (zh) 数据处理方法、装置、设备及存储介质
CN104598587A (zh) 发票真伪查询方法和系统
US12026653B2 (en) Database system and method for carbon footprint optimization
CN102663298A (zh) 面向终端计算机的安全在线检查系统
CN114900448A (zh) 一种微服务网关流量管理方法、装置和电子设备
CN112905978B (zh) 权限管理方法和装置
CN111930807B (zh) 一种轨道交通数据分析方法、装置、设备及存储介质
CN114064601B (zh) 存储过程转换方法、装置、设备和存储介质
CN106201542B (zh) 一种wof快速开发平台
CN105988785A (zh) 一种rpc服务开发方法及装置
CN109063468A (zh) 一种安装包完整性验证及修复的方法
CN108959952B (zh) 数据平台权限控制方法、装置和设备
CN112491965A (zh) 一种基于Kafka及Netty框架的监控数据传输方法
CN109460416B (zh) 一种数据处理方法、装置、电子设备及存储介质
US20220417246A1 (en) Method and apparatus for authorizing service function, device and storage medium
CN107291524A (zh) 一种远程命令的处理方法和装置
CN111399818B (zh) 推荐引擎设计方法、装置、服务器及存储介质
CN110633077B (zh) 一种基于模块化的快速开发系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 221000 No. 6, Keji Road, Xuzhou Economic and Technological Development Zone, Xuzhou City, Jiangsu Province

Patentee after: XCMG Hanyun Technology Co.,Ltd.

Address before: 221000 first floor, E1 building, software park, Xuzhou Economic and Technological Development Zone, Jiangsu Province

Patentee before: JIANGSU XUGONG INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address