CN116244359B - 一种试验数据汇聚装置、方法及设备 - Google Patents

一种试验数据汇聚装置、方法及设备 Download PDF

Info

Publication number
CN116244359B
CN116244359B CN202211469773.5A CN202211469773A CN116244359B CN 116244359 B CN116244359 B CN 116244359B CN 202211469773 A CN202211469773 A CN 202211469773A CN 116244359 B CN116244359 B CN 116244359B
Authority
CN
China
Prior art keywords
data
test data
encrypted
service
abstract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211469773.5A
Other languages
English (en)
Other versions
CN116244359A (zh
Inventor
秦家深
洪学超
李少辉
闫瑞琦
陈鹏
闫占乾
费洪刚
于小喆
郑宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING RAINFE TECHNOLOGY CO LTD
Original Assignee
BEIJING RAINFE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING RAINFE TECHNOLOGY CO LTD filed Critical BEIJING RAINFE TECHNOLOGY CO LTD
Priority to CN202211469773.5A priority Critical patent/CN116244359B/zh
Publication of CN116244359A publication Critical patent/CN116244359A/zh
Application granted granted Critical
Publication of CN116244359B publication Critical patent/CN116244359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开一种试验数据汇聚装置、方法及设备,涉及试验数据采集领域。该方法包括利用集成多个不同接口的网关接收不同类型的JSON对象;所述JSON对象包括加密的试验数据、签名的加密数据摘要以及加密后的对称密钥;将不同类型的所述JSON对象转换为不同的数据汇聚服务;根据负载均衡策略将同一类型的JSON对象分配至所述数据汇聚服务中的一个或多个服务实例中;在所述服务实例中解密所述JSON对象,确定原始试验数据;处理所述原始试验数据,并将处理后的试验数据存储至消息队列中,导入分布式系统内存中。本发明能够提高系统稳定性以及数据处理效率。

Description

一种试验数据汇聚装置、方法及设备
技术领域
本发明涉及航空、汽车、机械、船舶、重工等代表性行业的试验数据采集领域,特别是涉及一种试验数据汇聚装置、方法及设备。
背景技术
数据汇聚是数据获取系统中很重要的一个环节,主要负责对数据进行及时高效的组织和汇聚,并且将汇总后的数据传输到后端存储系统。数据汇聚装置是采集系统中不可或缺的部分,其性能也直接影响系统整体性能。不同的数据获取系统内部结构虽然存在差异,但是核心功能和工作流程都是相似的,所以理论上可以用一个通用的方案解决多个系统的数据汇聚问题。为了设计出高性能、高通用性的数据汇聚方案,在解决大规模数据获取系统的数据汇聚问题的同时,能够适用于多种大型试验的数据获取系统。
在传统的数据汇聚装置中,功能实现比较集中,大部分功能都运行在同一个进程中,模块内部存在依赖,限制了数据汇聚装置的扩展性和处理能力,进而导致系统很难处理大数据量的接入,即使接入大数据量的数据处理效率低。而且当数据汇聚装置需接入新的数据种类时,需对原有系统进行改动并重新部署才可以接入新类型的数据,这势必影响了原有数据的接入和系统运行的稳定性。
发明内容
本发明的目的是提供一种试验数据汇聚装置、方法及设备,以解决面对大数据量接入时,处理效率低且当接入新的数据种类时,系统稳定性差的问题。
为实现上述目的,本发明提供了如下方案:
一种试验数据汇聚装置,包括:自上而下的接入层、服务层、支撑层以及基础设施层;
所述接入层包括集成多个不同接口的网关;所述接入层用于通过所述网关接收不同类型的JSON对象,并将所述不同类型的JSON对象发送至所述服务层;所述JSON对象包括加密的试验数据、签名的加密数据摘要以及加密后的对称密钥;
所述服务层用于将每个类型的JSON对象均转换为一个数据汇聚服务,并根据负载均衡策略将同一类型的JSON对象分配至所述数据汇聚服务中的一个或多个服务实例中;所述数据汇聚服务包括一个或多个服务实例;所述服务实例用于处理所述JSON对象;
所述支撑层用于向所述服务层提供所述负载均衡策略,并将所述数据汇聚服务注册至Eureka中心;
所述基础设施层包括计算资源池、存储资源池、网络资源池以及安全资源池;所述基础设施层用于支撑所述数据汇聚服务的弹性伸缩。
可选的,所述服务层具体包括:容器镜像以及多个虚拟机;
所述容器镜像用于接收打包的各个所述数据汇聚服务,并将所述数据汇聚服务部署至各个所述虚拟机;
所述虚拟机用于根据每个所述数据汇聚服务生成所述数据汇聚服务对应的一个或多个所述服务实例。
一种试验数据汇聚方法,包括:
利用集成多个不同接口的网关接收不同类型的JSON对象;所述JSON对象包括加密的试验数据、签名的加密数据摘要以及加密后的对称密钥;
将不同类型的所述JSON对象转换为不同的数据汇聚服务;
根据负载均衡策略将同一类型的JSON对象分配至所述数据汇聚服务中的一个或多个服务实例中;
在所述服务实例中解密所述JSON对象,确定原始试验数据;
处理所述原始试验数据,并将处理后的试验数据存储至消息队列中,导入分布式系统内存中。
可选的,所述利用所述网关接收不同类型的JSON对象,之前还包括:
获取原始试验数据;
利用对称密钥加密所述原始试验数据,生成加密的试验数据;
提取所述原始试验数据中的重要字段作为第一数据摘要,利用MD5加密算法加密所述第一数据摘要,生成加密的第一数据摘要;
利用发送方设备的私钥对所述加密的第一数据摘要进行签名,生成签名的加密数据摘要;
利用所述数据汇聚服务的公钥加密所述对称密钥,生成加密后的对称密钥;
将所述加密的试验数据、所述签名的加密数据摘要以及所述加密后的对称密钥组成所述JSON对象。
可选的,所述将不同类型的所述JSON对象转换为不同的数据汇聚服务,具体包括:
采用数据传输协议将所述JSON对象发送至服务层的服务网关;
在所述服务网关获取所述JSON对象的地址信息;
根据所述地址信息将不同类型的所述JSON对象转换为不同的数据汇聚服务。
可选的,所述在所述服务实例中解密所述JSON对象,确定原始试验数据,具体包括:
利用所述数据汇聚服务的私钥解密所述加密后的对称密钥,确定所述对称密钥;
利用所述对称密钥解密所述加密后的试验数据,确定解密的原始试验数据;
解析所述解密的原始试验数据对应的发送方设备的身份标识码;
若所述身份标识码已在Eureka中心内注册,提取解密的原始试验数据的重要字段作为第二数据摘要,利用MD5加密算法加密所述第二数据摘要,生成加密的第二数据摘要;
利用发送方设备的公钥对所述签名的加密数据摘要进行解签,生成所述加密的第一数据摘要;
若所述加密的第一数据摘要与所述加密的第二数据摘要相等,确定所述解密的原始试验数据为所述原始试验数据;
若所述加密的第一数据摘要与所述加密的第二数据摘要不相等,确定所述原始试验数据在传输过程中已被修改,返回试验数据被篡改警告;
若无法解签,确定所述身份标识码为伪造身份标识码;
若身份标识码未在Eureka中心内注册,返回发送方设备未注册警告。
一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述所述的试验数据汇聚方法。
一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述所述的试验数据汇聚方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种试验数据汇聚装置、方法及设备,利用集成多个不同接口的网关接收不同类型的JSON对象,所述JSON对象包含试验数据,当有新类型的试验数据加入时,也无法改动原有系统,通过集成多个不同接口网关即可直接接收,提高了系统稳定性;将每个JSON对象均转换为一个数据汇聚服务,数据汇聚服务包括一个或多个服务实例,当同一类型的JSON对象数据量大时,可以采用多个服务实例同时处理,每个服务实例之间相互独立,提高了处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的试验数据汇聚装置架构图;
图2为本发明所提供的数据汇聚装置部署方案示意图;
图3为本发明所提供的试验数据注册至Eureka中心示意图;
图4为集成试验数据汇集装置的E-GAUGE架构图;
图5为本发明所提供的试验数据汇聚方法流程图;
图6为集成试验数据汇集装置的E-GAUGE产品示意图;
图7为E-GAUGE产品的工作流程图;
图8为试验数据汇聚装置的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种试验数据汇聚装置、方法及设备,提高了系统稳定性以及数据处理效率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1为本发明所提供的试验数据汇聚装置架构图,如图1所示,一种试验数据汇聚装置,包括:自上而下的接入层、服务层、支撑层以及基础设施层;所述接入层包括集成多个不同接口的网关;所述接入层用于通过所述网关接收不同类型的JSON对象,并将所述不同类型的JSON对象发送至所述服务层;所述JSON对象包括加密的试验数据、签名的加密数据摘要以及加密后的对称密钥;所述服务层用于将每个类型的JSON对象均转换为一个数据汇聚服务,并根据负载均衡策略将同一类型的JSON对象分配至所述数据汇聚服务中的一个或多个服务实例中;所述数据汇聚服务包括一个或多个服务实例;所述服务实例用于处理所述JSON对象;所述支撑层用于向所述服务层提供所述负载均衡策略,并将所述数据汇聚服务注册至Eureka中心;所述基础设施层包括计算资源池、存储资源池、网络资源池以及安全资源池;所述基础设施层用于支撑所述数据汇聚服务的弹性伸缩。该试验数据为高速数据。
在实际应用中,接入层通过API网关将发送方回传数据的请求接入到数据汇聚装置。
服务层是各类数据汇聚服务功能实现的主体,采用服务的方式实现对回传数据的接收、解密、验证和存储等功能。
支撑层为了支撑服务能够更有效地运行,主要包括注册发现、负载均衡、配置管理、监控告警等。
基础设施层能够有效地进行基础设施自动化以及弹性伸缩,进而支撑服务的弹性伸缩及保障服务的可用性。
所述服务层具体包括:容器镜像以及多个虚拟机;所述容器镜像用于接收打包的各个所述数据汇聚服务,并将所述数据汇聚服务部署至各个所述虚拟机;所述虚拟机用于根据每个所述数据汇聚服务生成所述数据汇聚服务对应的一个或多个所述服务实例。
在实际应用中,通过使用容器技术,部署多个服务的工作将变得更为简便。Docker是一个开源的容器引擎,在Linux容器技术的基础上,进一步封装了容器的一些操作接口提供给开发者管理和使用容器。只要能运行Docker,最终应用都能以容器的形式提供服务。采用Docker技术将数据汇聚装置中每个服务运行所需的应用程序和库组成的文件系统映像打包成一个个容器镜像,通过集群管理器对这些容器镜像进行管理,并可根据容器所需资源和每个主机上可用的资源决定放置每个容器的位置。图2为本发明所提供的数据汇聚装置部署方案示意图,如图2所示,其中,图2中的数据1服务、数据2服务以及数据3服务中的“服务”指的是数据汇聚服务。
基于SpringBoot服务架构实现数据汇聚装置,即将不同种类数据的汇聚开发成一个数据汇聚服务,每个数据汇聚服务可部署多个实例,并注册到Eureka中心,图3为本发明所提供的试验数据注册至Eureka中心示意图,如图3所示,每个数据汇聚服务间的业务是相互独立的,并可单独运行,互不影响,极大的保证了数据汇聚装置的高内聚、低耦合的特性,如图4所示。
传统的数据汇集存在如下问题:
1、数据接入方式、解码方式复杂,系统众多不利于统一规范:
1)接口方式:
RS232采用串口转换为RS485,然后接入到计算机。
RS485采用串口接入,直接接入到计算机或串口服务器。
CAN采用计算机集成CAN卡,然后连线到计算机。
传感器(电压、电流信号),接入到专用采集设备,然后再连线到计算机。
2)解码方式:
温箱设备,采用设备厂商附带的软件系统进行信号采集或人工抄录。
传感器,采用专用的采集设备进行信号转换编码,后端需要特定的软件系统对编码信号解码。
3)系统构成:
采集系统多,操作不方便,每个系统都需要学习使用。
存储数据格式多样化,不统一,需要对每种数据进行人工处理然后对比。
信号发布格式不统一,部分不具备信号发布,需要多个监视器同时监视。
2、对操作人员的环境技术要求高:
1)对每套系统的操作步骤都需要了解,能够诊断软件故障。
2)了解多种操作系统(Windows、Linux)环境配置、系统特点以及限制。
3)每套系统的接入方式需要了解,接口说明要熟悉。
4)熟悉RS232、RS485、CAN等走线模式、环境限制、接入方式。
3、成本预算高:
1)多套采集系统需要多台计算机、显示器、键盘鼠标。每套计算机5000左右。
2)需要多套专用信号采集设备。
3)CAN信号采集需要CAN卡,CAN卡成本高,国产在1万左右,进口的在5-10万。
4)线路铺设麻烦,采集终端计算机距离采集设备远,采集设备周围部署计算机会造成试验不方便,影响试验器件的部署。
5)设备种类多造成信号种类多,需要定制多种软件采集系统信号解码,定制采集系统价格市场上10万起,标准解码软件8000元。
6)设备多供电量大,供电标准不统一。
针对传统的数据汇集存在的问题,基于本发明所提供的试验数据汇聚装置,实现了如下效果:
1)接口整合,支持多种接口同时接入。
2)编码整合,支持标准编码、自定义编码的解码。
3)系统整合,一套系统具备多套系统的功能。
4)信号发布,支持采集的信号以标准格式进行发布,拓展性强。
5)消息服务架构,内部架构一套完整独立的消息服务,贯穿整套系统,支撑系统各个功能配合工作。
6)Web操作,提供web操作页面,界面友好,操作简单。
实施例二
图5为本发明所提供的试验数据汇聚方法流程图,如图5所示,一种试验数据汇聚方法,包括:
步骤501:利用集成多个不同接口的网关接收不同类型的JSON对象;所述JSON对象包括加密的试验数据、签名的加密数据摘要以及加密后的对称密钥。
在实际应用中,虽然现在有很多的安全防护技术用来保护计算机网络,但还是面临着各个方面的攻击,所以数据加密非常重要。发送方设备在发送采集数据前,需对数据进行以下加密处理:
1)用对称密钥对发送的采集数据加密,得到加密的采集数据。
2)将采集数据中的重要字段组成数据摘要,并用MD5加密算法进行加密,得到加密的第一数据摘要A。
3)对加密过的数据摘要用发送方私钥签名,得到签名的加密数据摘要。
4)用接收方公钥加密对称密钥得到加密后的对称密钥。
5)将加密的采集数据、签名的加密数据摘要和加密后的对称密钥信息组成JSON对象。
步骤502:将不同类型的所述JSON对象转换为不同的数据汇聚服务。
在实际应用中,所述步骤502具体包括:采用数据传输协议将所述JSON对象发送至服务层的服务网关;在所述服务网关获取所述JSON对象的地址信息;根据所述地址信息将不同类型的所述JSON对象转换为不同的数据汇聚服务。
步骤503:根据负载均衡策略将同一类型的JSON对象分配至所述数据汇聚服务中的一个或多个服务实例中。
在实际应用中,由统一API网关进行封装对外提供服务。
发送方设备调用试验数据汇聚装置中的API网关对外提供的统一接口,采用安全的数据传输协议HTTPS把JSON对象发送到服务网关。服务网关接收到请求后,将根据地址信息转到对应的数据汇聚服务,并采用负载均衡策略将请求分配到服务实例进行处理。
步骤504:在所述服务实例中解密所述JSON对象,确定原始试验数据。
在实际应用中,当服务实例接收到数据后,需对数据进行以下处理:
1)用接收方私钥对加密后的对称密钥解密,得到对称密钥;
2)用对称密钥对加密的采集数据解密,得到原数据,解析发送方设备的身份标识码ID值,若其已注册,则继续下面的步骤,否则返回设备ID未注册警告;
3)将原数据中的重要字段组装成第二数据摘要B,并用MD5加密算法进行加密得到加密的第二数据摘要B;
4)用发送方的公钥对签名后的加密数据摘要进行解签得到加密的第一数据摘要A,若无法解签,则说明这条数据不是A发的,返回身份被伪造警告;
5)若加密的第一数据摘要A和加密的第二数据摘要B相等则说明采集数据未被修改,否则说明数据在传输过程中被修改了,返回数据被篡改警告。
步骤505:处理所述原始试验数据,并将处理后的试验数据存储至消息队列中,导入分布式系统内存中。
在实际应用中,对解密后的采集数据进行微处理后将数据存储到消息队列中。
采用Kafka集群作为消息中间件,其具有高吞吐的特性,将实时数据快速导入分布式系统的内存当中,当消息队列中消息过多时还可以写入磁盘,保证了汇聚数据的安全,并将数据的汇聚过程与业务处理进行了解耦。
实施例三
为了执行上述实施例二对应的方法,以实现相应的功能和技术效果,下面提供一种试验数据汇聚系统。
该试验数据汇聚系统中的每个数据汇聚服务都可分为数据接收模块、数据解密模块、数据验证模块和数据生成模块。
1、数据接收模块。
数据接收模块主要负责接收和初步解析回传的采集数据。初步解析是指对回传数据解析出携带签名的加密数据摘要、加密的采集数据和加密的对称密钥,这三个数据作为数据解密模块的输入数据。用Java开发语言实现数据接收模块。
2、数据解密模块。
数据解密模块是对初步解析的加密数据解密,主要包括以下流程:
1)用发送方的公钥对签名的加密数据摘要解签得到发送的加密数据摘要,如果不能解签则给发送方返回身份伪造警告。
2)用接收方私钥将加密的对象密钥解密得到对称密钥。
3)用对称密钥将加密的采集数据解密得到采集数据,解密得到的采集数据和数据摘要作为数据验证模块的输入数据。用Java开发语言实现数据解密模块。
3、数据验证模块。
数据验证模块首先判断采集数据中的设备ID信息是否已注册,若未注册,则返回设备ID未注册警告,若已注册,则将该类数据的重要字段信息组成数据摘要,用MD5加密算法对数据摘要进行加密得到加密的数据摘要,用它和数据解密模块得到的数据摘要进行比对,若不一致,则返回数据传输过程中被篡改警告,若一致则将采集数据作为数据生成模块的输入数据。用Java开发语言实现数据验证模块。
4、数据生成模块。
数据生成模块将采集数据做微处理后生成最终数据,并调用kafka集群生产者接口将最终数据放入分布式发布订阅消息系统kafka集群的消息队列中。对采集数据进行微处理主要包括:
1)将携带base64码流的字段调用seaweed存储接口将数据存到seaweed集群,并获取访问该数据的url地址信息。
2)给采集数据增加接收时间字段信息,值为当前时间。用Java开发语言实现数据生成模块。
数据汇聚装置是信息系统中不可或缺的部分,其性能直接影响信息系统展示采集数据的性能。基于服务架构开发的数据汇聚装置横向可扩展新类型的数据汇聚服务,纵向可根据数据汇聚的速率扩展部署服务实例以增加数据汇聚的效率。通过发送方对采集数据的加密传输及接收方的验证机制可保证发送方身份不可伪造和采集数据在传输过程中不可篡改这两个安全特性。
试验数据汇集装置具备多种接口,将前端设备以对应的接口接入到E-GAUGE产品中,由服务端进行对应设备对应数据解析模型的下载,系统内部首先根据模型配置的接口读取信号,然后根据数据解析模型对信号进行解析转换为统一标准编码,然后根据内部信号流程进行信号传递以及发布,图6为集成试验数据汇集装置的E-GAUGE产品示意图,图7为E-GAUGE产品的工作流程图,如图6-图7所示。
1、试验数据汇聚装置的指标:
信号输入:支持多种多个信号输入,多个RS485、RS232、CAN、RJ45信号的输入。
信号编码:支持多种编码格式,Modbus-RTU、Modbus-TCP、Modbus-ASCII、CAN信号编码。
属性存储:SQLite3。
信号发布:RabbitMQ。
操作系统:Linux。
2、试验数据汇聚装置运转机制:
信号传递依托于RabbitMQ,通过内部架构好的信号机制进行整个业务机制的运行,图8为试验数据汇聚装置的工作流程图,如图8所示。
3、试验数据汇聚装置进程构成:
Mosquittobroker消息服务进程:负责采集进程、主进程、上位机消息中转。
主进程:负责内部与外部通讯、采集进程管理、接口参数管理;Sqlite3数据库:保存E-Gauge属性、接口参数及所有配置信息;DAQ Process数据采集进程:每个接口一个采集进程,负责数据采集、解码、预处理等功能。
4、集成试验数据汇聚装置的E-Gauge主要技术指标如下:
1)信号接口:
模拟输入:4-20mA,0-10V;模拟输出:4-20mA,0-10V
脉冲量接口:计数器信号。
开关量输出:继电器(无源触点)。
工业总线接口:RS485、CAN。
以太网接口:标准RJ45接口、光纤接口。
2)通信协议:
工业总线协议:Modbus_RTU、Modbus_TCP。
以太网协议:TCP/IP。
采用的服务架构可以很好的解决在数据汇聚实际过程中可能会遇到的以下情况:
1)不同种类数据接入的数据量不一样,可定制化服务实例的部署方案,使部署的服务实例数量与实际业务需求相匹配;
2)服务间的独立可在系统接入新的数据种类时不影响数据汇聚原有服务的运行和数据接入;
3)在某类数据接入量猛增的情况下可快速部署该类数据的服务实例,提高此类数据的汇聚能力;
4)通过网关对外提供统一的接口可解决接入发送方差异性的问题。本装置通过对数据汇聚装置的架构、汇聚流程和部署方案进行了设计,为系统的实现和部署提供了指导。
其优点主要体现在:
1、节省工作量:
1)接口方式:支持多种接口,多种接口直接接入到E-GAUGE上。
2)解码方式:标准解码,根据模型自动解码转换为统一标准格式数据。
3)系统构成:一套系统构成,远程操控,步骤简单;信号发布格式统一,一个监视器将关键信号同时展示。
2、技术门槛低:
1)熟悉总线接入方式。
2)熟悉E-GAUGE系统操作步骤。
3)系统固定为Linux,提供WEB页面操作,无需了解操作系统。
3、降低成本:
1)一套设备E-GAUGE。
2)设备周边墙壁、大型设备上。
3)距离近,线路铺设简单,安装拆卸简单。
4)支持多种标准解码、定制解码。
5)供电量低,24V、2A供电。
实施例四
本发明实施例提供一种电子设备包括存储器及处理器,该存储器用于存储计算机程序,该处理器运行计算机程序以使电子设备执行实施例一提供的试验数据汇聚方法。
在实际应用中,上述电子设备可以是服务器。
在实际应用中,电子设备包括:至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。
其中:处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口,用于与其它设备进行通信。
处理器,用于执行程序,具体可以执行上述实施例所述的方法。
具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器,用于存放程序。存储器可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
基于以上实施例的描述,本申请实施例提供一种存储介质,其上存储有计算机程序指令,计算机程序指令可被处理器执行以实现任意实施例所述的方法
本申请实施例提供的试验数据汇聚系统以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网性能。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此,已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带、磁盘存储或其他磁性存储设备
或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种试验数据汇聚装置,其特征在于,包括:自上而下的接入层、服务层、支撑层以及基础设施层;
所述接入层包括集成多个不同接口的网关;所述接入层用于通过所述网关接收不同类型的JSON对象,并将所述不同类型的JSON对象发送至所述服务层;所述JSON对象包括加密的试验数据、签名的加密数据摘要以及加密后的对称密钥;
所述服务层用于将每个类型的JSON对象均转换为一个数据汇聚服务,并根据负载均衡策略将同一类型的JSON对象分配至所述数据汇聚服务中的一个或多个服务实例中;所述数据汇聚服务包括一个或多个服务实例;所述服务实例用于处理所述JSON对象;
所述支撑层用于向所述服务层提供所述负载均衡策略,并将所述数据汇聚服务注册至Eureka中心;
所述基础设施层包括计算资源池、存储资源池、网络资源池以及安全资源池;所述基础设施层用于支撑所述数据汇聚服务的弹性伸缩。
2.根据权利要求1所述的试验数据汇聚装置,其特征在于,所述服务层具体包括:容器镜像以及多个虚拟机;
所述容器镜像用于接收打包的各个所述数据汇聚服务,并将所述数据汇聚服务部署至各个所述虚拟机;
所述虚拟机用于根据每个所述数据汇聚服务生成所述数据汇聚服务对应的一个或多个所述服务实例。
3.一种试验数据汇聚方法,其特征在于,包括:
利用集成多个不同接口的网关接收不同类型的JSON对象;所述JSON对象包括加密的试验数据、签名的加密数据摘要以及加密后的对称密钥;
将不同类型的所述JSON对象转换为不同的数据汇聚服务;
根据负载均衡策略将同一类型的JSON对象分配至所述数据汇聚服务中的一个或多个服务实例中;
在所述服务实例中解密所述JSON对象,确定原始试验数据;
处理所述原始试验数据,并将处理后的试验数据存储至消息队列中,导入分布式系统内存中。
4.根据权利要求3所述的试验数据汇聚方法,其特征在于,所述利用所述网关接收不同类型的JSON对象,之前还包括:
获取原始试验数据;
利用对称密钥加密所述原始试验数据,生成加密的试验数据;
提取所述原始试验数据中的重要字段作为第一数据摘要,利用MD5加密算法加密所述第一数据摘要,生成加密的第一数据摘要;
利用发送方设备的私钥对所述加密的第一数据摘要进行签名,生成签名的加密数据摘要;
利用所述数据汇聚服务的公钥加密所述对称密钥,生成加密后的对称密钥;
将所述加密的试验数据、所述签名的加密数据摘要以及所述加密后的对称密钥组成所述JSON对象。
5.根据权利要求3所述的试验数据汇聚方法,其特征在于,所述将不同类型的所述JSON对象转换为不同的数据汇聚服务,具体包括:
采用数据传输协议将所述JSON对象发送至服务层的服务网关;
在所述服务网关获取所述JSON对象的地址信息;
根据所述地址信息将不同类型的所述JSON对象转换为不同的数据汇聚服务。
6.根据权利要求4所述的试验数据汇聚方法,其特征在于,所述在所述服务实例中解密所述JSON对象,确定原始试验数据,具体包括:
利用所述数据汇聚服务的私钥解密所述加密后的对称密钥,确定所述对称密钥;
利用所述对称密钥解密所述加密后的试验数据,确定解密的原始试验数据;
解析所述解密的原始试验数据对应的发送方设备的身份标识码;
若所述身份标识码已在Eureka中心内注册,提取解密的原始试验数据的重要字段作为第二数据摘要,利用MD5加密算法加密所述第二数据摘要,生成加密的第二数据摘要;
利用发送方设备的公钥对所述签名的加密数据摘要进行解签,生成所述加密的第一数据摘要;
若所述加密的第一数据摘要与所述加密的第二数据摘要相等,确定所述解密的原始试验数据为所述原始试验数据;
若所述加密的第一数据摘要与所述加密的第二数据摘要不相等,确定所述原始试验数据在传输过程中已被修改,返回试验数据被篡改警告;
若无法解签,确定所述身份标识码为伪造身份标识码;
若身份标识码未在Eureka中心内注册,返回发送方设备未注册警告。
7.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行如权利要求3-6中任一项所述的试验数据汇聚方法。
8.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求3-6中任一项所述的试验数据汇聚方法。
CN202211469773.5A 2022-11-23 2022-11-23 一种试验数据汇聚装置、方法及设备 Active CN116244359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211469773.5A CN116244359B (zh) 2022-11-23 2022-11-23 一种试验数据汇聚装置、方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211469773.5A CN116244359B (zh) 2022-11-23 2022-11-23 一种试验数据汇聚装置、方法及设备

Publications (2)

Publication Number Publication Date
CN116244359A CN116244359A (zh) 2023-06-09
CN116244359B true CN116244359B (zh) 2023-09-29

Family

ID=86626549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211469773.5A Active CN116244359B (zh) 2022-11-23 2022-11-23 一种试验数据汇聚装置、方法及设备

Country Status (1)

Country Link
CN (1) CN116244359B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006124920A2 (en) * 2005-05-18 2006-11-23 Azaire Networks Inc. Universal convergence border gateway
CN112883095A (zh) * 2021-03-02 2021-06-01 南京德奈特系统科技有限责任公司 多源异构数据汇聚的方法、系统、设备以及存储介质
CN115168335A (zh) * 2022-04-18 2022-10-11 北京空间飞行器总体设计部 一种基于json的多源异构试验鉴定数据高效采存方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006124920A2 (en) * 2005-05-18 2006-11-23 Azaire Networks Inc. Universal convergence border gateway
CN112883095A (zh) * 2021-03-02 2021-06-01 南京德奈特系统科技有限责任公司 多源异构数据汇聚的方法、系统、设备以及存储介质
CN115168335A (zh) * 2022-04-18 2022-10-11 北京空间飞行器总体设计部 一种基于json的多源异构试验鉴定数据高效采存方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Spring Cloud和Docker的分布式微服务架构设计;黄强文;曾丹;;微型电脑应用(第06期);全文 *

Also Published As

Publication number Publication date
CN116244359A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
US11997160B2 (en) Lightweight IoT information model
US10216485B2 (en) Computer platform for development and deployment of sensor data based applications and services
AU2019295818A1 (en) Block chain-based data processing method and device
CN108521858A (zh) 基于分组的数据通信的设备标识符相关操作处理
CN205883299U (zh) 一种基于云计算的数据存储系统
CN104506487B (zh) 云环境下隐私策略的可信执行方法
CN112511218B (zh) 一种基于微服务的卫星地面站监控系统
CN111552568B (zh) 云服务调用方法和装置
CN104836859B (zh) 基于车载诊断系统的云端数据整合的方法和系统
CN114189274A (zh) 一种基于微服务的卫星地面站监控系统
CN108833500B (zh) 服务调用方法、服务提供方法、数据传递方法和服务器
CN115130075A (zh) 一种数字签章方法、装置、电子设备及存储介质
CN113221165B (zh) 一种基于区块链的用户要素认证方法及装置
CN109492039A (zh) 一种日志数据的记录方法、装置、电子设备及可读介质
CN116700907B (zh) 服务调用需求文档存储方法、装置、电子设备和可读介质
CN116244359B (zh) 一种试验数据汇聚装置、方法及设备
CN112910835A (zh) 基于区块链的配置管理方法、装置、系统、设备和介质
CN109525550B (zh) 一种数据报文的处理方法、装置以及系统
CN116991929A (zh) 基于医院大数据的微服务系统
CN116980495A (zh) 一种数据转换方法、装置、计算机设备、介质及产品
CN112448909A (zh) 电子锁管理方法、装置、系统及存储介质
CN113835889A (zh) 获取输入事件的方法和相关装置
Xu Big NB‐IoT Data: Enhancing Portability of Handheld Narrow‐Band Internet of Things Performance on Big Data Technology
CN109582481B (zh) 调用结果的传输方法、装置、设备及存储介质
CN113918245A (zh) 一种数据调用方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qin Jiashen

Inventor after: Hong Xuechao

Inventor after: Li Shaohui

Inventor after: Yan Ruiqi

Inventor after: Chen Peng

Inventor after: Yan Zhanqian

Inventor after: Fei Honggang

Inventor after: Yu Xiaozhe

Inventor after: Zheng Bao

Inventor before: Qin Jiashen

Inventor before: Li Shaohui

Inventor before: Yan Ruiqi

Inventor before: Chen Peng

Inventor before: Yan Zhanqian

Inventor before: Hong Xuechao

Inventor before: Fei Honggang

Inventor before: Yu Xiaozhe

Inventor before: Zheng Bao

GR01 Patent grant
GR01 Patent grant