CN115858526A - 基于数据源格式不定的多维可视化的试验数据管理系统 - Google Patents

基于数据源格式不定的多维可视化的试验数据管理系统 Download PDF

Info

Publication number
CN115858526A
CN115858526A CN202211493543.2A CN202211493543A CN115858526A CN 115858526 A CN115858526 A CN 115858526A CN 202211493543 A CN202211493543 A CN 202211493543A CN 115858526 A CN115858526 A CN 115858526A
Authority
CN
China
Prior art keywords
data
module
test
visualization
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211493543.2A
Other languages
English (en)
Inventor
胡振涛
程聪聪
周林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202211493543.2A priority Critical patent/CN115858526A/zh
Publication of CN115858526A publication Critical patent/CN115858526A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明涉及数据处理技术领域,具体涉及一种基于数据源格式不定的多维可视化的试验数据管理系统,包括:试验数据管理模块,用于多源异构试验数据的采集、存储和检索管理;场景显示与数据可视化模块,用于通信连接试验数据管理模块,根据试验数据管理模块提供的数据和外部实时数据进行数据可视化显示;数据库管理模块,用于通信连接试验数据管理模块和场景显示与数据可视化模块,合理分配系统各个功能模块到相应的试验人员机构。本发明实现了试验数据的仿真信息汇集、存储、处理、比较、融合及分析,其大幅度提高了试验数据的管理效率。

Description

基于数据源格式不定的多维可视化的试验数据管理系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于数据源格式不定的多维可视化的试验数据管理系统。
背景技术
在传统的数据采集过程中,通常需求协议都是固定的,具体为数据字段的数量固定和顺序固定,数据的解析功能、存储功能、查询功能以及浏览功能的实现相对简单,但是在相关项目中,经常会因为每次试验中布置的传感器数量不同、类型不同以及位置不同,导致数据源格式不定,造成产生的数据源字段的数量不固定和顺序不固定的情况,传统数据管理方法无法实现数据的解析、存储、查询、浏览等功能。因此,目前亟需一种能够针对数据字段的数量不固定和顺序不固定的数据源,实现数据的解析、存储、查询和浏览的方法。
传统的试验数据管理大多为数据展示方法,数据展示方法一般局限于表单展示、列表展示、图表展示等。在相关项目中,需要进行对多批次试验数据的多维度进行对比展示,但该数据展示方法不足以支撑相关项目的需求,导致试验数据的管理效率较低。
发明内容
为了解决上述传统的数据管理方法对应的试验数据管理效率较低的技术问题,本发明的目的在于提供一种基于数据源格式不定的多维可视化的试验数据管理系统。
本发明提供了一种基于数据源格式不定的多维可视化的试验数据管理系统,该系统包括以下步骤:
试验数据管理模块,用于多源异构试验数据的采集、存储和检索管理;
场景显示与数据可视化模块,用于通信连接所述试验数据管理模块,根据试验数据管理模块提供的数据和外部实时数据进行数据可视化显示;
数据库管理模块,用于通信连接所述试验数据管理模块和所述场景显示与数据可视化模块,分配各个功能模块到相应的试验人员机构。
进一步的,所述试验数据管理模块包括:
数据存储子功能模块包括结构化数据存储子功能模块和非结构化数据存储子功能模块;
结构化数据存储子功能模块,用于对通过数据接口上传的各种多源异构数据进行解析、存储操作;
非结构化数据存储子功能模块,用于对通过数据接口上传的各种多源异构数据进行处理、关联存储操作;
多条件查询检索子功能模块,用于对已存储在系统中的数据进行检索;
试验数据详情展示子模块,用于对已存储在系统中的数据进行浏览查阅。
进一步的,所述数据存储子功能模块的实现步骤包括:
遍历试验数据格式,对所述试验数据格式进行解析处理,得到解析后的数据和数据结构;
在数据库中生成相应的数据表和数据关系表,将解析后的数据与试验编码相关联,插入到数据表中,将数据结构与试验类型相关联插入到数据关系表中。
进一步的,所述多条件查询检索子功能模块的实现步骤包括:
利用后端代码搭建SQL语句框架,将前端输入的各个数据项遍历解析,并插入到后端生成的SQL语句框架中,对SQL服务器发起指令,获取并解析查询结果,将解析后的查询结果返回给前端。
进一步的,所述试验数据详情展示子模块的实现步骤包括:
采用表格法还原结构化数据在载荷中的样式;
将当前试验编号涉及到的所有非结构化数据根据文件类型和文件层级进行划分,采用树状图法将划分后的非结构化数据展现在页面中。
进一步的,所述场景显示与数据可视化模块包括:
试验数据统计展示功能子模块,用于对系统中已存在的所有试验及其试验类型进行统计展示;
二维视图可视化功能子模块,用于对相关类型数据及其试验场景图进行二维动态展示;
三维视图可视化功能子模块,用于对相关类型数据进行三维动态展示。
进一步的,所述二维视图可视化功能子模块的实现步骤包括:
对于两列数组数据,利用前端绘图工具对用户导入的相关格式数据设定横坐标和纵坐标,绘制曲线图;
对于预先设定的矩阵数据,利用d3.js工具库进行二维视图绘制。
进一步的,利用d3.js工具库进行二维视图绘制的步骤包括:
利用select函数对预先设定的矩阵数据进行处理,得到多个同样大小的方形色块;
利用映射函数设置每一个方块的位置和颜色,使所有方块排列成一个方阵,得到二维视图。
进一步的,所述三维视图可视化功能子模块的实现步骤为:利用echarts-3d工具,将2d矩阵绘制成3d热力图,得到三维视图。
进一步的,所述数据库管理模块包括:
权限管理功能子模块,用于控制各级人员访问已授权的相关资源;
部门管理功能子模块,用于将系统资源按照相关工作人员部门进行划分;
日志管理功能子模块,用于记录各个操作人员的操作记录。
本发明具有如下有益效果:
本发明基于数据源格式不定的多维可视化的试验数据管理系统,实现了多源异构试验数据的采集、存储与检索管理。通过试验数据管理模块、场景显示与数据可视化模块和数据库管理模块,实现了根据试验数据管理模块提供的数据和外部实时数据,进行数据可视化显示,对于数据字段数量不固定和顺序不固定的数据源,可以通过数据处理,实现对试验数据的有效解析、存储、查询和浏览,其解决了传统的数据展示方法不足以支撑项目需求所导致试验数据管理效率较低的问题,提高了试验数据管理系统的管理能力。同时,通过场景显示与数据可视化模块,不仅实现了简单的图表创建,在交互、性能、数据处理等方面也得到了提高,也就是提升了试验数据管理系统的数据管理效果。本发明中的试验数据管理系统可应用于更高级的开发需求,适用范围广,满足相关仿真试验完整流程中各个设备的仿真信息汇集、存储、处理、比较、融合及分析的一站式全过程的服务需求,可以达到了大幅提高试验数据管理效率的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例中的系统架构设计图;
图2为本发明实施例中的系统用例图;
图3为本发明实施例中的功能模块设计图;
图4为本发明实施例中的功能模块结构图;
图5为本发明实施例中的功能模块流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明一个实施例提供了一种基于数据源格式不定的多维可视化的试验数据管理系统,该系统的具体实现步骤包括:
步骤1,试验数据管理系统的系统架构设计。
本实施例中的试验数据管理系统的系统架构可以包括三个基础层级,分别为展现层、支撑层和应用层,通过将系统架构进行有效的层级结构划分,可以全面展现试验数据管理系统需要实现的功能,系统架构设计图如图1所示,包括:
展现层,试验数据管理系统的整体应用功能将通过Web(World Wide Web,全球广域网)客户端方式进行展现,不同的应用人员通过登录可以实现相关系统的应用、资源的浏览查询操作。
支撑层,支撑层是试验数据管理系统建设的基础保障,根据相关项目的需求,支撑层进行了面向服务体系架构的设计,通过统一的总线服务实现相关组件的有效地整合和管理,相关组件可以为数据交换组件、身份认证组件以及负载均衡组件,试验数据管理系统可以包含多个应用系统,各个应用系统的建设可以基于基础支撑组件的应用,快速搭建相关功能模块。
应用层,应用层是整体项目的数据资源的保障,本实施例中的项目建设要求搭建全面的资源共享平台,而应用层的有效设计规划对于项目建设有着非常重要的作用。
步骤2,系统总流程设计。
在本实施例中,系统用例图如图2所示,由图2可知,数据库所提供的功能需要通过前后端的程序共同完成。具体为,用户将各种类型的试验数据上传,并保存在服务器与数据库中,当用户需要使用数据时,首先,需要打开浏览器并连接服务器地址,服务器上运行的后端程序将与客户端建立连接进程。然后,当用户的身份验证成功并成功登陆时,服务器将自动加载前端脚本与交互式数据可视化脚本。接着,当脚本加载完成时,网页使用数据图形化工具显示最近的数据,并提供数据的整体统计分布图。同时,网页前端提供搜索界面,可以组合多个字段的关键词精确查找所需数据信息。查找条件经过前后端的交互传送,并在后端转化成高效的SQL(Structured Query Language,结构化查询语言)查询语句,从数据库中提取所需条目,并返回给客户端。在客户端,查询结果经由前端程序模块与数据图形转化模块协同处理,不仅能够以列表方式呈现,并支持使用鼠标点选感兴趣的条目,以表格、曲线图、热力图、3D(three-dimensional,三维图形)高程图等方式,直观查看高维数据的分布,或者选择多条数据进行对比查看,其有助于提高试验数据管理性能。
步骤3,功能模块结构设计。
在本实施例中,功能模块设计图如图3所示,功能模块结构图如图4所示,基于图3和图4可知,通过试验数据管理模块可以实现多源异构试验数据的采集、存储与检索管理;通过场景显示与数据可视化模块,通信连接试验数据管理模块,实现根据试验数据管理模块提供的数据和外部实时数据进行数据可视化显示;通过数据库管理模块,通信连接试验数据管理模块、场景显示与数据可视化模块,实现合理分配系统各个功能模块到相应的试验人员机构,功能模块流程图如图5所示,包括:
(1)试验数据管理模块可以用于多源异构试验数据的采集、存储和检索管理。
在本实施例中,试验数据管理模块可以包括数据存储子功能模块、多条件查询检索子功能模块和试验数据详情展示子模块。
(1-1)数据存储子功能模块的实现步骤包括:
在本实施例中试验数据的数据源格式大多数是不确定的,故首先需要遍历即将上传到系统中的本批次的试验数据格式,对试验数据格式进行解析动作处理,得到解析后的数据和数据结构。然后,在数据库中生成相应的数据表和数据关系表,将解析后的数据与试验编码相关联,插入到数据表中,将数据结构与试验类型相关联插入到数据关系表中,实现不确定数据源格式的试验数据的数据存储。
数据存储子功能模块可以分为结构化数据存储子功能模块和非结构化数据存储子功能模块,结构化数据存储子功能模块可以对数据接口上传的各种多源异构数据进行解析、存储操作,这里的结构化数据是指可以对数据进行解析处理成数据表的数据,如Excel(Microsoft Excel,电子表格制作软件)载荷的数据表、txt格式文件等;非结构化数据存储子功能模块可以对数据接口上传的各种多源异构数据进行处理、关联存储操作,这里的非结构化数据是指各种格式的数据文件,如图片、音频和视频等相关文件格式。
其中,结构化数据存储子功能模块的实现步骤可以为:
例如,在单个文件上传的同时,该单个文件可以为Excel文件,前端可以调用XLSX.js插件的sheet_to_json函数,直接读取准备上传的Excel文件的行和列,并在当前页面显示当前选择的模板内容,方便使用者查看相关信息。后端基于Flask(microframework,微框架)的http服务器可以获取前端上传的Excel文件。当Excel文件完整获取后,调用Xlrd(excel的扩展第三方库)工具库对Excel文件数据进行读取和数据库导入。
例如,通过手动输入将单条试验的试验数据录入到数据库中,具体为,在手动输入界面,手动输入一些必要的基本信息,即建立试验条目。试验条目相关联的试验数据,如一维数组、二维数组等,后续可以单独输入到数据库中。
例如,为了便于客户端通过服务端的搜索查询功能进行便捷查找访问,在结构化数据存储子功能模块中设计了数据查询和导出功能。对于查询结果,程序同时支持有相关权限的用户以下载的方式将数据文件复制到本地,以便于对个别数据进行进一步的处理和应用。
结构化数据存储子功能模块采用的数据文件检查方法可以包括:
例如,对于新上传的试验数据信息,试验数据需要包含试验编号,根据试验编号按照试验类型进行检查。对于上传到后端的Excel类型的文件,对该文件中的字段名进行遍历,若遍历过程中出现字段名未知、数据缺失等情况时,后端发送提示信息给前端。已知的数据格式的数据,直接对数据的数据格式进行统一格式转化,对于未知的数据格式的数据,可以根据实际情况返回提示或报错。
例如,对于文件夹的存放路径进行遍历检查,若存在同名的文件夹,则提示前端存在同名文件夹,对文件夹中的子文件夹进行遍历检查,若子文件夹名称不符合规范,则提示前端该文件夹的子文件夹名称不符合规范,对子文件夹中的文件进行遍历检查,若子文件夹中的文件不符合要求,则提示前端重新规范该子文件夹中的文件。
例如,对所有文件的文件后缀名进行遍历检查,若存在未知格式的文件后缀名,则向前端发送提示。
非结构化数据存储子功能模块的实现步骤可以为:
首先,对部分非结构化数据进行数据预处理操作,部分非结构化数据可以为图片,该数据预处理操作包括但不限于对各种图片类型文件进行格式统一转换,例如,对raw(RAWImage Forma,原始)格式的原相机文件进行图片读取,并将该图像的格式重制为PNG(Portable Network Graphics,便携式网格图形)格式。其次,将非结构化数据本身的类型进行划分,在划分过程中与试验编号相关联,存储在响应的数据服务器中。最后,根据非结构化数据自身名称、文件类型、关联试验编号生成的存储路径,将这些数据信息存在对应的数据表对应的字段中。至此,本实施例实现了非结构化数据的处理和存储。
(1-2)多条件查询检索子功能模块,可以对已存储在系统中的数据进行检索,同时,多条件查询检索子功能模块可以支持单关键字查询和多属性组合查询。
多条件查询检索子功能模块的实现步骤可以为:利用后端代码搭建SQL语句框架,将前端输入的各个数据项遍历解析,并插入到后端生成的SQL语句框架中,对SQL服务器发起指令,获取并解析查询结果,将解析后的查询结果返回给前端,具体内容可以为:
基于后端代码,搭建多结构多层次的SQL语句框架,将前端传入的各个数据项进行遍历解析,并插入到后端生成SQL语句框架中,经过对SQL服务器发起指令,获取并解析查询结果,将解析后的查询结果返回给前端,实现试验数据的查询检索。查询结果通过前端程序模块与数据图形转化模块的协同处理,不仅能够以列表方式进行呈现,也支持使用鼠标点选感兴趣的条目,可以通过表格、曲线图、热力图、3D高程图的方式直观查看高维数据的分布,或者,选择多条数据进行对比查看,该多条件查询检索子功能模块可以提高试验数据检索性能。
(1-3)试验数据详情展示子模块,可以对已存储在系统中的数据进行快速、直观的浏览查阅,该试验数据详情展示包括结构化数据展示和非结构化数据展示。
在本实施例中,试验数据详情展示子模块的实现步骤可以为:首先,采用表格法还原结构化数据在载荷中的样式,表格法的实现过程为现有技术,此处不再进行详细阐述。然后,将当前试验编号涉及到的所有非结构化数据根据文件类型和文件层级进行划分,划分内容可以包括,其一,关联的试验编号以题目的形式独占显示在页面头部header,其二,试验数据小标题以加粗的形式展现在每一个对应的表单form标题头部,其三,具体的试验数据以【key,value】的形式填满对应表单。最后,采用树状图法将划分后的非结构化数据展现在页面中,划分后的非结构化数据可以为当前试验编号涉及到的所有非结构化数据,高层级的文件点击功能可以为设计展开或隐藏,最低层文件的图标点功能可以设计为下载功能或预览功能。试验数据详情展示子模块可以将试验数据按照一定的规则进行展示,便于后续基于展示子模块直接读出试验数据的详情信息,有效提高了试验数据的管理性能。
(2)场景显示与数据可视化模块,用于通信连接试验数据管理模块,根据试验数据管理模块提供的数据和外部实时数据进行数据可视化显示。
场景显示与数据可视化模块不仅实现了简单的图表创建,在交互、性能、数据处理等方面也得到了提高,也就是提升了试验数据管理系统的数据管理效果。在本实施例中,场景显示与数据可视化模块可以包括试验数据统计展示功能子模块、二维视图可视化功能子模块和三维视图可视化功能子模块。
(2-1)试验数据统计展示功能子模块,可以对系统中已存在的所有试验及其试验类型进行统计展示。
(2-2)二维视图可视化功能子模块,可以对相关类型数据及其试验场景图进行二维动态展示,二维视图可视化功能子模块的实现步骤可以为:对于两列数组数据,利用前端绘图工具对用户导入的相关格式数据设定横坐标和纵坐标,绘制曲线图,该曲线图可以为二维视图;对于预先设定的矩阵数据,利用d3.js(Data-Driven Documents,数据驱动的文档的js库)工具进行二维视图绘制,具体包括:
(2-2-1)对于两列数组数据,利用前端绘图工具对用户导入的相关格式数据设定横坐标和纵坐标,绘制曲线图。
对于随机选取的两列数组数据,可以进行曲线图绘制,即使用Echarts(Enterprise Charts,数据可视化图表库)作为前端绘图工具,根据用户导入的相关格式数据,该相关格式数据可以为两列数组数据,设定横坐标和纵坐标,可以查看坐标值,利用Echarts对相关格式数据的坐标值进行曲线图绘制。对于过长的数据可以通过放大缩小曲线,具体查看特定区间内的数据。前端绘图工具进行曲线图绘制的过程为现有技术,不在本发明保护范围内,此处不再进行详细阐述。
(2-2-2)对于预先设定的矩阵数据,利用d3.js工具库进行二维视图绘制。
利用d3.js工具库中的select函数对预先设定的矩阵数据进行处理,得到多个同样大小的方形色块。利用映射函数设置每一个方块的位置和颜色,使所有方块排列成一个方阵,得到二维视图。
首先,需要说明的是,由于SVG(Scalable Vector Graphics,可缩放的矢量图形)图片格式并非为数据可视化建立,缺乏现成的数据转化接口。但是,d3.js工具库接近于底层,具备组件批量绘制的功能,其对于统计数据点图的绘制具有一定的帮助。
对于预先设定的矩阵数据,即M*N列数据,M和N可由实施者根据实际情况自行设定,本实施例的试验数据管理系统使用d3.js工具库进行2d数据绘制,即二维视图绘制,具体为,通过自定义HeatDiameter函数,调取后端接口,获取指定试验的M*N列数据,将二维数据转化为JSON字符串后传入到HeatUp函数生成SVG方格,然后遍历数据,将每个数据按照数值大小映射为不同颜色的rect,或者,利用d3-contours转化成等高线图,将矩阵绘制成等高线图或热力学图,该等高线图或热力学图即为二维视图。同时,可以定义initiateDraw函数、proceedDraw函数以及suspendDraw函数等鼠标事件监听函数,通过配置定义这些函数,实现鼠标选中各种形状的选择区域,该二维视图均支持相关已配置函数功能下的动态操作。
对于d3.js工具库,d3.js工具库的select函数具备批量选择功能,可以根据Tag类型、Class类型、id类型等选取大量的数据,并使用映射函数对该数据进行批量操作。使用select函数选取同样大小的方形色块,然后用映射函数设置每一个方块的位置和颜色,使所有方块排列成一个方阵,最终可以绘制出热力图的效果,得到M*N列数据对应的二维视图,并且其绘制速度能满足动态交互式图形绘制的要求。同时,由于d3.js工具库可以为SVG组件添加鼠标事件,所以d3.js工具库绘制出来的图形可以使用鼠标指向或点击特定数据,以便查看某项数据的精确值,其有助于提高数据管理的便利性。通过设置SVG的透明度,可以将多张图片叠加查看,并在对应点进行信息对比,便于后续对试验的试验数据进行数据分析、比对。
(2-2-3)对于二维分布矩阵,计算传感器元件的各个分布统计量。
通过对二维分布矩阵进行区域划分,计算传感器元件的各个分布统计量。首先,通过定义函数cropMarks(paras)对矩阵的任意一个矩阵边进行划分,该矩阵边可以为矩阵的长或者宽,计算得到按设定参数窗格划分后的每个划分点在矩阵边上的位置。定义函数cropMarks(paras)的返回值为一个数组,每个数组元素包含一个窗格起始元素索引的二元组。将每个划分点的位置信息与矩阵的实际数据相结合,可以计算出传感器元件的平均值,如单片机的元器件。同时,可以通过自定义accumulative函数,计算其他统计量,如方差、标准差、二阶矩、中位数、最大值、最小值等。
(2-3)三维视图可视化功能子模块,可以用于对相关类型数据进行三维动态展示,三维视图可视化功能子模块的实现步骤可以为利用echarts-3d工具,将2d矩阵绘制成3d热力图,即三维视图。通过生成的三维视图,可以实现对光照、阴影等各种信息的直观查看。
(3)数据库管理模块,用于通信连接试验数据管理模块和场景显示与数据可视化模块,分配各个功能模块到相应的试验人员机构。
在本实施例中,数据库管理模块可以包括权限管理功能子模块、部门管理功能子模块以及日志管理功能子模块。
(3-1)权限管理功能子模块,用于控制各级人员访问已授权的相关资源。
(3-2)部门管理功能子模块,用于将系统资源按照相关工作人员部门进行划分,使部门的相对独立作业、系统功能设计条理更加清晰。
(3-3)日志管理功能子模块,用于记录各个操作人员的操作记录,也就是操作记录可以包括录入数据、导入数据、增加新用户、授予用户权限等操作记录,并且日志管理功能子模块可以提供日志查看、多条件查询功能,有效丰富了试验数据管理系统的功能。
步骤4,数据存储设计。
在本实施例中,数据实体主要用于描述用户数据,包括:数据本体以及结构信息两类,用户、实体以及实体之间的关系,主要涉及的实体包括管理员、普通用户、关联文件、关联结构化数据、Excel数据条目等。
本发明针对数据处理技术领域存在的问题,提供了一种基于数据源格式不定的多维可视化的试验数据管理系统。该系统针对数据字段数量不固定、顺序不固定的数据源,提出了有效地解析、存储、查询和浏览的功能模块,同时,融合了场景显示与数据可视化模块,不仅实现了简单的图表创建,在交互、性能、数据处理等方面有了长足的提升,可应用于更高级的开发需求。最后,本发明满足了数据的汇集、存储、处理、比较、融合及分析的一站式全过程服务需求,显著提高了试验数据管理的效率。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (10)

1.基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,该系统包括:
试验数据管理模块,用于多源异构试验数据的采集、存储和检索管理;
场景显示与数据可视化模块,用于通信连接所述试验数据管理模块,根据试验数据管理模块提供的数据和外部实时数据进行数据可视化显示;
数据库管理模块,用于通信连接所述试验数据管理模块和所述场景显示与数据可视化模块,分配各个功能模块到相应的试验人员机构。
2.根据权利要求1所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述试验数据管理模块包括:
数据存储子功能模块包括结构化数据存储子功能模块和非结构化数据存储子功能模块;
结构化数据存储子功能模块,用于对通过数据接口上传的各种多源异构数据进行解析、存储操作;
非结构化数据存储子功能模块,用于对通过数据接口上传的各种多源异构数据进行处理、关联存储操作;
多条件查询检索子功能模块,用于对已存储在系统中的数据进行检索;
试验数据详情展示子模块,用于对已存储在系统中的数据进行浏览查阅。
3.根据权利要求2所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述数据存储子功能模块的实现步骤包括:
遍历试验数据格式,对所述试验数据格式进行解析处理,得到解析后的数据和数据结构;
在数据库中生成相应的数据表和数据关系表,将解析后的数据与试验编码相关联,插入到数据表中,将数据结构与试验类型相关联插入到数据关系表中。
4.根据权利要求2所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述多条件查询检索子功能模块的实现步骤包括:
利用后端代码搭建SQL语句框架,将前端输入的各个数据项遍历解析,并插入到后端生成的SQL语句框架中,对SQL服务器发起指令,获取并解析查询结果,将解析后的查询结果返回给前端。
5.根据权利要求2所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述试验数据详情展示子模块的实现步骤包括:
采用表格法还原结构化数据在载荷中的样式;
将当前试验编号涉及到的所有非结构化数据根据文件类型和文件层级进行划分,采用树状图法将划分后的非结构化数据展现在页面中。
6.根据权利要求1所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述场景显示与数据可视化模块包括:
试验数据统计展示功能子模块,用于对系统中已存在的所有试验及其试验类型进行统计展示;
二维视图可视化功能子模块,用于对相关类型数据及其试验场景图进行二维动态展示;
三维视图可视化功能子模块,用于对相关类型数据进行三维动态展示。
7.根据权利要求6所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述二维视图可视化功能子模块的实现步骤包括:
对于两列数组数据,利用前端绘图工具对用户导入的相关格式数据设定横坐标和纵坐标,绘制曲线图;
对于预先设定的矩阵数据,利用d3.js工具库进行二维视图绘制。
8.根据权利要求7所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,利用d3.js工具库进行二维视图绘制的步骤包括:
利用select函数对预先设定的矩阵数据进行处理,得到多个同样大小的方形色块;
利用映射函数设置每一个方块的位置和颜色,使所有方块排列成一个方阵,得到二维视图。
9.根据权利要求6所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述三维视图可视化功能子模块的实现步骤为:利用echarts-3d工具,将2d矩阵绘制成3d热力图,得到三维视图。
10.根据权利要求1所述的基于数据源格式不定的多维可视化的试验数据管理系统,其特征在于,所述数据库管理模块包括:
权限管理功能子模块,用于控制各级人员访问已授权的相关资源;
部门管理功能子模块,用于将系统资源按照相关工作人员部门进行划分;
日志管理功能子模块,用于记录各个操作人员的操作记录。
CN202211493543.2A 2022-11-25 2022-11-25 基于数据源格式不定的多维可视化的试验数据管理系统 Pending CN115858526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211493543.2A CN115858526A (zh) 2022-11-25 2022-11-25 基于数据源格式不定的多维可视化的试验数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211493543.2A CN115858526A (zh) 2022-11-25 2022-11-25 基于数据源格式不定的多维可视化的试验数据管理系统

Publications (1)

Publication Number Publication Date
CN115858526A true CN115858526A (zh) 2023-03-28

Family

ID=85666673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211493543.2A Pending CN115858526A (zh) 2022-11-25 2022-11-25 基于数据源格式不定的多维可视化的试验数据管理系统

Country Status (1)

Country Link
CN (1) CN115858526A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149240A (zh) * 2023-04-18 2023-05-23 合肥安迅精密技术有限公司 贴片机软硬件交互信息实时监控分析系统、方法及存储介质
CN117555454A (zh) * 2024-01-10 2024-02-13 深圳市极客智能科技有限公司 基于多模态实现终端ai显示屏的数据分析方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149240A (zh) * 2023-04-18 2023-05-23 合肥安迅精密技术有限公司 贴片机软硬件交互信息实时监控分析系统、方法及存储介质
CN116149240B (zh) * 2023-04-18 2023-07-14 合肥安迅精密技术有限公司 贴片机软硬件交互信息实时监控分析系统、方法及存储介质
CN117555454A (zh) * 2024-01-10 2024-02-13 深圳市极客智能科技有限公司 基于多模态实现终端ai显示屏的数据分析方法及系统
CN117555454B (zh) * 2024-01-10 2024-04-16 深圳市极客智能科技有限公司 基于多模态实现终端ai显示屏的数据分析方法及系统

Similar Documents

Publication Publication Date Title
Wood et al. Interactive visual exploration of a large spatio-temporal dataset: Reflections on a geovisualization mashup.
US7624114B2 (en) Automatically generating web forms from database schema
AU2008218670B2 (en) Providing unique views of data based on changes or rules
US6775675B1 (en) Methods for abstracting data from various data structures and managing the presentation of the data
US8700682B2 (en) Systems, methods and articles for template based generation of markup documents to access back office systems
CN115858526A (zh) 基于数据源格式不定的多维可视化的试验数据管理系统
US11669517B2 (en) Interactive interpreter and graphical user interface
US20110283242A1 (en) Report or application screen searching
Korobchinsky et al. Peculiarities of content forming and analysis in internet newspaper covering music news
US20070038641A1 (en) Systems and methods for automated application updating
US20050057566A1 (en) Rich graphic visualization generation from abstract data representation
US7827205B2 (en) Bi-directional data mapping tool
US8892501B2 (en) Capturing OLAP analysis thread as refreshable business intelligence data
US20090210438A1 (en) Apparatus and method for positioning user-created data in olap data sources
US8260772B2 (en) Apparatus and method for displaying documents relevant to the content of a website
CN111611448A (zh) 知识驱动的联合大数据查询和分析平台
US8615733B2 (en) Building a component to display documents relevant to the content of a website
US8099663B2 (en) Apparatus and method for document synchronization
Zhao The database construction of intangible cultural heritage based on artificial intelligence
Wittenburg et al. An adaptive document management system for shared multimedia data
Simon et al. Tag clouds and old maps: Annotations as linked spatiotemporal data in the cultural heritage domain
US20140143278A1 (en) Application programming interface layers for analytical applications
Badard et al. Web services-oriented architectures for mobile SOLAP applications
CN1494013A (zh) 专利分析与展示系统及方法
Hong et al. Design and implementation of data visualization in media manuscripts transmission system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination