CN106599172A - 一种海量数据的无损保真可视化优化法 - Google Patents

Abstract

本发明公开了一种海量数据的无损保真可视化优化法，基于曲线绘图区和海量数据生成无损保真可视化数据，然后进行数据可视化显示，所述生成无损保真可视化数据的系统包括海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块；所述曲线绘图区其数据可视化范围激活或发生变化时触发海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块运行，并由数据智能无损优化模块从海量数据中智能优化出可视化数据；其中，对曲线绘图区曲线进行缩放或还原时数据可视化范围发生变化。本发明保证海量数据可视化显示的精度、显示的效率和资源的有效利用，避免出现响应迟缓和系统崩溃问题。

Description

一种海量数据的无损保真可视化优化法

技术领域

本发明涉及数据可视化处理领域，具体的说，是一种海量数据的无损保真可视化优化法。

背景技术

试验中采集的数据通常以可视化的方式(如：时间历程曲线、轨迹曲线、图表等)进行数据分析，时间历程曲线是实现数据可视化显示最主要的方法，而逐点绘图是完成曲线绘制的通用方法。

随着测试技术的不断进步和发展、测试对象和测试内容的复杂性和多样性，产生的数据量从百兆级达到了万兆级，参数个数从数百个达到了数千个甚至上万个。在以逐点绘图的方式将海量数据绘制成曲线时，数据刷新明显延迟、软件不响应用户操作，甚至因系统资源耗尽而造成软件崩溃。

1、现有技术一的技术方案是：在对某个过程的试验数据进行分析时，采用限制参数个数的方法，减少每次数据分析的数据量，实现数据的可视化显示。

现有技术一存在缺点：采用该方法进行海量数据分析时，需反复对数据进行分析处理，不仅严重降低数据分析的工作效率，还难以实现相关参数间的横向对比分析。

2、现有技术二的技术方案是：在对试验数据进行分析时，采用将完整的数据分割成多个数据段的方法，减少每次数据分析的数据量，实现数据的可视化显示。

现有技术二存在缺点：采用该技术进行海量数据分析时，同样需反复对数据进行分析处理，不仅严重降低数据分析的工作效率，还难以实现对参数整体变化趋势的分析。

3、现有技术三的技术方案是：在对试验数据进行分析时，采用等间隔抽取采样点的方法减少数据量，实现数据的可视化显示。

现有技术三存在缺点：采用该技术进行海量数据分析时，不可避免地导致绘制的曲线严重失真，精度极差，造成关键点数据丢失导致对真实试验情况的误判。

因此，需要提供一种无损保真可视化优化法，既能保证海量数据可视化显示的精度，避免关键点数据丢失，真实再现整个试验过程，又能保证海量数据可视化显示的效率和资源的有效利用，避免出现响应迟缓和系统崩溃问题。

发明内容

本发明的目的在于提供一种海量数据的无损保真可视化优化法，既能保证海量数据可视化显示的精度，避免关键点数据丢失，真实再现整个试验过程，又能保证海量数据可视化显示的效率和资源的有效利用，避免出现响应迟缓和系统崩溃问题。

本发明通过下述技术方案实现：一种海量数据的无损保真可视化优化法，基于曲线绘图区和海量数据生成无损保真可视化数据，然后进行数据可视化显示；

所述生成无损保真可视化数据的系统包括海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块；

所述曲线绘图区其数据可视化范围激活或发生变化时触发海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块运行，并由数据智能无损优化模块从海量数据中智能优化出可视化数据；其中，对曲线绘图区曲线进行缩放或还原时数据可视化范围发生变化。

进一步地，为了更好的实现本发明，所述生成无损保真可视化数据的方法，具体包括以下步骤：

步骤A：海量数据动态采样模块获取曲线绘图区横向像素点个数并保存在变量PixelNumber中，初始化保真数据缓冲区大小，触发数据逆推保真优化模块、数据智能无损优化模块；

步骤B：数据逆推保真优化模块依据步骤A中变量PixelNumber和海量数据，采用逆推法消除数据可视化显示时在横坐标上的累积漂移，触发数据智能无损优化模块；

步骤C：数据智能无损优化模块依据步骤A中每个像素点对应的采样点范围，从海量数据中智能优化出可视化数据。

进一步地，为了更好的实现本发明，所述步骤A，主要包括以下步骤：

步骤A1：定义整数型采样点个数变量SPNumber；

步骤A2：创建浮点类型的原始数据动态缓冲区SrcDataBuf；

步骤A3：读取数据文件，将原始数据保存在SrcDataBuf中，并统计采样点个数，将其保存在SPNumber变量中；

步骤A4：定义整数型的绘图起始采样点和结束采样点变量StartSP和EndSP，并将初始值分别设定为0和SPNumber-1；

步骤A5：获取曲线绘图区横向像素点个数，并保存在变量PixelNumber中；

步骤A6：创建数据类型为浮点数的动态无损保真数据缓冲区数组VDBuf，将该数组大小设定为PixelNumber的2倍；

步骤A7：创建整数型的动态可视化数据与采样点映射关系缓冲区动态数组VD_SP_Map，将该数组大小设定为PixelNumber的2倍；

步骤A8：将变量VD_SP_Map[0]和VD_SP_Map[PixelNumber*2-1]分别赋值为StartSP和EndSP；

步骤A9：触发数据逆推保真优化模块；

步骤A10：在改变窗体大小或页面格式时，即曲线绘图区大小发生变化时，销毁VDBuf和VD_SP_Map缓冲区并自动重复执行步骤A4至步骤A8；

步骤A11：在数据可视化显示范围发生变化时，重新设定变量StartSP和EndSP，并重复执行步骤A8至步骤A9。

进一步地，为了更好的实现本发明，所述步骤B，主要包括以下步骤：

步骤B1：定义数据类型为整型数的当前像素点序号变量CurPixelID，并将其初始值赋值为0；

步骤B2：定义数据类型为整型数的采样点与绘图区横向像素点序号映射关系变量SP_PixelID；

步骤B3：定义整数型的采样点循环控制变量n；

步骤B4：以n(初始值为0，最大值为SPNumber-1)为循环变量建立循环，计算海量数据中数据每个采样点所对应的曲线绘图区横向像素点序号；

步骤B5：触发数据智能无损可视化优化模块。

进一步地，为了更好的实现本发明，所述步骤B4中，计算海量数据中数据每个采样点所对应的曲线绘图区横向像素点序号的算法为：SP_PixelID＝(n*PixelNumber)DivSPNumber，当SP_PixelID>CurPixelID时，将VD_SP_Map[CurPixelID*2+1]和VD_SP_Map[CurPixelID*2+2]赋值为n和n+1，CurPixelID加1。

进一步地，为了更好的实现本发明，所述步骤C，主要包括以下步骤：

步骤C1：定义整数型的横向像素点循环控制变量m；

步骤C2：以m(初始值为0，最大值为PixelNumber-1)为循环变量建立循环，依次在采样点序号在VD_SP_Map[m*2]与VD_SP_Map[m*2+1]内的数据中，查找最大值和最小值并分别保存在VDBuf[m*2]和VDBuf[m*2+1]中；

步骤C3：触发绘图模块绘制VDBuf缓冲区中的数据。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明打破海量数据可视化显示对参数个数的限制，以解决参数间的横向对比问题；

(2)本发明避免海量数据的分段处理，便于对众多参数整体变化趋势的判读分析；

(3)本发明保证海量数据可视化显示的精度，避免关键点数据丢失，真实再现整个试验过程；

(4)本发明保证海量数据可视化显示的效率和资源的有效利用，避免出现响应迟缓和系统崩溃问题。

附图说明

图1是本发明中数据优化流程示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

本实施例所述的一种海量数据的无损保真可视化优化法，如图1所示，一种海量数据的无损保真可视化优化法，基于曲线绘图区和海量数据，通过海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块处理，获得无损保真可视化数据，并进行时间历程曲线绘制，进行无损保真可视化显示。此过程中，海量数据动态采样模块结合曲线绘图区和海量数据设置可视化数据长度，同时海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块共同运行从海量数据中优化出可视化数据。设置可视化数据长度和从海量数据中优化出可视化数据结合形成无损保真可视化数据。

实施例2：

本实施例在上述实施例的基础上做进一步优化，所述生成无损保真可视化数据的方法，具体是指：所述海量数据动态采样模块从曲线绘图区读取横向像素点个数，从海量数据中读取统计采样点个数，初始化无损保真数据缓冲区大小，设置可视化数据长度；所述数据逆推保真优化模块从海量数据动态采样模块获取像素点个数和采样点个数，计算海量数据中数据每个采样点所对应的曲线绘图区横向像素点序号；所述数据智能无损优化模块从数据逆推保真优化模块中获得每个像素点对应的数据采样点范围，并从海量数据中优化出可视化数据。从海量数据中优化出可视化数据与设置可视化数据长度结合，获得无损保真可视化数据，可用于时间历程曲线绘制。

所述生成无损保真可视化数据的方法，具体包括以下步骤：

步骤A：海量数据动态采样模块获取曲线绘图区横向像素点个数并保存在变量PixelNumber中，初始化保真数据缓冲区大小，触发数据逆推保真优化模块、数据智能无损优化模块。

所述步骤A，主要包括以下步骤：

步骤A1：定义整数型采样点个数变量SPNumber；

步骤A2：创建浮点类型的原始数据动态缓冲区SrcDataBuf；

步骤A3：读取数据文件，将原始数据保存在SrcDataBuf中，并统计采样点个数，将其保存在SPNumber变量中；

步骤A4：定义整数型的绘图起始采样点和结束采样点变量StartSP和EndSP，并将初始值分别设定为0和SPNumber-1；

步骤A5：获取曲线绘图区横向像素点个数，并保存在变量PixelNumber中；

步骤A6：创建数据类型为浮点数的动态无损保真数据缓冲区数组VDBuf，将该数组大小设定为PixelNumber的2倍；

步骤A7：创建整数型的动态可视化数据与采样点映射关系缓冲区动态数组VD_SP_Map，将该数组大小设定为PixelNumber的2倍；

步骤A8：将变量VD_SP_Map[0]和VD_SP_Map[PixelNumber*2-1]分别赋值为StartSP和EndSP；

步骤A9：触发数据逆推保真优化模块；

步骤A10：在改变窗体大小或页面格式时，即曲线绘图区大小发生变化时，销毁VDBuf和VD_SP_Map缓冲区并自动重复执行步骤A4至步骤A8；

步骤A11：在数据可视化显示范围发生变化时，重新设定变量StartSP和EndSP，并重复执行步骤A8至步骤A9。

步骤B：数据逆推保真优化模块依据步骤A中变量PixelNumber和海量数据，采用逆推法消除数据可视化显示时在横坐标上的累积漂移，触发数据智能无损优化模块.

所述步骤B，主要包括以下步骤：

步骤B1：定义数据类型为整型数的当前像素点序号变量CurPixelID，并将其初始值赋值为0；

步骤B2：定义数据类型为整型数的采样点与绘图区横向像素点序号映射关系变量SP_PixelID；

步骤B3：定义整数型的采样点循环控制变量n；

步骤B4：以n(初始值为0，最大值为SPNumber-1)为循环变量建立循环，计算海量数据中数据每个采样点所对应的曲线绘图区横向像素点序号：SP_PixelID＝(n*PixelNumber)Div SPNumber，当SP_PixelID>CurPixelID时，将VD_SP_Map[CurPixelID*2+1]和VD_SP_Map[CurPixelID*2+2]赋值为n和n+1，CurPixelID加1；

步骤B5：触发数据智能无损可视化优化模块。

步骤C：数据智能无损优化模块依据步骤A中每个像素点对应的采样点范围，从海量数据中智能优化出可视化数据。

所述步骤C，主要包括以下步骤：

步骤C1：定义整数型的横向像素点循环控制变量m；

步骤C2：以m(初始值为0，最大值为PixelNumber-1)为循环变量建立循环，依次在采样点序号在VD_SP_Map[m*2]与VD_SP_Map[m*2+1]内的数据中，查找最大值和最小值并分别保存在VDBuf[m*2]和VDBuf[m*2+1]中；

步骤C3：触发绘图模块绘制VDBuf缓冲区中的数据。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.一种海量数据的无损保真可视化优化法，基于曲线绘图区和海量数据生成无损保真可视化数据，然后进行数据可视化显示，其特征在于：

所述生成无损保真可视化数据的系统包括海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块；

所述曲线绘图区其数据可视化范围激活或发生变化时触发海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块运行，并由数据智能无损优化模块从海量数据中智能优化出可视化数据；其中，对曲线绘图区曲线进行缩放或还原时数据可视化范围发生变化。

2.根据权利要求1所述的一种海量数据的无损保真可视化优化法，其特征在于：所述生成无损保真可视化数据的方法，具体包括以下步骤：

步骤A：海量数据动态采样模块获取曲线绘图区横向像素点个数并保存在变量PixelNumber中，初始化保真数据缓冲区大小，触发数据逆推保真优化模块、数据智能无损优化模块；

步骤B：数据逆推保真优化模块依据步骤A中变量PixelNumber和海量数据，采用逆推法消除数据可视化显示时在横坐标上的累积漂移，触发数据智能无损优化模块；

步骤C：数据智能无损优化模块依据步骤A中每个像素点对应的采样点范围，从海量数据中智能优化出可视化数据。

3.根据权利要求2所述的一种海量数据的无损保真可视化优化法，其特征在于：所述步骤A，主要包括以下步骤：

步骤A1：定义整数型采样点个数变量SPNumber；

步骤A2：创建浮点类型的原始数据动态缓冲区SrcDataBuf；

步骤A3：读取数据文件，将原始数据保存在SrcDataBuf中，并统计采样点个数，将其保存在SPNumber变量中；

步骤A4：定义整数型的绘图起始采样点和结束采样点变量StartSP和EndSP，并将初始值分别设定为0和SPNumber-1；

步骤A5：获取曲线绘图区横向像素点个数，并保存在变量PixelNumber中；

步骤A6：创建数据类型为浮点数的动态无损保真数据缓冲区数组VDBuf，将该数组大小设定为PixelNumber的2倍；

步骤A7：创建整数型的动态可视化数据与采样点映射关系缓冲区动态数组VD_SP_Map，将该数组大小设定为PixelNumber的2倍；

步骤A8：将变量VD_SP_Map[0]和VD_SP_Map[PixelNumber*2-1]分别赋值为StartSP和EndSP；

步骤A9：触发数据逆推保真优化模块；

步骤A10：在改变窗体大小或页面格式时，即曲线绘图区大小发生变化时，销毁VDBuf和VD_SP_Map缓冲区并自动重复执行步骤A4至步骤A8；

步骤A11：在数据可视化显示范围发生变化时，重新设定变量StartSP和EndSP，并重复执行步骤A8至步骤A9。

4.根据权利要求3所述的一种海量数据的无损保真可视化优化法，其特征在于：所述步骤B，主要包括以下步骤：

步骤B1：定义数据类型为整型数的当前像素点序号变量CurPixelID，并将其初始值赋值为0；

步骤B2：定义数据类型为整型数的采样点与绘图区横向像素点序号映射关系变量SP_PixelID；

步骤B3：定义整数型的采样点循环控制变量n；

步骤B4：以n(初始值为0，最大值为SPNumber-1)为循环变量建立循环，计算海量数据中数据每个采样点所对应的曲线绘图区横向像素点序号；

步骤B5：触发数据智能无损可视化优化模块。

5.根据权利要求4所述的一种海量数据的无损保真可视化优化法，其特征在于：所述步骤B4中，计算海量数据中数据每个采样点所对应的曲线绘图区横向像素点序号的算法为：SP_PixelID＝(n*PixelNumber)Div SPNumber，当SP_PixelID>CurPixelID时，将VD_SP_Map[CurPixelID*2+1]和VD_SP_Map[CurPixelID*2+2]赋值为n和n+1，CurPixelID加1。

6.根据权利要求4所述的一种海量数据的无损保真可视化优化法，其特征在于：所述步骤C，主要包括以下步骤：

步骤C1：定义整数型的横向像素点循环控制变量m；

步骤C2：以m(初始值为0，最大值为PixelNumber-1)为循环变量建立循环，依次在采样点序号在VD_SP_Map[m*2]与VD_SP_Map[m*2+1]内的数据中，查找最大值和最小值并分别保存在VDBuf[m*2]和VDBuf[m*2+1]中；

步骤C3：触发绘图模块绘制VDBuf缓冲区中的数据。