CN117668267A - 一种实验数据的可视化分析的方法、系统、设备及介质 - Google Patents
一种实验数据的可视化分析的方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117668267A CN117668267A CN202311428038.4A CN202311428038A CN117668267A CN 117668267 A CN117668267 A CN 117668267A CN 202311428038 A CN202311428038 A CN 202311428038A CN 117668267 A CN117668267 A CN 117668267A
- Authority
- CN
- China
- Prior art keywords
- analysis
- algorithm
- data
- analysis task
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 284
- 230000000007 visual effect Effects 0.000 title claims abstract description 94
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 195
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000002474 experimental method Methods 0.000 claims abstract description 38
- 238000012800 visualization Methods 0.000 claims abstract description 33
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 description 15
- 238000013079 data visualisation Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 241000219194 Arabidopsis Species 0.000 description 2
- 241000244206 Nematoda Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241001354471 Pseudobahia Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种实验数据的可视化分析的方法、系统、设备及介质,涉及可视化技术领域,方法包括:当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果;当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列;按照第一算法调用处理方案对所述复杂分析任务队列中的分析任务进行处理;基于所述算法分析任务,选取所述待可视化分析的空间科学实验数据的视图组件;基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。本发明能够更好的发挥空间科学数据的应用效益。
Description
技术领域
本发明涉及数据可视化技术领域,尤其涉及一种实验数据的可视化分析的方法、系统、设备及介质。
背景技术
现有的数据可视化分析方法主要包含以下几类:(1)通用商业智能化软件:微软公司开发的PowerBI,帆软公司开发的FineBI,用友公司开发的BQ等;(2)通用开源可视化软件:ParaView、VTK、VisIt等;(3)通用数据可视化库/组件:Echarts、Plotly.js、D3.js等;(4)定制化的专用数据可视化分析软件,针对需要分析的数据进行定制化开发。
其中,(1)通用商业智能化软件:微软公司开发的PowerBI,帆软公司开发的FineBI,用友公司开发的BQ,微软PowerBI是由微软开发的交互式数据可视化软件产品,主要侧重于商业智能。此类产品可满足用户的多种可视化目标,例如展示销售趋势、客户洞察、业务绩效或是其他内容。用户需要将收集和整合的数据连接到可视化工具中。根据需求,执行查询和过滤操作,以获取特定的数据子集用于可视化。这可能涉及到对数据源进行SQL查询、数据转换和数据关联等操作。接着,使用选择的工具创建不同类型的可视化图表,包括柱状图、折线图、饼图、散点图等。最终将图表拼合形成数据看板,并定期进行更新以进行可视化分析与查看。
目前,以微软Power BI为代表的通用商业智能化软件主要功能在于对结构化数据进行查询与可视化分析,无法同时满足图像、视频等非结构化数据的分析需求。此外,通用商业智能化软件只能对数据本身进行分析,用户无法使用自定义数据分析算法进行数据分析,也不支持对原始数据和分析结果的同步可视化与对比分析。
(2)通用开源可视化软件:ParaView、VTK、VisIt,此类软件支持多种类型数据输入,并可生成复杂的可视化结果。同时此类软件具有较高的灵活性,用户既可以对各种可视化参数进行完全掌控,又可以接入各种自定义的数据处理算法模块。以ParaView为代表的开源数据可视化软件为单机版客户端架构,需要用户在所使用的计算机上安装软件。因缺少服务端,此类软件的自定义算法模块需要在每台计算机上手动配置部署,难以支持分析算法的动态扩展。
(3)通用数据可视化库/组件:Echarts、Plotly.js、D3.js,基于web标准的JavaScript通用可视化库/组件。以Echarts为代表的可视化库可以借助SVG或Canvas技术在浏览器中以二维或三维图表的形式展示数据,提供了常规的折线图、柱状图、散点图、饼图、K线图,用于统计的盒形图,用于地理数据可视化的地图、热力图、线图,用于关系数据可视化的关系图、treemap、旭日图,多维数据可视化的平行坐标,还有用于BI的漏斗图,仪表盘,并且支持图与图之间的混合搭配。以Echarts为代表的数据通用可视化库是应用的视图层组件。视图层组件只关注如何使用给定的数据生成用户需要的图形。在使用时,需要参照官方提供的开发文档和使用样例对其进行二次开发,并集成到应用中。虽然此类可视化库具有较强的功能和灵活性、可扩展性,但是使用时需要根据可视化基础库的功能针对性设计、开发和编码,使用门槛高,专业化定制程度低,业务场景直接应用的难度大。
(4)定制化的专用数据可视化分析软件,针对需要分析的数据进行定制化开发,由于此类软件的用户有明确稳定的数据来源和固定的可视化目标。其数据格式、分析规则、可视化形式、界面风格、页面布局等可视化参数专业定制化程度高。相比商业智能化软件和开源数据可视化软件,此类软件使用目的较为单一,适合对固定来源的数据进行专业化的可视化展示和分析,目前广泛应用于科学和工业场景领域。以“科学实验卫星任务数据的多维数据立方体构建系统及方法”为代表的专用数据看板以程序的形式确定了所有的可视化参数,导致可视化逻辑和程序之间高度耦合,用途单一,缺乏灵活性和扩展性。如果用户需要改变数据来源、分析意图或界面布局,则需要对现有的系统与方法进行彻底重构,并编写新的可视化逻辑,成本高昂。此外,此类数据看板仅以展示为目的,无法对分析视图进行翻页、参数控制、动态增删以及调整布局等交互操作,可交互性弱。
基于上述现有技术中的问题,亟需一种同时支持多种类型数据、支持分析算法动态扩展、支持多种形式人机交互特性的数据可视化分析方法。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,具体针对不支持同步可视化以及灵活度不高等问题,具体提供了一种实验数据的可视化分析的方法、系统、设备及介质,具体如下:
1)第一方面,本发明提供一种针对空间科学实验数据的可视化分析的方法,具体技术方案如下:
S1,当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果,所述算法分析任务通过人工选定;
S2,当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列;
S3,按照第一算法调用处理方案对所述复杂分析任务队列中的目标分析任务进行处理;
S4,基于所述算法分析任务,确定所述目标分析任务对应的视图组件;
S5,基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。
本发明提供的一种实验数据的可视化分析的方法的有益效果如下:
利用计算机技术开展端到端的空间科学多任务数据在线分析与应用研究,实现有针对性的、交互式、直观的、定量化的空间科学数据可视化分析,有助于提高海量、多源空间科学数据的研究与利用水平,促进成果产出与知识发现,更好的发挥空间科学数据的应用效益。
在上述方案的基础上,本发明还可以做如下改进。
进一步,当待可视化分析的空间科学实验数据不存在算法分析任务时:
根据所述待可视化分析的空间科学实验数据的类型进行视图组件的配置。
进一步,当所述第一判断结果为快速分析类算法时,渲染并显示该快速分析算法对应的带可视化分析的空间科学实验数据。
进一步,S3具体为:
基于算法服务的空闲情况,对所述复杂分析任务队列中的分析任务进行处理,并在处理结束后,更新所述复杂分析任务队列的任务状态以及存储处理结果。
进一步,基于算法服务的空闲情况,对所述复杂分析任务队列中的分析任务进行处理具体包括:
确定所述分析任务对应的数据路径,并将所述数据路径包装为请求信息发送至算法服务中,根据所述算法服务的反馈信息,对所述复杂分析任务队列中的分析任务进行处理,所述反馈信息包括所述算法服务的空闲情况。
进一步,S4之后还包括:
由选取得到的视图组件以及该算法分析任务对应的标识创建视图板。
进一步,还包括:
S6,根据视图请求中的需求标识,对应搜索视图板,并基于该视图板中的视图组件进行渲染及显示。
2)第二方面,本发明还提供一种针对空间科学实验数据的可视化分析的系统,具体技术方案如下:
判断模块用于:当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果,所述算法分析任务通过人工选定;
创建模块用于:当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列;
处理模块用于:按照第一算法调用处理方案对所述复杂分析任务队列中的目标分析任务进行处理;
视图模块用于:基于所述算法分析任务,确定所述目标分析任务对应的视图组件;
可视化模块用于:基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。
3)第三方面,本发明还提供一种计算机设备,所述计算机设备包括处理器,所述处理器与存储器耦合,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现如上任一项方法。
4)第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现如上任一项方法。
需要说明的是,本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的流程示意图;
图2为本发明实施例的一种针对空间科学实验数据的可视化分析的系统的结构示意图;
图3为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的架构示意图;
图4为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的数据可视化分析技术方案示意图;
图5为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的数据可视化分析系统组成示意图;
图6为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的数据可视化分析方法流程示意图;
图7为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的空间科学多任务实验数据可视化分析平台示意图;
图8为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的水稻分割算法的可视化分析示意图;
图9为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的空间静电悬浮材料实验的可视化分析示意图;
图10为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的空间生命实验线虫姿态跟踪的可视化分析示意图;
图11为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的多变量聚类与相关性分析算法可视化分析示意图;
图12为本发明实施例的一种针对空间科学实验数据的可视化分析的方法的算法管理页面示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示,本发明实施例的一种针对空间科学实验数据的可视化分析的方法,包括如下步骤:
S1,当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果,所述算法分析任务通过人工选定;
S2,当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列;
S3,按照第一算法调用处理方案对所述复杂分析任务队列中的目标分析任务进行处理;
S4,基于所述算法分析任务,确定所述目标分析任务对应的视图组件;
S5,基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。
本发明提供的一种针对空间科学实验数据的可视化分析的方法的有益效果如下:
利用计算机技术开展端到端的空间科学多任务数据在线分析与应用研究,实现有针对性的、交互式、直观的、定量化的空间科学数据可视化分析,有助于提高海量、多源空间科学数据的研究与利用水平,促进成果产出与知识发现,更好的发挥空间科学数据的应用效益。
如图4以及图5所示,为了便于理解,本方案中,待可视化分析的空间科学实验数据为从分布式数据库以及文件系统中获取,待可视化分析的空间科学实验数据即为在进行空间科学实验过程中产生的数据。进一步的,数据选择技术、分析算法部署与注册技术、分析算法调度技术、交互式视图技术以及可视化视图组件库等均是用于实现本方案的具体技术。
S1,当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果,所述算法分析任务通过人工选定。其中:
待可视化分析的空间科学实验数据通过分布式数据库以及文件系统中获取:
分布式数据库以及文件系统包含以下几个方面:
1)视频:以视频格式存储的数据文件,比如:MP4、mpeg或者avi等。
2)图像:以图像压缩包格式存储的数据文件,比如:rar以及zip等。其中图像格式支持png、jpg以及bmp等。
3)参数:以时序记录参数形式存储的数据文件,比如:csv等。
判断待可视化分析的空间科学实验数据是否存在算法分析任务可以通过如下方式:
第一种方式:根据待可视化分析的空间科学实验数据自带的标识,判断该空间科学实验数据是否存在算法分析任务;
第二种方式:根据待可视化分析的空间科学实验数据是哪个方面来判断该空间科学实验数据是否存在算法分析任务:
例如:当待可视化分析的空间科学实验数据为视频或者图像数据时:从分布式数据库中按照条件检索数据记录,并列表供用户进行具体数据的勾选。其中,条件指的是:数据所属的舱段、载荷、设备、级别、时间范围,从分布式数据库中检索得到符合这些条件的结果。
当待可视化分析的空间科学实验数据为参数数据时:从参数数据的大量字段中选取需要进行可视化分析的字段和需要进行算法分析的字段。其中,选取需要进行可视化分析的字段和需要进行算法分析的字段的方式包括:
第一种方式:人工判定哪些字段是需要进行可视化分析的字段以及哪些是需要进行算法分析的字段;
第二种方式:通过预设表,对参数数据进行搜索,得到需要进行可视化分析的字段以及需要进行算法分析的字段,其中预设表包含了所有需要进行可视化分析的字段以及需要进行算法分析的字段,映射表周期式更新。
判断算法分析任务中的算法类别通过以下方式进行判断:
第一种方式:按照运行方式进行分类:
运行方式指的是:算法的复杂程度及计算时效性。
分析算法部署与注册技术是本发明的关键技术之一,实现了算法动态扩展和多端同步。管理所有数据分析算法,可动态增删或更新,所有算法均采用容器化部署。因此按照运行方式,可分为以下2类:
第一类快速处理算法:同步返回当前请求的分析结果,一般适用于计算耗时短的算法,且对分析结果不作保存;输入数据一般为单幅图像、视频中的一帧或单组参数数据。
其中,当前请求指的是:该次调用算法的请求,包括请求参数与待算法分析的数据。
分析结果指的是:与请求算法相对应的算法输出信息,如图像的特征标注信息、参数的检测信息。
第二类复杂分析算法:通过异步线程池管理,异步返回请求的分析结果,一般适用于计算耗时长的算法,且对分析结果进行数据库保存或文件保存,支持分析结果的重复访问而无需再次调用算法;输入数据一般为图像序列包、视频整体或多组参数数据。
S2,当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列。其中:
创建针对所述待可视化分析的空间科学实验数据的分析任务具体为:
对于视频和图像数据,根据数据类型和算法注册信息生成可用算法列表,用户可在列表内选择任意一个算法以创建分析任务;
对于参数数据,算法选取可精确至某一列数据,因此,一条参数数据可使用多个算法进行分析。
其中算法注册信息指的是:算法访问地址、算法运行方式、算法对应的视图组件
数据类型指的是该数据为视频类还是图像类,通过判断文件名后缀方式获取;
S3,按照第一算法调用处理方案对所述复杂分析任务队列中的目标分析任务进行处理。其中:
第一算法调用方案可以为:考虑到系统资源限制和复杂分析算法的复杂性,不宜同时运行多个复杂分析任务。因此,本发明使用任务队列管理分析任务以降低并发对系统的影响。
任务队列管理分析任务指的是:将不同的复杂分析请求按照请求时间先后进行排队,形成任务队列,依次执行其中的分析请求。
S4,基于所述算法分析任务,确定所述目标分析任务对应的视图组件。
其中:
选取视图组件的方式可以分为以下几种:
第一种方式:在可视化视图组件库中选取所需要的视图组件,可视化视图组件库是本发明的关键技术之一,实现了多种开箱即用的可视化功能,定义了视图的所需的数据接口和交互方式,包含以下6个部分:
第一部分:图像可视化组件:通过翻页来查看一系列具有顺序的图像,包含缩放、旋转、定位、缩略图、标注等功能。
第二部分:同步图像可视化组件:并排显示两张图像,分别是原始图像和分析算法生成的图像,两幅图像同步控制,控制功能与图像可视化组件一致。此外,还具有查看算法生成的文本信息功能。
第三部分:视频播放组件:观看视频文件,支持全屏播放和调整播放速度以及自动跳过视频中损坏的部分。
第四部分:章节视频播放组件:结合视频播放器和章节数据,章节数据在视频进度条上高亮展示,并可跳转到任意章节的起始位置和结束位置。
第五部分:二维图表可视化组件:使用基于web标准的JavaScript可视化库二次开发,以数据驱动的折线图形式展示参数数据,支持坐标轴缩放。二维图表具有两个y轴,可为每条数据自由选择在左侧y轴或右侧y轴展示。
第六部分:三维路径可视化组件:使用基于web标准的JavaScript可视化库二次开发,同步展示图像和三维路径。图像部分与同步图像可视化组件相同。三维路径以算法生成的坐标信息为驱动,可绘制三维折线路径和三维散点路径。
第二种方式:通过算法分析任务的标识在可视化视图组件库中进行选取。
S5,基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。其中,
查看视图请求是用户发来的针对某一个或某一组要进行可视化分析的数据的查看请求,基于查看视图请求,通过交互式视图技术完成对于查看视图请求的后续执行以及处理。交互式视图技术是本发明的关键技术之一,实现了交互式可视化的目的,确定最终呈现效果和交互方式,包含以下4个部分:
第一部分:数据和视图组件匹配:结合算法分析结果的数据类型和原始数据的类型自动匹配合适的视图组件。
自动匹配合适的视图组件具体为:根据数据类型自动从可视化视图组件库中读取适合的视图组件。
第二部分:视图独立控制:每个视图均有可交互的控件,用于控制对应的视图。
可交互的控件包括但不仅限于:对于不同的视图组件设计了各自的交互模式,如对于二维图表可视化设计了折线平移、鼠标悬浮提示控件,对于图像可视化设计了图像的放大、缩小、平移控件,对于视频播放设计了进度条鼠标拖拉控件。
第三部分:视图分组控制:对于带有图像可视化的视图,可加入分组。操作同一分组内的任意视图控件都可同时控制其他视图。
第四部分:页面布局调整:调整页面上所有视图的大小和位置,以及动态增加和删除视图。
在另一实施例中,本方案可以通过模块化的方式进行辅助理解,具体如下:
本实施例中,通过模块之间的搭配使用实现可视化分析,主要包括图形界面模块、视图数据服务模块、分析算法调度模块、系统管理模块和分布式数据库及文件系统五个模块;
1.图形界面模块:负责直接与用户交互,实现交互式视图技术和开箱即用的可视化视图组件库。用户可通过图形界面模块完成从选取数据到可视化效果最终生成的所有流程。图形界面模块包括以下子模块:
视图独立控制:管理单个视图的交互行为,包括排列、长宽比、跳转间隔、翻页、自动切换、切换速度、翻页方向、全屏查看、旋转、缩放、测量和标注、轨迹绘制范围、轨迹点选取、绘图模式、散点大小、图表宽度、坐标轴设置、每页数据条数。
其中:排列:对于同步图像可视化,可切换两幅图像水平排列或垂直排列。
长宽比:设置图像在显示时保持长宽比或铺满画面。
跳转间隔:设置每次翻页的页数。
翻页:可向前或向后翻页以切换需要查看的数据。
自动切换:每隔一定时间自动执行翻页操作。
切换速度:设置自动切换的时间间隔。
全屏查看:全屏查看当前视图中显示的图像。
旋转:旋转图像方向。
缩放:调整图像大小。
测量和标注:在图像上放置圆形或线段,并根据给定的比例自动计算其面积或长度;在图像上放置箭头和文字说明。
轨迹绘制范围:对于三维图表,可选择在图表中绘制图形的时间跨度。
轨迹点选取:对于三维图表,可选择绘制图形的坐标点数据来源。
绘图模式:对于三维图表,可选择在个别数据缺失时是否连接前后坐标点以忽略缺失值。
散点大小:对于三维图表,调整散点尺寸。
图表宽度:对于三维图表,调整z轴宽度。
坐标轴设置:对于二维图表中的折线图,选择某数据绘制于左侧或右侧坐标轴上。
每页数据条数:对于二维图表,调整每次绘图使用的数据行数。
视图分组控制:为页面上的多个视图添加分组。同一分组的视图中部分控制可同步到该分组内的所有视图,实现分组内视图的统一控制。
页面布局调整:自由调整页面上多个视图的大小、位置,可撤销和保存。
可视化视图组件库:其中包含以下内容:
1)图像可视化:可用于查看一系列图像,若有算法分析结果,可随原始数据同步展示。
2)视频播放:可用于播放视频。
3)二维图表可视化:在二维坐标系上以散点、折线、平行坐标轴等形式展示数据。
4)三维图表可视化:在三维坐标系上以散点、折线、曲面等形式展示数据。
2.视图数据服务模块:负责各类数据驱动视图所需的结构化数据和非结构化数据的读取、计算和整合。视图配置模块包含以下子模块:
1)数据检索服务:根据用户设定的条件从数据库检索数据,展示在数据列表中。用户可为数据列表中的任意数据条目创建分析任务。
2)同步图像服务:从给定的图像压缩包中按照顺序读取图像,其中原始图像在压缩后直接发送到图形界面模块中的具体视图;同时,再将原始图像发送到当前视图指定的分析算法,并在算法完成计算后将输出图像和附加信息发送到视图。
3)章节视频服务:从存储的视频章节索引中读取时间节点和章节标题,与视频文件一并发送到图形界面中的对应视图。
4)参数图表服务:从临时参数数据库中按页读取一定量的数据条目,根据视图需要的数据结构进行自动转换,并向视图发送转换结果。
3.分析算法调度模块:负责根据分析需求调用实时算法或预处理算法,并管理算法任务。算法调度模块包含以下子模块:
1)快速处理算法调用:向分析算法发送包含数据的请求,并等待分析算法返回结果。
2)复杂分析算法调用:向分析算法发送数据所在的路径,然后关闭连接并将任务状态设置为“进行中”。当算法计算结束后反向调用服务接口。当计算完成时,发送数据路径并将状态更新为“已完成”;当计算失败时将状态更新为“已失败”。
3)复杂分析任务队列:为了避免并发计算任务耗尽硬件资源,使用复杂分析任务队列来确保任务按照顺序执行。在算法运行未结束时,任务将被标记为“队列中”状态。在算法空闲时,任务队列中的其余任务将被自动分配至算法执行。
4.系统管理模块:负责管理系统内的各类资源和权限,实现了算法动态扩展和多端同步。系统管理模块包含以下子模块:
1)用户管理:展示用户列表,包含用户名称、角色、视图数量、任务数量、数据数量、创建时间、上次登录时间。可对用户进行添加、修改、停用、删除等操作。
2)视图管理:展示所有用户的视图列表,包含视图标题、创建者、视图性质、视图类型、算法信息。可进行删除操作。
3)算法管理:展示系统内配置的所有算法列表,包含算法名称、接受的数据类型、算法性质、视图类型、使用该算法的视图和任务数量。可进行添加算法、编辑算法、停用算法和删除算法操作。
分析算法部署与注册模块:容器化部署算法服务,并通过REST接口调用。
任务管理:展示所有用户提交的数据分析任务列表,包含状态、任务编号、创建者、所用算法、时长和使用该任务数据的视图数量。可进行查看详情、下载数据、取消任务和删除任务操作。
5.分布式数据库和文件系统模块:负责数据的读取、写入以及归档。数据管理模块包含以下子模块:
1)任务数据归档服务:存储算法预处理分析任务产生的数据。若数据是单一文件则直接存储,若数据是多个文件则压缩后存储。
2)数据读取服务:从数据库、文件中读取多种类型的数据,根据需要进行解压或拼合,并封装为统一的数据对象供下载或后续步骤使用。
在本方案的另一个实施例中:
如图6所示,本发明通过以下步骤完成数据的可视化分析。
按照条件查询数据:按照用户自定义的条件在分布式数据库系统和文件系统中检索需要的数据,为后续分析或查看使用。
查看原始数据或分析结果:选择是否需要使用算法分析数据。如果无需算法分析,视图将根据原始数据类型自动完成配置;如果需要算法分析,则进一步设置相关分析任务。
创建分析任务:对于选定的数据条目,挑选一个算法创建分析任务。如果算法为快速处理类算法,分析任务将在创建后立即可查看;如果算法为复杂分析类算法,分析任务将在创建后加入任务队列,并在任务执行成功后可查看。
选择现有分析任务:先前创建的分析任务和其他用户创建的分析任务均显示在数据条目内置的分析任务列表中,可选取任意一条状态为“已完成”或“可供实时查看”的分析任务查看。
快速处理或复杂分析任务:根据算法的设置将任务划分为快速处理任务和复杂分析任务。快速处理任务在创建时无需对数据做任何处理,仅在查看时调用算法并传输数据,数据返回后不会保存,因此快速处理任务可在创建后立即查看;复杂分析任务由任务队列管理,由于涉及一次性计算和存储过程,将在创建任务一段时间后可查看。
复杂分析任务队列:复杂分析任务创建后会加入任务队列,队列会根据算法服务的空闲情况自动安排运行。算法运行结束后,队列会更新任务状态并收集和归档分析结果。
算法调用:对于快速处理任务,将需要处理的数据作为请求发送到算法服务,算法计算后将分析结果作为响应回传到视图服务,经格式转换和压缩后于用户界面展示;对于复杂分析任务,将需要处理的数据路径作为请求发送到算法服务,算法计算将状态和生成数据的路径作为响应回传到复杂分析任务队列,任务队列将根据状态做进一步处理。本发明在此步骤中实现了算法动态扩展和多端同步。
创建视图:填写视图标题并设置数据来源及分析任务。不需要算法分析时,视图组件由原始数据类型决定;需要算法分析时视图组件由算法配置决定。视图创建后相关信息将写入数据库以便在其他设备上查看和修改。本发明在此步骤中实现了同时支持结构化数据和非结构化数据的可视化分析。
渲染显示:查看视图时,视图组件会向视图服务请求数据,并将数据以合适的形式展示在视图组件中,并将多个视图组件拼合为可视化视图页面。当数据加载缓慢或异常时给予用户反馈。本发明在此步骤中实现了开箱即用的可视化功能。
视图交互:视图具有可独立操作的功能,用于调整显示效果和切换数据片段。视图还具有分组操作功能,可同步操作组内多个视图。本发明在此步骤中实现了视图的交互式可视化。
通过本方案,可以达到以下效果:
构建了多视图的可视化分析模式,每个视图可独立进行数据加载与交互操作,以此实现同时支持结构化和非结构化数据的同步与异步可视化分析。
定制化交互式视图组件库,基于通用可视化库定制化了一系列数据驱动交互式可视化组件,包括同步图像可视化组件、章节视频播放组件、二维图表可视化组件、三维图表及组合式组件等,将复杂的参数配置封装为简单的图形化组件。对可视化视图组件的定制化设计在保持灵活性的同时极大地降低了用户的使用成本,实现了开箱即用的可视化功能。
设计了算法接口动态注册机制,使用容器在服务器上完成算法的部署,实现了分析算法动态扩展和多端配置参数同步。同时,设计了同步与异步相结合的算法分析模式,自动化调度多种算法分析任务,兼具灵活性与资源使用的均衡性。
设计了可在用户页面动态添加可视化视图的模式,支持随意调整视图的大小和位置,支持可视化视图的动态布局和增删。在清晰直观地展示数据同时提供了自由的页面布局、多种实用的可交互工具及灵活的独立和分组控制方式。
实施例1
面向空间科学多任务实验数据高效、便捷的可视化分析等应用需求,包括图像、视频、参数三种主要数据形式和多种衍生数据形式,将本发明的方法与系统进行了工程应用,服务于空间科学实验数据的可视化分析,为空间科学多任务实验数据的研究与利用提供有力技术支撑,并提升海量、多源空间科学实验数据的服务效率与质量。图7为空间科学多任务实验数据可视化分析平台的用户页面图。图8-图10展示了非结构化数据的可视化视图,图11展示了结构化数据的可视化视图。拟南芥分割算法应用场景,图8展示了拟南芥分割算法的可视化分析视图。空间静电悬浮材料实验视频过程检测应用场景,图9展示了空间静电悬浮材料实验的可视化分析视图。空间生命实验线虫姿态跟踪应用场景,图10展示了空间生命实验线虫姿态跟踪的可视化分析视图。多变量聚类与相关性分析算法应用场景,图11展示了多变量聚类与相关性分析算法的可视化分析视图。本发明提出的算法动态扩展和多端同步技术,可在最大程度上节省算法部署和调试成本,做到一端部署,多端共享,集中管理。算法管理页面如图12所示,可通过此页面进行算法的添加、删除、停用、启用和编辑操作。
进一步,当待可视化分析的空间科学实验数据不存在算法分析任务时:
根据所述待可视化分析的空间科学实验数据的类型进行视图组件的配置。
进一步,当所述第一判断结果为快速分析类算法时,渲染并显示该快速分析算法对应的带可视化分析的空间科学实验数据。
进一步,S3具体为:
基于算法服务的空闲情况,对所述复杂分析任务队列中的分析任务进行处理,并在处理结束后,更新所述复杂分析任务队列的任务状态以及存储处理结果。
进一步,基于算法服务的空闲情况,对所述复杂分析任务队列中的分析任务进行处理具体包括:
确定所述分析任务对应的数据路径,并将所述数据路径包装为请求信息发送至算法服务中,根据所述算法服务的反馈信息,对所述复杂分析任务队列中的分析任务进行处理,所述反馈信息包括所述算法服务的空闲情况。
进一步,S4之后还包括:
由选取得到的视图组件以及该算法分析任务对应的标识创建视图板。
进一步,还包括:
S6,根据视图请求中的需求标识,对应搜索视图板,并基于该视图板中的视图组件进行渲染及显示。
如图2所示,本发明还提供一种针对空间科学实验数据的可视化分析的系统200,具体技术方案如下:
判断模块210用于:当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果,所述算法分析任务通过人工选定;
创建模块220用于:当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列;
处理模块230用于:按照第一算法调用处理方案对所述复杂分析任务队列中的目标分析任务进行处理;
视图模块240用于:基于所述算法分析任务,确定所述目标分析任务对应的视图组件;
可视化模块250用于:基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。
在上述各实施例中,虽然对步骤进行了编号S1、S2等,但只是本发明给出的具体实施例,本领域的技术人员可根据实际情况调整S1、S2等的执行顺序,此也在本发明的保护范围内,可以理解,在一些实施例中,可以包含如上述各实施方式中的部分或全部。
需要说明的是,上述实施例提供的一种针对空间科学实验数据的可视化分析的系统200的有益效果与上述一种针对空间科学实验数据的可视化分析的方法的有益效果相同,在此不再赘述。此外,上述实施例提供的系统在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将系统根据实际情况划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的系统与方法实施例属于同一构思,其具体实现过程详见方法实施例,在此不再赘述。
如图3所示,本发明实施例的一种计算机设备300,计算机设备300包括处理器320,处理器320与存储器310耦合,存储器310中存储有至少一条计算机程序330,至少一条计算机程序330由处理器320加载并执行,以使计算机设备300实现上述任一项方法,具体地:
计算机设备300可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器320(Central Processing Units,CPU)和一个或多个存储器310,其中,该一个或多个存储器310中存储有至少一条计算机程序330,该至少一条计算机程序330由该一个或多个处理器320加载并执行,以使该计算机设备300实现上述实施例提供的一种针对空间科学实验数据的可视化分析的方法。当然,该计算机设备300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该计算机设备300还可以包括其他用于实现设备功能的部件,在此不做赘述。
本发明实施例的一种计算机可读存储介质,计算机可读存储介质中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行,以使计算机实现上述任一项方法。
可选地,计算机可读存储介质可以是只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一项方法。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”、等是用于区别类似的对象,而代表对特定的顺序或先后次序进行限定。在适当情况下对于类似的对象的使用顺序可以互换,以便这里描述的本申请的实施例能够以除了图示或描述的顺序以外的顺序实施。
所属技术领域的技术人员知道,本发明可以实现为系统、方法或计算机程序产品,因此,本公开可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“模块”或“系统”。此外,在一些实施例中,本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM),只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种针对空间科学实验数据的可视化分析的方法,其特征在于,包括:
S1,当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果,所述算法分析任务通过人工选定;
S2,当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列;
S3,按照第一算法调用处理方案对所述复杂分析任务队列中的目标分析任务进行处理;
S4,基于所述算法分析任务,确定所述目标分析任务对应的视图组件;
S5,基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。
2.根据权利要求1所述的一种针对空间科学实验数据的可视化分析的方法,其特征在于,当待可视化分析的空间科学实验数据不存在算法分析任务时:
根据所述待可视化分析的空间科学实验数据的类型进行视图组件的配置。
3.根据权利要求1所述的一种针对空间科学实验数据的可视化分析的方法,其特征在于,当所述第一判断结果为快速分析类算法时,渲染并显示该快速分析算法对应的带可视化分析的空间科学实验数据。
4.根据权利要求1所述的一种针对空间科学实验数据的可视化分析的方法,其特征在于,S3具体为:
基于算法服务的空闲情况,对所述复杂分析任务队列中的分析任务进行处理,并在处理结束后,更新所述复杂分析任务队列的任务状态以及存储处理结果。
5.根据权利要求4所述的一种针对空间科学实验数据的可视化分析的方法,其特征在于,基于算法服务的空闲情况,对所述复杂分析任务队列中的分析任务进行处理具体包括:
确定所述分析任务对应的数据路径,并将所述数据路径包装为请求信息发送至算法服务中,根据所述算法服务的反馈信息,对所述复杂分析任务队列中的分析任务进行处理,所述反馈信息包括所述算法服务的空闲情况。
6.根据权利要求1所述的一种针对空间科学实验数据的可视化分析的方法,其特征在于,S4之后还包括:
由选取得到的视图组件以及该算法分析任务对应的标识创建视图板。
7.根据权利要求6所述的一种针对空间科学实验数据的可视化分析的方法,其特征在于,还包括:
S6,根据视图请求中的需求标识,对应搜索视图板,并基于该视图板中的视图组件进行渲染及显示。
8.一种针对空间科学实验数据的可视化分析的系统,其特征在于,包括:
判断模块用于:当待可视化分析的空间科学实验数据存在算法分析任务时,判断算法分析任务中的算法类别,生成第一判断结果,所述算法分析任务通过人工选定;
创建模块用于:当所述第一判断结果为复杂分析类算法时,创建针对所述待可视化分析的空间科学实验数据的分析任务,并将所述分析任务加入至复杂分析任务队列;
处理模块用于:按照第一算法调用处理方案对所述复杂分析任务队列中的目标分析任务进行处理;
视图模块用于:基于所述算法分析任务,确定所述目标分析任务对应的视图组件;
可视化模块用于:基于查看视图请求,调用所述视图组件,渲染并显示当前分析任务的处理情况。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器,所述处理器与存储器耦合,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现如权利要求1至7任一项权利要求所述的一种针对空间科学实验数据的可视化分析的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现如权利要求1至7任一项权利要求所述的一种针对空间科学实验数据的可视化分析的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311428038.4A CN117668267A (zh) | 2023-10-31 | 2023-10-31 | 一种实验数据的可视化分析的方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311428038.4A CN117668267A (zh) | 2023-10-31 | 2023-10-31 | 一种实验数据的可视化分析的方法、系统、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117668267A true CN117668267A (zh) | 2024-03-08 |
Family
ID=90085291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311428038.4A Pending CN117668267A (zh) | 2023-10-31 | 2023-10-31 | 一种实验数据的可视化分析的方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117668267A (zh) |
-
2023
- 2023-10-31 CN CN202311428038.4A patent/CN117668267A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bruckner et al. | Result-driven exploration of simulation parameter spaces for visual effects design | |
US7904415B2 (en) | Systems and computer program products to manage the display of data entities and relational database structures | |
US7735018B2 (en) | System and method for providing three-dimensional graphical user interface | |
US10740548B2 (en) | Dynamic report building using a heterogeneous combination of filtering criteria | |
EP2972841B1 (en) | Visualizing recorded executions of multi-threaded software programs for performance and correctness | |
JP4701124B2 (ja) | 情報処理装置、情報処理方法 | |
US20170371891A1 (en) | Visual file manager | |
US20100194778A1 (en) | Projecting data dimensions on a visualization data set | |
CN105122257A (zh) | 用于动态显示跟踪器数据的转换函数插入 | |
KR20000012137A (ko) | 디지털 이미지 처리 장치 | |
Fekete | Progressivis: A toolkit for steerable progressive analytics and visualization | |
US20150205840A1 (en) | Dynamic Data Analytics in Multi-Dimensional Environments | |
KR20100101594A (ko) | 견본 요소의 메타데이터에 기초하여 디지털 컨텐츠를 검색하는 방법, 시스템 및 컴퓨터 프로그램 | |
KR20000016992A (ko) | 데이터 처리 장치 | |
US20140075384A1 (en) | Context Aware Non-Linear Task Bar Orientation | |
US8572229B2 (en) | Distributed computing | |
KR20000012135A (ko) | 디지털 비디오 처리장치 | |
CN117668267A (zh) | 一种实验数据的可视化分析的方法、系统、设备及介质 | |
JP5298616B2 (ja) | 情報提示装置、情報提示方法および情報提示用プログラム | |
JP2006107020A (ja) | コンテンツ・マネジメント・システム及びコンテンツ・マネジメント方法、並びにコンピュータ・プログラム | |
US11270483B1 (en) | Unified multi-view data visualization | |
Verma et al. | Statistical Visualization of Big Data Through Hadoop Streaming in RStudio | |
JP3711710B2 (ja) | 情報検索収集システムおよび情報検索収集プログラムを記憶した記憶媒体 | |
Nguyen et al. | A demonstration of B-EagleV Visualizing massive point cloud directly from HDFS | |
US20190073436A1 (en) | Dynamic preview generation in a product lifecycle management environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |