CN110647723B - 基于原位可视化的粒子数据处理方法、装置和系统 - Google Patents
基于原位可视化的粒子数据处理方法、装置和系统 Download PDFInfo
- Publication number
- CN110647723B CN110647723B CN201910750036.4A CN201910750036A CN110647723B CN 110647723 B CN110647723 B CN 110647723B CN 201910750036 A CN201910750036 A CN 201910750036A CN 110647723 B CN110647723 B CN 110647723B
- Authority
- CN
- China
- Prior art keywords
- data
- particle data
- target
- visualization
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 title claims abstract description 412
- 238000012800 visualization Methods 0.000 title claims abstract description 188
- 238000011065 in-situ storage Methods 0.000 title claims abstract description 128
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 189
- 238000000034 method Methods 0.000 claims abstract description 114
- 230000006870 function Effects 0.000 claims description 132
- 230000002452 interceptive effect Effects 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 46
- 238000005070 sampling Methods 0.000 claims description 44
- 230000000007 visual effect Effects 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 37
- 239000000203 mixture Substances 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 16
- 239000011164 primary particle Substances 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004088 simulation Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 19
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 8
- 238000013079 data visualisation Methods 0.000 description 8
- 238000007405 data analysis Methods 0.000 description 7
- 230000001788 irregular Effects 0.000 description 7
- 238000013144 data compression Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012958 reprocessing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于原位可视化的粒子数据处理方法、装置和系统。该方法应用于计算终端，包括：获取待处理的原始粒子数据；基于概率密度函数对原始粒子数据进行处理，得到目标参数；将目标参数传输至可视化终端，其中，目标参数用于在可视化终端上通过概率密度函数还原为目标粒子数据，目标粒子数据与原始粒子数据之间的差值小于目标阈值，且用于在可视化终端上进行可视化处理。通过本发明，达到了有效地对粒子数据进行处理的效果。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种基于原位可视化的粒子数据处理方法、装置和系统。
背景技术
目前，粒子数据为无结构的数据，由于空间分布不规则，宇宙学模拟中的粒子是很难压缩的。对于数据的原位可视化处理，主要是针对体数据的原位可视化处理，体数据是有结构数据，而目前还无法将用于体数据的原位可视化处理方法直接应用于粒子数据。
另外，在相关技术中，在粒子数据的可视化的预处理阶段，可以采用向量量化法对粒子属性进行精简，并在可视化过程中在图形处理器(Graphics Processing Unit，简称为GPU)端进行实时解码。采用静态码本的向量量化编码法，其生成量化码本的k-means迭代过程可以并行进行，生成码本后每个向量的编码也可以独立进行，该方法具有良好的可扩展性。但是，自适应向量量化法在编码的同时动态调节码本，是典型的串行工作模式，计算量依然太大，且多用在数据的后处理中，并不适合进行原位数据压缩。
在相关技术中，还可以采用分层随机采样的方法对宇宙数值模拟的超大规模离散粒子进行原位采样，用中值K-D树(K-Dimensional tree，简称为K-D tree)将粒子数据以轴对齐方式划分成含有相同粒子数的小块，并在每块按比例随机采样；同时根据K-D tree，用同样的采样方法递归地将采样结果组织为LOD模型。该方法在保持原始数据统计特征的同时，有效地降低了输出的数据量，保证了模拟输出及后续数据分析和可视化整个工作流的效率。但是，该方法由于在原位阶段进行随机采样，即在内存中随机地选取一些粒子作为代表进行保存，虽然可以保持大体的结构，但是细节特征早以被丢弃，最终造成数据在高精度要求下的误差非常大，难以用于分析高精度要求的任务。
针对上述现有技术中无法有效地对粒子数据进行处理的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种基于原位可视化的粒子数据处理方法、装置和系统，以至少解决无法有效地对粒子数据进行处理的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种基于原位可视化的粒子数据处理方法。该方法应用于计算终端，包括：获取待处理的原始粒子数据；基于概率密度函数对原始粒子数据进行处理，得到目标参数；将目标参数传输至可视化终端，其中，目标参数用于在可视化终端上通过概率密度函数还原为目标粒子数据，目标粒子数据与原始粒子数据之间的差值小于目标阈值，且用于在可视化终端上进行可视化处理。
可选地，基于概率密度函数对原始粒子数据进行处理，得到目标参数包括：对原始粒子数据进行切分处理，得到多个子原始粒子数据；基于概率密度函数对多个子原始粒子数据进行拟合，得到目标参数。
可选地，对原始粒子数据进行切分处理，得到多个子原始粒子数据包括：获取不同时刻原始粒子数据的分布信息；基于分布信息对原始粒子数据进行切分处理，得到多个子原始粒子数据。
可选地，基于概率密度函数对多个子原始粒子数据进行拟合，得到目标参数包括：获取多个子原始粒子的特征信息，其中，特征信息用于指示多个子原始粒子数据分布的结构；基于概率密度函数对特征信息进行拟合，得到目标参数。
可选地，基于概率密度函数对特征信息进行拟合，得到目标参数包括：基于概率密度函数对特征信息进行多次迭代，得到目标参数。
可选地，在基于概率密度函数对原始粒子数据进行处理，得到目标参数之后，该方法还包括：获取在进行基于概率密度函数对原始粒子数据进行处理，得到目标参数的过程中产生的状态信息；原将状态信息传输至可视化终端。
可选地，基于概率密度函数对原始粒子数据进行处理，得到目标参数包括：根据原始粒子数据的属性，通过概率密度函数对原始粒子数据进行处理，得到目标参数。
可选地，概率密度函数为高斯混合模型。
为了实现上述目的，根据本发明的另一方面，还提供了一种基于原位可视化的粒子数据处理方法，该方法应用于可视化终端，可视化终端包括交互界面，包括：获取计算终端输出的目标参数，其中，目标参数为计算终端基于概率密度函数取对待处理的原始粒子数据进行处理得到；通过概率密度函数将目标参数还原为目标粒子数据，其中，目标粒子数据与原始粒子数据之间的差值小于目标阈值；对目标粒子数据进行可视化处理，得到可视化处理结果；在交互界面上显示可视化处理结果。
可选地，在交互界面上显示可视化处理结果之后，该方法还包括：响应作用在交互界面上的交互操作指令，对可视化处理结果进行交互操作，得到交互操作结果；在交互界面上显示交互操作结果。
可选地，通过概率密度函数将目标参数还原为目标粒子数据包括：对目标参数进行随机采集，得到采样数据；通过采样数据和概率密度函数生成目标粒子数据。
可选地，对目标参数进行随机采集，得到采样数据包括：基于蒙特卡洛方式对目标参数进行随机采样，得到采样数据。
可选地，概率密度函数为高斯混合模型。
为了实现上述目的，根据本发明的另一方面，还提供了一种基于原位可视化的粒子数据处理系统。该系统包括：计算终端，用于基于概率密度函数对待处理的原始粒子数据进行处理，得到目标参数；传输装置，与计算终端相连接，用于传输目标参数；可视化终端，与传输装置相连接，用于通过概率密度函数将获取到的目标参数还原为目标粒子数据，对目标粒子数据进行可视化处理，得到可视化处理结果，在交互界面上显示可视化处理结果，其中，目标粒子数据与原始粒子数据之间的差值小于目标阈值。
为了实现上述目的，根据本发明的另一方面，还提供了一种基于原位可视化的粒子数据处理装置。该装置应用于计算终端，包括：第一获取单元，用于获取待处理的原始粒子数据；第一处理单元，用于基于概率密度函数对原始粒子数据进行处理，得到目标参数；传输单元，用于将目标参数传输至可视化终端，其中，目标参数用于在可视化终端上通过概率密度函数还原为目标粒子数据，目标粒子数据与原始粒子数据之间的差值小于目标阈值，且用于在可视化终端上进行可视化处理。
为了实现上述目的，根据本发明的另一方面，还提供了一种基于原位可视化的粒子数据处理装置。该装置应用于可视化终端，可视化终端包括交互界面，包括：第二获取单元，用于获取计算终端输出的目标参数，其中，目标参数为计算终端基于概率密度函数取对待处理的原始粒子数据进行处理得到；还原单元，用于通过概率密度函数将目标参数还原为目标粒子数据，其中，目标粒子数据与原始粒子数据之间的差值小于目标阈值；第二处理单元，用于对目标粒子数据进行可视化处理，得到可视化处理结果；显示单元，用于在交互界面上显示可视化处理结果。
为了实现上述目的，根据本发明的另一方面，还提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明实施例的基于原位可视化的粒子数据处理方法。
为了实现上述目的，根据本发明的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的基于原位可视化的粒子数据处理方法。
通过本发明的基于原位可视化的粒子数据处理方法，应用于计算终端，获取待处理的原始粒子数据；基于概率密度函数对原始粒子数据进行处理，得到目标参数；将目标参数传输至可视化终端，其中，目标参数用于在可视化终端上通过概率密度函数还原为目标粒子数据，目标粒子数据与原始粒子数据之间的差值小于目标阈值，且用于在可视化终端上进行可视化处理。由于概率密度函数对原始粒子数据进行处理，得到目标参数，传输目标参数，从而实现了对原始粒子数据的压缩，进而在可视化终端目标参数又还原为与原始粒子数据之间的误差小于目标阈值的目标粒子数据，对目标粒子数据进行可视化处理，从而避免了由于空间分布不规则，无法直接压缩粒子数据，而导致无法有效对粒子数据进行处理的技术问题，达到了有效对粒子数据进行处理的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种基于原位可视化的粒子数据处理方法；
图2是根据本发明实施例的另一种基于原位可视化的粒子数据处理方法的流程图；
图3是根据本发明实施例的一种基于原位可视化的粒子数据处理系统的示意图；
图4是根据本发明实施例的一种基于概率密度函数的原位可视化数据处理的示意图；
图5是根据本发明实施例的一种宇宙特征结构的示意图；
图6是根据本发明实施例的一种基于高斯混合模型的模型参数的确定方法的流程图；
图7是根据本发明实施例的一种基于原位可视化的粒子数据处理装置的示意图；以及
图8是根据本发明实施例的另一种基于原位可视化的粒子数据处理装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
随着超级计算机计算能力的迅速发展，可以采用更大规模、更高精度、更长时间的计算来模拟更复杂的物理化学现象和工程设计等问题。由此产生的数据也呈爆炸式增长，单次模拟的计算量已达到TB/PB量级数据。而超级计算机的I/O速度却赶不上计算速度的增长，超大规模数据量也超出了超级计算机本身的存储能力。相关技术中的数据预处理和可视化基本上是后处理模式，超级计算机进行在数值模拟之后所输出的海量数据结果保存在磁盘中，当进行可视化处理时再从磁盘中读取数据。这样，数据传输和输入/输出端口(Input/Output，简称为I/O)瓶颈的阻塞问题就增加了数据处理和可视化的难度，降低了整个数据模拟研究的效率。千万亿次计算必然产生PB级甚至EB级的数据，如何对如此庞大的数据进行保存并进行可视化分析是不得不需要面对的难题，传统的可视化模式已经无法应对这种难题。
在该实施例中，原位可视化是指超级计算机对计算过程中产生的数据不经过存储而直接在计算模拟的同一节点上进行实时可视化分析的过程，它将模拟计算和可视化处理紧密结合，计算出来的数据在原位被缩减和处理(比如，绘制成图片或抽取特征进行数据过滤)，其结果数据量将大幅减少，且需要保存和传输的数据也将大幅减少，从而提高了数据可视化的效率。因而，原位可视化为解决千万亿次规模计算数据分析的最有效途径。
该实施例针对于超大规模的多体(N-Body)模拟的原位可视化技术，主要针对的数据为无结构的粒子数据。
本发明实施例提供了一种基于原位可视化的粒子数据处理方法，应用于计算终端，该计算终端可以为超级计算机。
图1是根据本发明实施例的一种基于原位可视化的粒子数据处理方法。如图1所示，该方法可以包括以下步骤：
步骤S102，获取待处理的原始粒子数据。
在本发明上述步骤S102提供的技术方案中，待处理的原始粒子数据可以存储在计算终端的内存中，为原位数据，并且为需要进行压缩传输至可视化终端，以进行可视化处理的粒子数据。
在该实施例中，原始粒子数据中最基本的数据单位是粒子，每一个粒子有多个属性。在N-Body模拟中粒子的数据属性可以包括粒子的编号、粒子的位置信息(即空间坐标x、y、z)、粒子的速度信息(即在每个方向上的速度分量vx、vy、vz)。但是用户有时仅需要部分属性，比如，只需要保存位置信息，该实施例可以根据用户的属性需求对需求的属性进行处理和保存。该实施例的原始粒子数据的数据内容可以是原始粒子数据在数值模拟程序中所存在的属性。
步骤S104，基于概率密度函数对原始粒子数据进行处理，得到目标参数。
在本发明上述步骤S104提供的技术方案中，在获取待处理的原始粒子数据之后，基于概率密度函数(PDF)对原始粒子数据进行处理，得到目标参数，其中，概率密度函数可以为高斯混合模型。
该实施例的概率密度函数用于进行原始粒子数据的原位数据处理，可以在原位预处理模块中进行。其中，原位预处理模块也即原位数据处理模块，与数值模拟程序紧密结合，可以为数值模拟程序提供数据处理的调用接口。在进行原位数据处理的过程中，原始粒子数据可以一直存储在计算终端的内存中，当数值模拟程序需要进行数据粒子保存时，会调用原位数据处理模块，将计算终端的内存中的原始粒子数据交由原位数据处理模块进行处理，得到目标参数，而并非直接将原始粒子数据保存在数值模拟程序中。
在该实施例中，数值模拟程序在计算终端上运行时，会占用非常多的中央处理器(Central Processing Unit/Processor，简称为CPU)数量和大量的内存等计算资源，这就会导致留给除了数值模拟程序之外的资源非常少，并且应该充分利用多核(多个CPU)的特点。该实施例在基于概率密度函数对原始粒子数据进行原位数据处理时，要求算法具有不会占用过多资源，并且具有可以高并行的特点，同时该实施例的目的是解决I/O存储的问题，以极大地减少粒子数据的存储量。
该实施例基于概率密度函数对原始粒子数据进行处理，得到目标参数，也即，将原始粒子数据转化为目标参数，从而达到了对原始粒子数据进行压缩的目的。
在相关技术中，会在原位阶段进行随机采样，也即，在内存中进行随机的选取一些原始粒子数据作为代表进行保存(随机删除一些原始粒子数据，然后只保存剩下的原始粒子数据)，这样会造成大量信息的丢弃，在丢弃之后虽然可以保持大体的结构，但是细节特征早以被丢弃，所以该方法达不到期望要求。而该实施例在原位阶段基于概率密度函数对整个原始粒子数据进行处理，并未进行随机采样，从而在原位阶段没有丢失过多的信息。
步骤S106，将目标参数传输至可视化终端，其中，目标参数用于在可视化终端上通过概率密度函数还原为目标粒子数据，目标粒子数据与原始粒子数据之间的差值小于目标阈值，且用于在可视化终端上进行可视化处理。
在本发明上述步骤S106提供的技术方案中，在基于概率密度函数对原始粒子数据进行处理，得到目标参数之后，可以将目标参数存储至硬盘中，通过硬盘将目标参数传输至可视化终端，该可视化终端可以用于对获取到的数据进行可视化处理以及显示。
在该实施例中，在将目标参数传输至可视化终端之后，可视化终端可以通过已有的概率密度函数将目标参数还原为目标粒子数据，也即，对目标参数进行数据重构，得到目标粒子数据，该目标粒子数据与原始粒子数据之间的误差尽量小，使其趋向于原始粒子数据的分布，进而可以对目标粒子数据进行读取、分析，然后进行可视化处理，得到可视化处理结果，并在可视化终端的交互界面上向用户展示可视化处理结果。该可视化处理结果可以进行交互式分析，进而可以发现兴趣点、未知结构或者验证结论，通过对可视化结果进行交互分析，相关专家可以清晰、直观地了解数据和验证理论结果。
举例而言，天文学家关注的兴趣点在于模拟演化过程中的宇宙特征结构，可以暗晕(halo)、纤维结构(Filament)、空洞(Void)为主。通过对这些粒子数据的可视化结果进行交互操作，比如，进行图像旋转、视角切换、放大缩小等交互操作，可以进一步促进对这些粒子数据的结构的了解。
下面对该实施例的上述步骤S104，基于概率密度函数对原始粒子数据进行处理，得到目标参数的方法进行进一步介绍。
作为一种可选的实施方式，步骤S104，基于概率密度函数对原始粒子数据进行处理，得到目标参数包括：对原始粒子数据进行切分处理，得到多个子原始粒子数据；基于概率密度函数对多个子原始粒子数据进行拟合，得到目标参数。
在该实施例中，在原位数据处理阶段，基于概率密度函数对原始粒子数据进行处理的过程，可以为通过概率密度函数中的多个参数的条件，使概率密度函数逼近于原始粒子数据的分布，也即，通过函数表达数据，进而大量的数据就可以通过函数进行表示。在该实施例中，对原始粒子数据进行切分处理，可以对于每个计算节点，使用K-D tree算法对节点内的原始粒子数据进行快速划分，可以在每个CPU上使用K-D Tree算法对原始粒子数据进行切分。在对原始粒子数据进行切分处理，得到多个子原始粒子数据之后，基于概率密度函数对多个子原始粒子数据进行拟合，得到目标参数，可以将切分后的每个子原始粒子数据对应的数据区域利用机器学习中的高斯混合模型进行数据拟合，从而得到目标参数。
作为一种可选的实施方式，对原始粒子数据进行切分处理，得到多个子原始粒子数据包括：获取不同时刻原始粒子数据的分布信息；基于分布信息对原始粒子数据进行切分处理，得到多个子原始粒子数据。
在该实施例中，在对原始粒子数据进行切分处理时，可以根据不同时刻的粒子分布进行动态的数据切分。可选地，该实施例在模拟系统运行过程中，获取不同时刻原始粒子数据的分布信息，该分布信息可以用于指示原始粒子数据的分布情况，进而基于分布信息对原始粒子数据进行切分处理，得到多个子原始粒子数据。
作为一种可选的实施方式，基于概率密度函数对多个子原始粒子数据进行拟合，得到目标参数包括：获取多个子原始粒子的特征信息，其中，特征信息用于指示多个子原始粒子数据分布的结构；基于概率密度函数对特征信息进行拟合，得到目标参数。
在该实施例中，在基于概率密度函数对多个子原始粒子数据进行拟合时，可以先获取多个子原始粒子的特征信息，该特征信息也即粒子数据分布的特征结构，用于指示多个子原始粒子数据分布的结构，也即，多个子原始粒子数据的分布特征。基于概率密度函数对特征信息进行拟合，比如，将划分后的多个子原始粒子数据使用高斯混合模型对其分布特征进行拟合，从而得到目标参数，可以为后期数据重构提供模型基础，重构的数据可以进一步用于进行可视化分析。
作为一种可选的实施方式，基于概率密度函数对特征信息进行拟合，得到目标参数包括：基于概率密度函数对特征信息进行多次迭代，得到目标参数。
在该实施例中，在基于概率密度函数对特征信息进行拟合时，可以是通过EM算法进行迭代来求取概率密度函数对应的目标参数的过程，就是通过对特征信息进行多次迭代，寻找概率密度函数的最佳参数，使得概率密度函数可以更加精确。
作为一种可选的实施方式，在基于概率密度函数对原始粒子数据进行处理，得到目标参数之后，该方法还包括：获取在进行基于概率密度函数对原始粒子数据进行处理，得到目标参数的过程中产生的状态信息；原将状态信息传输至可视化终端。
在该实施例中，在基于概率密度函数对原始粒子数据进行处理，得到目标参数之后，还可以获取与概率密度函数相关的状态信息，该状态信息可以为实时获取到的超级计算机的状态信息，也即，资源信息，可以用于确定可视化超算的状态，使相关专家可以更多了解运行的细节。可选地，该实施例的状态信息可以包括超算集群在运行数值模拟程序中的CPU利用率、数值模拟程序的不同模块的运行时间、保存数据的大小等实时的超级计算机的状态信息，此处不做任何限制。
在获取状态信息之后，也可以将状态信息保存在硬盘中，与目标参数一起传输至可视化终端。
作为一种可选的实施方式，步骤S104，基于概率密度函数对原始粒子数据进行处理，得到目标参数包括：根据原始粒子数据的属性，通过概率密度函数对原始粒子数据进行处理，得到目标参数。
在该实施例中，原始粒子数据的属性包括用户的数据属性需求和数值模拟程序中原始粒子数据存在的属性(数据内容)。可选地，原始粒子数据的属性具体可以是原始粒子数据的编号、原始粒子数据的位置信息、原始粒子数据的速度信息。在通过概率密度函数对原始粒子数据进行处理时，可以通过原位预处理模块根据户的数据属性需求和数值模拟程序中原始粒子数据存在的属性通过概率密度函数对原始粒子数据进行处理，得到目标参数，然后将目标参数保存在硬盘中，并且实时存储相关的状态参数。
在该实施例的上述方法中，通过概率密度函数对原始粒子数据进行处理，可以达到极高的数据压缩率，既可以保证准确存储大尺度的宇宙特征结构，还可以解决IO存储问题，从而在经过确定概率密度函数的目标参数之后，所需要存储和传输的数据的大小被极大的减少。
本发明实施例还提供了另一种基于原位可视化的粒子数据处理方法，应用于可视化终端，该可视化终端包括交互界面。
图2是根据本发明实施例的另一种基于原位可视化的粒子数据处理方法的流程图。如图2所示，该方法可以包括以下步骤：
步骤S202，获取计算终端输出的目标参数，其中，目标参数为计算终端基于概率密度函数取对待处理的原始粒子数据进行处理得到。
在本发明上述步骤S202提供的技术方案中，待处理的原始粒子数据可以存储在计算终端的内存中，为原位数据，概率密度函数用于进行原始粒子数据的原位数据处理，得到目标参数，可视化终端获取计算终端传输过来的目标参数，也即，获取对原始粒子数据进行压缩处理后的数据。
步骤S204，通过概率密度函数将目标参数还原为目标粒子数据，其中，目标粒子数据与原始粒子数据之间的差值小于目标阈值。
在本发明上述步骤S204提供的技术方案中，在数据还原阶段，在可视化终端在获取计算终端输出的目标参数之后，通过概率密度函数将目标参数还原为目标粒子数据，该目标粒子数据也即还原后的数据，概率密度函数可以为高斯混合模型。可选地，读取概率密度函数，对概率密度函数的目标参数进行数据重构，得到的目标粒子数据可以为重构后的数据集，从而为数据可视化的渲染提供支撑。该实施例的数据重构的过程就是从已有的概率密度函数中进行数据的采样，可以在重构的过程中，采用伯努利大数定律来对采样数据进行评价，进而不断减少误差，使得最终得到的目标粒子数据与原始粒子数据之间的误差尽量小，也即，使其趋向于原始粒子数据的分布。
在相关技术中，会在原位阶段进行随机采样，也即，在内存中进行随机的选取一些原始粒子数据作为代表进行保存，这样会造成大量信息的丢弃，在丢弃之后虽然可以保持大体的结构，但是细节特征早以被丢弃，所以该方法达不到期望要求。而该实施例在原位阶段基于概率密度函数对整个原始粒子数据进行处理，并未进行随机采样，从而在原位阶段没有丢失过多的信息，而在数据的重构阶段从已有的概率密度函数中进行数据的采样，可以通过多次采样来降低误差，从而避免了由于原位阶段对原始粒子数据进行随机采样，导致丢失的信息过多，且后期无法通过再处理提高准确率的问题。
步骤S206，对目标粒子数据进行可视化处理，得到可视化处理结果。
在本发明上述步骤S206提供的技术方案中，在通过概率密度函数将目标参数还原为目标粒子数据之后，对目标粒子数据进行可视化处理，得到可视化处理结果，其可以对目标粒子数据先进行读取、分析，然后进行可视化处理，得到可视化处理结果，其中，该实施例的可视化处理主要是将分析后的目标粒子数据转换为图像，包括对目标粒子数据进行渲染的处理过程。
步骤S208，在交互界面上显示可视化处理结果。
在本发明上述步骤S208提供的技术方案中，在对目标粒子数据进行可视化处理，得到可视化处理结果之后，可以在可视化终端的交互界面上显示可视化处理结果，从而可以实现原位的数据在经过处理后可以直接进行展示。
作为一种可选的实施方式，在步骤S208，交互界面上显示可视化处理结果之后，该方法还包括：响应作用在交互界面上的交互操作指令，对可视化处理结果进行交互操作，得到交互操作结果；在交互界面上显示交互操作结果。
在该实施例中，在交互界面上显示可视化处理结果之后，可以对可视化结果进行交互式分析，可以响应作用在可视化终端的交互界面上的交互操作指令，该交互操作指令可以为对可视化结果进行旋转的交互操作的指令、可视化结果进行视角切换的交互操作的指令、可视化结果进行放大缩小的交互操作的指令等，此处不做任何限制，进而对可视化结果进行交互操作，得到交互操作结果，并且在交互界面上显示交互操作结果，进而可以依据该交互操作结果发现兴趣点、未知结构或者验证结论，通过对可视化结果进行交互分析，相关专家可以清晰、直观地了解数据和验证理论结果。
下面对该实施例的步骤S204，通过概率密度函数将目标参数还原为目标粒子数据的方法进行介绍。
作为一种可选的实施方式，步骤S204，通过概率密度函数将目标参数还原为目标粒子数据包括：对目标参数进行随机采集，得到采样数据；通过采样数据和概率密度函数生成目标粒子数据。
在该实施例中，在通过概率密度函数将目标参数还原为目标粒子数据时，可以通过随机采样进行数据重构的方式来还原数据。可选地，该实施例读取已有的概率密度函数，对概率密度函数的目标参数进行随机采集，也即，从已有的高斯混合模型中进行数据的抽样，得到采样数据，进而通过采样数据和概率密度函数生成目标粒子数据，其中，可以采用伯努利大数定律来对采样数据进行评价，可以通过多次采样来降低误差，使得到的目标粒子数据趋向于原始粒子数据的分布，从而达到了将目标参数还原为了与原始粒子数据之间的误差小于目标阈值的目标粒子数据的目的。
作为一种可选的实施方式，对目标参数进行随机采集，得到采样数据包括：基于蒙特卡洛方式对目标参数进行随机采样，得到采样数据。
在该实施例中，蒙特卡洛方式属于一种采样算法。在构造了概率模型以后，由于各种概率模型都可以看作是由各种各样的概率分布构成的，因此会产生已知概率分布的随机变量(或随机向量)，这就成为实现蒙特卡罗方法进行模拟实验的基本手段，这也是蒙特卡罗方法被称为随机抽样的原因。其中，最简单、最基本、最重要的一个概率分布是(0，1)上的均匀分布(或称矩形分布)。随机数就是具有这种均匀分布的随机变量。随机数序列就是具有这种分布的总体的一个简单子样，也即，一个具有这种分布的相互独立的随机变数序列。产生随机数的问题，就是这个分布的抽样问题。在计算机上，可以用物理方法产生随机数，但价格昂贵，不能重复，使用不便。另一种方法是用数学递推公式产生，这样产生的序列，与真正的随机数序列不同，所以称为伪随机数，或伪随机数序列，但它与真正的随机数，或随机数序列具有相近的性质，因此可以把它作为真正的随机数来使用。由已知分布随机抽样有各种方法，与从(0，1)上均匀分布抽样不同，这些方法都是借助于随机序列来实现的，也就是说，都是以产生随机数为前提的。由此可见，随机数实现蒙特卡罗模拟的基本工具。
在该实施例中，由于概率密度函数对原始粒子数据进行处理，得到目标参数，传输目标参数，从而实现了对原始粒子数据的压缩，数据的压缩率远远领先于目前已有的方法，进而在可视化终端目标参数又还原为与原始粒子数据之间的误差小于目标阈值的目标粒子数据，对目标粒子数据进行可视化处理，从而在具有高压缩率的同时重构数据也可以支持准确的可视化和数据分析，可以满足相关领域专家对数据分析的误差要求，从而避免了由于空间分布不规则，无法直接压缩粒子数据，而导致无法有效对粒子数据进行处理的技术问题，达到了有效对粒子数据进行处理的技术效果。
该实施例针对于N-Body模拟中粒子的数据的处理，在同样的压缩率下，该实施例的误差远远小于已有的方法，可以应用于粒子数据相关的原位可视化中。
实施例2
本发明实施例还提供了一种基于原位可视化的粒子数据处理系统。需要说明的是，该实施例的基于原位可视化的粒子数据处理系统可以用于执行本发明实施例的基于原位可视化的粒子数据处理方法。
图3是根据本发明实施例的一种基于原位可视化的粒子数据处理系统的示意图。如图3所示，该基于原位可视化的粒子数据处理系统30可以包括：计算终端31、传输装置32和可视化终端33。
计算终端31，用于基于概率密度函数对待处理的原始粒子数据进行处理，得到目标参数。
在该实施例中，在原位数据处理阶段，待处理的原始粒子数据可以存储在计算终端31的内存中，为原位数据，并且为需要进行压缩传输至可视化终端33，以进行可视化处理的粒子数据。
计算终端31基于概率密度函数对原始粒子数据进行处理，得到目标参数，其中，概率密度函数可以为高斯混合模型。
该实施例的概率密度函数用于计算终端31进行原始粒子数据的原位数据处理，可以在计算终端31的原位预处理模块中进行。其中，计算终端31的原位预处理模块与计算终端31的数值模拟程序紧密结合，可以为数值模拟程序提供数据处理的调用接口。在进行原位数据处理的过程中，原始粒子数据可以一直存储在计算终端31的内存中，当数值模拟程序需要进行数据粒子保存时，会调用原位数据处理模块，将计算终端31的内存中的原始粒子数据交由原位数据处理模块进行处理，得到目标参数，而并非直接将原始粒子数据保存在数值模拟程序中。
在该实施例中，数值模拟程序在计算终端31上运行时，会占用非常多的CPU数量和大量的内存等计算资源，这就会导致留给除了数值模拟程序之外的资源非常少，并且应该充分利用多核(多个CPU)的特点。该实施例的计算终端31在基于概率密度函数对原始粒子数据进行原位数据处理时，要求算法具有不会占用过多资源，并且具有可以高并行的特点，同时该实施例的目的是解决I/O存储的问题，以极大地减少粒子数据的存储量。
传输装置32，与计算终端31相连接，用于传输目标参数。
该实施例的传输装置32可以将计算终端31得到的目标参数传输至可视化终端33，该传输装置32可以包括但不限于硬盘。
可视化终端33，与传输装置32相连接，用于通过概率密度函数将获取到的目标参数还原为目标粒子数据，对目标粒子数据进行可视化处理，得到可视化处理结果，在交互界面上显示可视化处理结果，其中，目标粒子数据与原始粒子数据之间的差值小于目标阈值。
在数据还原阶段，在可视化终端33在获取计算终端31输出的目标参数之后，通过概率密度函数将目标参数还原为目标粒子数据，该目标粒子数据也即还原后的数据，概率密度函数可以为高斯混合模型。可选地，可视化终端33读取概率密度函数，对概率密度函数的目标参数进行数据重构，得到的目标粒子数据可以为重构后的数据集，从而为数据可视化的渲染提供支撑。该实施例的可视化终端33的数据重构的过程就是从已有的概率密度函数中进行数据的采样，可视化终端33可以在重构的过程中，采用伯努利大数定律来对采样数据进行评价，进而不断减少误差，使得最终得到的目标粒子数据与原始粒子数据之间的误差尽量小，也即，使其趋向于原始粒子数据的分布。
在可视化终端33通过概率密度函数将目标参数还原为目标粒子数据之后，可视化终端33对目标粒子数据进行可视化处理，得到可视化处理结果，其可以对目标粒子数据先进行读取、分析，然后进行可视化处理，得到可视化处理结果，其中，该实施例的可视化终端33的可视化处理主要是将分析后的目标粒子数据转换为图像，包括对目标粒子数据进行渲染的处理过程。
在可视化终端33对目标粒子数据进行可视化处理，得到可视化处理结果之后，可以在可视化终端33的交互界面上显示可视化处理结果，从而可以实现原位的数据在经过处理后可以直接进行展示。
该实施例的基于原位可视化的粒子数据处理系统，通过计算终端31基于概率密度函数对待处理的原始粒子数据进行处理，得到目标参数，从而实现了对原始粒子数据的压缩，数据的压缩率远远领先于目前已有的方法，通过传输装置32与计算终端31相连接，用于传输目标参数，通过可视化终端33与传输装置32相连接，通过概率密度函数将获取到的目标参数还原为目标粒子数据，对目标粒子数据进行可视化处理，得到可视化处理结果，在交互界面上显示可视化处理结果，其中，目标粒子数据与原始粒子数据之间的差值小于目标阈值，可以满足相关领域专家对数据分析的误差要求，从而避免了由于空间分布不规则，无法直接压缩粒子数据，而导致无法有效对粒子数据进行处理的技术问题，达到了有效对粒子数据进行处理的技术效果。
实施例3
下面结合优选的实施方式对本发明实施例的基于原位可视化的粒子数据处理方法进行介绍。
该实施例主要针对于超大规模的N-Body模拟的原位可视化技术，主要针对的数据为无结构的粒子数据，由于空间分布不规则，宇宙学模拟中的粒子很难压缩。
在相关技术中，针对体数据的原位可视化较多，体数据即均匀的三维网格数据。已有相关研究通过针对体数据的原位可视化使用概率密度函数进行原位数据处理，即将体数据通过概率密度函数进行表示。但他们针对的是体数据，体数据是有结构数据，而目前没有研究将此方法用于粒子数据，粒子数据是无结构数据，故此方法如果不经过修改难以直接用于粒子数据。而该实施例探索了高斯混合模型在粒子数据上的应用。
在相关技术中，针对于粒子数据的N-body模拟也有相关研究，可以在可视化的预处理阶段采用向量量化法对粒子属性进行精简，并在可视化过程中在GPU端进行实时解码。采用静态码本的向量量化编码法，其生成量化码本的k-means迭代过程可以并行进行，生成码本后每个向量的编码也可以独立进行，而自适应向量量化法在编码的同时动态调节码本，是典型的串行工作模式，向量量化的编码计算量依然太大，且多用在数据的后处理中，并不适合进行原位数据压缩。数值模拟程序在超级计算机上运行时会占用非常多的CPU数量和大量的内存等计算资源，这就会导致留给除了数值模拟程序之外的资源非常少，并且应该充分利用多核(多个CPU)的特点。在做原位数据处理的时候，要求算法应该具有不会占用过多资源，并且具有可以高并行的特点。同时我们目的是解决I/O存储问题，极大的减少数据的存储量。因此，上述方法的压缩效率和计算达不到期望的结果。
相关技术中，采用分层随机采样的方法对宇宙数值模拟的超大规模离散粒子进行原位采样，用中值K-D树将粒子数据以轴对齐方式划分成含有相同粒子数的小块，并在每块按比例随机采样；同时根据k-d树，用同样的采样方法递归地将采样结果组织为LOD模型。该方法在保持原始数据统计特征的同时，可以有效地降低了输出的数据量，保证了模拟输出及后续数据分析和可视化整个工作流的效率。但是，该方法由于使用的是随机采样，那么在采样过程中会丢失信息，最终造成数据在高精度要求下误差非常大，难以用于分析高精度要求的任务。在这个研究中的方案中，是在原位阶段进行随机采样，即在内存中进行随机的选取一些粒子数据作为代表进行保存，也即，随机删除一些向量，然后只保存剩下的向量，这样会造成丢弃大量的信息，丢弃之后虽然可以保持大体的结构，但是细节特征早以被丢弃，因而上述方法达不到期望要求。而该实施例是在原位阶段进行特征提取，在数据的重构结构采用蒙特卡洛算法进行还原数据，该实施例在原位数据处理阶段并没有丢失过多的信息，在数据还原阶段对高斯混合模型进行采样，这样可以通过多次采样来降低误差。这不同于原位数据处理阶段对粒子进行随机采样，原位数据处理阶段对粒子进行随机采样丢失的信息过多，且后期无法通过再处理提高准确率。
相关技术中也有一些研究通过使用数据压缩算法，常用的无损压缩算法有BloscLZ、LZ4、LZ4HC、Snappy等，常用的有损压缩算法有FPZIP、ZFP、SZ等，通过这些算法在原位处理过程中对数据可以进行压缩，但是这些算法在高精度要求下的压缩率非常低。
下面对该实施例的基于原位可视化的粒子数据处理方法进行进一步介绍。
图4是根据本发明实施例的一种基于概率密度函数的原位可视化数据处理的示意图。如图4所示，原位可视化的数据处理可以分为原位数据处理阶段、数据可视化、数据交互式分析这三个部分。
在原位数据处理阶段，对原位数据进行处理，主要为确定与原位数据对应的模型参数，原位预处理模块可以根据用户的数据属性需求和数据内容通过特征算法对数据进行处理，然后将得到的模型参数进行保存，并且实时存储相关的资源信息。其中，粒子数据中最基本的数据单位是粒子，每一个粒子有多个属性，在N-Body模拟中粒子的数据属性可以包括粒子数据的编号、粒子数据的位置信息、粒子的速度信息，但是用户有时仅需要部分信息，比如，只需要保存位置信息，因而该实施例可以根据用户的数据属性需求，对需求的属性进行处理和保存。数据内容即模拟程序中粒子存在的属性。上述特征算法可以指高斯混合模型，具体高斯混合模型对数据的处理再后文介绍。资源信息可以指超算集群在运行模拟程序中的CPU利用率、模拟程序不同模块的运行时间、保存数据的大小等实时的超级计算机的状态信息。
该实施例将原位预处理模块与数值模拟程序紧密结合，为数值模拟程序提供数据处理调用接口。在原位数据处理过程中，数据会一直存储在超级计算机的内存中，当数值模拟程序需要进行粒子数据的保存时会调用原位预处理模块，将内存中的数据交由原位数据处理模块进行处理。
数据可视化主要是将分析后的数据转换为图像。可选地，该实施例可以将保存后的模型参数进行重构，对重构数据进行读取、分析、然后进行可视化，为用户进行展示。可选地，该实施例的原位数据经过处理后可以直接进行展示。
数据交互式分析主要是对可视化结果进行交互操作，得到交互结果，进而将交互结果进行可视化显示，从而可以发现兴趣点、未知结构或者验证结论。通过交互分析，相关专家可以清晰、直观的了解数据和验证理论结果。
图5是根据本发明实施例的一种宇宙特征结构的示意图。如图5所示，天文学家关注的兴趣的在与模拟演化过程中的宇宙特征结构，以暗晕、纤维结构、空洞为主。通过对这些数据的可视化结果和交互操作(图像旋转、视角切换、放大缩小等)可以进一步对这些结构进行了解。
下面对该实施例的高斯混合模型进行数据处理的方法进行进一步介绍。
在该实施例中，高斯混合模型原位数据处理阶段确定模型参数，其中，通过高斯混合模型中的多个参数的条件使高斯混合模型逼近于数据的分布，也即，通过函数表达数据，进而大量的数据就可以通过函数进行表示。
图6是根据本发明实施例的一种基于高斯混合模型的模型参数的确定方法的流程图。如图6所示，该方法可以包括以下步骤：
S601，对于每个计算节点，使用K-D tree对节点内粒子进行快速划分。
在模拟系统运行过程中，该实施例可以根据不同时刻粒子分布进行动态的数据切分，可以采用KD Tree算法进行切分，也即，在每个CPU上使用K-D Tree算法对数据进行切分。
S602，将划分后的粒子使用高斯混合模型对其分布特征进行拟合。
将切分后的每个数据区域利用机器学习中高斯混合模型进行数据拟合，其中，高斯混合模型对数据拟合的过程可以是通过EM算法进行迭代求模型参数的过程，就是通过多次迭代寻找最佳模型参数使模型可以更加精确，该实施例可以通过提取粒子数据分布的特征结构来确定高斯混合模型的模型参数，其中，特征结构就是数据的分布特点，可以通过高斯混合模型拟合出数据的分布特点，进而将数据分布记录在模型中，可以为后期数据重构提供模型基础，还原后的数据可以进一步用于可视化分析。
S603，处理低质量模型，减少数据误差。
S604，保存模型中的参数。
在该实施例中，保存模型中的参数，可以存储高斯混合模型的相关信息，其中，相关信息可以理解为上文提到的超级计算机的状态信息，这些信息可以用于可视化超算的状态，使相关专家可以更多了解运行的细节。
该实施例的上述算法既可以保证准确存储大尺度宇宙特征结构，还可以解决IO存储问题。经过原位的宇宙结构特征结构提取后，所需要存储数据的大小被极大的减少。
该实施例将模型参数进行数据重构是数据可视化的关键步骤。将得到的高斯混合模型进行读取，采用基于蒙特卡洛方式的随机采样进行数据重构，其中，数据重构的过程就是从已有的高斯混合模型中进行数据的抽样。在数据重构的过程中，可以采用伯努利大数定律来对采样数据进行评价，进而不断减少误差，使其趋向于真实数据的分布，最终得出重构后的数据集，进而为数据可视化的渲染提供支撑。其中，在数据的重构结构采用蒙特卡洛算法进行还原数据，该实施例在原位阶段没有丢失过多的信息，在数据还原阶段对高斯混合模型进行采样，这样可以通过多次采样来降低误差。
该实施例通过高斯混合模型对粒子数据进行处理，并且可以达到极高的数据压缩，在具有高压缩率的同时重构数据也可以支持准确的可视化和数据分析，从而避免了由于空间分布不规则，无法直接压缩粒子数据，而导致无法有效对粒子数据进行处理的技术问题，达到了有效对粒子数据进行处理的技术效果
该实施例针对于N-Body模拟中粒子的数据的处理，在同样的压缩率下，该实施例的误差远远小于已有的方法，可以应用于粒子数据相关的原位可视化中。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例4
本发明实施例还提供了一种基于原位可视化的粒子数据处理装置，应用于计算终端。需要说明的是，该实施例的基于原位可视化的粒子数据处理装置可以用于执行本发明实施例的图1所示的基于原位可视化的粒子数据处理方法。
图7是根据本发明实施例的一种基于原位可视化的粒子数据处理装置的示意图。如图7所示，该基于原位可视化的粒子数据处理装置70可以包括：第一获取单元71、第一处理单元72和传输单元73。
第一获取单元71，用于获取待处理的原始粒子数据。
第一处理单元72，用于基于概率密度函数对原始粒子数据进行处理，得到目标参数。
传输单元73，用于将目标参数传输至可视化终端，其中，目标参数用于在可视化终端上通过概率密度函数还原为目标粒子数据，目标粒子数据与原始粒子数据之间的差值小于目标阈值，且用于在可视化终端上进行可视化处理。
本发明实施例还提供了另一种基于原位可视化的粒子数据处理装置，应用于可视化终端，可视化终端包括交互界面。需要说明的是，该实施例的基于原位可视化的粒子数据处理装置可以用于执行本发明实施例的图2所示的基于原位可视化的粒子数据处理方法。
图8是根据本发明实施例的另一种基于原位可视化的粒子数据处理装置的示意图。如图8所示，该基于原位可视化的粒子数据处理装置80可以包括：第二获取单元81、还原单元82、第二处理单元83和显示单元84。
第二获取单元81，用于获取计算终端输出的目标参数，其中，目标参数为计算终端基于概率密度函数取对待处理的原始粒子数据进行处理得到。
还原单元82，用于通过概率密度函数将目标参数还原为目标粒子数据，其中，目标粒子数据与原始粒子数据之间的差值小于目标阈值。
第二处理单元83，用于对目标粒子数据进行可视化处理，得到可视化处理结果。
显示单元84，用于在交互界面上显示可视化处理结果。
在该实施例中，由于概率密度函数对原始粒子数据进行处理，得到目标参数，传输目标参数，从而实现了对原始粒子数据的压缩，进而在可视化终端目标参数又还原为与原始粒子数据之间的误差小于目标阈值的目标粒子数据，对目标粒子数据进行可视化处理，从而避免了由于空间分布不规则，无法直接压缩粒子数据，而导致无法有效对粒子数据进行处理的技术问题，达到了有效对粒子数据进行处理的技术效果。
实施例5
本发明实施例还提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明实施例的基于原位可视化的粒子数据处理方法。
实施例6
本发明实施例还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的基于原位可视化的粒子数据处理方法。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种基于原位可视化的粒子数据处理方法，其特征在于，应用于计算终端，包括：
获取待处理的原始粒子数据，其中，所述原始粒子数据为存储在计算终端的内存中的原位数据，并且为需要进行压缩传输至可视化终端，以进行可视化处理的粒子数据，所述原始粒子数据中的基本数据单位为粒子，所述原始粒子数据中每一个粒子的数据属性根据属性需求进行保存，其中，所述数据属性包括：所述粒子的编号、所述粒子的位置信息和所述粒子的速度信息；
基于概率密度函数对所述原始粒子数据进行原位数据处理，得到目标参数；
将所述目标参数传输至可视化终端，其中，所述目标参数用于在所述可视化终端上通过所述概率密度函数还原为目标粒子数据，所述目标粒子数据与所述原始粒子数据之间的差值小于目标阈值，且用于在所述可视化终端上进行可视化处理。
2.根据权利要求1所述的方法，其特征在于，基于概率密度函数对所述原始粒子数据进行处理，得到目标参数包括：
对所述原始粒子数据进行切分处理，得到多个子原始粒子数据；
基于所述概率密度函数对所述多个子原始粒子数据进行拟合，得到所述目标参数。
3.根据权利要求2所述的方法，其特征在于，对所述原始粒子数据进行切分处理，得到多个子原始粒子数据包括：
获取不同时刻所述原始粒子数据的分布信息；
基于所述分布信息对所述原始粒子数据进行切分处理，得到多个子原始粒子数据。
4.根据权利要求2所述的方法，其特征在于，基于所述概率密度函数对所述多个子原始粒子数据进行拟合，得到所述目标参数包括：
获取所述多个子原始粒子的特征信息，其中，所述特征信息用于指示所述多个子原始粒子数据分布的结构；
基于所述概率密度函数对所述特征信息进行拟合，得到所述目标参数。
5.根据权利要求4所述的方法，其特征在于，基于所述概率密度函数对所述特征信息进行拟合，得到所述目标参数包括：
基于所述概率密度函数对所述特征信息进行多次迭代，得到所述目标参数。
6.根据权利要求1所述的方法，其特征在于，在基于概率密度函数对所述原始粒子数据进行处理，得到目标参数之后，所述方法还包括：
获取在进行基于所述概率密度函数对所述原始粒子数据进行处理，得到所述目标参数的过程中产生的状态信息；
将所述状态信息传输至所述可视化终端。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，基于概率密度函数对所述原始粒子数据进行处理，得到目标参数包括：
根据所述原始粒子数据的属性，通过所述概率密度函数对所述原始粒子数据进行处理，得到所述目标参数。
8.根据权利要求1至6中任意一项所述的方法，其特征在于，所述概率密度函数为高斯混合模型。
9.一种基于原位可视化的粒子数据处理方法，其特征在于，应用于可视化终端，所述可视化终端包括交互界面，包括：
获取计算终端输出的目标参数，其中，所述目标参数为所述计算终端基于概率密度函数取对待处理的原始粒子数据进行原位数据处理得到，其中，所述原始粒子数据为存储在计算终端的内存中的原位数据，并且为需要进行压缩传输至可视化终端，以进行可视化处理的粒子数据，所述原始粒子数据中的基本数据单位为粒子，所述原始粒子数据中每一个粒子的数据属性根据属性需求进行保存，其中，所述数据属性包括：所述粒子的编号、所述粒子的位置信息和所述粒子的速度信息；
通过所述概率密度函数将所述目标参数还原为目标粒子数据，其中，所述目标粒子数据与所述原始粒子数据之间的差值小于目标阈值；
对所述目标粒子数据进行可视化处理，得到可视化处理结果；
在所述交互界面上显示所述可视化处理结果。
10.根据权利要求9所述的方法，其特征在于，在所述交互界面上显示所述可视化处理结果之后，所述方法还包括：
响应作用在所述交互界面上的交互操作指令，对所述可视化处理结果进行交互操作，得到交互操作结果；
在所述交互界面上显示所述交互操作结果。
11.根据权利要求9所述的方法，其特征在于，通过所述概率密度函数将所述目标参数还原为目标粒子数据包括：
对所述目标参数进行随机采集，得到采样数据；
通过所述采样数据和所述概率密度函数生成所述目标粒子数据。
12.根据权利要求11所述的方法，其特征在于，对所述目标参数进行随机采集，得到采样数据包括：
基于蒙特卡洛方式对所述目标参数进行随机采样，得到所述采样数据。
13.根据权利要求9至12中任意一项所述的方法，其特征在于，所述概率密度函数为高斯混合模型。
14.一种基于原位可视化的粒子数据处理系统，包括：
计算终端，用于基于概率密度函数对待处理的原始粒子数据进行原位数据处理，得到目标参数，其中，所述原始粒子数据为存储在计算终端的内存中的原位数据，并且为需要进行压缩传输至可视化终端，以进行可视化处理的粒子数据，所述原始粒子数据中的基本数据单位为粒子，所述原始粒子数据中每一个粒子的数据属性根据属性需求进行保存，其中，所述数据属性包括：所述粒子的编号、所述粒子的位置信息和所述粒子的速度信息；
传输装置，与所述计算终端相连接，用于传输所述目标参数；
可视化终端，与所述传输装置相连接，用于通过所述概率密度函数将获取到的所述目标参数还原为目标粒子数据，对所述目标粒子数据进行可视化处理，得到可视化处理结果，在交互界面上显示所述可视化处理结果，其中，所述目标粒子数据与所述原始粒子数据之间的差值小于目标阈值。
15.一种基于原位可视化的粒子数据处理装置，其特征在于，应用于计算终端，包括：
第一获取单元，用于获取待处理的原始粒子数据，其中，所述原始粒子数据为存储在计算终端的内存中的原位数据，并且为需要进行压缩传输至可视化终端，以进行可视化处理的粒子数据，所述原始粒子数据中的基本数据单位为粒子，所述原始粒子数据中每一个粒子的数据属性根据属性需求进行保存，其中，所述数据属性包括：所述粒子的编号、所述粒子的位置信息和所述粒子的速度信息；
第一处理单元，用于基于概率密度函数对所述原始粒子数据进行原位数据处理，得到目标参数；
传输单元，用于将所述目标参数传输至可视化终端，其中，所述目标参数用于在所述可视化终端上通过所述概率密度函数还原为目标粒子数据，所述目标粒子数据与所述原始粒子数据之间的差值小于目标阈值，且用于在所述可视化终端上进行可视化处理。
16.一种基于原位可视化的粒子数据处理装置，其特征在于，应用于可视化终端，所述可视化终端包括交互界面，包括：
第二获取单元，用于获取计算终端输出的目标参数，其中，所述目标参数为所述计算终端基于概率密度函数取对待处理的原始粒子数据进行原位数据处理得到，其中，所述原始粒子数据为存储在计算终端的内存中的原位数据，并且为需要进行压缩传输至可视化终端，以进行可视化处理的粒子数据，所述原始粒子数据中的基本数据单位为粒子，所述原始粒子数据中每一个粒子的数据属性根据属性需求进行保存，其中，所述数据属性包括：所述粒子的编号、所述粒子的位置信息和所述粒子的速度信息；
还原单元，用于通过所述概率密度函数将所述目标参数还原为目标粒子数据，其中，所述目标粒子数据与所述原始粒子数据之间的差值小于目标阈值；
第二处理单元，用于对所述目标粒子数据进行可视化处理，得到可视化处理结果；
显示单元，用于在所述交互界面上显示所述可视化处理结果。
17.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至13中任意一项所述的方法。
18.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至13中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910750036.4A CN110647723B (zh) | 2019-08-14 | 2019-08-14 | 基于原位可视化的粒子数据处理方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910750036.4A CN110647723B (zh) | 2019-08-14 | 2019-08-14 | 基于原位可视化的粒子数据处理方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110647723A CN110647723A (zh) | 2020-01-03 |
| CN110647723B true CN110647723B (zh) | 2023-12-26 |
Family
ID=69009477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910750036.4A Active CN110647723B (zh) | 2019-08-14 | 2019-08-14 | 基于原位可视化的粒子数据处理方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110647723B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130009372A (ko) * | 2011-07-15 | 2013-01-23 | 국립대학법인 울산과학기술대학교 산학협력단 | 움직임 추정 장치 및 그 방법 |
| CN103902819A (zh) * | 2014-03-21 | 2014-07-02 | 哈尔滨工程大学 | 基于变分滤波的粒子优化概率假设密度多目标跟踪方法 |
| CN106683122A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于高斯混合模型和变分贝叶斯的粒子滤波方法 |
| CN106772354A (zh) * | 2016-12-29 | 2017-05-31 | 深圳大学 | 基于并行模糊高斯和粒子滤波的目标跟踪方法及装置 |
| CN107563080A (zh) * | 2017-09-11 | 2018-01-09 | 湖南大学 | 基于gpu的两相介质随机模型并行生成方法、电子设备 |
| CN107633546A (zh) * | 2017-09-14 | 2018-01-26 | 中国海洋大学 | 基于gpu的可交互三维流场自适应分辨率动态可视化算法 |
| CN107705321A (zh) * | 2016-08-05 | 2018-02-16 | 南京理工大学 | 基于嵌入式系统的运动目标检测与跟踪方法 |
| CN108196300A (zh) * | 2017-12-04 | 2018-06-22 | 中国石油天然气集团公司 | 一种地震数据处理方法及装置 |
| CN108509627A (zh) * | 2018-04-08 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 数据离散化模型训练方法和装置、数据离散方法 |
| CN110048693A (zh) * | 2019-04-10 | 2019-07-23 | 南京航空航天大学 | 基于四元数分布的并行高斯粒子滤波数据处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1937002B1 (en) * | 2006-12-21 | 2017-11-01 | Rohde & Schwarz GmbH & Co. KG | Method and device for estimating the image quality of compressed images and/or video sequences |
-
2019
- 2019-08-14 CN CN201910750036.4A patent/CN110647723B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130009372A (ko) * | 2011-07-15 | 2013-01-23 | 국립대학법인 울산과학기술대학교 산학협력단 | 움직임 추정 장치 및 그 방법 |
| CN103902819A (zh) * | 2014-03-21 | 2014-07-02 | 哈尔滨工程大学 | 基于变分滤波的粒子优化概率假设密度多目标跟踪方法 |
| CN107705321A (zh) * | 2016-08-05 | 2018-02-16 | 南京理工大学 | 基于嵌入式系统的运动目标检测与跟踪方法 |
| CN106683122A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于高斯混合模型和变分贝叶斯的粒子滤波方法 |
| CN106772354A (zh) * | 2016-12-29 | 2017-05-31 | 深圳大学 | 基于并行模糊高斯和粒子滤波的目标跟踪方法及装置 |
| CN107563080A (zh) * | 2017-09-11 | 2018-01-09 | 湖南大学 | 基于gpu的两相介质随机模型并行生成方法、电子设备 |
| CN107633546A (zh) * | 2017-09-14 | 2018-01-26 | 中国海洋大学 | 基于gpu的可交互三维流场自适应分辨率动态可视化算法 |
| CN108196300A (zh) * | 2017-12-04 | 2018-06-22 | 中国石油天然气集团公司 | 一种地震数据处理方法及装置 |
| CN108509627A (zh) * | 2018-04-08 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 数据离散化模型训练方法和装置、数据离散方法 |
| CN110048693A (zh) * | 2019-04-10 | 2019-07-23 | 南京航空航天大学 | 基于四元数分布的并行高斯粒子滤波数据处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 千万亿次科学计算的原位可视化;单桂华等;《计算机辅助设计与图形学学报》;20130315(第03期);第286-291页 * |
| 四面体网格化的粒子数据特征可视化;李观等;《计算机辅助设计与图形学学报》;20170115(第01期);第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110647723A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fabian et al. | The paraview coprocessing library: A scalable, general purpose in situ visualization library | |
| Li et al. | Visualizing 3D/4D environmental data using many-core graphics processing units (GPUs) and multi-core central processing units (CPUs) | |
| US20150154796A1 (en) | Accelerated three-dimensional intersection testing using compressed volumes | |
| Choi et al. | Coupling exascale multiphysics applications: Methods and lessons learned | |
| Zhai et al. | Cypress: Combining static and dynamic analysis for top-down communication trace compression | |
| Tikhonova et al. | A Preview and Exploratory Technique for Large-Scale Scientific Simulations. | |
| US20160239597A1 (en) | Apparatus and method for performing finite element computation | |
| Zhou et al. | A streaming framework for seamless building reconstruction from large-scale aerial lidar data | |
| Zhang et al. | High performance GPU tensor completion with tubal-sampling pattern | |
| Ma et al. | Efficient encoding and rendering of time-varying volume data | |
| Ogasa et al. | Visualization technology for the K computer | |
| CN110647723B (zh) | 基于原位可视化的粒子数据处理方法、装置和系统 | |
| CN113034663A (zh) | Gim模型轻量化处理方法和装置、设备及存储介质 | |
| Eaglin et al. | Space-time kernel density estimation for real-time interactive visual analytics | |
| Asgharian et al. | Feature-preserving mesh simplification through anisotropic Nyquist-based adaptive sampling of points inside the segmented regions | |
| Röber et al. | In-Situ processing in climate science | |
| Norton et al. | Enabling view-dependent progressive volume visualization on the grid | |
| Röber et al. | Visualization of climate science simulation data | |
| CN113870434A (zh) | 一种基于有限元的生物组织仿真方法、装置和电子设备 | |
| Zhao et al. | A high-performance accelerator for super-resolution processing on embedded GPU | |
| CN113628338A (zh) | 一种采样重建方法、装置、计算机设备及存储介质 | |
| Abram et al. | In situ visualization of regional-scale natural hazards with Galaxy and Material Point Method | |
| Hong et al. | Compression-based integral curve data reuse framework for flow visualization | |
| Kulkarni et al. | Massive Scaling of MASSIF: Algorithm Development and Analysis for Simulation on GPUs | |
| Cao et al. | Distributed multi-gpu accelerated hybrid parallel rendering for massively parallel environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |