CN117097717A - 一种用于仿真结果的文件传输优化方法、系统和电子设备 - Google Patents
一种用于仿真结果的文件传输优化方法、系统和电子设备 Download PDFInfo
- Publication number
- CN117097717A CN117097717A CN202311038250.XA CN202311038250A CN117097717A CN 117097717 A CN117097717 A CN 117097717A CN 202311038250 A CN202311038250 A CN 202311038250A CN 117097717 A CN117097717 A CN 117097717A
- Authority
- CN
- China
- Prior art keywords
- file
- simulation result
- transmitted
- simulation
- compression algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000005540 biological transmission Effects 0.000 title claims abstract description 52
- 238000005457 optimization Methods 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 70
- 230000001360 synchronised effect Effects 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000006835 compression Effects 0.000 claims description 79
- 238000007906 compression Methods 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 33
- 230000000903 blocking effect Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 7
- 230000008859 change Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于仿真结果的文件传输优化方法、系统和电子设备，属于文件传输技术领域。本发明的一种用于仿真结果的文件传输优化方法，通过构建仿真结果生成前模型、仿真结果生成中模型，对计算机辅助工程CAE仿真结果生成行为进行分析，聚焦在仿真结果生成前和仿真结果生成中两个阶段，通过在仿真结果生成前，设置同步黑名单，将不必回传的结果文件进行过滤；并在仿真结果生成过程中根据仿真结果文件的大小变化自适应文件分块；然后利用增量编码算法实现边计算边传输，从而充分发挥仿真软件的模型结果文件生成特点来优化整个传输过程，方案简单、实用。进一步，本发明相对于传统通用优化方法，可以有效缩短同步时间，方案科学、合理。
Description
技术领域
本发明涉及一种用于仿真结果的文件传输优化方法、系统和电子设备，属于文件传输技术领域。
背景技术
对于计算机辅助工程CAE仿真依托云平台，用户可以通过web页面登录到云服务器平台，对云服务器平台上部署的设计类软件和工程仿真计算软件进行远程操控。利用云计算的强大计算资源快速得到仿真结果，大大缩短模型求解时间，同时设计模型、仿真模型以及仿真结果可以存储在云服务器的存储服务器中，远程桌面携带的应用可以很方便地打开这些模型文件，这对中小企业来说可极大减少投入成本，就能完成相关的仿真工作。
在整个云仿真的过程中，为提高稳定性计算资源和存储资源一般分离，仿真结果需要在计算服务器和云存储服务器之间进行传输，但是计算机辅助工程CAE仿真软件生成的结果文件一般在G级别，这对带宽和同步效率上都带来不小的挑战，因此如何提高计算机辅助工程CAE仿真结果文件在计算位置到云存储上的同步速度，成为CAE云仿真平台中亟待解决的问题。
传统的文件传输优化往往关注的是在应用层或者传输层里面进行通用的优化方案，比如：在应用层中做大文件统一分片和压缩，在传输层中做协议优化。这些通用方法没有考虑场景化，进而并没有真正发挥计算机辅助工程CAE仿真软件在结果文件生成过程中的特点，导致在目前场景下整体文件传输效率并不高。
本背景技术中公开的信息仅用于理解本发明构思的背景，因此它可以包括不构成现有技术的信息。
发明内容
针对上述问题或上述问题之一，本发明的目的一在于提供一种对计算机辅助工程CAE仿真结果生成行为进行分析，聚焦在仿真结果生成前和仿真结果生成中两个阶段，通过在仿真结果生成前，设置同步黑名单，将不必回传的结果文件进行过滤；并在仿真结果生成过程中根据仿真结果文件的大小变化自适应文件分块；然后利用增量编码算法实现边计算边传输，从而充分发挥仿真软件的模型结果文件生成特点来优化整个传输过程，方案简单、实用的用于仿真结果的文件传输优化方法、系统和电子设备。
针对上述问题或上述问题之一，本发明的目的二在于提供一种可以有效缩短同步时间，方案科学、合理，切实可行的用于仿真结果的文件传输优化方法、系统和电子设备。
为实现上述目的之一，本发明的第一种技术方案为：
一种用于仿真结果的文件传输优化方法，包括以下内容：
获取仿真结果文件以及对应的计算机辅助工程软件信息；
利用预先构建的仿真结果生成前模型，对计算机辅助工程软件信息进行处理，得到同步黑名单；并根据同步黑名单，对仿真结果文件进行过滤，以确定待传输仿真结果文件以及文件格式；再根据待传输仿真结果文件以及文件格式选择最优压缩算法；
利用预先构建的仿真结果生成中模型，在仿真结果生成过程中，通过最优压缩算法，对仿真结果进行压缩，得到待传输仿真结果压缩文件；并根据得到待传输仿真结果压缩文件的大小进行自适应文件分块，得到若干仿真结果块；再利用增量编码算法，对若干仿真结果块进行处理，得到实时传输文件，以实现边计算边传输，以及文件传输优化。
本发明经过不断探索以及试验，通过构建仿真结果生成前模型、仿真结果生成中模型，对计算机辅助工程CAE仿真结果生成行为进行分析，聚焦在仿真结果生成前和仿真结果生成中两个阶段，通过在仿真结果生成前，设置同步黑名单，将不必回传的结果文件进行过滤；并在仿真结果生成过程中根据仿真结果文件的大小变化自适应文件分块；然后利用增量编码算法实现边计算边传输，从而充分发挥仿真软件的模型结果文件生成特点来优化整个传输过程，方案简单、实用。
进一步，本发明相对于传统通用优化方法，可以将整个同步时间缩短了3倍以上，方案科学、合理，切实可行。
作为优选技术措施：
对计算机辅助工程软件信息进行处理，得到同步黑名单的方法如下：
获取用户自定义仿真脚本里的配置参数；
根据计算机辅助工程软件信息，对配置参数进行处理，分析得到最终结果目录中包括的文件类型；
将对用户分析仿真结果无意义的副本文件或者过程中的监控文件，根据文件的名称，通过在web页面配置正则表达式进行黑名单匹配，得到同步黑名单；
将同步黑名单加入到同步任务中，以实现从计算服务器到存储服务器之间仿真结果文件同步的文件过滤。
作为优选技术措施：
根据待传输仿真结果文件以及文件格式选择最优压缩算法的方法如下：
待传输仿真结果文件的格式为纯文本格式或纯浮点格式或纯二进制格式或混合模式；
压缩算法为GNU zip压缩或Lempel-Ziv编码或哈弗曼编码或Z标准压缩；
根据不同计算机辅助工程软件以及不同文件格式，选择针对待传输仿真结果文件最优压缩比的压缩算法；
纯文本格式的最优压缩算法为GNU zip压缩；
纯浮点格式的最优压缩算法为Lempel-Ziv编码；
纯二进制格式的最优压缩算法为哈弗曼编码；
混合模式的最优压缩算法为Z标准压缩。
作为优选技术措施：
进行自适应文件分块得到若干仿真结果块的方法如下：
根据待传输仿真结果压缩文件大小，以及压缩算法的最大吞吐量，在每次待传输仿真结果压缩文件传输的过程中动态选择最优分块大小，动态获取当前最优压缩比；其包括以下内容：
判断待传输仿真结果压缩文件是否小于小文件阈值；
当待传输仿真结果压缩文件小于小文件阈值时，不需要分块，直接进行传输；
当待传输仿真结果压缩文件大于小文件阈值时，判断待传输仿真结果压缩文件是否小于压缩算法能发挥较大吞吐量的分块值时；
当待传输仿真结果压缩文件小于压缩算法能发挥较大吞吐量的分块值时，最终分块大小为小文件阈值；
当待传输仿真结果压缩文件大于压缩算法能发挥较大吞吐量的分块值时，最终分块大小为压缩算法能发挥较大吞吐量的分块值。
作为优选技术措施：
实现边计算边传输的方法如下：
在仿真结果生成过程中，将已经得到的若干仿真结果块进行传输，同时利用增量编码算法，当对应仿真结果块的源文件发生改变需要同步到目标机器上时，只同步改变的部分，以最小化网络上的传输数据量。
作为优选技术措施：
增量编码算法是一种在顺序数据之间以增量的形式存储或者传输数据的方式，其包括以下步骤：
步骤一：通过预先构建的目标机器处理模型，将目标机器上的旧文件以k大小进行分块，得的若干旧分块；
步骤二:对于每个旧分块，计算其弱校验码和强校验码，得到旧文件校验码数据，将每个旧分块的旧文件校验码数据发送到源机器处理模型上；
步骤三：利用预先构建的源机器处理模型，获取旧分块的旧文件校验码数据，并将弱校验码插入到哈希表中；
步骤四：源机器处理模型将本地的源文件以k进行分块，得的若干源分块，并计算源分块的弱校验码；
步骤五：源机器处理模型使用源分块的弱校验码，对哈希表中的弱校验码进行匹配；
步骤六：当若干源分块都匹配完成后，把所有未匹配成功的源分块传输到目标机器中；
步骤七：目标机器得到源分块后，将对旧文件重组，得的新的旧文件。
作为优选技术措施：
源分块的弱校验码对哈希表中的弱校验码进行匹配的方法如下：
1)如果当前弱校验码在哈希表中，说明旧分块和源分块的弱校验匹配，再计算强校验码，如果能同时匹配，说明这个源分块不需要传输；
2)如果有一个校验码匹配不通过，则将当前的源分块往后偏移一个字节，继续计算弱校验码，然后跳转到步骤1)，进行循环匹配。
为实现上述目的之一，本发明的第二种技术方案为：
一种用于仿真结果的文件传输优化方法，包括以下步骤：
第一步，获取仿真结果文件以及对应的计算机辅助工程软件信息；
第二步，利用预先构建的仿真结果生成前模型，对计算机辅助工程软件信息进行处理，得到同步黑名单；
并根据同步黑名单，对仿真结果文件进行过滤，以确定待传输仿真结果文件以及文件格式；
再根据待传输仿真结果文件以及文件格式选择最优压缩算法；
第三步，利用预先构建的仿真结果生成中模型，在仿真结果生成过程中，通过最优压缩算法，对仿真结果进行压缩，得到待传输仿真结果压缩文件；
并根据得到待传输仿真结果压缩文件的大小进行自适应文件分块，得到若干仿真结果块；
再利用增量编码算法，对若干仿真结果块进行处理，得到实时传输文件，以实现边计算边传输，以及文件传输优化。
为实现上述目的之一，本发明的第三种技术方案为：
一种用于仿真结果的文件传输优化系统，包括仿真结果生成前模块、仿真结果生成中模块；
仿真结果生成前模块，用于对计算机辅助工程软件信息进行处理，得到同步黑名单；并根据同步黑名单，对仿真结果文件进行过滤，以确定待传输仿真结果文件以及文件格式；再根据待传输仿真结果文件以及文件格式选择最优压缩算法；
仿真结果生成中模块，用于在仿真结果生成过程中，通过最优压缩算法，对仿真结果进行压缩，得到待传输仿真结果压缩文件；并根据得到待传输仿真结果压缩文件的大小进行自适应文件分块，得到若干仿真结果块；再利用增量编码算法，对若干仿真结果块进行处理，得到实时传输文件，以实现边计算边传输。
本发明经过不断探索以及试验，通过设置仿真结果生成前模块、仿真结果生成中模块，对计算机辅助工程CAE仿真结果生成行为进行分析，聚焦在仿真结果生成前和仿真结果生成中两个阶段，通过在仿真结果生成前，设置同步黑名单，将不必回传的结果文件进行过滤；并在仿真结果生成过程中根据仿真结果文件的大小变化自适应文件分块；然后利用增量编码算法实现边计算边传输，从而充分发挥仿真软件的模型结果文件生成特点来优化整个传输过程，方案简单、实用。为实现上述目的之一，本发明的第四种技术方案为：
一种电子设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种用于仿真结果的文件传输优化方法。
与现有技术方案相比，本发明具有以下有益效果：
本发明经过不断探索以及试验，对计算机辅助工程CAE仿真结果生成行为进行分析，聚焦在仿真结果生成前和仿真结果生成中两个阶段，通过在仿真结果生成前，设置同步黑名单，将不必回传的结果文件进行过滤；并在仿真结果生成过程中根据仿真结果文件的大小变化自适应文件分块；然后利用增量编码算法实现边计算边传输，从而充分发挥仿真软件的模型结果文件生成特点来优化整个传输过程，方案简单、实用。
附图说明
图1为本发明文件传输优化方法的第一种流程图；
图2为本发明文件传输优化方法的第二种流程图；
图3为本发明自适应压缩算法的一种流程图；
图4为本发明边计算边传输策略和传统文件传输策略在模型求解过程中不同时间点示意图；
图5为本发明增量同步方法的一种流程图；
图6为本发明同步方案与传统同步方案的效果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。
如图1所示，本发明文件传输优化方法的第一种具体实施例：
一种用于仿真结果的文件传输优化方法，包括以下步骤：
第一步，获取仿真结果文件以及对应的计算机辅助工程软件信息；
第二步，利用预先构建的仿真结果生成前模型，对计算机辅助工程软件信息进行处理，得到同步黑名单；
并根据同步黑名单，对仿真结果文件进行过滤，以确定待传输仿真结果文件以及文件格式；
再根据待传输仿真结果文件以及文件格式选择最优压缩算法；
第三步，利用预先构建的仿真结果生成中模型，在仿真结果生成过程中，通过最优压缩算法，对仿真结果进行压缩，得到待传输仿真结果压缩文件；
并根据得到待传输仿真结果压缩文件的大小进行自适应文件分块，得到若干仿真结果块；
再利用增量编码算法，对若干仿真结果块进行处理，得到实时传输文件，以实现边计算边传输，以及文件传输优化。
如图2所示，本发明文件传输优化方法的第二种具体实施例：
基于计算机辅助工程CAE仿真结果生成行为分析的文件传输优化方法，通过对市面上多款计算机辅助工程CAE软件的仿真过程进行分析，聚焦在仿真结果生成前和仿真结果生成中，根据计算机辅助工程CAE仿真结果文件的特点以及其生成行为进行优化。
优化的方法包括仿真结果生成前的同步黑名单、最优压缩算法，仿真结果生成中的增量编码策略、自适应分块策略。
本发明仿真结果生成前的同步黑名单的一种具体实施例：
同步黑名单用于在仿真结果生成前针对仿真结果进行预处理，其包括以下内容：
根据用户自定义仿真脚本里包括的一些配置参数，根据计算机辅助工程CAE软件针对这些参数的特殊处理，分析得到最终结果目录中包括的文件类型。将已知对用户分析仿真结果无意义的副本文件或者过程中的监控文件，根据文件的名称，通过在web页面配置正则表达式进行匹配黑名单匹配规则，比如针对副本名称为xx，黑名单规则配置为.*\.xx，将其加入到同步任务中，完成从计算服务器到存储服务器之间仿真结果文件同步的文件过滤。
本发明仿真结果生成前的最优压缩算法的一种具体实施例：
最优压缩算法用于在仿真结果生成前针对仿真结果进行预处理，其包括以下内容：
由于市面上的计算机辅助工程CAE仿真软件有十余种，其生成的结果文件内容包括的格式多样化，比如二进制、浮点、文件或者是三者的混合，采用统一的压缩算法无法得到更高的压缩比。该优化方法将根据不同软件生成的文件格式，根据不同计算机辅助工程CAE软件采用最优压缩算法，选择针对该结果文件最优压缩比的压缩算法，同时充分利用网络模型的传输层中传输控制协议(TCP)流式传输特性，上层应用对文件分片边压缩边传输，充分利用压缩的最大吞吐量，压缩算法的选择流程可参见图3。
本发明仿真结果生成中的增量编码策略的一种具体实施例：
仿真软件在计算服务器上的计算过程中会持续很长时间，时长以数十小时起步，从结果文件的生成过程来看，一般会根据用户设定的迭代步数，分阶段持续生成文件，当前n次迭代在计算过程中，那么n-1次迭代的结果文件大多数已经落入磁盘中，并且在超过90％的情况下，结果文件的生成采用追加方式持续在文件末尾添加内容，同时结果文件中不仅包括模型文件，还有一些日志文件等。通过上述结果文件生成过程，可以在生成过程中采取以下优化方法。因而采用增量编码策略，边计算边传输，其包括以下内容：
在仿真文件还在计算中的状态，就将已落入磁盘中的文件进行传输，同时利用增量编码，当每次源文件发生改变需要同步到目标机器上时，仅仅需要同步改变的部分，因此最小化了网络上的传输数据量。
边计算边传输策略和传统文件传输策略在模型求解过程中具有不同时间点，可参见图4。通过图4可以看到，边计算边传输策略比传统文件传输策略早一个时间点，这里可以充分利用仿真软件在计算机器上长时间持续计算的时间对已落入磁盘的文件进行传输。
增量编码是一种在顺序数据之间以增量的形式存储或者传输数据的方式，linux中一个增量同步工具rsync是其中一种具体实现，主要用在差异同步的文件没在同一台机器上的情况，很适合当前边计算边传输的业务场景。其详细步骤如下：
步骤一：将目标机器上的旧文件以k大小进行分块；
步骤二:对于每个分块，计算其弱校验和强校验，将每个分块的两种校验发送到源机器上；
步骤三：源机器上的获取目标机器上这些分块的校验，并将弱校验插入到哈希表中；
步骤四：源机器将本地源文件以k进行分块，计算其弱校验；
步骤五：源机器使用源文件的弱校验，开始对哈希表中的弱校验码进行匹配，分两种情况：
1)如果当前弱校验码在哈希表中，说明两个文件的弱校验匹配，那么将计算强校验码，如果也匹配，说明这个块不需要传输；
2)否则，只要其中一个校验码不通过，那么就将当前的块往后偏移一个字节，继续计算弱校验，跳转到1)
步骤六：将源文件匹配完成之后，把所有未匹配的块传输到目标机器中；
步骤七：目标机器得到这些匹配信息，将重组新的本地文件。
本发明仿真结果生成中的自适应分块策略的一种具体实施例：
自适应分块策略，其包括以下内容：
由于软件生成的结果目录中的文件在计算过程中，其大小会随着迭代的时长进行改变，同时每个结果文件的生成速率也是不一样的，动态分片策略是根据软件生成的不同结果文件大小，以及压缩算法的最大吞吐量，在每次文件传输的过程中动态选择最优分块大小，从而更好地发挥压缩算法的压缩效率，动态获取当前最优压缩比，其具体判断过程如下：
当前文件大小为S，小文件阈值为M，预设的压缩算法能发挥较大吞吐量分块大小为N，最终分块大小为B，其自适应分块伪代码如下：
If S<M:
B＝0
Else if S>M，S<N
B＝M
Else if S>N
B＝N
其中，分块大小值小于预设阈值时，可以认为是小文件传输不需要进行压缩，其余情况都选择预设的压缩算法。
应用本发明的一种具体实施例：
以西门子推出的计算流体力学CFD仿真软件—STAR CCM+软件为例，在带宽为100Mbps的情况下，给出利用结果生成行为分析的结果文件传输优化在整个计算的步骤：
步骤一：预设定文件传输任务。
1)根据模型迭代脚本预设定传输黑名单。比如用户运行脚本中指定参数，autoSave_0.getStarUpdate().setEnabled(false)；
说明该模型运行脚本关闭了STAR CCM+软件的自动保存机制，那么STAR CCM+会为这个结果文件生成快照副本，格式：xxx.～。那么在文件同步任务中可以在web页面预设置黑名单匹配规则，进行文件传输中，针对～结尾的文件进行过滤。
2)根据模型结果文件的格式预设定压缩算法。由于该仿真软件生成的结果文件格式是文本、二进制的混合格式，针对这种格式的文件选择由Facebook开源的快速无损压缩算法—Z标准，该算法对这种混合格式文件有不错的压缩比，同时预设定文件分片大小为100MB，实验证明在分片大小100MB的时候，更能发挥该算法的压缩效率，并且对CPU的压力不大。
步骤二：提交模型作业到计算机器上。用户通过web界面将模型任务提交到计算机器上，同时指定文件输出的目录；
步骤三：模型作业在计算机器上开始运行；
步骤四：文件传输服务在存储机器上监听步骤二中设定的目录中文件的变化，如果开始有文件生成，触发同步策略开始进行文件增量同步：
1)首先获取到文件输出目录下的所有文件信息，根据预设的黑名单匹配规则过滤掉需要同步的文件；
2)根据当前需要传输的文件大小，根据动态分片策略得到合适的文件分片；
3)根据分片计算得到本地文件的弱校验和与强校验和，并发送到计算机器上；
4)计算机器上的文件传输服务得到远程传来的两个校验和，根据分片大小，将计算生成的文件利用增量编码找到需要请求方发送的文件同步部分，同时根据预设定的压缩算法，对需要传输的部分进行边压缩边传输到存储机器上；增量同步的流程，可参见图5；
5)存储机器的文件传输服务，将得到的文件内容，解压之后，加入到本地的文件中。
步骤五：模型作业计算完成，文件输出的目录不会再发生改变，那么就会触发一次全量同步。
在不同的迭代次数下，本申请同步方案与传统同步方案的最终效果对比，可参见图6。
通过图6的实验结果可知，在不同的迭代次数下，本申请的同步方案优于传统方案约2～3倍的速度。
应用本发明方法的一种设备实施例：
一种电子设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种用于仿真结果的文件传输优化方法。
应用本发明方法的一种计算机介质实施例：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种用于仿真结果的文件传输优化方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包括有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是根据本申请实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种用于仿真结果的文件传输优化方法，其特征在于，
包括以下内容：
获取仿真结果文件以及对应的计算机辅助工程软件信息；
利用预先构建的仿真结果生成前模型，对计算机辅助工程软件信息进行处理，得到同步黑名单；并根据同步黑名单，对仿真结果文件进行过滤，以确定待传输仿真结果文件以及文件格式；再根据待传输仿真结果文件以及文件格式选择最优压缩算法；
利用预先构建的仿真结果生成中模型，在仿真结果生成过程中，通过最优压缩算法，对仿真结果进行压缩，得到待传输仿真结果压缩文件；并根据得到待传输仿真结果压缩文件的大小进行自适应文件分块，得到若干仿真结果块；再利用增量编码算法，对若干仿真结果块进行处理，得到实时传输文件，以实现边计算边传输，以及文件传输优化。
2.如权利要求1所述的一种用于仿真结果的文件传输优化方法，其特征在于，
对计算机辅助工程软件信息进行处理，得到同步黑名单的方法如下：
获取用户自定义仿真脚本里的配置参数；
根据计算机辅助工程软件信息，对配置参数进行处理，分析得到最终结果目录中包括的文件类型；
将对用户分析仿真结果无意义的副本文件或者过程中的监控文件，根据文件的名称，通过在web页面配置正则表达式进行黑名单匹配，得到同步黑名单；
将同步黑名单加入到同步任务中，以实现从计算服务器到存储服务器之间仿真结果文件同步的文件过滤。
3.如权利要求1所述的一种用于仿真结果的文件传输优化方法，其特征在于，
根据待传输仿真结果文件以及文件格式选择最优压缩算法的方法如下：
待传输仿真结果文件的格式为纯文本格式或纯浮点格式或纯二进制格式或混合模式；
压缩算法为GNU zip压缩或Lempel-Ziv编码或哈弗曼编码或Z标准压缩；
根据不同计算机辅助工程软件以及不同文件格式，选择针对待传输仿真结果文件最优压缩比的压缩算法；
纯文本格式的最优压缩算法为GNU zip压缩；
纯浮点格式的最优压缩算法为Lempel-Ziv编码；
纯二进制格式的最优压缩算法为哈弗曼编码；
混合模式的最优压缩算法为Z标准压缩。
4.如权利要求1所述的一种用于仿真结果的文件传输优化方法，其特征在于，
进行自适应文件分块得到若干仿真结果块的方法如下：
根据待传输仿真结果压缩文件大小，以及压缩算法的最大吞吐量，在每次待传输仿真结果压缩文件传输的过程中动态选择最优分块大小，动态获取当前最优压缩比；其包括以下内容：
判断待传输仿真结果压缩文件是否小于小文件阈值；
当待传输仿真结果压缩文件小于小文件阈值时，不需要分块，直接进行传输；
当待传输仿真结果压缩文件大于小文件阈值时，判断待传输仿真结果压缩文件是否小于压缩算法能发挥较大吞吐量的分块值时；
当待传输仿真结果压缩文件小于压缩算法能发挥较大吞吐量的分块值时，最终分块大小为小文件阈值；
当待传输仿真结果压缩文件大于压缩算法能发挥较大吞吐量的分块值时，最终分块大小为压缩算法能发挥较大吞吐量的分块值。
5.如权利要求1所述的一种用于仿真结果的文件传输优化方法，其特征在于，
实现边计算边传输的方法如下：
在仿真结果生成过程中，将已经得到的若干仿真结果块进行传输，同时利用增量编码算法，当对应仿真结果块的源文件发生改变需要同步到目标机器上时，只同步改变的部分，以最小化网络上的传输数据量。
6.如权利要求5所述的一种用于仿真结果的文件传输优化方法，其特征在于，
增量编码算法是一种在顺序数据之间以增量的形式存储或者传输数据的方式，其包括以下步骤：
步骤一：通过预先构建的目标机器处理模型，将目标机器上的旧文件以k大小进行分块，得的若干旧分块；
步骤二:对于每个旧分块，计算其弱校验码和强校验码，得到旧文件校验码数据，将每个旧分块的旧文件校验码数据发送到源机器处理模型上；
步骤三：利用预先构建的源机器处理模型，获取旧分块的旧文件校验码数据，并将弱校验码插入到哈希表中；
步骤四：源机器处理模型将本地的源文件以k进行分块，得的若干源分块，并计算源分块的弱校验码；
步骤五：源机器处理模型使用源分块的弱校验码，对哈希表中的弱校验码进行匹配；
步骤六：当若干源分块都匹配完成后，把所有未匹配成功的源分块传输到目标机器中；
步骤七：目标机器得到源分块后，将对旧文件重组，得的新的旧文件。
7.如权利要求1所述的一种用于仿真结果的文件传输优化方法，其特征在于，
源分块的弱校验码对哈希表中的弱校验码进行匹配的方法如下：
1)如果当前弱校验码在哈希表中，说明旧分块和源分块的弱校验匹配，再计算强校验码，如果能同时匹配，说明这个源分块不需要传输；
2)如果有一个校验码匹配不通过，则将当前的源分块往后偏移一个字节，继续计算弱校验码，然后跳转到步骤1)，进行循环匹配。
8.一种用于仿真结果的文件传输优化方法，其特征在于，
包括以下步骤：
第一步，获取仿真结果文件以及对应的计算机辅助工程软件信息；
第二步，利用预先构建的仿真结果生成前模型，对计算机辅助工程软件信息进行处理，得到同步黑名单；
并根据同步黑名单，对仿真结果文件进行过滤，以确定待传输仿真结果文件以及文件格式；
再根据待传输仿真结果文件以及文件格式选择最优压缩算法；
第三步，利用预先构建的仿真结果生成中模型，在仿真结果生成过程中，通过最优压缩算法，对仿真结果进行压缩，得到待传输仿真结果压缩文件；
并根据得到待传输仿真结果压缩文件的大小进行自适应文件分块，得到若干仿真结果块；
再利用增量编码算法，对若干仿真结果块进行处理，得到实时传输文件，以实现边计算边传输，以及文件传输优化。
9.一种用于仿真结果的文件传输优化系统，其特征在于，
包括仿真结果生成前模块、仿真结果生成中模块；
仿真结果生成前模块，用于对计算机辅助工程软件信息进行处理，得到同步黑名单；并根据同步黑名单，对仿真结果文件进行过滤，以确定待传输仿真结果文件以及文件格式；再根据待传输仿真结果文件以及文件格式选择最优压缩算法；
仿真结果生成中模块，用于在仿真结果生成过程中，通过最优压缩算法，对仿真结果进行压缩，得到待传输仿真结果压缩文件；并根据得到待传输仿真结果压缩文件的大小进行自适应文件分块，得到若干仿真结果块；再利用增量编码算法，对若干仿真结果块进行处理，得到实时传输文件，以实现边计算边传输。
10.一种电子设备，其特征在于，
其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8任一所述的一种用于仿真结果的文件传输优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311038250.XA CN117097717B (zh) | 2023-08-16 | 2023-08-16 | 一种用于仿真结果的文件传输优化方法、系统和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311038250.XA CN117097717B (zh) | 2023-08-16 | 2023-08-16 | 一种用于仿真结果的文件传输优化方法、系统和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117097717A true CN117097717A (zh) | 2023-11-21 |
| CN117097717B CN117097717B (zh) | 2024-03-22 |
Family
ID=88782263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311038250.XA Active CN117097717B (zh) | 2023-08-16 | 2023-08-16 | 一种用于仿真结果的文件传输优化方法、系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117097717B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853855A (zh) * | 2012-11-29 | 2014-06-11 | 北京华大九天软件有限公司 | 一种电路仿真模拟同步波形压缩格式 |
| CN105893667A (zh) * | 2016-03-30 | 2016-08-24 | 浙江大学 | 一种异构仿真数据的统一集成可视方法 |
| CN106372370A (zh) * | 2016-10-11 | 2017-02-01 | 中国人民解放军国防科学技术大学 | 一种飞行控制分布式实时仿真系统 |
| CN107220438A (zh) * | 2017-05-27 | 2017-09-29 | 武汉市陆刻科技有限公司 | 一种基于bim信息模型的cae力学仿真的方法 |
| CN115618653A (zh) * | 2022-11-30 | 2023-01-17 | 北京云庐科技有限公司 | 用于cae软件的仿真计算结果的后处理的方法、服务器和程序产品 |
| CN116415386A (zh) * | 2021-12-29 | 2023-07-11 | 中国科学院沈阳自动化研究所 | 一种基于实时数据驱动的数字孪生产线可视化系统 |
-
2023
- 2023-08-16 CN CN202311038250.XA patent/CN117097717B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853855A (zh) * | 2012-11-29 | 2014-06-11 | 北京华大九天软件有限公司 | 一种电路仿真模拟同步波形压缩格式 |
| CN105893667A (zh) * | 2016-03-30 | 2016-08-24 | 浙江大学 | 一种异构仿真数据的统一集成可视方法 |
| CN106372370A (zh) * | 2016-10-11 | 2017-02-01 | 中国人民解放军国防科学技术大学 | 一种飞行控制分布式实时仿真系统 |
| CN107220438A (zh) * | 2017-05-27 | 2017-09-29 | 武汉市陆刻科技有限公司 | 一种基于bim信息模型的cae力学仿真的方法 |
| CN116415386A (zh) * | 2021-12-29 | 2023-07-11 | 中国科学院沈阳自动化研究所 | 一种基于实时数据驱动的数字孪生产线可视化系统 |
| CN115618653A (zh) * | 2022-11-30 | 2023-01-17 | 北京云庐科技有限公司 | 用于cae软件的仿真计算结果的后处理的方法、服务器和程序产品 |
Non-Patent Citations (1)
| Title |
|---|
| 商庆亮: "基于FMI标准的汽车仿真大数据平台关键技术研究", 《汽车工业研究 》, 5 December 2022 (2022-12-05), pages 54 - 58 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117097717B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9477682B1 (en) | Parallel compression of data chunks of a shared data object using a log-structured file system | |
| EP2717476A1 (en) | Data processing method and data processing device | |
| CN105553937B (zh) | 数据压缩的系统和方法 | |
| CN102970043B (zh) | 一种基于gzip的压缩硬件系统及其加速方法 | |
| CN106161633B (zh) | 一种基于云计算环境下打包文件的传输方法及系统 | |
| EP3525352A1 (en) | Delta compression | |
| US8806292B2 (en) | Method of hybrid compression acceleration utilizing special and general purpose processors | |
| CN107391770B (zh) | 一种处理数据的方法、装置、设备以及存储介质 | |
| CN104199951B (zh) | 网页处理方法及装置 | |
| CN112165331A (zh) | 数据压缩方法及其装置、数据解压方法及其装置、存储介质及电子设备 | |
| CN102063498A (zh) | 基于内容特征信息对链接进行去重处理的方法与设备 | |
| CN110334066A (zh) | 一种基于FPGA的Gzip解压缩方法、装置及系统 | |
| US11329666B2 (en) | Method and system for compressing and/or encrypting data files | |
| EP4154406A1 (en) | Compression/decompression using index correlating uncompressed/compressed content | |
| CN113630125A (zh) | 数据压缩、编码解压缩方法、装置、电子设备及存储介质 | |
| US8909606B2 (en) | Data block compression using coalescion | |
| KR20200049422A (ko) | 시뮬레이션-가이드된 반복적 프루닝을 사용하는 효율적인 네트워크 압축 | |
| CN105721526A (zh) | 一种终端、服务器文件同步的方法及装置 | |
| CN117097717B (zh) | 一种用于仿真结果的文件传输优化方法、系统和电子设备 | |
| CN113138969A (zh) | 数据传输方法、装置、电子设备和计算机可读存储介质 | |
| CN104023070A (zh) | 基于云存储的文件压缩方法 | |
| CN104376584A (zh) | 一种数据压缩的方法、计算机系统和装置 | |
| CN106658034A (zh) | 文件存储和读取的方法及装置 | |
| US10863005B2 (en) | Data transmitting program, data transmitting device, and data transmitting method | |
| US10162832B1 (en) | Data aware deduplication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |