CN113177088B - 一种材料辐照损伤多尺度模拟大数据管理系统 - Google Patents
一种材料辐照损伤多尺度模拟大数据管理系统 Download PDFInfo
- Publication number
- CN113177088B CN113177088B CN202110363621.6A CN202110363621A CN113177088B CN 113177088 B CN113177088 B CN 113177088B CN 202110363621 A CN202110363621 A CN 202110363621A CN 113177088 B CN113177088 B CN 113177088B
- Authority
- CN
- China
- Prior art keywords
- data
- user
- layer
- simulation
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 58
- 239000000463 material Substances 0.000 title claims abstract description 22
- 238000013523 data management Methods 0.000 title claims abstract description 16
- 230000002688 persistence Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000008878 coupling Effects 0.000 claims abstract description 8
- 238000010168 coupling process Methods 0.000 claims abstract description 8
- 238000005859 coupling reaction Methods 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 238000013461 design Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 238000013467 fragmentation Methods 0.000 claims 1
- 238000006062 fragmentation reaction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000013500 data storage Methods 0.000 abstract description 5
- 238000012805 post-processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000000329 molecular dynamics simulation Methods 0.000 description 3
- 241001178520 Stomatepia mongo Species 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种材料辐照损伤多尺度模拟大数据管理系统，属于高性能计算与大数据管理领域。所述系统包括：预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；持久化层，采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；业务层，以松耦合的方式对功能模块进行组织；接口层，使用GraphQL的API接口连接前端和后端；应用层，使用Vue的前端架构设计人机交互的Web平台。采用本发明，实现了大规模、多尺度的模拟数据存储，并表现出良好的可扩展性和高并发性。
Description
技术领域
本发明涉及高性能计算与大数据管理领域，特别是指一种材料辐照损伤多尺度模拟大数据管理系统。
背景技术
在材料辐照损伤的模拟过程中，通过使用不同的方法，例如分子动力学方法(Molecular dynamics，MD)，动力学蒙特卡洛方法(Kinetic Monte Carlo，KMC)等来进行多尺度的模拟。材料多尺度模拟过程中产生的数据跨越原子尺度、微观尺度、介观尺度、宏观尺度多个不同的模拟尺度，不仅数目巨大，而且类型丰富，包含数值型、曲线型、图片型以及各种文档类型等。这些数据一般由研究人员分散管理，不利于后续分析和研究。随着模拟规模的不断增大以及多尺度耦合的复杂化，数据量会急剧上升，进而也带来了对海量数据的存储管理、快速查询、数据分析、数据可视化等一系列需求问题。现有的数据管理方式很难胜任这样大数据量的需求。因此，针对不同尺度的模拟，急需设计统一的数据结构，以存储包括原子坐标数据，微结构演化模块数据，模拟结果数据、结果处理数据在内的一系列数据。
另一方面，随着数据规模的扩大，现有的模拟平台面临着性能不足，资源消耗过多等问题，已经无法很好的满足高性能，高并发的需求。而大数据管理系统存储容量巨大且支持大规模数据的复杂计算。因此，如何基于材料辐照损伤模拟数据，运用大数据、云服务等相关技术，搭建相关的大数据系统，从海量的大数据中提取有价值的信息进行合理、有效的利用，为广大的科研工作者提供服务和协助，成为材料领域一个重要的研究方向。
发明内容
本发明实施例提供了材料辐照损伤多尺度模拟大数据管理系统，实现了大规模、多尺度的模拟数据存储，并表现出良好的可扩展性和高并发性。所述技术方案如下：
本发明实施例提供了一种材料辐照损伤多尺度模拟大数据管理系统，该系统包括：
预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；
持久化层，采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；其中，使用MongoDB集群存储所述系统中的模拟数据，使用分布式对象存储技术MiniO存储用户上传的文件，使用MySQL存储用户信息和系统日志；
业务层，以松耦合的方式对功能模块进行组织；
接口层，使用GraphQL的API接口连接前端和后端；
应用层，使用Vue的前端架构设计人机交互的Web平台。
进一步地，所述预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区；其中，若接收到的数据为多尺度的模拟数据，则Kafka集群采用尺度作为主题，对数据进行分类发送，Storm集群按照模拟的尺度从Kafka集群中获取数据，并对数据进行处理和分析，将分析后的数据存入数据库中。
进一步地，所述持久化层，利用“分片+副本集”的架构搭建MongoDB集群。
进一步地，所述MongoDB集群包括：分片节点、配置节点和路由节点；其中，
所述分片节点，用于存储模拟数据；
所述配置节点，用于保存MongoDB集群的元数据；
所述路由节点，用于将用户的请求路由到对应的分片。
进一步地，所述功能模块包括：用户管理模块、超算管理模块、故障报警模块和接口管理模块。
进一步地，所述用户管理模块，用于实现用户的注册、登陆和个人信息维护。
进一步地，所述超算管理模块，用于实现超算设备注册、超算设备信息维护和远程提交超算作业。
进一步地，所述故障告警模块，用于实现故障检测和告警生成。
进一步地，所述接口管理模块，用于实现用户认证的用户接口和模拟软件接口。
进一步地，所述接口层，用于用户通过所述系统调用API接口并发送请求给后端，后端收到请求后调用相应的功能模块进行处理再通过API接口将结果返回给用户。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，采用分层架构的模型，在预处理层中采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；在持久化层中采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；在业务层中以松耦合的方式对功能模块进行组织；在接口层使用GraphQL的API接口连接前端和后端；在应用层使用Vue的前端架构设计人机交互的Web平台。将所述系统应用于材料辐照损伤多尺度模拟中，旨在将模拟过程中的产生的数据进行统一的管理和分析，实现了大规模、多尺度的模拟数据存储，并表现出良好的可扩展性和高并发性，降低了相关使用人员的工作难度，方便相关人员进行后续使用，同时可以更好的管理所有的模拟数据，最终实现智能化的材料模拟数据研究。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的材料辐照损伤多尺度模拟大数据管理系统的总体架构示意图；
图2为本发明实施例提供的MongoDB集群配置信息示意图；
图3为本发明实施例提供的业务层的功能模块示意图；
图4为本发明实施例提供的远程提交超算作业流程示意图；
图5为本发明实施例提供的故障告警流程示意图；
图6为本发明实施例提供的系统的主页面布局示意图；
图7为本发明实施例提供的系统生成的3D模型示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种材料辐照损伤多尺度模拟大数据管理系统，该系统采用分层架构的模型，具体包括：
预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；
持久化层，采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；其中，使用MongoDB集群存储所述系统中的模拟数据，使用分布式对象存储技术MiniO存储用户上传的文件，使用MySQL存储用户信息和系统日志；
业务层，以松耦合的方式对功能模块进行组织；
接口层，使用GraphQL的API接口连接前端和后端；
应用层，使用Vue的前端架构设计人机交互的Web平台。
本发明实施例所述的材料辐照损伤多尺度模拟大数据管理系统，采用分层架构的模型，在预处理层中采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；在持久化层中采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；在业务层中以松耦合的方式对功能模块进行组织；在接口层使用GraphQL的API接口连接前端和后端；在应用层使用Vue的前端架构设计人机交互的Web平台。将所述系统应用于材料辐照损伤多尺度模拟中，旨在将模拟过程中的产生的数据进行统一的管理和分析，实现了大规模、多尺度的模拟数据存储，并表现出良好的可扩展性和高并发性，降低了相关使用人员的工作难度，方便相关人员进行后续使用，同时可以更好的管理所有的模拟数据，最终实现智能化的材料模拟数据研究。
本实施例中，所述前端包括：应用层中用于人机交互的Web平台；所述后端包括：持久化层中的服务器和数据库、业务层中的功能模块等。
本发明实施例所述的材料辐照损伤多尺度模拟大数据管理系统，还可以直接连接远程的超级计算机(例如天河2号)进行模拟；且所述系统采用Docker容器化的部署，免去部署时复杂的环境配置；方便服务迁移。
本实施例中，采用二维表来存储材料多尺度模拟数据。以分子动力学模拟为例，具体的材料多尺度模拟数据库表，包含五个集合：inputPara集合、result集合、postProcessing集合、postProcessingMany集合和id集合，其中，inputPara表示输入参数集合、result表示结果数据集合、postProcessing表示一次模拟后处理的集合、postProcessingMany表示多次模拟后处理的集合、id用于将inputPara、result、postProcessing关联起来，便于处理。
本实施例中，inputPara集合、result集合、postProcessing集合、postProcessingMany集合的表结构如表1(a)-(d)所示：
表1(a)inputPara集合
表1(b)result集合
表1(c)postProcessing集合
表1(d)postProcessingMany集合
为了更好地理解本发明实施例提供的材料辐照损伤多尺度模拟大数据管理系统，对其中的各个分层分别进行详细说明：
1)预处理层
在现有技术中，用户输入的数据会直接写入数据库中，并没有设计中间层。但是当大量用户同时并发的上传数据时，系统的处理能力不足会带来性能的瓶颈。因此，在本实施例的预处理层中，加入了具有高吞吐率，对TB级以上数据也能保证常数时间访问性能的消息中间件Kafka集群用于实现数据缓冲，防止因为突发的超负荷请求而导致系统崩溃。同时，在本实施例的预处理层中，还加入了Storm集群，使数据经过处理/预处理和分析后再存入数据库中。
本实施例中，当用户通过用户设备向所述系统发送模拟数据时，Kafka集群作为所述系统的数据缓冲区，实现峰值压力的转移，避免海量数据造成系统的崩溃。同时，若接收到的数据为多尺度的模拟数据，对于多尺度的模拟数据，Kafka集群采用“尺度”作为主题，对数据进行分类发送，这使得在做后续的处理时，同尺度数据的结构大致相似，大幅度的提高效率。随后，Storm集群按照模拟的“尺度”从Kafka集群中获取数据，并对数据进行处理和分析。随后将分析后的数据以表1(a)-(d)中二维表的结构存入到数据库中进行持久化保存。
2)持久化层
本实施例中，持久化层中的数据库包含不同尺度的模拟数据，主要有MD、KMC、SCD和DD等主要数据。在模拟中比如合金的比例，它是不定的，其他参数有时也是不定的，且随着模拟的增加，数据也会大量的增加。由于MongoDB可以为WEB应用提供可扩展的高性能数据存储，读写效率高，MongoDB文档类似于JSON对象，在使用时也更加的灵活，因此，使用MongoDB集群存储平台中的海量模拟数据，使用分布式对象存储技术MiniO存储用户上传的大文件，使用MySQL存储用户信息和系统日志等数据，从而保障所述系统具有很高的数据吞吐率和可扩展性。
本实施例中，所述持久化层使用“分片+副本集”的架构来搭建MongoDB集群。MongoDB集群主要包含三种节点：分片节点(shards)、配置节点(config servers)和路由节点(Query Routers)；其中，分片节点用于存储模拟数据(用户输入的参数，配置文件，上传的后处理信息等)，配置节点用于保存MongoDB集群的元数据，路由节点用于将用户的请求路由到对应的分片。
本实施例中，使用图2中的配置信息作为所述系统中MongoDB集群的配置。分别使用三台服务器作为配置节点、路由节点和分片节点。针对每个分片，系统配置了主节点、副节点和仲裁结点；其中，主节点用于保存数据，副节点用于数据备份，仲裁节点用于当主节点因故障失效时，将副节点提升为主节点以保证系统正常工作。这保证了数据的安全性和系统的高可用性。
3)业务层
本实施例中，如图3所示，所述业务层按照需求划分为用户管理模块、超算管理模块、故障报警模块和接口管理模块这4个功能模块，各个模块具有良好的封装性，以松耦合的方式组织在一起，避免了功能重复和混乱；其中，
用户管理模块包含用户的注册、登陆和个人信息维护，主要用于用户与数据库进行交互验证；
超算管理模块包含超算设备注册、超算设备信息维护和远程提交超算作业。主要用于管理所述系统中模拟软件所需要使用的超算设备；其中，用户远程提交超算作业步骤为：
1)用户在系统页面输入模拟所需要的全部参数；
2)系统根据用户的输入自动生成配置文件；
3)系统调用GraphQL API接口将参数以及配置文件存入系统的数据库中；
4)系统调用rpc(远程过程调用)向超算请求服务；
5)系统将相关参数通过vpn/ssh发送到天河2号超算并开始远程运行作业。远程提交超算作业方式如图4所示；
故障告警模块用于实现故障检测和告警生成。当所述系统中的超算由于某些特殊原因导致模拟的结果不能及时返回时，系统会自动生成告警信息并发送给用户；其中，如图5所示，故障告警的步骤为：
1)系统(即：图5中的平台)设置定时执行任务机制，每隔30分钟定时运行任务；
2)系统查询用户作业的创建时间并记录为T1；
3)系统查询当前时间T2并计算作业已运行时间T＝T2-T1；
4)若作业已运行时间T大于1小时，则系统向用户邮箱发送告警信息，所述告警信息包括：用户名称、用户ID、作业名称、作业ID、故障ID等；
接口管理模块包括实现用户认证的用户接口和模拟软件接口，其中，模拟软件接口帮助所述系统集成包括MD、KMC、SCD等一系列分子动力学模拟软件。
4)接口层
本实施例中，所述接口层，用于用户通过所述系统调用API接口并发送请求给后端，后端收到请求后调用相应的功能模块进行处理再通过API接口将结果返回给用户。
5)应用层
本实施例中，所述应用层方便帮助用户创建模拟，生成配置文件，远程直接连接超算等操作。所述应用层基于Vue开发，使用组件化编程实现应用中的各项功能。应用层主页面布局如图6所示，所述应用层主页面包括：菜单栏(menu-group)、模拟选择区(simulation-group)、模拟列表(simulation-list)和工具栏(tool-bar)，其中，菜单栏用于切换系统主页与模拟页面并且为后续系统升级预留接口；模拟选择区用于选择不同的模拟软件进行模拟(比如MD，KMC)；模拟列表区向用户展示所有已经创建的模拟；工具栏区用于用户登陆注册，更改系统的语言。同时，使用CodeMirror插件开发平台的网页编辑器功能，使用three.js插件开发3D模型展示功能，使用Vue-Plotly插件开发二维的坐标图功能。所述系统生成的3D模型图如附图7所示。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种材料辐照损伤多尺度模拟大数据管理系统，其特征在于，包括：
预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；
持久化层，采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；其中，使用MongoDB集群存储所述系统中的模拟数据，使用分布式对象存储技术MiniO存储用户上传的文件，使用MySQL存储用户信息和系统日志；
业务层，以松耦合的方式对功能模块进行组织；
接口层，使用GraphQL的API接口连接前端和后端；
应用层，使用Vue的前端架构设计人机交互的Web平台；
其中，所述预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区；其中，若接收到的数据为多尺度的模拟数据，则Kafka集群采用尺度作为主题，对数据进行分类发送，Storm集群按照模拟的尺度从Kafka集群中获取数据，并对数据进行处理和分析，将分析后的数据存入数据库中；
其中，所述持久化层，利用“分片+副本集”的架构搭建MongoDB集群；
其中，所述MongoDB集群包括：分片节点、配置节点和路由节点；其中，
所述分片节点，用于存储模拟数据；
所述配置节点，用于保存MongoDB集群的元数据；
所述路由节点，用于将用户的请求路由到对应的分片；
其中，所述功能模块包括：用户管理模块、超算管理模块、故障告警模块和接口管理模块；
其中，所述用户管理模块，用于实现用户的注册、登陆和个人信息维护；
其中，所述超算管理模块，用于实现超算设备注册、超算设备信息维护和远程提交超算作业；
其中，所述故障告警模块，用于实现故障检测和告警生成；
其中，所述接口管理模块，用于实现用户认证的用户接口和模拟软件接口；
其中，所述接口层，用于用户通过所述系统调用API接口并发送请求给后端，后端收到请求后调用相应的功能模块进行处理再通过API接口将结果返回给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110363621.6A CN113177088B (zh) | 2021-04-02 | 2021-04-02 | 一种材料辐照损伤多尺度模拟大数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110363621.6A CN113177088B (zh) | 2021-04-02 | 2021-04-02 | 一种材料辐照损伤多尺度模拟大数据管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113177088A CN113177088A (zh) | 2021-07-27 |
| CN113177088B true CN113177088B (zh) | 2023-07-04 |
Family
ID=76923113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110363621.6A Active CN113177088B (zh) | 2021-04-02 | 2021-04-02 | 一种材料辐照损伤多尺度模拟大数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177088B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113986850B (zh) * | 2021-10-27 | 2022-05-17 | 北京天宇威视科技股份有限公司 | 电子卷宗的存储方法、装置、设备和计算机可读存储介质 |
| CN114615301A (zh) * | 2022-03-10 | 2022-06-10 | 天津航天机电设备研究所 | 一种集成异构工业互联网设备的平台及其构建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598623A (zh) * | 2015-02-03 | 2015-05-06 | 东南大学 | 综合传感网分层数据管理系统 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
| CN110019167A (zh) * | 2017-12-26 | 2019-07-16 | 中国电力科学研究院有限公司 | 一种中长期新能源资源资料库构建方法及系统 |
| CN111210879A (zh) * | 2020-01-06 | 2020-05-29 | 中国海洋大学 | 一种用于超大规模药物数据的分级存储优化方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9946593B2 (en) * | 2015-09-18 | 2018-04-17 | Salesforce.Com, Inc. | Recovery strategy for a stream processing system |
| US10963349B2 (en) * | 2017-08-25 | 2021-03-30 | Vmware, Inc. | Containerized application snapshots |
| CN107704545A (zh) * | 2017-11-08 | 2018-02-16 | 华东交通大学 | 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 |
| CN110022226B (zh) * | 2019-01-04 | 2023-04-04 | 国网浙江省电力有限公司 | 一种基于面向对象的数据采集系统及采集方法 |
| CN110047014B (zh) * | 2019-01-04 | 2024-04-23 | 国网浙江省电力有限公司电力科学研究院 | 一种基于负荷曲线和历史电量的用户电量数据修复方法 |
| US20200285637A1 (en) * | 2019-03-04 | 2020-09-10 | Conduent Business Services, Llc | Method and system for information visualization and digital interactions for enterprise applications on blockchain |
| CN110459269B (zh) * | 2019-08-07 | 2022-03-11 | 中国原子能科学研究院 | 一种核反应堆材料辐照损伤的多尺度耦合模拟方法 |
| CN110708372A (zh) * | 2019-09-29 | 2020-01-17 | 广州餐道信息科技有限公司 | 点餐软件统一对接系统 |
| CN111831269A (zh) * | 2020-07-21 | 2020-10-27 | 腾讯科技（深圳）有限公司 | 一种应用开发系统、运行方法、设备及存储介质 |
| CN112035563A (zh) * | 2020-08-28 | 2020-12-04 | 南京华盾电力信息安全测评有限公司 | 一种基于共享存储的实时数据库系统 |
-
2021
- 2021-04-02 CN CN202110363621.6A patent/CN113177088B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598623A (zh) * | 2015-02-03 | 2015-05-06 | 东南大学 | 综合传感网分层数据管理系统 |
| CN110019167A (zh) * | 2017-12-26 | 2019-07-16 | 中国电力科学研究院有限公司 | 一种中长期新能源资源资料库构建方法及系统 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
| CN111210879A (zh) * | 2020-01-06 | 2020-05-29 | 中国海洋大学 | 一种用于超大规模药物数据的分级存储优化方法 |
Non-Patent Citations (5)
| Title |
|---|
| Gregorius Ongo ; Gede Putra Kusuma ; .Hybrid Database System of MySQL and MongoDB in Web Application Development.2018 International Conference on Information Management and Technology (ICIMTech).2018,第256-260页. * |
| 传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究;曾海峰;中国优秀硕士学位论文全文数据库信息科技辑;第I138-1217页 * |
| 基于MongoDB的分布式日志分析系统的设计;孙洪刚;中国优秀硕士学位论文全文数据库信息科技辑;第I139-101页 * |
| 海量空间数据存储与管理云平台设计;赵彦庆;程芳;李鸿飞;李培军;;信息系统工程(12);第34-36页 * |
| 面向煤炭开采的大数据处理平台构建关键技术;李福兴;李璐爔;;煤炭学报(S1);第362-369页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113177088A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109074377B (zh) | 用于实时处理数据流的受管理功能执行 | |
| CN113177088B (zh) | 一种材料辐照损伤多尺度模拟大数据管理系统 | |
| CN104363222A (zh) | 一种基于Hadoop的网络安全事件分析方法 | |
| CN109144785A (zh) | 用于备份数据的方法和装置 | |
| KR101357135B1 (ko) | 로그 정보 수집 장치 | |
| CN114691050B (zh) | 基于kubernetes的云原生存储方法、装置、设备及介质 | |
| CN105554132A (zh) | 一种Hadoop在线扩容的方法 | |
| CN106656552A (zh) | 一种数据平台系统的扩展方法、系统及电子设备 | |
| Li et al. | Survey of recent research progress and issues in big data | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| Shou-Qiang et al. | Research and design of hybrid collaborative filtering algorithm scalability reform based on genetic algorithm optimization | |
| KR20150089693A (ko) | 빅 데이터 플랫폼 기반 데이터 저장 시스템 확장 장치 및 방법 | |
| Jiang | Research and practice of big data analysis process based on hadoop framework | |
| Pan et al. | An open sharing pattern design of massive power big data | |
| CN115150466B (zh) | 一种数据分发的实现方法、装置、电子设备及存储介质 | |
| Che et al. | Research on the dynamic management of cloud simulation derived data | |
| Mantri et al. | Implementation and Performance Analysis of Academic_MapReduce Algorithm (AcdMR) | |
| Wei et al. | Configurable workflow platform based on SaaS model | |
| Shengtao et al. | The study of a hierarchical hadoop architecture in multiple data centers environment | |
| Xie et al. | Digital personalized healthcare web archive collection and storage model based on soft computing and edge-driven multimodal system | |
| Wild et al. | Scaling big data platform for big data pipeline | |
| Xie | Design and implementation of web log analysis system under the industrial Internet background | |
| Gupta et al. | 8 Role of Big Data in | |
| Gao et al. | Agricultural Data Integration and Storage with Cloud Services | |
| Michael et al. | Blue Danube: A Large-Scale, End-to-End Synchronous, Distributed Data Stream Processing Architecture for Time-Sensitive Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |