CN115934263A - 一种数据处理方法、装置、计算机设备以及存储介质 - Google Patents
一种数据处理方法、装置、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN115934263A CN115934263A CN202110929424.6A CN202110929424A CN115934263A CN 115934263 A CN115934263 A CN 115934263A CN 202110929424 A CN202110929424 A CN 202110929424A CN 115934263 A CN115934263 A CN 115934263A
- Authority
- CN
- China
- Prior art keywords
- simulation
- task
- engine
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开一种数据处理方法、装置、计算机设备以及存储介质,其中方法包括如下步骤:获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称;根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。采用本申请,可以提高仿真的效率,提高对仿真结果的查询效率。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据处理方法、装置、计算机设备以及存储介质。
背景技术
现有联合仿真技术有几种不同的技术方案来实现,包括基于Simulink的联合仿真以及八爪鱼云端容器化方式。以自动驾驶的联合仿真来进行说明,基于Simulink的联合仿真技术,主要是利用Matlab/Simulink、Carsim、Prescan等仿真软件,其中用Matlab/Simulink做控制算法的开发,用Carsim仿真软件提供汽车动力学模型、轮胎模型和制动器模型,利用Prescan软件建立测试场景与传感器模型,基于simulink的联合仿真目前仅支持某个仿真软件在单一模块跟其他仿真模型进行本地或云端以HPC方式进行联合仿真,是2个仿真软件/仿真引擎之间的调用,不能实现统一的联合仿真。云端容器化方式仅限于单一仿真引擎的云端加速仿真,影响了仿真的效率,同时,上述两种方式均不能生成统一日志文件,各个仿真软件/仿真引擎只能输出自有格式的仿真结果报告,影响了对仿真结果的查询效率。
发明内容
本申请实施例提供一种数据处理方法、装置、计算机设备以及存储介质,可以提高仿真的效率,提高对仿真结果的查询效率。
本申请实施例一方面提供了一种数据处理方法,可包括:
获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称;
根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;
基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;
根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
在一种可行的实施方式中,还包括:
基于终端获取仿真引擎,以及所述仿真引擎对应的场景数据、算法文件,并将所述仿真引擎,以及所述仿真引擎对应的场景数据、算法文件在云端进行存储;每个仿真引擎对应至少一个场景数据和至少一个算法文件;
根据所述场景数据的存储地址生成所述仿真引擎对应的场景路径,获取所述算法文件的算法名称;
将所述仿真引擎的仿真引擎名称、场景路径以及算法名称发送至所述终端。
在一种可行的实施方式中,所述根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,包括:
基于所述仿真任务流中的至少两个仿真引擎名称申请对应的仿真引擎;
根据所述仿真任务流中的场景路径导入所述至少两个仿真引擎的场景数据;
根据所述仿真任务流中的算法名称导入所述至少两个仿真引擎的算法文件;
根据所述至少两个仿真引擎、场景数据、算法文件创建对应的容器,基于所述容器在云端生成所述至少两个仿真引擎对应的仿真任务流。
在一种可行的实施方式中,所述基于所述仿真任务流中的至少两个仿真引擎名称申请对应的仿真引擎,包括:
根据所述仿真任务流中的至少两个仿真引擎名称确定所述仿真任务流对应的仿真引擎;
获取所述仿真引擎的引擎许可证,根据所述引擎许可证验证所述仿真引擎的合法性,若所述仿真引擎为合法的仿真引擎,则在云端申请所述至少两个仿真引擎名称对应的仿真引擎。
在一种可行的实施方式中,所述基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据,包括:
获取所述至少两个仿真引擎的调度需求和计算资源,并对所述至少两个仿真引擎进行授权;
根据授权后的至少两个仿真引擎的调度需求,调度所述计算资源对所述至少两个仿真引擎进行联合仿真,得到各仿真引擎分别的仿真数据。
在一种可行的实施方式中,所述根据所述仿真数据生成所述目标仿真任务的仿真日志,包括:
监控所述目标仿真任务中至少两个仿真引擎的任务执行结果和资源调度结果;
根据所述任务执行结果和资源调度结果生成每个仿真引擎对应的单一仿真日志;
将所述至少两个单一仿真日志转换为预设的统一格式文件,对所述统一格式文件进行拼接,生成所述目标仿真任务的仿真日志。
在一种可行的实施方式中,还包括:
检测所述仿真日志中的仿真结果,若所述仿真结果不符合预期结果,则调整所述仿真任务流中至少两个仿真引擎的参数,并执行基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据。
本申请实施例一方面提供了一种数据处理装置,可包括:
任务获取单元,用于获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称;
任务流创建单元,用于根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;
联合仿真单元,用于基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;
日志生成单元,用于根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
在一种可行的实施方式中,还包括:
数据存储单元,用于基于终端获取仿真引擎,以及所述仿真引擎对应的场景数据、算法文件,并将所述仿真引擎,以及所述仿真引擎对应的场景数据、算法文件在云端进行存储;每个仿真引擎对应至少一个场景数据和至少一个算法文件;
根据所述场景数据的存储地址生成所述仿真引擎对应的场景路径,获取所述算法文件的算法名称;
将所述仿真引擎的仿真引擎名称、场景路径以及算法名称发送至所述终端。
在一种可行的实施方式中,所述任务流创建单元,包括:
引擎申请子单元,用于基于所述仿真任务流中的至少两个仿真引擎名称申请对应的仿真引擎;
任务流创建子单元,用于根据所述仿真任务流中的场景路径导入所述至少两个仿真引擎的场景数据;
根据所述仿真任务流中的算法名称导入所述至少两个仿真引擎的算法文件;
根据所述至少两个仿真引擎、场景数据、算法文件创建对应的容器,基于所述容器在云端生成所述至少两个仿真引擎对应的仿真任务流。
在一种可行的实施方式中,所述引擎申请子单元具体用于:
根据所述仿真任务流中的至少两个仿真引擎名称确定所述仿真任务流对应的仿真引擎;
获取所述仿真引擎的引擎许可证,根据所述引擎许可证验证所述仿真引擎的合法性,若所述仿真引擎为合法的仿真引擎,则在云端申请所述至少两个仿真引擎名称对应的仿真引擎。
在一种可行的实施方式中,所述联合仿真单元具体用于:
获取所述至少两个仿真引擎的调度需求和计算资源,并对所述至少两个仿真引擎进行授权;
根据授权后的至少两个仿真引擎的调度需求,调度所述计算资源对所述至少两个仿真引擎进行联合仿真,得到各仿真引擎分别的仿真数据。
在一种可行的实施方式中,所述日志生成单元具体用于:
监控所述目标仿真任务中至少两个仿真引擎的任务执行结果和资源调度结果;
根据所述任务执行结果和资源调度结果生成每个仿真引擎对应的单一仿真日志;
将所述至少两个单一仿真日志转换为预设的统一格式文件,对所述统一格式文件进行拼接,生成所述目标仿真任务的仿真日志。
在一种可行的实施方式中,还包括:
仿真调试单元,用于检测所述仿真日志中的仿真结果,若所述仿真结果不符合预期结果,则调整所述仿真任务流中至少两个仿真引擎的参数,并执行基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据。
本申请实施例一方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例一方面提供了一种计算机设备,包括:处理器、存储器以及网络接口;所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供网络通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码执行上述的方法步骤。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的方法步骤。
在本申请实施例中,通过获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称,进一步的,根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,并基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据,最后根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。采用上述方法,可以在云端实现对多个仿真引擎的联合仿真,提高了仿真的效率,同时,可以生成统一的日志文件,提高对仿真结果的查询效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种数据处理的网络架构图;
图1b是本申请实施例提供的一种自动驾驶仿真系统的举例示意图;
图2是本申请实施例提供的一种数据处理方法的流程示意图;
图3是本申请实施例提供的一种数据处理方法的流程示意图;
图4a是本申请实施例提供的一种仿真平台的技术架构的举例示意图;
图4b是本申请实施例提供的一种仿真逻辑的举例示意图;
图5是本申请实施例提供的一种数据处理装置的结构示意图;
图6是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1a,图1a是本申请实施例提供的数据处理的网络架构图。该网络架构图可以包括云端服务器100以及用户终端集群,该用户终端集群可以包括用户终端10a、用户终端10b、…、用户终端10c,其中,用户终端集群之间可以存在通信连接,例如用户终端10a与用户终端10b之间存在通信连接,用户终端10b与用户终端10c之间存在通信连接,且用户终端集群中的任一用户终端可以与云端服务器100存在通信连接,例如用户终端10a与云端服务器100之间存在通信连接,用户终端10b与云端服务器100之间存在通信连接。
其中,上述用户终端集群(也包括上述的用户终端10a、用户终端10b以及用户终端10c)均可以集成安装有目标应用。可选的,该目标应用可以包括具有展示文字、图像以及视频等数据信息功能的应用。数据库10d中存储了仿真引擎,以及所述仿真引擎对应的场景数据、算法文件。在一种可行的实施例中,云端服务器100通过获取用户终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称,进一步的,根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,并基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据,最后根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
可选的,上述用户终端可以为在上述图1a所对应实施例的用户终端集群中所选取的任意一个用户终端,比如,该用户终端可以为上述用户终端10b。
可以理解的是,本申请实施例所提供的方法可以由计算机设备执行,计算机设备包括但不限于终端或服务器,本申请实施例中的云端服务器100可以为计算机设备,用户终端集群中的用户终端也可以为计算机设备,此处不限定。上述云端服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、台式计算机、智能手表等携带图像识别功能的智能终端,但并不局限于此。其中,用户终端以及云端服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
下面将结合图1b,为本申请实施例提供的一种自动驾驶仿真系统的举例示意图,如图1b所示。上述仿真系统采用专有云服务架构,分为资源层、服务层和应用层。资源层是自动驾驶云平台核心底座,包括高性能存储服务和计算服务。计算资源核心由GPU、CPU和容器组成。服务层包括聚合仿真调度服务、数据管理(场景管理)和任务调度模块。应用层是面向用户的应用模块。应用层包括仿真任务管理模块、仿真引擎接入和管理模块和KPIReport(日志管理)模块。其中,仿真引擎接入和管理模块用于负责跟各仿真引擎进行通讯及服务授权,并负责接收仿真任务的资源需求,根据需求和仿真进度实时调度存储和计算资源;仿真任务管理模块用于负责初始化仿真任务,调用标准化Pipeline(仿真任务)或自定义仿真处理流程,并负责管理和调度场景库,根据需要自动化调用场景库生成仿真任务需要的场景;日志管理模块用于负责接收汇集各仿真引擎的仿真日志,并根据仿真任务的需求输出标准化的仿真日志。
进一步地,为便于理解,请参见图2,图2是本申请实施例提供的数据处理方法的流程示意图。本实施例以该方法由上述云端服务器执行为例进行说明。
其中,该数据处理方法至少可以包括以下步骤S101-步骤S104:
S101,获取终端发送的目标仿真任务;
具体的,云端服务器可以获取终端发送的目标仿真任务,可以理解的是,所述目标仿真任务是用户在终端选择生成的,所述目标仿真任务中包括至少两个仿真引擎名称,例如,针对小汽车的智能驾驶联合仿真,需要PreScan、CarSim和VTD三个仿真引擎,则用户在终端选择上述三个仿真引擎的名称,以及仿真引擎的场景路径和算法名称,终端根据上述仿真引擎名称、场景路径和算法名称生成对应的目标仿真任务,并将上述目标仿真任务发送至云端服务器。
S102,根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;
在一种可行的实施方式中,云端服务器根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,仿真任务流中包括仿真引擎名称、场景路径和算法名称,具体的,云端服务器基于所述仿真任务流中的至少两个仿真引擎名称申请对应的仿真引擎,例如,仿真引擎名称分别为PreScan、CarSim和VTD,则在云端申请对应仿真引擎。在云端申请仿真引擎的具体过程如下:根据所述仿真任务流中的至少两个仿真引擎名称确定所述仿真任务流对应的仿真引擎,获取所述仿真引擎的引擎许可证,根据所述引擎许可证验证所述仿真引擎的合法性,若所述仿真引擎为合法的仿真引擎,则在云端申请所述至少两个仿真引擎名称对应的仿真引擎。
进一步的,云端服务器根据所述仿真任务流中的场景路径导入所述至少两个仿真引擎的场景数据,场景路径是用户选择的具体的场景对应的路径,场景可以包括下雨、大雾等。进一步的,云端服务器根据所述仿真任务流中的算法名称导入所述至少两个仿真引擎的算法文件,所述算法名称为用户选择的运行所述仿真引擎的算法。进一步的,云端服务器根据所述至少两个仿真引擎、场景数据、算法文件创建对应的容器,基于所述容器在云端生成所述至少两个仿真引擎对应的仿真任务流。
S103,基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;
具体的,云端服务器获取所述至少两个仿真引擎的调度需求和计算资源,并对所述至少两个仿真引擎进行授权,具体的,云端服务器通过资源调度服务获取至少两个仿真引擎的调度需求及相应的计算资源,并请求仿真引擎授权,进一步的,根据授权后的至少两个仿真引擎的调度需求,调度所述计算资源对所述至少两个仿真引擎进行联合仿真,具体的,云端服务器通过调度服务在后台根据至少两个仿真引擎的调度需求调度系统资源,进行联合仿真,得到各仿真引擎分别的仿真数据。
S104,根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
具体的,云端服务器监控所述目标仿真任务中至少两个仿真引擎的任务执行结果和资源调度结果,根据所述任务执行结果和资源调度结果生成每个仿真引擎对应的单一仿真日志,所述单一仿真日志是每个仿真引擎各自的仿真日志,单一仿真日志中包括目标仿真任务的执行情况、资源调度情况、资源使用等,进一步的,将所述至少两个单一仿真日志转换为预设的统一格式文件,对所述统一格式文件进行拼接,生成所述目标仿真任务的仿真日志,具体的,云端服务器通过日志汇聚模块将每个仿真引擎的输出的单一仿真日志发送至日志转换模块,日志转换模块将单一仿真日志转换为预设的统一格式文件,并对所述统一格式文件进行拼接,生成所述目标仿真任务的仿真日志。用户可以下载上述仿真日志查看仿真结果,或者进行进一步的调试仿真。
在本申请实施例中,通过获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称,进一步的,根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,并基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据,最后根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。采用上述方法,可以在云端实现对多个仿真引擎的联合仿真,提高了仿真的效率,同时,可以生成统一的日志文件,提高对仿真结果的查询效率。
请参见图3,图3是本申请实施例提供的数据处理方法的流程示意图。本实施例以该方法由上述云端服务器执行为例进行说明。其中,该数据处理方法至少可以包括以下步骤S201-步骤S207:
S201,基于终端获取仿真引擎,以及所述仿真引擎对应的场景数据、算法文件,并将所述仿真引擎,以及所述仿真引擎对应的场景数据、算法文件在云端进行存储,即终端预先将仿真引擎,以及所述仿真引擎对应的场景数据、算法文件发送至云端,在云端进行仿真时,可以直接调用对应仿真引擎,提高了仿真的效率,每个仿真引擎对应至少一个场景数据和至少一个算法文件;
进一步的,根据所述场景数据的存储地址生成所述仿真引擎对应的场景路径,获取所述算法文件的算法名称,将所述仿真引擎的仿真引擎名称、场景路径以及算法名称发送至所述终端。即终端只需要确定仿真引擎名称、场景路径以及算法名称,将目标仿真任务发送至云端服务器,云端服务器根据仿真引擎名称、场景路径以及算法名称创建仿真人任务流,提高了数据传输的效率。
S202,获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称;
其中,本发明实施例的步骤S202参见图2所示实施例的步骤S101的具体描述,在此不进行赘述。
S203,根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;
其中,本发明实施例的步骤S203参见图2所示实施例的步骤S102的具体描述,在此不进行赘述。
S204,基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;
其中,本发明实施例的步骤S204参见图2所示实施例的步骤S103的具体描述,在此不进行赘述。
S205,根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
其中,本发明实施例的步骤S205参见图2所示实施例的步骤S104的具体描述,在此不进行赘述。
S206,检测所述仿真日志中的仿真结果,若所述仿真结果不符合预期结果,则调整所述仿真任务流中至少两个仿真引擎的参数,并执行基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据。
具体的,云端服务器检测所述仿真日志中的仿真结果,若所述仿真结果不符合预期结果,例如,针对小汽车的智能驾驶仿真任务,仿真结果中的车辆行驶轨迹偏离了车道,则可以确定仿真结果不符合预期结果,则调整所述仿真任务流中至少两个仿真引擎的参数,并基于所述仿真任务流对所述至少两个仿真引擎进行联合仿真,直到仿真结果符合预期结果,则可以停止上述仿真过程。
请参见图4a,图4a是本申请实施例提供的仿真平台的技术架构的举例示意图。如图4a所示,在仿真过程中,支持用户在本地采用程序、接口方式进行任务的创建,支持用户通过代理(proxy、S3)或者网络文件系统(NFS)在本地调用云端场景库目录、文件存储目录以及生产数据库目录,场景库用于存储仿真的场景,文件存储中包括多种算法文件,生产数据库中包括仿真的参数,支持本地指定场景参数,支持本地设置所需要的仿真引擎,提交任务后统一在云端进行运行的方式。整个调度平台的技术架构包括数据管理、引擎管理、任务管理和日志管理,技术架构中的计算资源核心由GPU、CPU、计算平台(computer Platform)和容器(Kubernetes、Docker)组成。数据管理包括数据清洗、场景转换、核心场景库和数据回放,用户通过数据管理可以对场景和算法进行选择,并可以通过数据回放查看仿真的历史记录。引擎管理包括引擎接入License管理接口转换和服务监控,用户通过引擎管理查询引擎的license,保证引擎的合法性,通过服务监控可以监控仿真任务的执行情况、资源调度情况、资源使用等。任务管理包括流水线服务、参数导入、算法导入和场景导入,用户通过ADO调度器可以自动根据制定的场景路径导入场景数据,根据制定的算法文件导入用户指定的算法,以及根据任务需求调度所需要等仿真软件/仿真引擎,通过License服务(License server)获取仿真引擎的License,并判断仿真引擎的合法性,通过接口服务(apiserver)实现接口的通信。日志管理包括功能评估、日志聚合、格式转换和统一报告,用户通过日志管理生成每个仿真引擎的对应的单一仿真日志(log),并进一步进行格式转换和日志拼接生成统一的日志报告(KPI report),最后将日志报告发送至文件服务器,文件服务器将日志报告发送至隔离区(DMZ),用户还可以在DMZ区查看仿真任务的仿真结果,进一步的对仿真任务进行调试。
请参见图4b,图4b是本申请实施例提供的仿真逻辑的举例示意图。如图4b所示,下面以具体仿真任务进行说明,首先用户在本地(用户终端)创建目标仿真任务,目标仿真任务中包括场景设置、模型选择和算法文件,最后提交任务,具体的,用户通过用户终端将目标仿真任务发送至云端服务器。进一步的,云端服务器通过仿真云任务管理模块创建云端仿真任务,通过指定参数和指定场景数据自动进行场景创建,具体的,云端服务器通过ADO调度器自动根据制定的场景路径导入场景数据,自动根据制定的算法文件导入用户指定的算法,根据任务需求调度所需要等仿真软件/仿真引擎,获取并判断License,并根据计算需求向调度服务申请资源,并提交仿真任务,这里可以根据算法需要进行指定不同的场景和算法输入给不同的仿真引擎进行不同的处理。进一步的,云端服务器通过ADO资源调度服务获取调度需求,创建容器及相应的计算资源,请求仿真引擎授权,进一步的,启动上述目标仿真任务,云端服务器通过ADO调度服务在后台根据任务管理需求调度系统资源和服务进行计算,同时,云端服务器通过监控服务监控仿真任务的执行情况、资源调度情况、资源使用,并生成各仿真引擎的单一仿真日志,进一步的,云端服务器通过日志汇聚模块将每个仿真引擎的输出的单一仿真日志发送至日志转换模块,日志转换模块将单一仿真日志转换为预设的统一格式文件,并对所述统一格式文件进行拼接,生成所述目标仿真任务的仿真日志。用户可以下载上述仿真日志查看仿真结果,或者进行进一步的调试仿真。进一步的,用户可以查看上述仿真日志,根据需要进行调试,并基于所述仿真任务流对所述至少两个仿真引擎进行联合仿真,重新进行任务训练,直到仿真结果符合预期结果,则可以停止上述仿真过程。
在本申请实施例中,通过获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称,进一步的,根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,并基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据,最后根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。采用上述方法,可以在云端实现对多个仿真引擎的联合仿真,提高了仿真的效率,同时,可以生成统一的日志文件,提高对仿真结果的查询效率。
请参见图5,图5是本申请实施例提供的一种数据处理装置的结构示意图。所述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图5所示,本申请实施例的所述数据处理装置1可以包括:任务获取单元11、任务流创建单元12、联合仿真单元13、日志生成单元14。
任务获取单元11,用于获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称;
任务流创建单元12,用于根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;
联合仿真单元13,用于基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;
日志生成单元14,用于根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
请参见图5,本申请实施例的所述数据处理装置1可以还包括:数据存储单元15。
数据存储单元15,用于基于终端获取仿真引擎,以及所述仿真引擎对应的场景数据、算法文件,并将所述仿真引擎,以及所述仿真引擎对应的场景数据、算法文件在云端进行存储;每个仿真引擎对应至少一个场景数据和至少一个算法文件;
根据所述场景数据的存储地址生成所述仿真引擎对应的场景路径,获取所述算法文件的算法名称;
将所述仿真引擎的仿真引擎名称、场景路径以及算法名称发送至所述终端。
请参见图5,本申请实施例的所述任务流创建单元12可以还包括:引擎申请子单元121、任务流创建子单元122。
引擎申请子单元121,用于基于所述仿真任务流中的至少两个仿真引擎名称申请对应的仿真引擎;
任务流创建子单元122,用于根据所述仿真任务流中的场景路径导入所述至少两个仿真引擎的场景数据;
根据所述仿真任务流中的算法名称导入所述至少两个仿真引擎的算法文件;
根据所述至少两个仿真引擎、场景数据、算法文件创建对应的容器,基于所述容器在云端生成所述至少两个仿真引擎对应的仿真任务流。
在一种可行的实施方式中,所述引擎申请子单元121具体用于:
根据所述仿真任务流中的至少两个仿真引擎名称确定所述仿真任务流对应的仿真引擎;
获取所述仿真引擎的引擎许可证,根据所述引擎许可证验证所述仿真引擎的合法性,若所述仿真引擎为合法的仿真引擎,则在云端申请所述至少两个仿真引擎名称对应的仿真引擎。
在一种可行的实施方式中,所述联合仿真单元13具体用于:
获取所述至少两个仿真引擎的调度需求和计算资源,并对所述至少两个仿真引擎进行授权;
根据授权后的至少两个仿真引擎的调度需求,调度所述计算资源对所述至少两个仿真引擎进行联合仿真,得到各仿真引擎分别的仿真数据。
在一种可行的实施方式中,所述日志生成单元14具体用于:
监控所述目标仿真任务中至少两个仿真引擎的任务执行结果和资源调度结果;
根据所述任务执行结果和资源调度结果生成每个仿真引擎对应的单一仿真日志;
将所述至少两个单一仿真日志转换为预设的统一格式文件,对所述统一格式文件进行拼接,生成所述目标仿真任务的仿真日志。
请参见图5,本申请实施例的所述数据处理装置1可以还包括:仿真调试单元16。
仿真调试单元16,用于检测所述仿真日志中的仿真结果,若所述仿真结果不符合预期结果,则调整所述仿真任务流中至少两个仿真引擎的参数,并执行基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据。
在本申请实施例中,通过获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称,进一步的,根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,并基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据,最后根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。采用上述方法,可以在云端实现对多个仿真引擎的联合仿真,提高了仿真的效率,同时,可以生成统一的日志文件,提高对仿真结果的查询效率。
请参见图6,图6是本申请实施例提供的一种计算机设备的结构示意图。如图6所示,所述计算机设备1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是随机存取存储器(Random Access Memory,RAM),也可以是非易失性存储器(non-volatile memory,NVM),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理应用程序。
在图6所示的计算机设备1000中,网络接口1004可提供网络通讯功能,用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的数据处理应用程序,以实现上述图2-图4b任一个所对应实施例中对所述数据处理方法的描述,在此不再赘述。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图2-图4b任一个所对应实施例中对所述数据处理方法的描述,也可执行前文图5所对应实施例中对所述数据处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且所述计算机可读存储介质中存储有前文提及的数据处理装置所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图2-图4b任一个所对应实施例中对所述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,程序指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行,分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述计算机可读存储介质可以是前述任一实施例提供的一种数据处理装置或者上述设备的内部存储单元,例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备,例如该电子设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(securedigital,SD)卡,闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体等。进一步地,该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其它程序和数量。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本发明的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称;
根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;
基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;
根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
2.根据权利要求1所述的方法,其特征在于,还包括:
基于终端获取仿真引擎,以及所述仿真引擎对应的场景数据、算法文件,并将所述仿真引擎,以及所述仿真引擎对应的场景数据、算法文件在云端进行存储;每个仿真引擎对应至少一个场景数据和至少一个算法文件;
根据所述场景数据的存储地址生成所述仿真引擎对应的场景路径,获取所述算法文件的算法名称;
将所述仿真引擎的仿真引擎名称、场景路径以及算法名称发送至所述终端。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流,包括:
基于所述仿真任务流中的至少两个仿真引擎名称申请对应的仿真引擎;
根据所述仿真任务流中的场景路径导入所述至少两个仿真引擎的场景数据;
根据所述仿真任务流中的算法名称导入所述至少两个仿真引擎的算法文件;
根据所述至少两个仿真引擎、场景数据、算法文件创建对应的容器,基于所述容器在云端生成所述至少两个仿真引擎对应的仿真任务流。
4.根据权利要求3所述的方法,其特征在于,所述基于所述仿真任务流中的至少两个仿真引擎名称申请对应的仿真引擎,包括:
根据所述仿真任务流中的至少两个仿真引擎名称确定所述仿真任务流对应的仿真引擎;
获取所述仿真引擎的引擎许可证,根据所述引擎许可证验证所述仿真引擎的合法性,若所述仿真引擎为合法的仿真引擎,则在云端申请所述至少两个仿真引擎名称对应的仿真引擎。
5.根据权利要求1所述的方法,其特征在于,所述基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据,包括:
获取所述至少两个仿真引擎的调度需求和计算资源,并对所述至少两个仿真引擎进行授权;
根据授权后的至少两个仿真引擎的调度需求,调度所述计算资源对所述至少两个仿真引擎进行联合仿真,得到各仿真引擎分别的仿真数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述仿真数据生成所述目标仿真任务的仿真日志,包括:
监控所述目标仿真任务中至少两个仿真引擎的任务执行结果和资源调度结果;
根据所述任务执行结果和资源调度结果生成每个仿真引擎对应的单一仿真日志;
将所述至少两个单一仿真日志转换为预设的统一格式文件,对所述统一格式文件进行拼接,生成所述目标仿真任务的仿真日志。
7.根据权利要求1所述的方法,其特征在于,还包括:
检测所述仿真日志中的仿真结果,若所述仿真结果不符合预期结果,则调整所述仿真任务流中至少两个仿真引擎的参数,并执行基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据。
8.一种数据处理方法,其特征在于,包括:
任务获取单元,用于获取终端发送的目标仿真任务,所述目标仿真任务中包括至少两个仿真引擎名称;
任务流创建单元,用于根据所述目标仿真任务在云端创建所述至少两个仿真引擎名称对应的仿真任务流;
联合仿真单元,用于基于所述仿真任务流,调度各仿真引擎分别对应的仿真场景配置数据进行联合仿真,得到各仿真引擎分别的仿真数据;
日志生成单元,用于根据所述仿真数据生成所述目标仿真任务的仿真日志,所述仿真日志中包括所述目标仿真任务的仿真结果。
9.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供网络通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110929424.6A CN115934263A (zh) | 2021-08-13 | 2021-08-13 | 一种数据处理方法、装置、计算机设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110929424.6A CN115934263A (zh) | 2021-08-13 | 2021-08-13 | 一种数据处理方法、装置、计算机设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115934263A true CN115934263A (zh) | 2023-04-07 |
Family
ID=86554446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110929424.6A Pending CN115934263A (zh) | 2021-08-13 | 2021-08-13 | 一种数据处理方法、装置、计算机设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115934263A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117112185A (zh) * | 2023-10-23 | 2023-11-24 | 北京世冠金洋科技发展有限公司 | 仿真引擎的调用控制方法、装置及仿真系统 |
CN117130759A (zh) * | 2023-10-23 | 2023-11-28 | 北京世冠金洋科技发展有限公司 | 仿真引擎的启停控制方法、装置及仿真系统 |
CN118761115A (zh) * | 2024-09-05 | 2024-10-11 | 杭州群核信息技术有限公司 | 一种云端实时仿真计算方法、系统、设备和存储介质 |
-
2021
- 2021-08-13 CN CN202110929424.6A patent/CN115934263A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117112185A (zh) * | 2023-10-23 | 2023-11-24 | 北京世冠金洋科技发展有限公司 | 仿真引擎的调用控制方法、装置及仿真系统 |
CN117130759A (zh) * | 2023-10-23 | 2023-11-28 | 北京世冠金洋科技发展有限公司 | 仿真引擎的启停控制方法、装置及仿真系统 |
CN117130759B (zh) * | 2023-10-23 | 2024-01-16 | 北京世冠金洋科技发展有限公司 | 仿真引擎的启停控制方法、装置及仿真系统 |
CN117112185B (zh) * | 2023-10-23 | 2024-01-26 | 北京世冠金洋科技发展有限公司 | 仿真引擎的调用控制方法、装置及仿真系统 |
CN118761115A (zh) * | 2024-09-05 | 2024-10-11 | 杭州群核信息技术有限公司 | 一种云端实时仿真计算方法、系统、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110442041B (zh) | 一种基于异构云计算框架的仿真平台构建方法及仿真系统 | |
CN115934263A (zh) | 一种数据处理方法、装置、计算机设备以及存储介质 | |
CN112639734B (zh) | 仿真任务调度方法、执行方法、仿真实现方法及装置 | |
CN114253793A (zh) | 动态追踪控制 | |
US10216485B2 (en) | Computer platform for development and deployment of sensor data based applications and services | |
US11200157B1 (en) | Automated execution reporting for container builds | |
CN104765678A (zh) | 对移动终端设备上的应用进行测试的方法及装置 | |
CN102710832A (zh) | 移动应用测试方法和系统 | |
CN111651140B (zh) | 基于工作流的服务方法及装置 | |
CN107291744A (zh) | 确定及运用应用程序之间的关系关联的方法及装置 | |
CN111026640A (zh) | 车载设备测试方法、系统、移动终端及存储介质 | |
CN103152327A (zh) | 一种配置压缩/解压缩插件的方法、客户端及系统 | |
CN111611054A (zh) | 一种应用部署方法及装置 | |
CN113672441A (zh) | 对智能设备的测试方法及装置 | |
CN112954040B (zh) | 嵌入应用发布服务器的方法、系统、设备及存储介质 | |
CN113742660B (zh) | 应用程序许可管理系统及方法 | |
CN109324962A (zh) | 一种基于云物联技术的应用程序的测试方法及设备 | |
CN114327846B (zh) | 集群的扩容方法、装置、电子设备及计算机可读存储介质 | |
CN116257438A (zh) | 接口测试用例的更新方法及相关设备 | |
CN114189553B (zh) | 一种流量回放方法、系统及计算设备 | |
CN112966256B (zh) | 基于建筑信息模型的设备管理方法及相关装置 | |
CN113760768A (zh) | 一种测试方法、监控平台、电子设备及存储介质 | |
CN115129574A (zh) | 一种代码测试方法和装置 | |
CN113241056A (zh) | 语音合成模型的训练与语音合成方法、装置、系统及介质 | |
CN109741099B (zh) | 设备特征信息的采集方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40084582 Country of ref document: HK |