CN116578405A - 基于虚拟化架构的模拟训练方法及系统 - Google Patents
基于虚拟化架构的模拟训练方法及系统 Download PDFInfo
- Publication number
- CN116578405A CN116578405A CN202310854214.4A CN202310854214A CN116578405A CN 116578405 A CN116578405 A CN 116578405A CN 202310854214 A CN202310854214 A CN 202310854214A CN 116578405 A CN116578405 A CN 116578405A
- Authority
- CN
- China
- Prior art keywords
- task
- algorithm
- executed
- data
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 160
- 238000004088 simulation Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012795 verification Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 19
- 238000007726 management method Methods 0.000 description 10
- 230000006854 communication Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据处理技术领域,公开了一种基于虚拟化架构的模拟训练方法及系统,用于提高对进行模拟训练时的准确率及效率。方法包括:接收多个模拟训练口令,根据多个模拟训练口令生成多个模拟训练请求;对多个模拟训练请求进行权限认证,得到权限认证结果;通过验证时,对多个模拟训练请求进行资源匹配,得到多个目标资源数据;通过资源调度策略对每个目标资源数据进行任务生成,得到多个待执行任务;对每个待执行任务进行算法参数拼接,生成拼接算法参数;通过拼接算法参数对每个待执行任务进行算法资源匹配,得到每个待执行任务对应的算法资源;对每个待执行任务进行算法调用,生成对应的多个任务执行结果。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于虚拟化架构的模拟训练方法及系统。
背景技术
在通信系统领域,实装设备的模拟训练对于提高操作人员的技能和应对实际场景的能力至关重要。然而,目前针对特定通信系统的模拟训练主要以传统的PPT教学为主,无法提供真实的实操体验和多场景训练。为了解决这一问题,需要开发一种虚拟化实训系统架构,能够模拟实装设备并支持多个训练任务的并行执行。
在传统模拟训练中,由于实装设备的限制,通信传输往往是通过简单的文档或指令交流,无法真实模拟通信过程中的实时数据传输和处理,导致训练效果的欠佳。传统的PPT教学方式无法充分利用实装设备的硬件资源,导致资源浪费和训练效果的不佳。需要一种更高效的资源利用方式。缺乏多场景训练支持:传统的PPT教学方式只能模拟单一场景,无法满足多场景训练的需求。而实装设备有限,无法同时满足多个训练任务的需求。传统的PPT教学方式缺乏灵活性和可扩展性,无法根据不同训练任务的要求进行定制化和扩展。同时,实装设备的数量和种类有限,无法满足不同场景和训练任务的需求。
发明内容
有鉴于此,本发明实施例提供了一种基于虚拟化架构的模拟训练方法及系统,解决了对进行模拟训练时准确率及效率较低的技术问题。
本发明提供了一种基于虚拟化架构的模拟训练方法,包括:接收多个模拟训练口令,并根据多个模拟训练口令生成多个模拟训练请求;对多个所述模拟训练请求进行权限认证,得到权限认证结果;当所述权限认证结果为通过验证时,对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据;通过资源调度策略对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务;对每个所述待执行任务进行算法参数拼接,生成拼接算法参数;通过所述拼接算法参数对每个所述待执行任务进行算法资源匹配,得到每个所述待执行任务对应的算法资源;通过每个所述待执行任务对应的算法资源对每个所述待执行任务进行算法调用,生成对应的多个任务执行结果。
在本发明中,所述对多个所述模拟训练请求进行权限认证,得到权限认证结果步骤,包括:对多个所述模拟训练请求进行身份识别,确定多个网络身份信息;对每个所述网络身份信息进行权限识别,得到权限认证结果。
在本发明中,所述当所述权限认证结果为通过验证时,对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据步骤,包括:对每个所述模拟训练请求进行请求类型分析,生成每个所述模拟训练请求对应的请求类型;基于每个所述模拟训练请求对应的请求类型进行资源数据类型匹配,生成每个所述模拟训练请求对应的资源数据类型;通过每个所述模拟训练请求对应的资源数据类型对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据。
在本发明中,所述通过资源调度策略对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务步骤,包括:对每个所述目标资源数据进行数据量分析,确定每个所述目标资源数据对应的数据量;基于每个所述目标资源数据对应的数据量进行任务参数构建,得到每个所述目标资源数据对应的任务参数集合;通过每个所述目标资源数据对应的任务参数集合对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务。
在本发明中,所述对每个所述待执行任务进行算法参数拼接,生成拼接算法参数步骤,包括:对每个所述待执行任务进行任务队列构建,得到目标任务队列;对所述目标任务队列进行任务优先级排序,生成对应的任务排序表;基于所述任务排序表对每个所述待执行任务进行算法参数提取,确定每个所述待执行任务对应的算法参数;对每个所述待执行任务对应的算法参数进行算法参数拼接,生成拼接算法参数。
在本发明中,所述对每个所述待执行任务对应的算法参数进行算法参数拼接,生成拼接算法参数步骤,包括:对每个所述待执行任务对应的算法参数进行数据遍历,得到每个所述待执行任务对应的参数数据特征集,其中,所述参数数据特征集包括源地址、目的地址、数据长度以及算法启动信息;通过单字读写算法对所述参数数据特征集进行算法参数拼接,生成拼接算法参数。
在本发明中,所述通过单字读写算法对所述参数数据特征集进行算法参数拼接,生成拼接算法参数步骤,包括:通过所述任务排序表对每个所述待执行任务进行参数寄存器设置,得到每个所述待执行任务对应的多个参数寄存器;基于多个所述参数寄存器,通过所述任务排序表对每个所述待执行任务对应的参数数据特征集进行算法参数拼接,生成拼接算法参数。
本发明还提供了一种基于虚拟化架构的模拟训练系统,包括:
接收模块,用于接收多个模拟训练口令,并根据多个模拟训练口令生成多个模拟训练请求;
认证模块,用于对多个所述模拟训练请求进行权限认证,得到权限认证结果;
验证模块,用于当所述权限认证结果为通过验证时,对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据;
生成模块,用于通过资源调度策略对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务;
拼接模块,用于对每个所述待执行任务进行算法参数拼接,生成拼接算法参数;
匹配模块,用于通过所述拼接算法参数对每个所述待执行任务进行算法资源匹配,得到每个所述待执行任务对应的算法资源;
调用模块,用于通过每个所述待执行任务对应的算法资源对每个所述待执行任务进行算法调用,生成对应的多个任务执行结果。
本发明提供的技术方案中,接收多个模拟训练口令,根据多个模拟训练口令生成多个模拟训练请求;对多个模拟训练请求进行权限认证,得到权限认证结果;通过验证时,对多个模拟训练请求进行资源匹配,得到多个目标资源数据;通过资源调度策略对每个目标资源数据进行任务生成,得到多个待执行任务;对每个待执行任务进行算法参数拼接,生成拼接算法参数;通过拼接算法参数对每个待执行任务进行算法资源匹配,得到每个待执行任务对应的算法资源;对每个待执行任务进行算法调用,生成对应的多个任务执行结果。在本发明中,通过接收模拟训练口令生成请求、权限认证、资源匹配、任务生成等一系列自动化步骤,减少了人工干预和手动操作,提高了系统的效率和准确性。对模拟训练请求进行权限认证可以确保只有经过授权的用户才能访问系统资源,增加了系统的安全性和数据保护。通过资源匹配和调度策略,系统可以根据任务需求和资源情况进行智能的资源分配和利用,最大程度地优化资源的利用效率,提高了系统的性能和可扩展性。根据每个目标资源数据的特性和需求,通过任务生成阶段可以针对性地生成适合资源数据的任务,提高了任务处理的准确性和效果。通过拼接算法参数和算法资源匹配,确保任务执行时所需的参数和资源得到正确匹配,保证了任务的顺利执行和准确性。系统可以同时处理多个待执行任务,提高了系统的并行处理能力,缩短了任务执行时间,最终提高了模拟训练时的准确率及效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于虚拟化架构的模拟训练方法的流程图。
图2为本发明实施例中对每个待执行任务进行算法参数拼接的流程图。
图3为本发明实施例中基于虚拟化架构的模拟训练系统的示意图。
附图标记:
301、接收模块;302、认证模块;303、验证模块;304、生成模块;305、拼接模块;306、匹配模块;307、调用模块。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,图1是本发明实施例的基于虚拟化架构的模拟训练方法的流程图,如图1所示,包括以下步骤:
S101、接收多个模拟训练口令,并根据多个模拟训练口令生成多个模拟训练请求;
S102、对多个模拟训练请求进行权限认证,得到权限认证结果;
S103、当权限认证结果为通过验证时,对多个模拟训练请求进行资源匹配,得到多个目标资源数据;
S104、通过资源调度策略对每个目标资源数据进行任务生成,得到对应的多个待执行任务;
S105、对每个待执行任务进行算法参数拼接,生成拼接算法参数;
S106、通过拼接算法参数对每个待执行任务进行算法资源匹配,得到每个待执行任务对应的算法资源;
S107、通过每个待执行任务对应的算法资源对每个待执行任务进行算法调用,生成对应的多个任务执行结果。
需要说明的是,训练初始过程中,管理员分发训练口令,学员依据训练口令发起训练申请,由认证服务对发起者进行人员身份、训练机身份及网络身份进行认证,当权限认证结果为通过验证时,对多个模拟训练请求进行资源匹配,得到多个目标资源数据,由虚拟化管理程序为其分配相应资源,其中,训练任务开始后,由管理员下发训练任务,虚拟化管理程序默认支持两种训练模式:单兵训练模式及协同作战模式。
虚拟化管理程序对每个参与训练的学员分配相同或不同的待执行任务,每个学员的操作互相独立。依据参与训练的学员数量,虚拟化管理程序创建相应数量的虚拟化服务任务,各个虚拟化服务任务之间相互独立,每个学员通过相应的虚拟化服务任务调用底层硬件资源,完成模拟训练任务。根据通信设备的特点,可以并行执行多个算法资源,虚拟化管理程序创建对应数量的算法资源处理入口。调度服务程序负责将各个学员对应的虚拟化服务任务请求均衡的分配到各个算法资源进行执行,同时完成各个学员训练操作行为及操作结果的分布式存储,评价服务程序可以实时对学员的训练任务及任务执行结果进行分析统计,将统计结果记录并反馈至管理员。
本发明实施例中,本发明提供的技术方案中,接收多个模拟训练口令,根据多个模拟训练口令生成多个模拟训练请求;对多个模拟训练请求进行权限认证,得到权限认证结果;通过验证时,对多个模拟训练请求进行资源匹配,得到多个目标资源数据;通过资源调度策略对每个目标资源数据进行任务生成,得到多个待执行任务;对每个待执行任务进行算法参数拼接,生成拼接算法参数;通过拼接算法参数对每个待执行任务进行算法资源匹配,得到每个待执行任务对应的算法资源;对每个待执行任务进行算法调用,生成对应的多个任务执行结果。在本发明中,通过接收模拟训练口令生成请求、权限认证、资源匹配、任务生成等一系列自动化步骤,减少了人工干预和手动操作,提高了系统的效率和准确性。对模拟训练请求进行权限认证可以确保只有经过授权的用户才能访问系统资源,增加了系统的安全性和数据保护。通过资源匹配和调度策略,系统可以根据任务需求和资源情况进行智能的资源分配和利用,最大程度地优化资源的利用效率,提高了系统的性能和可扩展性。根据每个目标资源数据的特性和需求,通过任务生成阶段可以针对性地生成适合资源数据的任务,提高了任务处理的准确性和效果。通过拼接算法参数和算法资源匹配,确保任务执行时所需的参数和资源得到正确匹配,保证了任务的顺利执行和准确性。系统可以同时处理多个待执行任务,提高了系统的并行处理能力,缩短了任务执行时间,最终提高了模拟训练时的准确率及效率。
在一具体实施例中,执行步骤S102的过程可以具体包括如下步骤:
(1)对多个模拟训练请求进行身份识别,确定多个网络身份信息;
(2)对每个网络身份信息进行权限识别,得到权限认证结果。
具体的,在虚拟化实训系统中,每个模拟训练请求可以包含用户提交的身份信息,如用户名、密码等。系统接收到这些请求后,首先对身份信息进行验证和识别,以确定多个网络身份信息。针对每个网络身份信息,虚拟化实训系统通过权限管理模块进行权限识别。权限管理模块根据用户的身份信息,查找相应的权限配置信息,判断该用户是否具有执行模拟训练的权限。如果权限识别结果为通过验证,则表示该用户具有执行模拟训练的权限,在本申请中,假设虚拟化实训系统中有两个模拟训练请求:请求A和请求B。请求A包含用户身份信息(用户名A,密码A),请求B包含用户身份信息(用户名B,密码B)。系统接收到请求A后,对用户名A和密码A进行验证,确认其为网络身份信息A。同样,系统接收到请求B后,对用户名B和密码B进行验证,确认其为网络身份信息B。针对身份信息A,虚拟化实训系统的权限管理模块查询相应的权限配置信息,并判断是否具有执行模拟训练的权限。如果权限验证结果为通过验证,表示身份信息A具有执行训练的权限。类似地,针对身份信息B进行权限识别,判断身份信息B是否具有执行训练的权限。
在一具体实施例中,执行步骤S103的过程可以具体包括如下步骤:
(1)对每个模拟训练请求进行请求类型分析,生成每个模拟训练请求对应的请求类型;
(2)基于每个模拟训练请求对应的请求类型进行资源数据类型匹配,生成每个模拟训练请求对应的资源数据类型;
(3)通过每个模拟训练请求对应的资源数据类型对多个模拟训练请求进行资源匹配,得到多个目标资源数据。
具体的,对每个模拟训练请求进行请求类型分析,通过解析请求中的相关信息或使用预定义的规则来确定请求类型。请求类型可以是训练任务的分类或标签,用于指示该请求所需的资源和训练策略。请求类型的确定可以基于请求中的特定字段、关键词或其他相关信息。假设虚拟化实训系统接收到两个模拟训练请求:请求A和请求B。请求A中包含了特定字段或关键词,可以被解析为请求类型“图像识别训练”。而请求B中的信息被解析为请求类型“自然语言处理训练”。
基于每个模拟训练请求对应的请求类型,资源管理模块可以进行资源数据类型的匹配。资源数据类型是指用于支持训练任务所需的特定数据类型,如图像数据、文本数据等。资源管理模块可以根据请求类型和资源数据类型的映射关系,为每个请求确定所需的资源数据类型。对于请求类型“图像识别训练”,资源管理模块可以确定所需的资源数据类型为图像数据。而对于请求类型“自然语言处理训练”,资源管理模块可以确定所需的资源数据类型为文本数据。通过每个模拟训练请求对应的资源数据类型,可以进行资源匹配。资源匹配是指将可用的目标资源数据与每个请求进行匹配,以满足请求所需的资源。资源管理模块可以根据资源数据类型和可用资源的特性,选择合适的目标资源数据并将其分配给相应的请求。对于请求A,由于其所需的资源数据类型为图像数据,资源管理模块可以从可用的目标资源中选择图像数据并分配给请求A。同样,对于请求B,由于其所需的资源数据类型为文本数据,资源管理模块可以选择合适的文本数据资源并分配给请求B。
在一具体实施例中,执行步骤S104的过程可以具体包括如下步骤:
(1)对每个目标资源数据进行数据量分析,确定每个目标资源数据对应的数据量;
(2)基于每个目标资源数据对应的数据量进行任务参数构建,得到每个目标资源数据对应的任务参数集合;
(3)通过每个目标资源数据对应的任务参数集合对每个目标资源数据进行任务生成,得到对应的多个待执行任务。
具体的,在资源匹配阶段,当虚拟化实训系统根据请求类型和资源数据类型匹配成功后,会获取到多个目标资源数据。针对每个目标资源数据,系统可以进行数据量分析。具体的数据量分析方法可以根据资源的类型和特性来确定。
例如,对于图像数据,通过分析图像的分辨率、色彩通道等信息来确定数据量。对于文本数据,通过统计字符数、词汇数量或文档大小等指标来确定数据量。根据数据量分析的结果,系统可以确定每个目标资源数据对应的数据量。数据量可以使用合适的单位,如字节数、像素数或其他相关的度量单位来表示。假设虚拟化实训系统匹配到两个目标资源数据:图像数据和文本数据。对于图像数据,系统可以分析图像的分辨率为1920x1080像素,色彩通道为3个通道(RGB)。根据这些信息,系统可以确定该图像数据的数据量为约6.2MB(1920 x 1080 x 3 字节)。对于文本数据,系统可以统计该文本数据的字符数为1000个字符。根据字符编码的不同,每个字符可能占用不同的字节数,例如UTF-8编码下,一个英文字母通常占用1个字节。根据这些信息,系统可以确定该文本数据的数据量为约1 KB。
进一步的,针对每个目标资源数据,根据其对应的数据量,进行任务参数的构建。任务参数可以包括与资源数据处理相关的参数,如图像处理算法的参数、文本处理算法的参数等。根据具体的场景和需求,任务参数可以有不同的形式和内容。基于每个目标资源数据对应的任务参数集合,进行任务生成。任务生成是根据任务参数集合创建具体的待执行任务实例。任务生成可以涉及任务调度、分配计算资源、设定执行优先级等操作。
在一具体实施例中,如图2所示,执行步骤S105的过程可以具体包括如下步骤:
S201、对每个待执行任务进行任务队列构建,得到目标任务队列;
S202、对目标任务队列进行任务优先级排序,生成对应的任务排序表;
S203、基于任务排序表对每个待执行任务进行算法参数提取,确定每个待执行任务对应的算法参数;
S204、对每个待执行任务对应的算法参数进行算法参数拼接,生成拼接算法参数。
在一具体实施例中,执行步骤S204的过程可以具体包括如下步骤:
(1)对每个待执行任务对应的算法参数进行数据遍历,得到每个待执行任务对应的参数数据特征集,其中,参数数据特征集包括源地址、目的地址、数据长度以及算法启动信息;
(2)通过单字读写算法对参数数据特征集进行算法参数拼接,生成拼接算法参数。
在一具体实施例中,执行通过单字读写算法对参数数据特征集进行算法参数拼接,生成拼接算法参数步骤的过程,包括如下步骤:
(1)通过任务排序表对每个待执行任务进行参数寄存器设置,得到每个待执行任务对应的多个参数寄存器;
(2)基于多个参数寄存器,通过任务排序表对每个待执行任务对应的参数数据特征集进行算法参数拼接,生成拼接算法参数。
需要说明的是,某一算法资源在同一时刻只能对一个任务进行处理,传统意义上针对多个任务同时对算法资源进行调度的策略为:创建任务队列,依据调度策略对任务进行排序,各个任务依次调用算法资源进行处理。每一个调度任务在调度算法进行数据处理之前,首先需要完成对算法的四个参数注入:待处理任务的源地址、目的地址、数据长度及算法启动信息,上述算法参数在软件底层均通过PCIE总线以单字读写方式写入到算法资源。算法参数注入完毕后,底层硬件算法资源以DMA方式按照参数约定地址及长度信息读取任务待处理数据,并将处理结果以DMA方式写入约定目的地址,从而完成一次任务的算法调用。多学员多任务频繁的算法调用需要频繁的进行算法参数注入,在PCIE总线传输理论中,单字节的参数写入相对于DMA方式数据传输效率非常低,尤其在算法待处理数据长度较小时,算法参数注入时间几乎占到单次任务算法调用总时间的50%左右,使得算法资源的利用效率降低。为了提高多学员对有限的算法资源的利用效率,在虚拟化管理程序中设计了高效的传输服务协议。各个学员通过对应虚拟化服务启动算法资源调度任务后,虚拟化管理程序对各个任务进行分析、拼接预处理,首先按照调度算法对各个任务进行存储,之后进行参数拼接,在每一个任务的待处理数据存储空间末尾设置四个寄存器,用于存储下一个任务的算法参数。经过算法参数拼接处理后,针对有限算法资源,对于多任务高并发算法调度场景,只需要首次算法调度时需要进行算法参数注入,通信设备即可获取下一次任务的算法参数,从而在当前任务完成后立即启动下一任务数据传输处理服务,而不需要上层软件进行干预,硬件资源即可按照预定顺序以DMA方式对算法任务进行处理,提高了通信设备的数据传输处理效率。
本发明实施例还提供了一种基于虚拟化架构的模拟训练系统,如图3所示,该基于虚拟化架构的模拟训练系统具体包括:
接收模块301,用于接收多个模拟训练口令,并根据多个模拟训练口令生成多个模拟训练请求;
认证模块302,用于对多个所述模拟训练请求进行权限认证,得到权限认证结果;
验证模块303,用于当所述权限认证结果为通过验证时,对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据;
生成模块304,用于通过资源调度策略对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务;
拼接模块305,用于对每个所述待执行任务进行算法参数拼接,生成拼接算法参数;
匹配模块306,用于通过所述拼接算法参数对每个所述待执行任务进行算法资源匹配,得到每个所述待执行任务对应的算法资源;
调用模块307,用于通过每个所述待执行任务对应的算法资源对每个所述待执行任务进行算法调用,生成对应的多个任务执行结果。
通过上述各个模块的协同合作,本发明提供的技术方案中,接收多个模拟训练口令,根据多个模拟训练口令生成多个模拟训练请求;对多个模拟训练请求进行权限认证,得到权限认证结果;通过验证时,对多个模拟训练请求进行资源匹配,得到多个目标资源数据;通过资源调度策略对每个目标资源数据进行任务生成,得到多个待执行任务;对每个待执行任务进行算法参数拼接,生成拼接算法参数;通过拼接算法参数对每个待执行任务进行算法资源匹配,得到每个待执行任务对应的算法资源;对每个待执行任务进行算法调用,生成对应的多个任务执行结果。在本发明中,通过接收模拟训练口令生成请求、权限认证、资源匹配、任务生成等一系列自动化步骤,减少了人工干预和手动操作,提高了系统的效率和准确性。对模拟训练请求进行权限认证可以确保只有经过授权的用户才能访问系统资源,增加了系统的安全性和数据保护。通过资源匹配和调度策略,系统可以根据任务需求和资源情况进行智能的资源分配和利用,最大程度地优化资源的利用效率,提高了系统的性能和可扩展性。根据每个目标资源数据的特性和需求,通过任务生成阶段可以针对性地生成适合资源数据的任务,提高了任务处理的准确性和效果。通过拼接算法参数和算法资源匹配,确保任务执行时所需的参数和资源得到正确匹配,保证了任务的顺利执行和准确性。系统可以同时处理多个待执行任务,提高了系统的并行处理能力,缩短了任务执行时间,最终提高了模拟训练时的准确率及效率。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种基于虚拟化架构的模拟训练方法,其特征在于,方法包括:
接收多个模拟训练口令,并根据多个模拟训练口令生成多个模拟训练请求;
对多个所述模拟训练请求进行权限认证,得到权限认证结果;
当所述权限认证结果为通过验证时,对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据;
通过资源调度策略对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务;
对每个所述待执行任务进行算法参数拼接,生成拼接算法参数;
通过所述拼接算法参数对每个所述待执行任务进行算法资源匹配,得到每个所述待执行任务对应的算法资源;
通过每个所述待执行任务对应的算法资源对每个所述待执行任务进行算法调用,生成对应的多个任务执行结果。
2.根据权利要求1所述的基于虚拟化架构的模拟训练方法,其特征在于,所述对多个所述模拟训练请求进行权限认证,得到权限认证结果步骤,包括:
对多个所述模拟训练请求进行身份识别,确定多个网络身份信息;
对每个所述网络身份信息进行权限识别,得到权限认证结果。
3.根据权利要求1所述的基于虚拟化架构的模拟训练方法,其特征在于,所述当所述权限认证结果为通过验证时,对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据步骤,包括:
对每个所述模拟训练请求进行请求类型分析,生成每个所述模拟训练请求对应的请求类型;
基于每个所述模拟训练请求对应的请求类型进行资源数据类型匹配,生成每个所述模拟训练请求对应的资源数据类型;
通过每个所述模拟训练请求对应的资源数据类型对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据。
4.根据权利要求1所述的基于虚拟化架构的模拟训练方法,其特征在于,所述通过资源调度策略对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务步骤,包括:
对每个所述目标资源数据进行数据量分析,确定每个所述目标资源数据对应的数据量;
基于每个所述目标资源数据对应的数据量进行任务参数构建,得到每个所述目标资源数据对应的任务参数集合;
通过每个所述目标资源数据对应的任务参数集合对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务。
5.根据权利要求1所述的基于虚拟化架构的模拟训练方法,其特征在于,所述对每个所述待执行任务进行算法参数拼接,生成拼接算法参数步骤,包括:
对每个所述待执行任务进行任务队列构建,得到目标任务队列;
对所述目标任务队列进行任务优先级排序,生成对应的任务排序表;
基于所述任务排序表对每个所述待执行任务进行算法参数提取,确定每个所述待执行任务对应的算法参数;
对每个所述待执行任务对应的算法参数进行算法参数拼接,生成拼接算法参数。
6.根据权利要求5所述的基于虚拟化架构的模拟训练方法,其特征在于,所述对每个所述待执行任务对应的算法参数进行算法参数拼接,生成拼接算法参数步骤,包括:
对每个所述待执行任务对应的算法参数进行数据遍历,得到每个所述待执行任务对应的参数数据特征集,其中,所述参数数据特征集包括源地址、目的地址、数据长度以及算法启动信息;
通过单字读写算法对所述参数数据特征集进行算法参数拼接,生成拼接算法参数。
7.根据权利要求6所述的基于虚拟化架构的模拟训练方法,其特征在于,所述通过单字读写算法对所述参数数据特征集进行算法参数拼接,生成拼接算法参数步骤,包括:
通过所述任务排序表对每个所述待执行任务进行参数寄存器设置,得到每个所述待执行任务对应的多个参数寄存器;
基于多个所述参数寄存器,通过所述任务排序表对每个所述待执行任务对应的参数数据特征集进行算法参数拼接,生成拼接算法参数。
8.一种基于虚拟化架构的模拟训练系统,用以执行如权利要求1至7任一项所述的基于虚拟化架构的模拟训练方法,其特征在于,包括:
接收模块,用于接收多个模拟训练口令,并根据多个模拟训练口令生成多个模拟训练请求;
认证模块,用于对多个所述模拟训练请求进行权限认证,得到权限认证结果;
验证模块,用于当所述权限认证结果为通过验证时,对多个所述模拟训练请求进行资源匹配,得到多个目标资源数据;
生成模块,用于通过资源调度策略对每个所述目标资源数据进行任务生成,得到对应的多个待执行任务;
拼接模块,用于对每个所述待执行任务进行算法参数拼接,生成拼接算法参数;
匹配模块,用于通过所述拼接算法参数对每个所述待执行任务进行算法资源匹配,得到每个所述待执行任务对应的算法资源;
调用模块,用于通过每个所述待执行任务对应的算法资源对每个所述待执行任务进行算法调用,生成对应的多个任务执行结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310854214.4A CN116578405B (zh) | 2023-07-13 | 2023-07-13 | 基于虚拟化架构的模拟训练方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310854214.4A CN116578405B (zh) | 2023-07-13 | 2023-07-13 | 基于虚拟化架构的模拟训练方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116578405A true CN116578405A (zh) | 2023-08-11 |
CN116578405B CN116578405B (zh) | 2023-09-08 |
Family
ID=87534492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310854214.4A Active CN116578405B (zh) | 2023-07-13 | 2023-07-13 | 基于虚拟化架构的模拟训练方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116578405B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140083472A (ko) * | 2012-12-26 | 2014-07-04 | 한국항공우주산업 주식회사 | 모의 훈련 장비 및 이를 이용한 항공기 정비 교육 방법 |
CN112506588A (zh) * | 2020-12-07 | 2021-03-16 | 中国平安人寿保险股份有限公司 | 保险业务的数据处理方法、装置、电子设备及存储介质 |
CN112965803A (zh) * | 2021-03-22 | 2021-06-15 | 共达地创新技术(深圳)有限公司 | Ai模型生成方法及电子设备 |
CN113760513A (zh) * | 2021-09-16 | 2021-12-07 | 康键信息技术(深圳)有限公司 | 一种分布式任务调度方法、装置、设备和介质 |
CN114723455A (zh) * | 2022-03-30 | 2022-07-08 | 中国建设银行股份有限公司 | 业务处理方法、装置、电子设备和存储介质 |
CN116185617A (zh) * | 2023-01-19 | 2023-05-30 | 支付宝(杭州)信息技术有限公司 | 任务处理方法及装置 |
-
2023
- 2023-07-13 CN CN202310854214.4A patent/CN116578405B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140083472A (ko) * | 2012-12-26 | 2014-07-04 | 한국항공우주산업 주식회사 | 모의 훈련 장비 및 이를 이용한 항공기 정비 교육 방법 |
CN112506588A (zh) * | 2020-12-07 | 2021-03-16 | 中国平安人寿保险股份有限公司 | 保险业务的数据处理方法、装置、电子设备及存储介质 |
CN112965803A (zh) * | 2021-03-22 | 2021-06-15 | 共达地创新技术(深圳)有限公司 | Ai模型生成方法及电子设备 |
CN113760513A (zh) * | 2021-09-16 | 2021-12-07 | 康键信息技术(深圳)有限公司 | 一种分布式任务调度方法、装置、设备和介质 |
CN114723455A (zh) * | 2022-03-30 | 2022-07-08 | 中国建设银行股份有限公司 | 业务处理方法、装置、电子设备和存储介质 |
CN116185617A (zh) * | 2023-01-19 | 2023-05-30 | 支付宝(杭州)信息技术有限公司 | 任务处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116578405B (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766148B (zh) | 一种异构集群及任务处理方法和装置 | |
CN110427775B (zh) | 数据查询权限控制方法及装置 | |
CN110221901A (zh) | 容器资源创建方法、装置、设备及计算机可读存储介质 | |
CN110138767B (zh) | 事务请求的处理方法、装置、设备和存储介质 | |
US10761822B1 (en) | Synchronization of computation engines with non-blocking instructions | |
CN110413595A (zh) | 一种应用于分布式数据库的数据迁移方法和相关装置 | |
US11175919B1 (en) | Synchronization of concurrent computation engines | |
US20210158131A1 (en) | Hierarchical partitioning of operators | |
CN109542757A (zh) | 接口测试环境确定方法、装置、电子设备及存储介质 | |
CN109558146A (zh) | 应用程序发布方法、装置和存储介质 | |
US11275661B1 (en) | Test generation of a distributed system | |
CN112150030A (zh) | 基于多单位多身份的账号管理方法、终端设备及存储介质 | |
CN110213250B (zh) | 数据处理方法及终端设备 | |
CN116578405B (zh) | 基于虚拟化架构的模拟训练方法及系统 | |
CN112181485A (zh) | 脚本执行方法、装置、电子设备及存储介质 | |
CN115186305B (zh) | 一种构建数据元件模型并生产数据元件的方法 | |
CN110113443B (zh) | 社交角色管理方法、计算机设备及存储介质 | |
US10922146B1 (en) | Synchronization of concurrent computation engines | |
CN115167785B (zh) | 基于标签的网盘文件管理方法、装置、网盘及存储介质 | |
CN113467823B (zh) | 一种配置信息的获取方法、装置、系统及存储介质 | |
CN114443290A (zh) | 资源数据处理方法、装置、存储介质及电子设备 | |
CN114816719A (zh) | 多任务模型的训练方法及装置 | |
CN114721952A (zh) | 多套测试环境同步部署方法、装置、设备及存储介质 | |
CN113934421A (zh) | 应用程序的页面路径写入方法、装置、设备及存储介质 | |
CN111026371B (zh) | 一种游戏开发方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |