CN116594708A - 多模型加载配置文件的生成方法、装置、设备及介质 - Google Patents
多模型加载配置文件的生成方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116594708A CN116594708A CN202310551768.7A CN202310551768A CN116594708A CN 116594708 A CN116594708 A CN 116594708A CN 202310551768 A CN202310551768 A CN 202310551768A CN 116594708 A CN116594708 A CN 116594708A
- Authority
- CN
- China
- Prior art keywords
- model
- loading sequence
- loading
- model loading
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 11
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44568—Immediately runnable code
- G06F9/44578—Preparing or optimising for loading
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种多模型加载配置文件的生成方法、装置、设备及介质。其中，该方法包括：获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；将总耗时最短的模型加载顺序作为目标模型加载顺序；根据所述目标模型加载顺序生成配置文件。本技术方案，可以高效生成多模型加载配置文件，减少大量人力和实际成本。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种多模型加载配置文件的生成方法、装置、设备及介质。
背景技术
鉴于人工智能算法模型应用于产品或者项目过程中，往往使用多算法模型来实现产品或者项目的需求，算法模型的加载、运行也是各算法模块独立进行设计和实现，业务工程实现过程中多算法模型的加载、运行缺乏整体工程设计和优化。
所有的算法模块首次从加载模型到输出结果，需要的是时间是各算法模块各阶段执行时间之和。例如，一个感知系统从上电到输出结果的时间长，没有进行加载模型顺序编排，这样的系统由于首次运行时间长导致也在这个系统方案中也不适合动态冷启动来减少系统功耗。
目前，通常采用的方法是人工编排加载和顺序来减少总时间，但人工编排模型加载顺序理论加载耗时不是最优并且和实际总体运行耗时存在较大差异，以及手动编排模型加载顺序需要耗费大量人力和时间成本。
发明内容
本发明提供了一种多模型加载配置文件的生成方法、装置、设备及介质，可以高效生成多模型加载配置文件，减少大量人力和实际成本。
根据本发明的一方面，提供了一种多模型加载配置文件的生成方法，包括：
获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；
将总耗时最短的模型加载顺序作为目标模型加载顺序；
根据所述目标模型加载顺序生成配置文件。
可选的，在获取模型加载顺序列表之前，还包括：
根据多个模型的依赖关系确定出固定模型位置以及动态模型位置；
通过所述固定模型位置以及动态模型位置确定出模型加载顺序列表。
可选的，获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时，包括：
依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得各模型加载顺序的总耗时。
可选的，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，包括：
依次从所述模型加载顺序列表中选取模型加载顺序，并采用加载和运行并行的方式处理选取的模型加载顺序。
可选的，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得模型加载顺序列表中各模型加载顺序的总耗时，包括：
获取所述选取模型加载顺序从开始加载到运行完成所需的时长，将所述时长确定为所述模型加载顺序的总耗时。
可选的，将总耗时最短的模型加载顺序作为目标模型加载顺序，包括：
各模型加载顺序的总耗时进行降序排序或者升序排序；
将排序最前或者排序最后的模型加载顺序作为目标模型加载顺序。
根据本发明的另一方面，提供了一种多模型加载配置文件的生成系统，包括：计算机、第一控制器核、第二控制器核、存储器、模型加速单元及内存；
所述计算机用于生成模型加载顺序列表，并依次从所述模型加载顺序列表中选取模型加载顺序，并将选取的模型加载顺序发送至所述第一控制器核；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
所述第一控制器核用于将接收到的模型加载顺序发送至所述第二控制器核；
所述第二控制器核用于根据所述模型加载顺序从所述存储器中依次加载各模型到内存中，并记录各模型的加载时长以及将所述加载时长和内存地址发送至所述第一控制器核；
所述第一控制器核还用于根据所述内存地址和所述模型加载顺序控制所述模型加速单元以运行各模型，并记录各模型的运行时长；将各模型的所述运行时长和所述加载时长发送至所述计算机；
所述计算机还用于根据所述加载时长和所述运动时长确定模型加载顺序对应的总耗时，并将总耗时最短的模型加载顺序作为目标模型加载顺序，以根据所述目标模型加载顺序生成配置文件。
根据本发明的另一方面，提供了一种多模型加载配置文件的生成装置，包括：
模型加载顺序列表获取模块，用于获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
总耗时获取模块，用于获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；
目标模型加载顺序确定模块，用于将总耗时最短的模型加载顺序作为目标模型加载顺序；
配置文件生成模块，用于根据所述目标模型加载顺序生成配置文件。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的多模型加载配置文件的生成方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的多模型加载配置文件的生成方法。
本发明实施例的技术方案，通过获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；将总耗时最短的模型加载顺序作为目标模型加载顺序；根据所述目标模型加载顺序生成配置文件。本技术方案，可以高效生成多模型加载配置文件，减少大量人力和实际成本。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种多模型加载配置文件的生成方法的流程图；
图2是根据本发明实施例二提供的一种多模型加载配置文件的生成系统的结构示意图；
图3是根据本发明实施例三提供的一种多模型加载配置文件的生成装置的结构示意图；
图4是根据本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种多模型加载配置文件的生成方法的流程图，本实施例可适用于对多模型的加载顺序文件进行生成的情况，该方法可以由一种多模型加载配置文件的生成装置来执行，该一种多模型加载配置文件的生成装置可以采用硬件和/或软件的形式实现，该一种多模型加载配置文件的生成装置可配置于具有数据处理能力的电子设备中。如图1所示，该方法包括：
S110、获取模型加载顺序列表。
其中，所述模型加载顺序列表可以包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序。本实施例的模型加载顺序可以理解为多个算法模型加载的加载顺序，该算法模型可以是任一算法模型，本实施例对此不作限定。本实施例中的模型加载顺序可以至少为三个模型的加载顺序，示例性的，模型加载顺序至少包括算法模型1、算法模型2以及算法模型3的加载排列顺序。模型加载顺序列表可以包括多个算法模型的包括的所有可能的多种模型加载顺序。本实施例中可以获取模型加载顺序列表。
在本实施例中，可选的，在获取模型加载顺序列表之前，还包括：根据多个模型的依赖关系确定出固定模型位置以及动态模型位置；通过所述固定模型位置以及动态模型位置确定出模型加载顺序列表。
其中，多个模型可以理解为至少三个或者三个以上的模型。依赖关系可以理解为多个模型之间的运行依赖关系。固定模型位置可以是根据实际需求进行预先设置的。示例性的，某个多算法模型中，包括有识别功能的算法模型、检测功能的算法模型以及分割功能的算法模型和其他功能的算法模型等。若根据实际业务需求需要先识别后检测，那么此时识别功能的算法模型就固定在检测功能的算法模型前面。动态模型位置就可以理解为其算法模型的位置是可以动态变化的。模型加载顺序列表可以是根据业务场景设定好的固定模型位置以及其他的动态模型位置，枚举出所有可能的模型加载顺序列表。
示例性的，由于某些业务场景设定的模型加载有关联关系，因此，这些模型有顺序依赖，其模型位置是固定不动的。那么根据动态可调整的模型位置就可能会出现种组合，其中，m可以是总模型数，n是可以是可变动顺序的动态模型位置。
具体的，本实施例中通过固定模型位置以及动态模型位置确定出模型加载顺序列表的方式还可以是通过固定模型位置以及动态模型位置直接通过算法程序直接枚举得到所有可能的模型加载顺序列表，或者其他方式得到所有可能的模型加载列表(load_order_lists)。
本实施例中可以根据多个模型的依赖关系确定出固定模型位置以及动态模型位置，根据不能调整位置的固定模型位置以及可调整位置的动态模型位置确定出所有可能组合的模型加载顺序，形成模型加载顺序列表。本实施例中通过这样的设置，可以枚举出所有的可能的模型加载列表，更加全面。
S120、获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时。
其中，加载运行可以理解为各个模型进行加载操作和各个模型进行运行操作。总耗时可以理解为模型加载顺序列表中任一种模型加载排列方式中各个模型的加载运行的耗费时长的总和。本实施例中可以获取模型加载顺序列表中各个模型加载顺序加载运行的耗费的总时长。
在本实施例中，可选的，获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时，包括：依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得各模型加载顺序的总耗时。
其中，模型加载顺序可以是模型加载顺序列表中的任意一种模型加载顺序。各模型加载顺序的总耗时可以理解为从开始加载到运行结束的总耗费的时长。本实施例中计算机可以依次从枚举出来的所有可能的模型加载顺序列表中选取一种模型加载顺序进行各个模型的加载和各个模型的运行，以获取各个模型加载顺序的总耗时。
示例性的，计算机从枚举出的所有可能种的模型加载顺序列表(load_order_lists)中依次从头取出一个待评估的模型加载顺序列表(load_order_list)进行各个模型的加载和各个模型的运行，以得到各个模型加载顺序的总耗时。本实施例中通过这样的设置，可以确定出各模型加载顺序的总耗时，便于基于总耗时评估出加载顺序效果较好的模型加载顺序，更加便捷高效。
在本实施例中，可选的，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，包括：依次从所述模型加载顺序列表中选取模型加载顺序，并采用加载和运行并行的方式处理选取的模型加载顺序。
其中，加载和运行并行的方式可以理解为模型加载和模型运行可以采用两路并行的方式同时进行处理模型加载顺序。示例性的，一种多模型的模型加载顺序列表为模型1、模型2以及模型3；若模型1完成了模型加载处理，该进行模型运行处理操作；此时，模型2就可以同步进行模型加载的处理操作。选取模型加载顺序可以理解为从模型加载顺序列表中依次选取一种模型加载顺序。
本实施例中可以依次从模型加载顺序列表中选取一种模型加载顺序，并采用模型加载和模型运行并行的方式处理选取的任意一种的模型加载顺序。本实施例中通过采用加载和运行并行的方式处理选取的模型加载顺序，更能提高模型加载和运行的效率，节省大量的成本和时间。
在本实施例中，可选的，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得模型加载顺序列表中各模型加载顺序的总耗时，包括：获取所述选取模型加载顺序从开始加载到运行完成所需的时长，将所述时长确定为所述模型加载顺序的总耗时。
本实施例中可以获取选取模型加载顺序开始加载的时间可以通过在获取到选取模型加载顺序时，就记录下选取时对应的时间戳；以及当选取模型加载顺序中的各个模型都运行完成时，记录下运行完成时对应的时间戳。
具体的，本实施例中可以通过记录下开始获取到一种待评估的模型加载顺序的第一时间戳，可以第一该时间戳确定为开始时间；然后在各个模型进行开始加载和运行完成后，记录下第二时间戳，可以将第二时间戳确定为结束时间，可以根据结束时间与开始时间之差就可以确定出选取模型加载顺序从开始加载到运行完成所需的时长，即确定出各个模型加载顺序的总耗时。
本实施例中获取选取模型加载顺序从开始加载到运行完成所需要的时长确定为模型加载顺序的总耗时。本实施例中通过这样的设置，可以确定出所有可能的模型加载顺序列表中的各个模型加载顺序的总耗时，便于根据实际需求灵活选取模型加载顺序。
S130、将总耗时最短的模型加载顺序作为目标模型加载顺序。
其中，目标模型加载顺序可以理解为最终选取的符合要求的模型加载顺序。本实施例中可以将总耗时最短的模型加载顺序作为目标模型加载顺序，能够减少多模型加载时的耗时，进一步提高多模型的加载效率。
在本实施例中，可选的，将总耗时最短的模型加载顺序作为目标模型加载顺序，包括：各模型加载顺序的总耗时进行降序排序或者升序排序；将排序最前或者排序最后的模型加载顺序作为目标模型加载顺序。
其中，降序排序可以理解为按照从大到小的顺序进行排序；升序排序可以理解为按照从小到大的顺序进行排序。本实施例中可以案子各个模型加载顺序的总耗时进行降序排序或者升序排序，将排序最前或者排序最后的模型加载顺序作为目标模型加载顺序。本实施例中通过这样的设置，可以更快速的确定出总耗时最短的模型加载顺序，更加方便快捷。
S140、根据所述目标模型加载顺序生成配置文件。
其中，配置文件可以理解为模型加载顺序列表的配置文件；配置文件可以根据目标加载顺序生成的。本实施例中可以根据目标模型加载顺序生成对应的配置文件。
本发明实施例的技术方案，通过获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；将总耗时最短的模型加载顺序作为目标模型加载顺序；根据所述目标模型加载顺序生成配置文件。本技术方案，可以高效生成多模型加载配置文件，减少大量人力和实际成本。
实施例二
图2是根据本发明实施例二提供的一种多模型加载配置文件的生成系统的结构示意图。参考图2，多模型加载配置文件的生成系统，包括：计算机210、第一控制器核220、第二控制器核230、存储器240、模型加速单元250及内存260；
所述计算机210用于生成模型加载顺序列表，并依次从所述模型加载顺序列表中选取模型加载顺序，并将选取的模型加载顺序发送至所述第一控制器核。
其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序。本实施例中的计算机可以用于生成不同的加载和运行模型的顺序列表，也就是生成的模型加载顺序列表发送给第一控制器核，并可以从第一控制核中获取各模型加载时间和模型运行时间，最后根据这些时间确定出模型加载顺序的总耗时，生成模型加载顺序配置文件。本实施例中的计算机可以通过Socket通信将选取的模型加载顺序发送给第一控制器核。
所述第一控制器核220用于将接收到的模型加载顺序发送至所述第二控制器核230。
第一控制器核220可以分别与第二控制器核230以及模型加速单元250进行交互。具体的，本实施例中的第一控制器核220可以与第二控制器核230进行交互获取各个加载的算法模型的内存地址，以及和模型加速单元250交互控制不同算法模型的推理预测。其中，第一控制器核和第二控制器核可以通过核间通信的方式进行交互。
所述第二控制器核230用于根据所述模型加载顺序从所述存储器240中依次加载各模型到内存260中，并记录各模型的加载时长以及将所述加载时长和内存地址发送至所述第一控制器核220。
本实施例中的第二控制器核230可以用于加载算法模型。此外，本实施例中的第一控制器核220和第二控制器核230可以各自独立运行自己的操作系统，即可以组成的是移动页面加速(Accelerated Mobile Pages，AMP)系统。本实施例中的存储器240可以用于储存算法模型的权重参数等信息。内存260可以用于数据存储，具体可以存储第一控制器核220、第二控制器核230以及模型加速单元250在计算过程中的数据。
所述第一控制器核220还用于根据所述内存地址和所述模型加载顺序控制所述模型加速单元250以运行各模型，并记录各模型的运行时长；将各模型的所述运行时长和所述加载时长发送至所述计算机210。
本实施例中的模型加载单元250可以用于对算法模型进行加速计算。
所述计算机210还用于根据所述加载时长和所述运动时长确定模型加载顺序对应的总耗时，并将总耗时最短的模型加载顺序作为目标模型加载顺序，以根据所述目标模型加载顺序生成配置文件。
本实施例的多模型加载配置文件的生成系统可以完成多模型加载配置文件的生成方法，根据该系统进行评估得到的目标模型加载顺序效果更好，而且评估出的总体耗时和实际耗时几乎没有差异，能够高效生成多模型的加载顺序列表，减少大量人力和实际成本。
实施例三
图3是根据本发明实施例三提供的一种多模型加载配置文件的生成装置的结构示意图。如图3所示，该装置包括：
模型加载顺序列表获取模块310，用于获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
总耗时获取模块320，用于获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；
目标模型加载顺序确定模块330，用于将总耗时最短的模型加载顺序作为目标模型加载顺序；
配置文件生成模块340，用于根据所述目标模型加载顺序生成配置文件。
可选的，所述装置还包括：模型加载顺序列表确定模块，用于在获取模型加载顺序列表之前，根据多个模型的依赖关系确定出固定模型位置以及动态模型位置；
通过所述固定模型位置以及动态模型位置确定出模型加载顺序列表。
可选的，总耗时获取模块320，包括：
加载和运行单元，用于依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得各模型加载顺序的总耗时。
可选的，加载和运行单元，具体用于：
依次从所述模型加载顺序列表中选取模型加载顺序，并采用加载和运行并行的方式处理选取的模型加载顺序。
可选的，总耗时获取模块320，具体用于：
获取所述选取模型加载顺序从开始加载到运行完成所需的时长，将所述时长确定为所述模型加载顺序的总耗时。
可选的，目标模型加载顺序确定模块330，具体用于：
各模型加载顺序的总耗时进行降序排序或者升序排序；
将排序最前或者排序最后的模型加载顺序作为目标模型加载顺序。
本发明实施例所提供的一种多模型加载配置文件的生成装置可执行本发明任意实施例所提供的一种多模型加载配置文件的生成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是根据本发明实施例四提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如多模型加载配置文件的生成方法。
在一些实施例中，多模型加载配置文件的生成方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的多模型加载配置文件的生成方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行多模型加载配置文件的生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种多模型加载配置文件的生成方法，其特征在于，包括：
获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；
将总耗时最短的模型加载顺序作为目标模型加载顺序；
根据所述目标模型加载顺序生成配置文件。
2.根据权利要求1所述的方法，其特征在于，在获取模型加载顺序列表之前，还包括：
根据多个模型的依赖关系确定出固定模型位置以及动态模型位置；
通过所述固定模型位置以及动态模型位置确定出模型加载顺序列表。
3.根据权利要求1所述的方法，其特征在于，获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时，包括：
依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得各模型加载顺序的总耗时。
4.根据权利要求3所述的方法，其特征在于，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，包括：
依次从所述模型加载顺序列表中选取模型加载顺序，并采用加载和运行并行的方式处理选取的模型加载顺序。
5.根据权利要求3所述的方法，其特征在于，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得模型加载顺序列表中各模型加载顺序的总耗时，包括：
获取所述选取模型加载顺序从开始加载到运行完成所需的时长，将所述时长确定为所述模型加载顺序的总耗时。
6.根据权利要求1所述的方法，其特征在于，将总耗时最短的模型加载顺序作为目标模型加载顺序，包括：
各模型加载顺序的总耗时进行降序排序或者升序排序；
将排序最前或者排序最后的模型加载顺序作为目标模型加载顺序。
7.一种多模型加载配置文件的生成系统，其特征在于，包括：计算机、第一控制器核、第二控制器核、存储器、模型加速单元及内存；
所述计算机用于生成模型加载顺序列表，并依次从所述模型加载顺序列表中选取模型加载顺序，并将选取的模型加载顺序发送至所述第一控制器核；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
所述第一控制器核用于将接收到的模型加载顺序发送至所述第二控制器核；
所述第二控制器核用于根据所述模型加载顺序从所述存储器中依次加载各模型到内存中，并记录各模型的加载时长以及将所述加载时长和内存地址发送至所述第一控制器核；
所述第一控制器核还用于根据所述内存地址和所述模型加载顺序控制所述模型加速单元以运行各模型，并记录各模型的运行时长；将各模型的所述运行时长和所述加载时长发送至所述计算机；
所述计算机还用于根据所述加载时长和所述运动时长确定模型加载顺序对应的总耗时，并将总耗时最短的模型加载顺序作为目标模型加载顺序，以根据所述目标模型加载顺序生成配置文件。
8.一种多模型加载配置文件的生成装置，其特征在于，包括：
模型加载顺序列表获取模块，用于获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
总耗时获取模块，用于获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；
目标模型加载顺序确定模块，用于将总耗时最短的模型加载顺序作为目标模型加载顺序；
配置文件生成模块，用于根据所述目标模型加载顺序生成配置文件。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的多模型加载配置文件的生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的多模型加载配置文件的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310551768.7A CN116594708A (zh) | 2023-05-16 | 2023-05-16 | 多模型加载配置文件的生成方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310551768.7A CN116594708A (zh) | 2023-05-16 | 2023-05-16 | 多模型加载配置文件的生成方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116594708A true CN116594708A (zh) | 2023-08-15 |
Family
ID=87607550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310551768.7A Pending CN116594708A (zh) | 2023-05-16 | 2023-05-16 | 多模型加载配置文件的生成方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116594708A (zh) |
-
2023
- 2023-05-16 CN CN202310551768.7A patent/CN116594708A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115373861B (zh) | Gpu资源调度方法、装置、电子设备及存储介质 | |
| CN113360266B (zh) | 任务处理方法和装置 | |
| CN112560936B (zh) | 模型并行训练方法、装置、设备、存储介质和程序产品 | |
| CN117632431A (zh) | 云计算任务的调度方法、装置、设备及存储介质 | |
| CN117273069A (zh) | 一种基于神经网络模型的推理方法、装置、设备及介质 | |
| CN112306452A (zh) | 归并排序算法处理业务数据的方法、装置及系统 | |
| CN116594563A (zh) | 分布式存储扩容方法、装置、电子设备和存储介质 | |
| CN116126719A (zh) | 接口测试方法、装置、电子设备及存储介质 | |
| CN114564149B (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| CN113010571B (zh) | 数据检测方法、装置、电子设备、存储介质和程序产品 | |
| CN115774602A (zh) | 一种容器资源的分配方法、装置、设备及存储介质 | |
| CN115438007A (zh) | 一种文件合并方法、装置、电子设备及介质 | |
| CN116594708A (zh) | 多模型加载配置文件的生成方法、装置、设备及介质 | |
| CN114862223A (zh) | 一种机器人调度方法、装置、设备及存储介质 | |
| CN113377295A (zh) | 多生产者单消费者的数据存储和读取方法、装置、设备 | |
| CN115640112B (zh) | 一种基于标签的资源调度方法、装置、设备及介质 | |
| CN118567870B (zh) | 批量数据处理方法、装置、设备及存储介质 | |
| CN116244324B (zh) | 任务数据关系挖掘方法、装置、电子设备及存储介质 | |
| CN116610453A (zh) | 一种任务分配方法、装置、电子设备及存储介质 | |
| CN116627853A (zh) | 存储空间回收方法、模型的训练方法、装置、设备及介质 | |
| CN118247617A (zh) | 基于多模态大模型的信息处理方法、装置、设备及介质 | |
| CN116954922A (zh) | 一种分布式存储方法、装置、设备和介质 | |
| CN118350631A (zh) | 一种设备风险识别方法、装置、电子设备及存储介质 | |
| CN116841549A (zh) | 图层处理方法、装置、电子设备及存储介质 | |
| CN116801001A (zh) | 视频流的处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |