CN111582478A - 用于确定模型结构的方法和装置 - Google Patents
用于确定模型结构的方法和装置 Download PDFInfo
- Publication number
- CN111582478A CN111582478A CN202010387248.3A CN202010387248A CN111582478A CN 111582478 A CN111582478 A CN 111582478A CN 202010387248 A CN202010387248 A CN 202010387248A CN 111582478 A CN111582478 A CN 111582478A
- Authority
- CN
- China
- Prior art keywords
- determining
- model structure
- search space
- candidate
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本申请公开了用于确定模型结构的方法和装置,涉及计算机视觉技术领域。具体实施方式包括:获取训练相关脚本,该训练相关脚本包括用于训练模型的脚本;确定包含多个候选模型结构的搜索空间;将该训练相关脚本确定为第一组件,并调用该第一组件,在该搜索空间中搜索一个候选模型结构作为目标模型结构。本申请可以对训练相关脚本进行组件化,从而在不修改训练相关脚本的情况下,实现自动化搜索模型结构,避免了在训练相关脚本中硬编码搜索脚本带来的高耦合度,同时提高了搜索模型结构的灵活性。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及计算机视觉技术领域,尤其涉及用于确定模型结构的方法和装置。
背景技术
深度学习技术在很多方向上都取得了巨大的成功,在深度学习技术中,神经网络结构的好坏对模型的效果有非常重要的影响。手工设计神经网络的拓扑结构需要非常丰富的经验和诸多尝试。
神经网络架构搜索技术(Neural Architecture Search,NAS)逐渐成为研究热点。这种可以进行模型结构搜索的技术非常重要,通过NAS既可以在模型速度不下降的情况下提升模型的精度,也可以在模型精度不下降的情况下提升模型的速度。
发明内容
提供了一种用于确定模型结构的方法、装置、电子设备以及存储介质。
根据第一方面,提供了一种用于确定模型结构的方法,包括:获取训练相关脚本,训练相关脚本包括用于训练模型的脚本;确定包含多个候选模型结构的搜索空间;将训练相关脚本确定为第一组件,并调用第一组件,在搜索空间中搜索一个候选模型结构作为目标模型结构。
根据第二方面,提供了一种用于确定模型结构的装置,包括:第一获取单元,被配置成获取训练相关脚本,训练相关脚本包括用于训练模型的脚本;确定单元,被配置成确定包含多个候选模型结构的搜索空间;调用单元,被配置成将训练相关脚本确定为第一组件,并调用第一组件,在搜索空间中搜索一个候选模型结构作为目标模型结构。
根据第三方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如用于确定模型结构的方法中任一实施例的方法。
根据第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如用于确定模型结构的方法中任一实施例的方法。
根据本申请的方案,可以对训练相关脚本进行组件化,从而在不修改训练相关脚本的情况下,实现自动化搜索模型结构,避免了在训练相关脚本中硬编码搜索脚本带来的高耦合度,同时提高了搜索模型结构的灵活性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请一些实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的用于确定模型结构的方法的一个实施例的流程图;
图3是根据本申请的用于确定模型结构的方法的一个应用场景的示意图;
图4是根据本申请的用于确定模型结构的方法的又一个实施例的流程图;
图5是根据本申请的用于确定模型结构的装置的一个实施例的结构示意图;
图6是用来实现本申请实施例的用于确定模型结构的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于确定模型结构的方法或用于确定模型结构的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对获取到的训练相关脚本等数据进行分析等处理,并将处理结果(例如目标模型结构)反馈给终端设备。
需要说明的是,本申请实施例所提供的用于确定模型结构的方法可以由服务器105或者终端设备101、102、103执行,相应地,用于确定模型结构的装置可以设置于服务器105或者终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的用于确定模型结构的方法的一个实施例的流程200。该用于确定模型结构的方法,包括以下步骤:
步骤201,获取训练相关脚本,训练相关脚本包括用于训练模型的脚本。
在本实施例中,用于确定模型结构的方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取训练相关脚本。训练相关脚本可以包括用于训练模型的训练脚本。这里所指的模型可以不仅仅指一种模型,而是多种模型,也即,这里的多种模型都可以利用训练相关脚本进行训练。此外,这里所指的模型也可以是一种指定的模型,比如用户指定的模型或者上述执行主体按照预设规则得到的指定的模型。在实践中,模型可以是各种深度神经网络,比如卷积神经网络。
脚本也即代码,训练脚本可以包括对模型训练所需的各种信息,比如用于训练的损失函数,也即损失函数对应的代码(即损失函数的脚本)。
在上述执行主体为服务端的情况下,上述执行主体可以从终端设备获取训练相关脚本。
步骤202,确定包含多个候选模型结构的搜索空间。
在本实施例中,上述执行主体可以确定搜索空间。上述搜索空间中可以包含多个候选模型结构。在实践中,上述执行主体可以采用各种方式确定出多个候选模型结构,比如多个候选模型结构可以是预先设置的。
步骤203,将训练相关脚本确定为第一组件,并调用第一组件,在搜索空间中搜索一个候选模型结构作为目标模型结构。
在本实施例中,上述执行主体可以通过调用作为组件的训练相关脚本,在搜索空间中搜索一个候选模型结构作为目标模型结构。具体地,将训练脚本作为第一组件,也即生成包含训练相关脚本的第一组件。在实践中,作为搜索结果的该候选模型结构符合搜索任务,搜索任务可以为搜索候选模型结构,以使搜索到的候选模型结构的性能最佳,也即,该搜索到的候选模型结构在被搜索的多个候选模型结构中的精度(或者运行精度和运行效率)最大化。
在搜索过程中,上述执行主体需要对于上述多个候选模型结构中的每个候选模型结构,利用数据集训练这个候选模型结构也即模型,并验证该模型的性能,也即模型输出的结果的精度(或者输出结果的精度和效率)。上述执行主体从而可以将性能最好的候选模型结构作为搜索结果。
在相关技术中,往往需要在多个候选模型结构的代码中硬编码进行搜索的脚本,从而实现模型结构的搜索。
本申请的上述实施例提供的方法,可以对训练相关脚本进行组件化,从而在不修改训练相关脚本的情况下,实现自动化搜索模型结构,避免了在训练相关脚本中硬编码搜索脚本带来的高耦合度,同时提高了搜索模型结构的灵活性。
在本实施例的一些可选的实现方式中,方法还可以包括:判断训练相关脚本中是否还包括第一组件的调用接口;若训练相关脚本中不包括调用接口,则输出提示信息;以及步骤202可以包括:若训练相关脚本中包括调用接口,则确定包含多个候选模型结构的搜索空间。
在这些可选的实现方式中,上述执行主体可以判断训练相关脚本中是否还包括上述第一组件的调用接口,并得到判断结果。如果判断结果为否,也即不包括上述第一组件的调用接口,则可以输出提示信息。该提示信息用于指示为否的上述判断结果。此外,上述执行主体还可以在判断结果为是的情况下,确定搜索空间。
这些实现方式可以在训练相关脚本中包括第一组件的调用接口的情况下,确定搜索空间,并在不包括从而无法实现调用的情况下,输出提示信息,以向用户明确无法实现调用接口的原因。
在本实施例的一些可选的实现方式中,步骤203包括:获取自动搜索算法,以及采用自动搜索算法,在搜索空间中搜索一个候选模型结构作为目标模型结构,其中,搜索在指定数量的电子设备上以分布式的方式进行。
在这些可选的实现方式中,上述执行主体可以从本电子设备或者其它电子设备获取用于在搜索空间进行搜索的算法,也即搜索算法,并采用获取到的搜索算法,在搜索空间中搜索一个候选模型结构,并将这一个候选模型结构作为目标模型结构。上述自动搜索的过程可以采用分布式的方式进行,也即可以在多个电子设备(可以包括虚拟电子设备)上执行搜索操作。
在实践中,上述执行主体可以采用各种方式获取搜索算法。比如获取本电子设备或者其它电子设备预存的搜索算法,或者获取在本电子设备或者其它电子设备实时按照预设规则或者随机确定的搜索算法。这里的搜索算法还可以是用户指定的。举例来说,自动搜索算法可以是以下的任意一者:基于模拟退火算法的模型结构自动搜索算法、基于遗传算法的模型结构自动搜索算法,基于强化学习的模型结构自动搜索算法、基于高斯过程的模型结构自动搜索算法,基于超网络的模型结构自动搜索算法等等。
这些实现方式可以基于获取的自动搜索算法并通过分布式的方式,实现自动而高效的搜索。
在本实施例的一些可选的实现方式中,上述方法还可以包括:获取预设配置信息,并将预设配置信息作为第二组件,其中,预设配置信息指示是否调用组件搜索模型结构;以及步骤202可以包括:响应于调用第二组件,确定所获取的预设配置信息指示调用组件搜索模型结构,确定包含多个候选模型结构的搜索空间。
在这些可选的实现方式中,上述执行主体可以从本电子设备或者其它电子设备获取预设配置信息。并将该预设配置信息作为组件也即第二组件,从而调用第二组件来确定所获取的预设配置信息是否指示调用组件在候选模型结构中搜索模型结构作为目标模型结构。并在确定预设配置信息指示调用组件进行搜索的情况下,确定搜索空间。
该预设配置信息可以是用户所配置的。预设配置信息可以指示调用组件(比如上述的第一组件)搜索上述的一个候选模型结构,或者指示不调用组件进行搜索。
可选地,上述执行主体响应于调用第二组件,确定所获取的预设配置信息指示不调用组件搜索模型结构,可以获取指定的网络作为目标网络,并获取指定的网络层数和各层的通道数,作为目标网络的网络中处理层的数量和各处理层的通道数。具体地,这里的处理层的数量和通道数可以是用户指定的。
这些实现方式可以将预设配置信息作为组件,从而可以无需对预设配置信息的脚本进行修改或合并到搜索模型结构的脚本中,利用解耦合的方式实现确定是否调用组件搜索候选模型结构。
继续参见图3,图3是根据本实施例的用于确定模型结构的方法的应用场景的一个示意图。在图3的应用场景中,执行主体301获取训练相关脚本302,训练相关脚本包括用于训练模型的脚本。确定包含多个候选模型结构的搜索空间303。将训练相关脚本302确定为第一组件,并调用第一组件,在搜索空间303中搜索一个候选模型结构作为目标模型结构304。
进一步参考图4,其示出了用于确定模型结构的方法的又一个实施例的流程400。该流程400,包括以下步骤:
步骤401,获取训练相关脚本,训练相关脚本包括用于训练模型的脚本。
在本实施例中,用于确定模型结构的方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取训练相关脚本。训练相关脚本可以包括用于训练模型的训练脚本。这里所指的模型可以不仅仅指一种模型,而是多种模型,也即,这里的多种模型都可以利用训练相关脚本进行训练。
步骤402,将目标网络的各种结构作为多个候选模型结构,确定包括多个候选模型结构的搜索空间,其中,目标网络包括主干网络和/或定位网络,定位网络为检测网络或分割网络。
在本实施例中,上述执行主体可以获取目标网络的各种结构,并将得到的各种结构作为多个候选模型结构。目标网络通常为一种网络,具体地,这一种网络可以是各种各样的,比如卷积神经网络、残差神经网络等等。各种结构之间可以存在差异,比如差异可以包括网络中处理层(layer)的层数,此外还可以包括各处理层的通道数等等。
上述执行主体可以采用各种方式获取目标网络的各种结构,比如,上述执行主体可以直接从本地或者其它电子设备获取已经存在的、目标网络的各种结构。
目标网络可以仅仅包括主干网络(backbone)或定位网络(head,也称Detectionhead),也可以两者均包括。利用主干网络可以对图像中的目标进行分类,比如,主干网络可以包括FPN(Feature Pyramid Networks)。定位网络可以准确地在图像中确定出目标的坐标位置或者定位出不同的区域,因而可以是用于对目标进行检测的检测网络,也可以是用于进行区域分割的分割网络。
步骤403,将训练相关脚本确定为第一组件,并调用第一组件,在搜索空间中搜索一个候选模型结构作为目标模型结构。
在本实施例中,上述执行主体可以通过调用作为组件的训练相关脚本,在搜索空间中搜索一个候选模型结构作为目标模型结构。具体地,将训练脚本作为第一组件,也即生成包含训练相关脚本的第一组件。
本实施例可以在限定目标网络的情况下,提供多种模型结构的可能性,从而有助于搜索到性能优异的搜索结果。
在本实施例的一些可选的实现方式中,目标网络可以通过以下步骤得到:在多种候选网络中,确定耗时符合目标耗时的候选网络作为目标网络。
在这些可选的实现方式中,上述执行主体或者其它电子设备可以在多种候选网络中,确定运行网络的耗时符合目标耗时的候选网络。在实践中,上述执行主体可以选择耗时与目标耗时的差值最小的候选网络,也可以在多种候选网络中,选择运行的耗时小于目标耗时的候选网络中的、耗时与目标耗时差值最小的候选网络。具体地,多种候选网络可以包括各种深度神经网络,比如卷积神经网络、残差神经网络、生成对抗网络等等。
这些实现方式可以在候选网络中选择耗时符合条件的候选网络,从而实现对搜索结果的运行耗时的准确控制。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于确定模型结构的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,除下面所记载的特征外,该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征或效果。该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于确定模型结构的装置500包括:第一获取单元501、确定单元502和调用单元503。其中,第一获取单元501,被配置成获取训练相关脚本,训练相关脚本包括用于训练模型的脚本;确定单元502,被配置成确定包含多个候选模型结构的搜索空间;调用单元503,被配置成将训练相关脚本确定为第一组件,并调用第一组件,在搜索空间中搜索一个候选模型结构作为目标模型结构。
在本实施例中,用于确定模型结构的装置500的第一获取单元501、确定单元502和调用单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,确定单元,进一步被配置成按照如下方式执行确定包含多个候选模型结构的搜索空间:将目标网络的各种结构作为多个候选模型结构,确定包括多个候选模型结构的搜索空间,其中,目标网络包括主干网络和/或定位网络,定位网络为检测网络或分割网络。
在本实施例的一些可选的实现方式中,目标网络通过以下步骤得到:在多种候选网络中,确定耗时符合目标耗时的候选网络作为目标网络。
在本实施例的一些可选的实现方式中,装置还包括:第二获取单元,被配置成获取预设配置信息,并将预设配置信息作为第二组件,其中,预设配置信息指示是否调用组件搜索模型结构;以及确定单元,进一步被配置成按照如下方式执行确定包含多个候选模型结构的搜索空间:响应于调用第二组件,确定所获取的预设配置信息指示调用组件搜索模型结构,确定包含多个候选模型结构的搜索空间。
在本实施例的一些可选的实现方式中,装置还包括:判断单元,被配置成判断训练相关脚本中是否还包括第一组件的调用接口;输出单元,被配置成若训练相关脚本中不包括调用接口,则输出提示信息;以及确定单元,进一步被配置成按照如下方式执行确定包含多个候选模型结构的搜索空间:若训练相关脚本中包括调用接口,则确定包含多个候选模型结构的搜索空间。
在本实施例的一些可选的实现方式中,调用单元,进一步被配置成按照如下方式执行在搜索空间中搜索一个候选模型结构作为目标模型结构:获取自动搜索算法,以及采用自动搜索算法,在搜索空间中搜索一个候选模型结构作为目标模型结构,其中,搜索在指定数量的电子设备上以分布式的方式进行。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的用于确定模型结构的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的用于确定模型结构的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的用于确定模型结构的方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的用于确定模型结构的方法对应的程序指令/模块(例如,附图5所示的第一获取单元501、确定单元502和调用单元503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的用于确定模型结构的方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据用于确定模型结构的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至用于确定模型结构的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于确定模型结构的方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与用于确定模型结构的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括第一获取单元、确定单元和调用单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,确定单元还可以被描述为“确定包含多个候选模型结构的搜索空间的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取训练相关脚本,训练相关脚本包括用于训练模型的脚本;确定包含多个候选模型结构的搜索空间;将训练相关脚本确定为第一组件,并调用第一组件,在搜索空间中搜索一个候选模型结构作为目标模型结构。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种用于确定模型结构的方法,所述方法包括:
获取训练相关脚本,所述训练相关脚本包括用于训练模型的脚本;
确定包含多个候选模型结构的搜索空间;
将所述训练相关脚本确定为第一组件,并调用所述第一组件,在所述搜索空间中搜索一个候选模型结构作为目标模型结构。
2.根据权利要求1所述的方法,其中,所述确定包含多个候选模型结构的搜索空间,包括:
将目标网络的各种结构作为多个候选模型结构,确定包括所述多个候选模型结构的搜索空间,其中,所述目标网络包括主干网络和/或定位网络,所述定位网络为检测网络或分割网络。
3.根据权利要求2所述的方法,其中,所述目标网络通过以下步骤得到:
在多种候选网络中,确定耗时符合目标耗时的候选网络作为目标网络。
4.根据权利要求1所述的方法,其中,所述方法还包括:
获取预设配置信息,并将所述预设配置信息作为第二组件,其中,所述预设配置信息指示是否调用组件搜索模型结构;以及
所述确定包含多个候选模型结构的搜索空间,包括:
响应于调用所述第二组件,确定所获取的预设配置信息指示调用组件搜索模型结构,确定包含多个候选模型结构的搜索空间。
5.根据权利要求1所述的方法,其中,所述方法还包括:
判断所述训练相关脚本中是否还包括所述第一组件的调用接口;
若所述训练相关脚本中不包括所述调用接口,则输出提示信息;以及
所述确定包含多个候选模型结构的搜索空间,包括:
若所述训练相关脚本中包括所述调用接口,则确定包含多个候选模型结构的搜索空间。
6.根据权利要求1所述的方法,其中,所述在所述搜索空间中搜索一个候选模型结构作为目标模型结构,包括:
获取自动搜索算法,以及采用所述自动搜索算法,在所述搜索空间中搜索一个候选模型结构作为目标模型结构,其中,所述搜索在指定数量的电子设备上以分布式的方式进行。
7.一种用于确定模型结构的装置,所述装置包括:
第一获取单元,被配置成获取训练相关脚本,所述训练相关脚本包括用于训练模型的脚本;
确定单元,被配置成确定包含多个候选模型结构的搜索空间;
调用单元,被配置成将所述训练相关脚本确定为第一组件,并调用所述第一组件,在所述搜索空间中搜索一个候选模型结构作为目标模型结构。
8.根据权利要求7所述的装置,其中,确定单元,进一步被配置成按照如下方式执行所述确定包含多个候选模型结构的搜索空间:
将目标网络的各种结构作为多个候选模型结构,确定包括所述多个候选模型结构的搜索空间,其中,所述目标网络包括主干网络和/或定位网络,所述定位网络为检测网络或分割网络。
9.根据权利要求8所述的装置,其中,所述目标网络通过以下步骤得到:
在多种候选网络中,确定耗时符合目标耗时的候选网络作为目标网络。
10.根据权利要求7所述的装置,其中,所述装置还包括:
第二获取单元,被配置成获取预设配置信息,并将所述预设配置信息作为第二组件,其中,所述预设配置信息指示是否调用组件搜索模型结构;以及
确定单元,进一步被配置成按照如下方式执行所述确定包含多个候选模型结构的搜索空间:
响应于调用所述第二组件,确定所获取的预设配置信息指示调用组件搜索模型结构,确定包含多个候选模型结构的搜索空间。
11.根据权利要求7所述的装置,其中,所述装置还包括:
判断单元,被配置成判断所述训练相关脚本中是否还包括所述第一组件的调用接口;
输出单元,被配置成若所述训练相关脚本中不包括所述调用接口,则输出提示信息;以及
确定单元,进一步被配置成按照如下方式执行所述确定包含多个候选模型结构的搜索空间:
若所述训练相关脚本中包括所述调用接口,则确定包含多个候选模型结构的搜索空间。
12.根据权利要求7所述的装置,其中,所述调用单元,进一步被配置成按照如下方式执行所述在所述搜索空间中搜索一个候选模型结构作为目标模型结构:
获取自动搜索算法,以及采用所述自动搜索算法,在所述搜索空间中搜索一个候选模型结构作为目标模型结构,其中,所述搜索在指定数量的电子设备上以分布式的方式进行。
13.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010387248.3A CN111582478B (zh) | 2020-05-09 | 2020-05-09 | 用于确定模型结构的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010387248.3A CN111582478B (zh) | 2020-05-09 | 2020-05-09 | 用于确定模型结构的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111582478A true CN111582478A (zh) | 2020-08-25 |
CN111582478B CN111582478B (zh) | 2023-09-22 |
Family
ID=72113459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010387248.3A Active CN111582478B (zh) | 2020-05-09 | 2020-05-09 | 用于确定模型结构的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111582478B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6996517B1 (en) * | 2000-06-06 | 2006-02-07 | Microsoft Corporation | Performance technology infrastructure for modeling the performance of computer systems |
US20090052787A1 (en) * | 2007-08-24 | 2009-02-26 | Naoyuki Satoh | Image search apparatus, image search method, and storage medium storing a program for causing a search apparatus to execute a search method |
CN102567201A (zh) * | 2011-12-15 | 2012-07-11 | 南京大学 | 跨模型的图形用户界面测试脚本自动修复方法 |
CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
US10114917B1 (en) * | 2016-08-01 | 2018-10-30 | The Mathworks, Inc. | Systems and methods for mapping executable models to programmable logic device resources |
CN109033140A (zh) * | 2018-06-08 | 2018-12-18 | 北京百度网讯科技有限公司 | 一种确定搜索结果的方法、装置、设备和计算机存储介质 |
CN109685204A (zh) * | 2018-12-24 | 2019-04-26 | 北京旷视科技有限公司 | 模型搜索方法及装置、图像处理方法及装置 |
US20190163780A1 (en) * | 2017-11-29 | 2019-05-30 | Microsoft Technology Licensing, Llc | Generalized linear mixed models for improving search |
CN110168495A (zh) * | 2016-01-27 | 2019-08-23 | 伯尼塞艾公司 | 可被复用、重新配置和重组为人工智能模型的经训练的人工智能对象 |
CN110378278A (zh) * | 2019-07-16 | 2019-10-25 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、对象搜索方法、装置以及电子设备 |
US20190370648A1 (en) * | 2018-05-29 | 2019-12-05 | Google Llc | Neural architecture search for dense image prediction tasks |
CN110543944A (zh) * | 2019-09-11 | 2019-12-06 | 北京百度网讯科技有限公司 | 神经网络结构搜索方法、装置、电子设备和介质 |
CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
CN110852168A (zh) * | 2019-10-11 | 2020-02-28 | 西北大学 | 基于神经架构搜索的行人重识别模型构建方法及装置 |
CN111125396A (zh) * | 2019-12-07 | 2020-05-08 | 复旦大学 | 一种单模型多分支结构的图像检索方法 |
-
2020
- 2020-05-09 CN CN202010387248.3A patent/CN111582478B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6996517B1 (en) * | 2000-06-06 | 2006-02-07 | Microsoft Corporation | Performance technology infrastructure for modeling the performance of computer systems |
US20090052787A1 (en) * | 2007-08-24 | 2009-02-26 | Naoyuki Satoh | Image search apparatus, image search method, and storage medium storing a program for causing a search apparatus to execute a search method |
CN102567201A (zh) * | 2011-12-15 | 2012-07-11 | 南京大学 | 跨模型的图形用户界面测试脚本自动修复方法 |
CN110168495A (zh) * | 2016-01-27 | 2019-08-23 | 伯尼塞艾公司 | 可被复用、重新配置和重组为人工智能模型的经训练的人工智能对象 |
US10114917B1 (en) * | 2016-08-01 | 2018-10-30 | The Mathworks, Inc. | Systems and methods for mapping executable models to programmable logic device resources |
US20190163780A1 (en) * | 2017-11-29 | 2019-05-30 | Microsoft Technology Licensing, Llc | Generalized linear mixed models for improving search |
CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
US20190370648A1 (en) * | 2018-05-29 | 2019-12-05 | Google Llc | Neural architecture search for dense image prediction tasks |
CN109033140A (zh) * | 2018-06-08 | 2018-12-18 | 北京百度网讯科技有限公司 | 一种确定搜索结果的方法、装置、设备和计算机存储介质 |
CN109685204A (zh) * | 2018-12-24 | 2019-04-26 | 北京旷视科技有限公司 | 模型搜索方法及装置、图像处理方法及装置 |
CN110378278A (zh) * | 2019-07-16 | 2019-10-25 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、对象搜索方法、装置以及电子设备 |
CN110543944A (zh) * | 2019-09-11 | 2019-12-06 | 北京百度网讯科技有限公司 | 神经网络结构搜索方法、装置、电子设备和介质 |
CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
CN110852168A (zh) * | 2019-10-11 | 2020-02-28 | 西北大学 | 基于神经架构搜索的行人重识别模型构建方法及装置 |
CN111125396A (zh) * | 2019-12-07 | 2020-05-08 | 复旦大学 | 一种单模型多分支结构的图像检索方法 |
Non-Patent Citations (3)
Title |
---|
陈智;柳培忠;骆炎民;汪鸿翔;杜永兆;: "自适应特征融合的多尺度相关滤波目标跟踪算法", 计算机辅助设计与图形学学报, no. 11, pages 88 - 98 * |
高云;郭继亮;黎煊;雷明刚;卢军;童宇;: "基于深度学习的群猪图像实例分割方法", 农业机械学报, no. 04, pages 186 - 194 * |
高仁尚: "基于隐变量模型的评分数据分析与用户偏好建模", 中国优秀硕士学位论文全文数据库信息科技辑, no. 5, pages 140 - 38 * |
Also Published As
Publication number | Publication date |
---|---|
CN111582478B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539514A (zh) | 用于生成神经网络的结构的方法和装置 | |
CN111582375A (zh) | 数据增强策略搜索方法、装置、设备以及存储介质 | |
CN111582454A (zh) | 生成神经网络模型的方法和装置 | |
CN111862987B (zh) | 语音识别方法和装置 | |
CN111524166A (zh) | 视频帧的处理方法和装置 | |
CN111695519B (zh) | 关键点定位方法、装置、设备以及存储介质 | |
CN110706147B (zh) | 图像处理的环境确定方法、装置、电子设备和存储介质 | |
CN111782785B (zh) | 自动问答方法、装置、设备以及存储介质 | |
CN113238943A (zh) | 持续集成测试的方法和装置 | |
CN111753964A (zh) | 神经网络的训练方法和装置 | |
CN111582477B (zh) | 神经网络模型的训练方法和装置 | |
CN112307357A (zh) | 与陌生人的社交方法和装置 | |
CN111680597A (zh) | 人脸识别模型处理方法、装置、设备和存储介质 | |
CN112561059A (zh) | 用于模型蒸馏的方法和装置 | |
CN111767990A (zh) | 神经网络的处理方法和装置 | |
CN111833391A (zh) | 图像深度信息的估计方法及装置 | |
CN111640103A (zh) | 图像检测方法、装置、设备以及存储介质 | |
EP3901905B1 (en) | Method and apparatus for processing image | |
CN111582480A (zh) | 用于对模型剪枝的方法和装置 | |
CN112735601B (zh) | 利用蓝牙确定传染病密接人群的测试方法、装置及设备 | |
CN111582478B (zh) | 用于确定模型结构的方法和装置 | |
CN111767988A (zh) | 神经网络的融合方法和装置 | |
CN111767989A (zh) | 神经网络的训练方法和装置 | |
CN113033485A (zh) | 关键点的检测方法和装置 | |
CN111522837A (zh) | 用于确定深度神经网络的耗时的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |