CN115731588B - 模型处理方法及装置 - Google Patents
模型处理方法及装置 Download PDFInfo
- Publication number
- CN115731588B CN115731588B CN202111001044.2A CN202111001044A CN115731588B CN 115731588 B CN115731588 B CN 115731588B CN 202111001044 A CN202111001044 A CN 202111001044A CN 115731588 B CN115731588 B CN 115731588B
- Authority
- CN
- China
- Prior art keywords
- training
- stage
- object frame
- sample
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 307
- 238000001514 detection method Methods 0.000 claims abstract description 231
- 238000002372 labelling Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000006978 adaptation Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 197
- 238000012545 processing Methods 0.000 claims description 103
- 230000003044 adaptive effect Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012885 constant function Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例涉及人工智能领域,公开一种模型处理方法及装置,该方法包括:从对象检测模型的训练样本集中获取目标训练样本,目标训练样本包括样本图像以及样本图像的N个标注对象框,N为正整数;确定在获取目标训练样本时,对象检测模型所处的当前训练阶段;基于训练阶段与对象框尺寸之间的适配策略,确定与当前训练阶段适配的目标对象框尺寸;根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框,样本对象框是指对象框尺寸大于或等于目标对象框尺寸的标注对象框,M为整数;采用样本图像以及M个样本对象框,对对象检测模型进行模型训练;可提高对象检测模型的检测准确率。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种模型处理方法及装置。
背景技术
对象检测(Object Detection),又称目标检测,其具体是指检测图像中是否包含目标对象(如人脸、手势等)的动作。目前,通常是采用对象检测模型来实现对图像的对象检测的;例如,针对人脸这一目标对象,通常是采用人脸检测模型对某图像进行人脸检测的。基于此,如何对对象检测模型进行训练优化,以提高对象检测模型对于目标对象的检测准确率是当前的热点研究方向。
发明内容
本申请实施例提供一种模型处理方法、装置、设备及存储介质,可提高对象检测模型的检测准确率。
一方面,本申请实施例提供了一种模型处理方法,包括:
从对象检测模型的训练样本集中获取目标训练样本,所述目标训练样本包括样本图像以及所述样本图像的N个标注对象框,N为正整数;
确定在获取所述目标训练样本时,所述对象检测模型所处的当前训练阶段;一个训练阶段包括:采用所述训练样本集中的全部数据对所述对象检测模型进行一次完整训练的过程;
基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸;
根据每个标注对象框的对象框尺寸和所述目标对象框尺寸,从所述N个标注对象框中选取出M个样本对象框,样本对象框是指对象框尺寸大于或等于所述目标对象框尺寸的标注对象框,M为整数;
采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
一方面,本申请实施例提供了一种模型处理装置,包括:
获取单元,用于从对象检测模型的训练样本集中获取目标训练样本,所述目标训练样本包括样本图像以及所述样本图像的N个标注对象框,N为正整数;
处理单元,用于确定在获取所述目标训练样本时,所述对象检测模型所处的当前训练阶段;一个训练阶段包括:采用所述训练样本集中的全部数据对所述对象检测模型进行一次完整训练的过程;
所述处理单元,还用于基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸;
所述处理单元,还用于根据每个标注对象框的对象框尺寸和所述目标对象框尺寸,从所述N个标注对象框中选取出M个样本对象框,样本对象框是指对象框尺寸大于或等于所述目标对象框尺寸的标注对象框,M为整数;
所述处理单元,还用于采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
一方面,本申请实施例提供了一种模型处理设备,其特征在于,所述模型处理设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行上述模型处理方法。
一方面,本申请实施例提供了一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行上述模型处理方法。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,所述计算机程序产品或所述计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中;模型处理设备的处理器从所述计算机可读存储介质中读取所述计算机指令,所述处理器执行所述计算机指令,所述计算机指令被处理器执行时,用于执行上述模型处理方法。
本申请实施例在获取到样本图像以及样本图像的N个标注对象框后,可以根据对象检测模型所处的当前训练阶段,以及由当前训练阶段确定出的目标对象框尺寸,从样本图像的N个标注对象框中筛选得到对象框尺寸大于或等于目标对象框尺寸的M个样本对象框,并采用样本图像以及M个样本对象框,对对象检测模型进行模型训练;可以在对象检测模型处于不同训练阶段时,针对同一个样本图像,采用不同对象框尺寸的样本对象框对对象检测模型进行训练,可以使得对象检测模型处于不同训练阶段时,学习不同对象框尺寸对应的目标对象的对象特征,可以提高对象检测模型对于不同尺寸的目标对象的检测准确率,即可提高对象检测模型对于目标对象的检测准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种模型处理方案的原理示意图;
图2是本申请实施例提供的一种模型处理方法的流程示意图;
图3是本申请实施例提供的一种训练对象检测模型的示意图;
图4是本申请实施例提供的另一种训练对象检测模型的示意图;
图5是本申请实施例提供的另一种模型处理方法的流程示意图;
图6是本申请实施例提供的一种确定目标对象框尺寸的示意图;
图7是本申请实施例提供的另一种训练对象检测模型的示意图;
图8是本申请实施例提供的另一种模型处理方法的流程示意图;
图9a是本申请实施例提供的一种适配分段函数的示意图;
图9b是本申请实施例提供的另一种适配分段函数的示意图;
图10是本申请实施例提供的另一种训练对象检测模型的示意图;
图11是本申请实施例提供的一种模型处理装置的结构示意图;
图12是本申请实施例提供的一种模型处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(Machine Learning,ML)/深度学习(Deep Learning,DL)等几大方向。
其中,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、对象检测、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维(3-dimensional,3D)技术、三维物体重建、虚拟现实、增强现实、同步定位与地图构建等技术,等等。机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
基于上述所提及的机器学习技术,以及上述所提及的计算机视觉技术中的对象检测技术,本申请实施例针对对象检测模型提出了一种模型处理方案,以提高对象检测模型的检测准确率。其中,对象检测模型为用于检测图像中是否包含目标对象的模型,目标对象为预设类别的对象,即对象检测模型为用于检测图像中是否包含预设类别的对象的模型。其中,可以根据具体的训练需求对预设类别进行设定,举例来说,若训练需求要求对象检测模型可以检测图像中是否包括人脸,则预设类别为人脸类别,此情况下的对象检测模型可以是人脸检测模型;若训练需求要求对象检测模型可以检测图像中是否包括猫咪,则预设类别为猫咪类别,此情况下的对象检测模型可以是猫咪检测模型;若训练需求要求对象检测模型可以检测图像中是否包括手势,则预设类别为手势类别,此情况下的对象检测模型可以是手势检测模型,等等。可选的,在构建对象检测模型时,对象检测模型的初始权重参数可以为随机初始化的权重参数,也可以为通过对预训练模型进行预训练得到的预训练的权重参数,对此不作限定;为便于阐述,后续均以对象检测模型的初始权重参数为随机初始化的权重参数为例进行说明。可选的,对象检测模型可以为卷积神经网络(ConvolutionalNeural Networks,CNN)模型、级联卷积神经网络(Cascde CNN)模型、多任务卷积神经网络(Multi-task Convolutional Neural Network,MTCNN)模型等。
在具体实现中,该模型处理方案可以由模型处理设备执行,该模型处理设备可以为终端设备或者服务器;此处的终端设备可包括但不限于:计算机、智能手机、平板电脑、笔记本电脑等;此处的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参见图1所示,为本申请实施例提供的一种模型处理方案的原理示意图,该模型处理方案的大致原理如下:首先,模型处理设备可以从对象检测模型的训练样本集中获取目标训练样本。对象检测模型的训练样本集中包括一个或多个训练样本,训练样本集中的任一训练样本包括样本图像以及该样本图像的N个标注对象框,N为正整数。其中,样本图像为包括了N个标注对象的图像,N个标注对象可以包括目标对象以及对比对象,其中目标对象为预设类别的对象,对比对象为除预设类别以外的其余类别的对象,采用对比对象是为了用于在模型训练时进行特征对比;样本图像的N个标注对象框与样本图像中包括的N个标注对象一一对应,标注对象框携带了该标注对象框的对象框位置、该标注对象框的对象框尺寸以及标注类别等信息,当该标注对象框对应目标对象时,可以将该标注框的标注类别确定为正类别,当该标注框对应对比对象时,可以将该标注框的标注类别确定为负类别。
进一步的,可以确定对象检测模型所处的当前训练阶段;然后确定与当前训练阶段适配的目标对象框尺寸,可以通过调用目标对象框尺寸确定模块实现;从N个标注对象框中筛选得到对象框尺寸大于或等于目标对象框尺寸的M个样本对象框,可以通过调用样本对象框筛选模块实现;通过对象检测模型,对样本图像进行处理,得到M个预测对象框,基于M个样本对象框以及M个预测对象框计算损失函数的函数值,并朝着减小损失函数的函数值的方向优化对象检测模型。其中,对象检测模型可以包括主干网络以及检测头网络,那么,通过对象检测模型对样本图像进行处理,得到M个预测对象框,可以包括:通过对象检测模型中的主干网络对样本图像进行特征提取处理,得到样本图像的图像特征;通过对象检测模型中的检测头网络对样本图像的图像特征进行特征分析处理,得到M个预测对象框,不同预测对象框对应不同标注对象框。
基于上述模型处理方案,本申请实施例提供了一种模型处理方法。参见图2,为本申请实施例提供的一种模型处理方法的流程示意图。图2所示的模型处理方法可由模型处理设备执行。图2所示的模型处理方法可包括如下步骤:
S201,从对象检测模型的训练样本集中获取目标训练样本。
其中,对象检测模型为用于检测图像中是否包含目标对象的模型,目标对象为预设类别的对象,即对象检测模型为用于检测图像中是否包含预设类别的对象的模型;对象检测模型的训练样本集用于对对象检测模型进行训练,训练样本集中包括一个或多个训练样本,训练样本集中的任一训练样本包括样本图像以及该样本图像的N个标注对象框,N为正整数;目标训练样本为训练样本集中的任一训练样本,目标训练样本包括样本图像以及样本图像的N个标注对象框,N为正整数。其中,样本图像为包括了N个标注对象的图像,N个标注对象可以包括目标对象以及对比对象;样本图像的N个标注对象框与样本图像中包括的N个标注对象一一对应。
在一个实施例中,标注对象框携带了该标注对象框的对象框位置、该标注对象框的对象框尺寸以及标注类别等信息,当该标注对象框对应目标对象时,可以将该标注框的标注类别确定为正类别,当该标注框对应对比对象时,可以将该标注框的标注类别确定为负类别。可选的,标注对象框可以为技术人员进行人工标注的;标注对象框的对象框位置可以用坐标表示,标注对象框的对象框尺寸可以用距离表示,例如,若将样本图像的左上角顶点设定为直角坐标系的坐标原点,若标注对象框的左上角顶点在样本图像中的坐标为(x1,y1),标注对象框在x轴方向上的宽为w,在y轴方向上的高为h,则该标注对象框的对象框位置以及对象框尺寸可以表示为(x1,y1,w,h);又如,标注对象框的对象框位置以及标注对象框的对象框尺寸均可以基于坐标表示,例如,若标注对象框的左上角顶点在样本图像中的坐标为(x1,y1),该标注对象框的右下角顶点在样本图像中的坐标为(x2,y2),则可以用(x1,y1,x2,y2)表征该标注对象框的对象框位置和该标注对象框的对象框尺寸,该标注对象框的对象框尺寸为:在x轴方向上的宽为x2-x1,在y轴方向上的高为y2-y1。
S202,确定在获取目标训练样本时,对象检测模型所处的当前训练阶段。
其中,一个训练阶段包括:采用训练样本集中的全部数据对对象检测模型进行一次完整训练的过程,一个训练阶段即为一个epoch。对象检测模型所处的当前训练阶段为模型处理设备在获取目标训练样本时,对象检测模型当前为第几次完整训练的过程,即对象检测模型当前为第几个epoch;例如,若对象检测模型所处的当前训练阶段为第5个训练阶段,则表征模型处理设备已经采用了训练样本集中的全部数据对对象检测模型进行了4次完整的训练过程,当前为第5次。
S203,基于训练阶段与对象框尺寸之间的适配策略,确定与当前训练阶段适配的目标对象框尺寸。
在一个实施例中,训练阶段与对象框尺寸之间的适配策略为预先根据训练需求设定的,例如可以为各个训练阶段与各个对象框尺寸之间的对应关系。此时,模型处理设备基于训练阶段与对象框尺寸之间的适配策略,确定与当前训练阶段适配的目标对象框尺寸,可以包括:获取预先设定的多个训练阶段以及每个训练阶段对应的对象框尺寸,将当前训练阶段对应的对象框尺寸确定为与当前训练阶段适配的目标对象框尺寸。例如,若预先设定的多个训练阶段分别为第1个训练阶段、第2个训练阶段、第3个训练阶段、第4个训练阶段以及第5个训练阶段,每个训练阶段对应的对象框尺寸分别为20*20(即宽为20,高为20),20*20,10*10,6*6以及8*8,若当前训练阶段为第1个训练阶段,则与当前训练阶段适配的目标对象框尺寸为20*20。
S204,根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框。
其中,样本对象框是指对象框尺寸大于或等于目标对象框尺寸的标注对象框,M为整数。
在一个实施例中,若N个标注对象框中不存在对象框尺寸大于或等于目标对象框尺寸的标注对象框,即样本对象框的个数为0,则模型处理设备在当前训练阶段不对该目标训练样本继续进行处理,并重新执行步骤S201至步骤S204的相关过程,以对新获取的目标训练样本进行处理。
S205,采用样本图像以及M个样本对象框,对对象检测模型进行模型训练。
在一个实施例中,模型处理设备采用样本图像以及M个样本对象框,对对象检测模型进行模型训练,可以包括:将N个标注对象框中除M个样本对象框以外的各个标注对象框,作为无效对象框;在样本图像中裁剪掉无效对象框中的图像内容,得到裁剪后的样本图像;采用裁剪后的样本图像以及M个样本对象框,对对象检测模型进行模型训练。
在一个实施例中,模型处理设备采用裁剪后的样本图像以及M个样本对象框,对对象检测模型进行模型训练时,模型处理设备通过对象检测模型对裁剪后的样本图像进行特征提取处理,得到样本图像的图像特征;对样本图像的图像特征进行特征分析处理,得到M个预测对象框,其中,不同预测对象框与不同样本对象框相对应;基于M个样本对象框以及M个预测对象框计算损失函数的函数值,并朝着减小损失函数的函数值的方向优化对象检测模型。
如图3所示,为本申请实施例提供的一种训练对象检测模型的示意图,模型处理设备可以从对象检测模型的训练样本集中获取包括了样本图像以及样本图像的N个标注对象框的目标训练样本;确定在获取目标训练样本时,对象检测模型所处的当前训练阶段;基于训练阶段与对象框尺寸之间的适配策略,确定与当前训练阶段适配的目标对象框尺寸;根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框;将N个标注对象框中除M个样本对象框以外的各个标注对象框,作为无效对象框;在样本图像中裁剪掉无效对象框中的图像内容,得到裁剪后的样本图像;通过对象检测模型对裁剪后的样本图像进行处理,得到M个预测对象框;基于M个样本对象框以及M个预测对象框计算损失函数的函数值,并朝着减小损失函数的函数值的方向优化对象检测模型。
在一个实施例中,模型处理设备采用样本图像以及M个样本对象框,对对象检测模型进行模型训练,可以包括:将N个标注对象框中除M个样本对象框以外的各个标注对象框,作为无效对象框;生成关于无效对象框的指示信息,指示信息用于指示对象检测模型在学习过程中,忽略掉无效对象框中的图像内容;采用指示信息、样本图像以及M个样本对象框,对对象检测模型进行模型训练。
在一个实施例中,模型处理设备采用指示信息、样本图像以及M个样本对象框,对对象检测模型进行模型训练时,模型处理设备通过对象检测模型根据指示信息,对样本图像中除无效对象框中的图像内容以外的图像内容进行特征提取处理,得到样本图像的图像特征;对样本图像的图像特征进行特征分析处理,得到M个预测对象框,其中,不同预测对象框与不同样本对象框相对应;基于M个样本对象框以及M个预测对象框计算损失函数的函数值,并朝着减小损失函数的函数值的方向优化对象检测模型。
如图4所示,为本申请实施例提供的另一种训练对象检测模型的示意图,模型处理设备可以从对象检测模型的训练样本集中获取包括了样本图像以及样本图像的N个标注对象框的目标训练样本;确定在获取目标训练样本时,对象检测模型所处的当前训练阶段;基于训练阶段与对象框尺寸之间的适配策略,确定与当前训练阶段适配的目标对象框尺寸;根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框;将N个标注对象框中除M个样本对象框以外的各个标注对象框,作为无效对象框;生成关于无效对象框的指示信息;通过对象检测模型根据指示信息,对样本图像中除无效对象框中的图像内容以外的图像内容进行特征提取处理,得到M个预测对象框;基于M个样本对象框以及M个预测对象框计算损失函数的函数值,并朝着减小损失函数的函数值的方向优化对象检测模型。
在一个实施例中,当对象检测模型处于不同训练阶段时,由该不同训练阶段确定出的目标对象框尺寸可能不同,由此可以使得对象检测模型处于不同训练阶段时,学习不同对象框尺寸对应的目标对象的对象特征,可以提高对象检测模型对于不同尺寸的目标对象的检测准确率,即可提高对象检测模型对于目标对象的检测准确率,并且对初始权重参数为随机初始化的权重参数的对象检测模型,以及对初始权重参数为通过对预训练模型进行预训练得到的预训练的权重参数的对象检测模型,在检测准确率上均有提升。在采用常用的模型训练方法对对象检测模型进行训练时,由于采用预训练的权重参数作为初始权重参数的对象检测模型的检测准确率,通常高于采用随机初始化的权重参数作为初始权重参数的对象检测模型的检测准确率,但有时会存在预训练的权重参数与对象检测模型匹配不好的情况,则也可以通过采用本申请实施例提供的模型处理方法对采用随机初始化的权重参数作为初始权重参数的对象检测模型进行训练,可以提高对象检测模型的检测准确率,并且避免预训练的权重参数的不匹配。
本申请实施例在获取到样本图像以及样本图像的N个标注对象框后,可以根据对象检测模型所处的当前训练阶段,以及由当前训练阶段确定出的目标对象框尺寸,从样本图像的N个标注对象框中筛选得到对象框尺寸大于或等于目标对象框尺寸的M个样本对象框,并采用样本图像以及M个样本对象框,对对象检测模型进行模型训练;可以在对象检测模型处于不同训练阶段时,针对同一个样本图像,采用不同对象框尺寸的样本对象框对对象检测模型进行训练,可以使得对象检测模型处于不同训练阶段时,学习不同对象框尺寸对应的目标对象的对象特征,可以提高对象检测模型对于不同尺寸的目标对象的检测准确率,即可提高对象检测模型对于目标对象的检测准确率。
基于上述模型处理方法,本申请实施例提供了另一种模型处理方法。参见图5,为本申请实施例提供的另一种模型处理方法的流程示意图。图5所示的模型处理方法可由模型处理设备执行。图5所示的模型处理方法可包括如下步骤:
S501,从对象检测模型的训练样本集中获取目标训练样本。
S502,确定在获取目标训练样本时,对象检测模型所处的当前训练阶段。
其中,步骤S501至步骤S502与步骤S201至步骤S202一致,在此不再赘述。
S503,获取预先设定的多个阶段范围以及每个阶段范围对应的对象框尺寸。
S504,从多个阶段范围中,确定当前训练阶段所处的目标阶段范围;并将目标阶段范围对应的对象框尺寸,确定为与当前训练阶段适配的目标对象框尺寸。
步骤S503至步骤S504中,多个阶段范围以及每个阶段范围对应的对象框尺寸为根据训练需求预先设定的。举例来说,若预先设定的多个阶段范围分别为第一阶段范围、第二阶段范围以及第三阶段范围,若第一阶段范围为[0,5),与第1个训练阶段到第5个训练阶段对应(即将训练阶段从0开始计数),第二阶段范围为[5,10),第三阶段范围为[10,15),每个阶段范围对应的对象框尺寸分别为20*20(即宽为20,高为20),10*10以及8*8,若当前训练阶段为第1个训练阶段,则当前训练阶段所处的目标阶段范围为第一阶段范围为[0,5),则与当前训练阶段适配的目标对象框尺寸为20*20。
在一个实施例中,在多个阶段范围中,范围起始值最小的阶段范围为第一个阶段范围;第一个阶段范围对应的对象框尺寸,为多个阶段范围中各个阶段范围对应的对象框尺寸中的最大值;即对多个阶段范围以及每个阶段范围对应的对象框尺寸进行预先设定时,需要将范围起始值最小的阶段范围对应的对象框尺寸设置为多个阶段范围中各个阶段范围对应的对象框尺寸中的最大值。可选的,多个阶段范围中除第一个阶段范围之外的其他阶段范围中,可以存在对象框尺寸与第一个范围阶段对应的对象框尺寸相等的阶段范围。确保范围起始值最小的阶段范围对应的对象框尺寸,为多个阶段范围中各个阶段范围对应的对象框尺寸中的最大值,是为了使对象检测模型先对较大对象框尺寸对应的目标对象的对象特征进行学习,可以更精确也更快速的学习到目标对象的对象特征。
在一个实施例中,在多个阶段范围中,范围起始值最大的阶段范围为最后一个阶段范围;最后一个阶段范围对应的对象框尺寸,为针对对象检测模型给定的默认对象框尺寸。其中,针对对象检测模型给定的默认对象框尺寸可以为技术人员根据训练需求预先设定的,可以针对不同目标对象的对象检测模型设定不同的默认对象框尺寸,可选的,默认对象框尺寸也可以为业界默认选取的对象框尺寸,即业界通常基于该默认对象框尺寸对对象检测模型进行训练,例如,当对象检测模型为人脸检测模型时,默认对象框尺寸一般为8*8。确保范围起始值最大的阶段范围对应的对象框尺寸,为针对对象检测模型给定的默认对象框尺寸,是为了使对象检测模型对目标对象的学习回归到默认对象框尺寸的条件中。
在一个实施例中,在多个阶段范围中,存在至少一个中间阶段范围的对象框尺寸小于默认对象框尺寸;其中,中间阶段范围是指:除第一个阶段范围和最后一个阶段范围以外的阶段范围。确保除第一个阶段范围和最后一个阶段范围以外的阶段范围中,存在至少一个中间阶段范围的对象框尺寸小于默认对象框尺寸,是为了使对象检测模型对较小对象框尺寸对应的目标对象的对象特征进行学习,可以更全面的学习到更多对象框尺寸对应的目标对象的对象特征。
举例来说,若预先设定的多个阶段范围分别为第一阶段范围、第二阶段范围以及第三阶段范围,若第一阶段范围为[0,30),第二阶段范围为[30,40),第二阶段范围为[40,训练阶段的总个数),其中,训练阶段的总个数为根据训练需求设定的,则第一个训练阶段为第一训练阶段,最后一个训练阶段为第三训练阶段;若每个阶段范围对应的对象框尺寸分别为20*20(即宽为20,高为20),6*6以及8*8,且当前训练阶段为第5个训练阶段,则当前训练阶段所处的目标阶段范围为第一阶段范围为[0,30),则与当前训练阶段适配的目标对象框尺寸为20*20。如图6所示,为本申请实施例提供的一种确定目标对象框尺寸的示意图,以预先设定的多个阶段范围分别为第一阶段范围、第二阶段范围以及第三阶段范围为例,模型处理设备先判断当前训练阶段是否属于第一阶段范围,若属于第一阶段范围,则将第一阶段范围对应的对象框尺寸,确定为与当前训练阶段适配的目标对象框尺寸;若不属于第一阶段范围,则判断当前训练阶段是否属于第二阶段范围,若属于第二阶段范围,则将第二阶段范围对应的对象框尺寸,确定为与当前训练阶段适配的目标对象框尺寸;若不属于第二阶段范围,则判断当前训练阶段是否属于第三阶段范围,若属于第三阶段范围,则将第三阶段范围对应的对象框尺寸,确定为与当前训练阶段适配的目标对象框尺寸。
在一个实施例,模型处理设备可以直接获取预先设定的多个阶段范围以及每个阶段范围对应的对象框尺寸,也可以获取预先设定的多个阶段范围的范围结束值、训练阶段的总个数、以及每个阶段范围的范围结束值对应的对象框尺寸,然后基于预先设定的多个阶段范围的范围结束值、训练阶段的总个数、以及每个阶段范围的范围结束值对应的对象框尺寸构建多个阶段范围以及每个阶段范围对应的对象框尺寸。举例来说,若预先设定的多个阶段范围的范围结束值分别为30、40,训练阶段的总个数为50,每个阶段范围的范围结束值对应的对象框尺寸分别为20*20,6*6以及默认对象框尺寸(为8*8),则构建的多个阶段范围分别可以为[0,30),[30,40),以及[40,50),每个阶段范围对应的对象框尺寸分别可以为20*20,6*6以及8*8。
S505,根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框。
S506,采用样本图像以及M个样本对象框,对对象检测模型进行模型训练。
在一个实施例中,如图7所示,为本申请实施例提供的另一种训练对象检测模型的示意图,模型处理设备可以从对象检测模型的训练样本集中获取包括了样本图像以及样本图像的N个标注对象框的目标训练样本;确定在获取目标训练样本时,对象检测模型所处的当前训练阶段;获取预先设定的多个阶段范围以及每个阶段范围对应的对象框尺寸;从多个阶段范围中,确定当前训练阶段所处的目标阶段范围;并将目标阶段范围对应的对象框尺寸,确定为与当前训练阶段适配的目标对象框尺寸;根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框;通过对象检测模型,对样本图像进行处理,得到M个预测对象框;基于M个样本对象框以及M个预测对象框计算损失函数的函数值,并朝着减小损失函数的函数值的方向优化对象检测模型。
本申请实施例中,模型处理设备基于训练阶段与对象框尺寸之间的适配策略,确定与当前训练阶段适配的目标对象框尺寸时,可以获取预先设定的多个阶段范围以及每个阶段范围对应的对象框尺寸;从多个阶段范围中,确定当前训练阶段所处的目标阶段范围;并将目标阶段范围对应的对象框尺寸,确定为与当前训练阶段适配的目标对象框尺寸。进一步的,可以通过将范围起始值最小的阶段范围对应的对象框尺寸,设定为多个阶段范围中各个阶段范围对应的对象框尺寸中的最大值,可以使对象检测模型先对较大对象框尺寸对应的目标对象的对象特征进行学习,可以更精确也更快速的学习到目标对象的对象特征;可以通过将范围起始值最大的阶段范围对应的对象框尺寸,设定为针对对象检测模型给定的默认对象框尺寸,可以使对象检测模型对目标对象的学习回归到默认对象框尺寸的条件中;将除第一个阶段范围和最后一个阶段范围以外的阶段范围中的至少一个中间阶段范围的对象框尺寸设定为小于默认对象框尺寸,可以使对象检测模型对较小对象框尺寸对应的目标对象的对象特征进行学习,可以更全面的学习到更多对象框尺寸对应的目标对象的对象特征;可以提高对象检测模型对于不同尺寸的目标对象的检测准确率,即可提高对象检测模型对于目标对象的检测准确率。
基于上述模型处理方法,本申请实施例提供了另一种模型处理方法。参见图8,为本申请实施例提供的另一种模型处理方法的流程示意图。图8所示的模型处理方法可由模型处理设备执行。图8所示的模型处理方法可包括如下步骤:
S801,从对象检测模型的训练样本集中获取目标训练样本。
S802,确定在获取目标训练样本时,对象检测模型所处的当前训练阶段。
其中,步骤S801至步骤S802与步骤S201至步骤S202一致,在此不再赘述。
S803,获取训练阶段与对象框尺寸之间的适配分段函数。
S804,根据适配分段函数中的各个函数段的定义域,从适配分段函数中选取定义域与当前训练阶段相匹配的目标函数段。
S805,采用目标函数段,计算出与当前训练阶段适配的目标对象框尺寸。
步骤S803至步骤S805中,适配分段函数包括:p个第一函数段和q个第二函数段;第一函数段和第二函数段交替连接,第一函数段具有单调递减性,第二函数段具有单调递增性;任一函数段的定义域为一个阶段范围,任一函数段的值域为对象框尺寸的取值范围;其中,p和q为正整数。
在一个实施例中,适配分段函数可以为根据训练需求预先设定的,例如第一函数段和第二函数段可以为线性函数段。举例来说,若训练阶段与对象框尺寸之间的适配分段函数包括1个第一函数段以及1个第二函数段,该第一函数段为:h=-k+12,定义域为[0,8),该第二函数段为:h=k-4,定义域为[8,16);h为对象框尺寸,k为训练阶段,训练阶段从0开始计数,即k为0时表征为第1个训练阶段;若当前训练阶段为4(即第5个训练阶段),则目标函数段为第一函数段:h=-k+12,目标对象框尺寸为8*8。
在一个实施例中,第一函数段的值域和第二函数的值域中均包括:针对对象检测模型给定的默认对象框尺寸;适配分段函数还包括第三函数段,第三函数段为常值函数段,且第三函数段的值域为默认对象框尺寸;第三函数段的定义域的范围起始值,大于适配分段函数中的其他函数段的定义域的范围起始值。其中,针对对象检测模型给定的默认对象框尺寸可以为技术人员根据训练需求预先设定的,可以针对不同目标对象的对象检测模型设定不同的默认对象框尺寸,可选的,默认对象框尺寸也可以为业界默认选取的对象框尺寸,即业界通常基于该默认对象框尺寸对对象检测模型进行训练,例如,当对象检测模型为人脸检测模型时,默认对象框尺寸一般为8*8。确保第一函数段的值域中包括:针对对象检测模型给定的默认对象框尺寸,是为了使对象检测模型对较大对象框尺寸对应的目标对象的对象特征进行学习,可以更精确的学习到目标对象的对象特征;确保第二函数段的值域中包括:针对对象检测模型给定的默认对象框尺寸,是为了使对象检测模型对较小对象框尺寸对应的目标对象的对象特征进行学习,可以更全面的学习到更多对象框尺寸对应的目标对象的对象特征;确保定义域的范围起始值最大的定义域对应的函数段,为针对对象检测模型给定的默认对象框尺寸,是为了使对象检测模型对目标对象的学习回归到默认对象框尺寸的条件中。
举例来说,如图9a所示,为本申请实施例提供的一种适配分段函数的示意图,若训练阶段与对象框尺寸之间的适配分段函数包括1个第一函数段、1个第二函数段以及1个第三函数段,1个第一函数段为:h=-k+12,定义域为[0,8),1个第二函数段为:h=k-4,定义域为[8,12);一个第三函数段为h=8,定义域为[12,16);h为对象框尺寸,k为训练阶段;若当前训练阶段为4,则目标函数段为第一函数段:h=-k+12,目标对象框尺寸为8*8。
在一个实施例中,模型处理设备可以直接获取训练阶段与对象框尺寸之间的适配分段函数,也可以通过获取默认对象框尺寸、尺寸调整参数以及尺寸调整步长构建适配分段函数,使第一函数段的值域在其定义域内,从默认对象框尺寸加上尺寸调整参数按照尺寸调整步长变化至默认对象框尺寸减去尺寸调整参数,使第二函数段的值域在其定义域内,从默认对象框尺寸减去尺寸调整参数按照尺寸调整步长变化至默认对象框尺寸加上尺寸调整参数,即可以将目标对象框尺寸控制在默认对象框尺寸附近交替变化,如图9b所示,为本申请实施例提供的另一种适配分段函数的示意图,假设各个函数段的定义域大小相同,且最后一个函数段的值域为默认对象框阈值。
S806,根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框。
S807,采用样本图像以及M个样本对象框,对对象检测模型进行模型训练。
在一个实施例中,如图10所示,为本申请实施例提供的另一种训练对象检测模型的示意图,模型处理设备可以从对象检测模型的训练样本集中获取包括了样本图像以及样本图像的N个标注对象框的目标训练样本;确定在获取目标训练样本时,对象检测模型所处的当前训练阶段;获取训练阶段与对象框尺寸之间的适配分段函数,根据适配分段函数中的各个函数段的定义域,从适配分段函数中选取定义域与当前训练阶段相匹配的目标函数段,采用目标函数段,计算出与当前训练阶段适配的目标对象框尺寸;根据每个标注对象框的对象框尺寸和目标对象框尺寸,从N个标注对象框中选取出M个样本对象框;通过对象检测模型,对样本图像进行处理,得到M个预测对象框;基于M个样本对象框以及M个预测对象框计算损失函数的函数值,并朝着减小损失函数的函数值的方向优化对象检测模型。
本申请实施例中,模型处理设备基于训练阶段与对象框尺寸之间的适配策略,确定与当前训练阶段适配的目标对象框尺寸时,可以获取训练阶段与对象框尺寸之间的适配分段函数,根据适配分段函数中的各个函数段的定义域,从适配分段函数中选取定义域与当前训练阶段相匹配的目标函数段,采用目标函数段,计算出与当前训练阶段适配的目标对象框尺寸。进一步的,通过设定第一函数段的值域中包括默认对象框尺寸,可以使对象检测模型对较大对象框尺寸对应的目标对象的对象特征进行学习,可以更精确的学习到目标对象的对象特征;通过设定第二函数段的值域中包括默认对象框尺寸,可以使对象检测模型对较小对象框尺寸对应的目标对象的对象特征进行学习,可以更全面的学习到更多对象框尺寸对应的目标对象的对象特征;通过设定定义域的范围起始值最大的定义域对应的函数段,为针对对象检测模型给定的默认对象框尺寸,可以使对象检测模型对目标对象的学习回归到默认对象框尺寸的条件中;可以提高对象检测模型对于不同尺寸的目标对象的检测准确率,即可提高对象检测模型对于目标对象的检测准确率。
基于上述系统实例以及方法实施例,本申请实施例提供了一种模型处理装置。参见图11,为本申请实施例提供的一种模型处理装置的结构示意图,该模型处理装置可包括获取单元1101以及处理单元1102。图11所示的模型处理装置可运行如下单元:
获取单元1101,用于从对象检测模型的训练样本集中获取目标训练样本,所述目标训练样本包括样本图像以及所述样本图像的N个标注对象框,N为正整数;
处理单元1102,用于确定在获取所述目标训练样本时,所述对象检测模型所处的当前训练阶段;一个训练阶段包括:采用所述训练样本集中的全部数据对所述对象检测模型进行一次完整训练的过程;
所述处理单元1102,用于基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸;
所述处理单元1102,用于根据每个标注对象框的对象框尺寸和所述目标对象框尺寸,从所述N个标注对象框中选取出M个样本对象框,样本对象框是指对象框尺寸大于或等于所述目标对象框尺寸的标注对象框,M为整数;
所述处理单元1102,用于采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
在一个实施例中,所述处理单元1102基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸时,具体执行如下操作:
获取预先设定的多个阶段范围以及每个阶段范围对应的对象框尺寸;
从所述多个阶段范围中,确定所述当前训练阶段所处的目标阶段范围;并将所述目标阶段范围对应的对象框尺寸,确定为与所述当前训练阶段适配的目标对象框尺寸。
在一个实施例中,在所述多个阶段范围中,范围起始值最小的阶段范围为第一个阶段范围;
所述第一个阶段范围对应的对象框尺寸,为所述多个阶段范围中各个阶段范围对应的对象框尺寸中的最大值。
在一个实施例中,在所述多个阶段范围中,范围起始值最大的阶段范围为最后一个阶段范围;
所述最后一个阶段范围对应的对象框尺寸,为针对所述对象检测模型给定的默认对象框尺寸。
在一个实施例中,在所述多个阶段范围中,存在至少一个中间阶段范围的对象框尺寸小于所述默认对象框尺寸;
其中,所述中间阶段范围是指:除所述第一个阶段范围和所述最后一个阶段范围以外的阶段范围。
在一个实施例中,所述处理单元1102基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸时,具体执行如下操作:
获取训练阶段与对象框尺寸之间的适配分段函数,所述适配分段函数包括:p个第一函数段和q个第二函数段;第一函数段和第二函数段交替连接,第一函数段具有单调递减性,第二函数段具有单调递增性;任一函数段的定义域为一个阶段范围,任一函数段的值域为对象框尺寸的取值范围;其中,p和q为正整数;
根据所述适配分段函数中的各个函数段的定义域,从所述适配分段函数中选取定义域与所述当前训练阶段相匹配的目标函数段;
采用所述目标函数段,计算出与所述当前训练阶段适配的目标对象框尺寸。
在一个实施例中,所述第一函数段的值域和所述第二函数的值域中均包括:针对所述对象检测模型给定的默认对象框尺寸;
所述适配分段函数还包括第三函数段,所述第三函数段为常值函数段,且所述第三函数段的值域为所述默认对象框尺寸;所述第三函数段的定义域的范围起始值,大于所述适配分段函数中的其他函数段的定义域的范围起始值。
在一个实施例中,所述处理单元1102采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练时,具体执行如下操作:
将所述N个标注对象框中除所述M个样本对象框以外的各个标注对象框,作为无效对象框;
在所述样本图像中裁剪掉所述无效对象框中的图像内容,得到裁剪后的样本图像;
采用所述裁剪后的样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
在一个实施例中,所述处理单元1102采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练时,具体执行如下操作:
将所述N个标注对象框中除所述M个样本对象框以外的各个标注对象框,作为无效对象框;
生成关于所述无效对象框的指示信息,所述指示信息用于指示所述对象检测模型在学习过程中,忽略掉所述无效对象框中的图像内容;
采用所述指示信息、所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
根据本申请的一个实施例,图2、图5以及图8所示的模型处理方法所涉及各个步骤可以是由图11所示的模型处理装置中的各个单元来执行的。例如,图2所示的步骤S201可由图11所示的模型处理装置中的获取单元1101来执行,图2所示的步骤S202至步骤S205可由图11所示的模型处理装置中的处理单元1102来执行。再如,图5所示的步骤S501可由图11所示的模型处理装置中的获取单元1101来执行,图5所示的步骤S502至步骤S506可由图11所示的模型处理装置中的处理单元1102来执行。又如,图8所示的步骤S801可由图11所示的模型处理装置中的获取单元1101来执行,图8所示的步骤S802至步骤S807可由图11所示的模型处理装置中的处理单元1102来执行。
根据本申请的另一个实施例,图11所示的模型处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于逻辑功能划分的模型处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2、图5以及图8所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图11中所示的模型处理装置,以及来实现本申请实施例模型处理方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例在获取到样本图像以及样本图像的N个标注对象框后,可以根据对象检测模型所处的当前训练阶段,以及由当前训练阶段确定出的目标对象框尺寸,从样本图像的N个标注对象框中筛选得到对象框尺寸大于或等于目标对象框尺寸的M个样本对象框,并采用样本图像以及M个样本对象框,对对象检测模型进行模型训练;可以在对象检测模型处于不同训练阶段时,针对同一个样本图像,采用不同对象框尺寸的样本对象框对对象检测模型进行训练,可以使得对象检测模型处于不同训练阶段时,学习不同对象框尺寸对应的目标对象的对象特征,可以提高对象检测模型对于不同尺寸的目标对象的检测准确率,即可提高对象检测模型对于目标对象的检测准确率。
基于上述方法实施例以及装置实施例,本申请还提供了一种模型处理设备。参见图12,为本申请实施例提供的一种模型处理设备的结构示意图。图12所示的模型处理设备可至少包括处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204。其中,处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204可通过总线或其他方式连接。
计算机存储介质1204可以存储在模型处理设备的存储器中,计算机存储介质1204用于存储计算机程序,计算机程序包括程序指令,处理器1201用于执行计算机存储介质1204存储的程序指令。处理器1201(或称CPU(Central Processing Unit,中央处理器))是模型处理设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现上述模型处理方法流程或相应功能。
本申请实施例还提供了一种计算机存储介质(Memory),计算机存储介质是模型处理设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器1201加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速随机存取存储器(random access memory,RAM)存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器1201以及输入接口1202加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2、图5以及图8的模型处理方法实施例中的方法的相应步骤,具体实现中,计算机存储介质中的一条或多条指令由处理器1201以及输入接口1202加载并执行如下步骤:
输入接口1202,用于从对象检测模型的训练样本集中获取目标训练样本,所述目标训练样本包括样本图像以及所述样本图像的N个标注对象框,N为正整数;
处理器1201,用于确定在获取所述目标训练样本时,所述对象检测模型所处的当前训练阶段;一个训练阶段包括:采用所述训练样本集中的全部数据对所述对象检测模型进行一次完整训练的过程;
所述处理器1201,还用于基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸;
所述处理器1201,还用于根据每个标注对象框的对象框尺寸和所述目标对象框尺寸,从所述N个标注对象框中选取出M个样本对象框,样本对象框是指对象框尺寸大于或等于所述目标对象框尺寸的标注对象框,M为整数;
所述处理器1201,还用于采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
在一个实施例中,所述处理器1201基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸时,具体执行如下操作:
获取预先设定的多个阶段范围以及每个阶段范围对应的对象框尺寸;
从所述多个阶段范围中,确定所述当前训练阶段所处的目标阶段范围;并将所述目标阶段范围对应的对象框尺寸,确定为与所述当前训练阶段适配的目标对象框尺寸。
在一个实施例中,在所述多个阶段范围中,范围起始值最小的阶段范围为第一个阶段范围;
所述第一个阶段范围对应的对象框尺寸,为所述多个阶段范围中各个阶段范围对应的对象框尺寸中的最大值。
在一个实施例中,在所述多个阶段范围中,范围起始值最大的阶段范围为最后一个阶段范围;
所述最后一个阶段范围对应的对象框尺寸,为针对所述对象检测模型给定的默认对象框尺寸。
在一个实施例中,在所述多个阶段范围中,存在至少一个中间阶段范围的对象框尺寸小于所述默认对象框尺寸;
其中,所述中间阶段范围是指:除所述第一个阶段范围和所述最后一个阶段范围以外的阶段范围。
在一个实施例中,所述处理器1201基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸时,具体执行如下操作:
获取训练阶段与对象框尺寸之间的适配分段函数,所述适配分段函数包括:p个第一函数段和q个第二函数段;第一函数段和第二函数段交替连接,第一函数段具有单调递减性,第二函数段具有单调递增性;任一函数段的定义域为一个阶段范围,任一函数段的值域为对象框尺寸的取值范围;其中,p和q为正整数;
根据所述适配分段函数中的各个函数段的定义域,从所述适配分段函数中选取定义域与所述当前训练阶段相匹配的目标函数段;
采用所述目标函数段,计算出与所述当前训练阶段适配的目标对象框尺寸。
在一个实施例中,所述第一函数段的值域和所述第二函数的值域中均包括:针对所述对象检测模型给定的默认对象框尺寸;
所述适配分段函数还包括第三函数段,所述第三函数段为常值函数段,且所述第三函数段的值域为所述默认对象框尺寸;所述第三函数段的定义域的范围起始值,大于所述适配分段函数中的其他函数段的定义域的范围起始值。
在一个实施例中,所述处理器1201采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练时,具体执行如下操作:
将所述N个标注对象框中除所述M个样本对象框以外的各个标注对象框,作为无效对象框;
在所述样本图像中裁剪掉所述无效对象框中的图像内容,得到裁剪后的样本图像;
采用所述裁剪后的样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
在一个实施例中,所述处理器1201采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练时,具体执行如下操作:
将所述N个标注对象框中除所述M个样本对象框以外的各个标注对象框,作为无效对象框;
生成关于所述无效对象框的指示信息,所述指示信息用于指示所述对象检测模型在学习过程中,忽略掉所述无效对象框中的图像内容;
采用所述指示信息、所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。模型处理设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该模型处理设备执行上述如图2、图5或图8所示的方法实施例。其中,计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种模型处理方法,其特征在于,包括:
从对象检测模型的训练样本集中获取目标训练样本,所述目标训练样本包括样本图像以及所述样本图像的N个标注对象框,N为正整数;
确定在获取所述目标训练样本时,所述对象检测模型所处的当前训练阶段;一个训练阶段包括:采用所述训练样本集中的全部数据对所述对象检测模型进行一次完整训练的过程;
基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸;所述目标对象框尺寸是在多个阶段范围中确定的所述当前训练阶段所处的目标阶段范围所对应的对象框尺寸,所述多个阶段范围中的范围起始值最小的阶段范围为第一个阶段范围,范围起始值最大的阶段范围为最后一个阶段范围,所述多个阶段范围中存在至少一个中间阶段范围的对象框尺寸小于默认对象框尺寸,所述中间阶段范围是指除第一个阶段范围和最后一个阶段范围以外的阶段范围;或者,所述目标对象框尺寸是采用适配分段函数中定义域与所述当前训练阶段相匹配的目标函数段计算的,所述适配分段函数包括第一函数段、第二函数段和第三函数段,任一函数段的定义域为一个阶段范围且值域为对象框尺寸的取值范围;所述第一函数段的值域和所述第二函数段的值域中均包括:针对所述对象检测模型给定的默认对象框尺寸;所述第三函数段为常值函数段,且所述第三函数段的值域为所述默认对象框尺寸;所述第三函数段的定义域的范围起始值,大于所述适配分段函数中的其他函数段的定义域的范围起始值;
根据每个标注对象框的对象框尺寸和所述目标对象框尺寸,从所述N个标注对象框中选取出M个样本对象框,样本对象框是指对象框尺寸大于或等于所述目标对象框尺寸的标注对象框,M为整数;
采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
2.如权利要求1所述的方法,其特征在于,所述基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸,包括:
获取预先设定的多个阶段范围以及每个阶段范围对应的对象框尺寸;
从所述多个阶段范围中,确定所述当前训练阶段所处的目标阶段范围;并将所述目标阶段范围对应的对象框尺寸,确定为与所述当前训练阶段适配的目标对象框尺寸。
3.如权利要求2所述的方法,其特征在于,所述第一个阶段范围对应的对象框尺寸,为所述多个阶段范围中各个阶段范围对应的对象框尺寸中的最大值。
4.如权利要求2或3所述的方法,其特征在于,所述最后一个阶段范围对应的对象框尺寸,为针对所述对象检测模型给定的默认对象框尺寸。
5.如权利要求1所述的方法,其特征在于,所述基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸,包括:
获取训练阶段与对象框尺寸之间的适配分段函数,所述适配分段函数包括:p个第一函数段和q个第二函数段;第一函数段和第二函数段交替连接,第一函数段具有单调递减性,第二函数段具有单调递增性;其中,p和q为正整数;
根据所述适配分段函数中的各个函数段的定义域,从所述适配分段函数中选取定义域与所述当前训练阶段相匹配的目标函数段;
采用所述目标函数段,计算出与所述当前训练阶段适配的目标对象框尺寸。
6.如权利要求1所述的方法,其特征在于,所述采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练,包括:
将所述N个标注对象框中除所述M个样本对象框以外的各个标注对象框,作为无效对象框;
在所述样本图像中裁剪掉所述无效对象框中的图像内容,得到裁剪后的样本图像;
采用所述裁剪后的样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
7.如权利要求1所述的方法,其特征在于,所述采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练,包括:
将所述N个标注对象框中除所述M个样本对象框以外的各个标注对象框,作为无效对象框;
生成关于所述无效对象框的指示信息,所述指示信息用于指示所述对象检测模型在学习过程中,忽略掉所述无效对象框中的图像内容;
采用所述指示信息、所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
8.一种模型处理装置,其特征在于,包括:
获取单元,用于从对象检测模型的训练样本集中获取目标训练样本,所述目标训练样本包括样本图像以及所述样本图像的N个标注对象框,N为正整数;
处理单元,用于确定在获取所述目标训练样本时,所述对象检测模型所处的当前训练阶段;一个训练阶段包括:采用所述训练样本集中的全部数据对所述对象检测模型进行一次完整训练的过程;
所述处理单元,还用于基于训练阶段与对象框尺寸之间的适配策略,确定与所述当前训练阶段适配的目标对象框尺寸;所述目标对象框尺寸是在多个阶段范围中确定的所述当前训练阶段所处的目标阶段范围所对应的对象框尺寸,所述多个阶段范围中的范围起始值最小的阶段范围为第一个阶段范围,范围起始值最大的阶段范围为最后一个阶段范围,所述多个阶段范围中存在至少一个中间阶段范围的对象框尺寸小于默认对象框尺寸,所述中间阶段范围是指除第一个阶段范围和最后一个阶段范围以外的阶段范围;或者,所述目标对象框尺寸是采用适配分段函数中定义域与所述当前训练阶段相匹配的目标函数段计算的,所述适配分段函数包括第一函数段、第二函数段和第三函数段,任一函数段的定义域为一个阶段范围且值域为对象框尺寸的取值范围;所述第一函数段的值域和所述第二函数段的值域中均包括:针对所述对象检测模型给定的默认对象框尺寸;所述第三函数段为常值函数段,且所述第三函数段的值域为所述默认对象框尺寸;所述第三函数段的定义域的范围起始值,大于所述适配分段函数中的其他函数段的定义域的范围起始值;
所述处理单元,还用于根据每个标注对象框的对象框尺寸和所述目标对象框尺寸,从所述N个标注对象框中选取出M个样本对象框,样本对象框是指对象框尺寸大于或等于所述目标对象框尺寸的标注对象框,M为整数;
所述处理单元,还用于采用所述样本图像以及所述M个样本对象框,对所述对象检测模型进行模型训练。
9.一种模型处理设备,其特征在于,所述模型处理设备包括:输入接口、输出接口、处理器以及计算机存储介质;
所述处理器,适于实现一条或多条指令;所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的模型处理方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如权利要求1-7任一项所述的模型处理方法。
11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令被处理器执行时,用于执行如权利要求1-7任一项所述的模型处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111001044.2A CN115731588B (zh) | 2021-08-27 | 2021-08-27 | 模型处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111001044.2A CN115731588B (zh) | 2021-08-27 | 2021-08-27 | 模型处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115731588A CN115731588A (zh) | 2023-03-03 |
CN115731588B true CN115731588B (zh) | 2024-07-09 |
Family
ID=85290771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111001044.2A Active CN115731588B (zh) | 2021-08-27 | 2021-08-27 | 模型处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115731588B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657592A (zh) * | 2018-12-12 | 2019-04-19 | 大连理工大学 | 一种智能挖掘机的人脸识别系统及方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7369687B2 (en) * | 2002-11-21 | 2008-05-06 | Advanced Telecommunications Research Institute International | Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position |
CN108305238B (zh) * | 2018-01-26 | 2022-03-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN109886286B (zh) * | 2019-01-03 | 2021-07-23 | 武汉精测电子集团股份有限公司 | 基于级联检测器的目标检测方法、目标检测模型及系统 |
CN109948425B (zh) * | 2019-01-22 | 2023-06-09 | 中国矿业大学 | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 |
CN111950329B (zh) * | 2019-05-16 | 2024-06-18 | 长沙智能驾驶研究院有限公司 | 目标检测及模型训练方法、装置、计算机设备和存储介质 |
CN111598006B (zh) * | 2020-05-18 | 2023-05-26 | 阿波罗智联(北京)科技有限公司 | 用于标注对象的方法和装置 |
CN111950591B (zh) * | 2020-07-09 | 2023-09-01 | 中国科学院深圳先进技术研究院 | 模型训练方法、交互关系识别方法、装置及电子设备 |
CN112329873A (zh) * | 2020-11-12 | 2021-02-05 | 苏州挚途科技有限公司 | 目标检测模型的训练方法、目标检测方法及装置 |
CN112766244B (zh) * | 2021-04-07 | 2021-06-08 | 腾讯科技(深圳)有限公司 | 目标对象检测方法、装置、计算机设备和存储介质 |
CN113158900A (zh) * | 2021-04-22 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 人脸活体检测模型的训练方法、装置、设备及存储介质 |
-
2021
- 2021-08-27 CN CN202111001044.2A patent/CN115731588B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657592A (zh) * | 2018-12-12 | 2019-04-19 | 大连理工大学 | 一种智能挖掘机的人脸识别系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115731588A (zh) | 2023-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
Yi et al. | ASSD: Attentive single shot multibox detector | |
US10936919B2 (en) | Method and apparatus for detecting human face | |
CN111898696B (zh) | 伪标签及标签预测模型的生成方法、装置、介质及设备 | |
CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
CN115063875B (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
CN111027576A (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
CN111652181A (zh) | 目标跟踪方法、装置及电子设备 | |
CN112101344B (zh) | 一种视频文本跟踪方法及装置 | |
CN115131604A (zh) | 一种多标签图像分类方法、装置、电子设备及存储介质 | |
US20230245429A1 (en) | Method and apparatus for training lane line detection model, electronic device and storage medium | |
CN114913339A (zh) | 特征图提取模型的训练方法和装置 | |
EP4220552A1 (en) | Image processing method and system | |
CN117392488A (zh) | 一种数据处理方法、神经网络及相关设备 | |
CN117078970A (zh) | 一种图片识别方法、装置、电子设备及存储介质 | |
CN115731588B (zh) | 模型处理方法及装置 | |
CN110610184B (zh) | 图像的显著目标的检测方法、装置及设备 | |
CN116954113A (zh) | 智能机器人驱动传感智能控制系统及其方法 | |
CN116152265A (zh) | 一种基于多尺度特征选择性融合的指代分割方法 | |
CN116257609A (zh) | 基于多尺度文本对齐的跨模态检索方法及系统 | |
CN112712015B (zh) | 一种人体关键点识别方法、装置、智能终端及存储介质 | |
CN114299517A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
CN111814865A (zh) | 一种图像识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40083049 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |