CN111353464B - 一种物体检测模型训练、物体检测方法及装置 - Google Patents

一种物体检测模型训练、物体检测方法及装置 Download PDF

Info

Publication number
CN111353464B
CN111353464B CN202010170904.4A CN202010170904A CN111353464B CN 111353464 B CN111353464 B CN 111353464B CN 202010170904 A CN202010170904 A CN 202010170904A CN 111353464 B CN111353464 B CN 111353464B
Authority
CN
China
Prior art keywords
object detection
gradient
detection model
training
training image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010170904.4A
Other languages
English (en)
Other versions
CN111353464A (zh
Inventor
孙培泽
张弘楷
李伯勋
俞刚
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010170904.4A priority Critical patent/CN111353464B/zh
Publication of CN111353464A publication Critical patent/CN111353464A/zh
Application granted granted Critical
Publication of CN111353464B publication Critical patent/CN111353464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种物体检测模型训练、物体检测方法及装置，涉及机器学习技术领域，包括：将训练图像输入所述检测模型中，确定所述训练图像的前景点预测值；确定所述前景点预测值对所述训练图像的梯度；判断所述梯度是否满足预设条件；当若不满足所述预设条件时，则根据所述梯度在所述训练图像的背景点位置的值对所述检测模型的网络参数的梯度，来更新所述网络参数，直至满足所述预设条件或达到预设训练次数，得到训练后的完成对所述检测模型的训练。本发明通过判断前景点预测值对输入图像的梯度是否在前景点像素范围之内，来更新网络参数。通过增加物体检测场景中对前景梯度的约束，可加快训练收敛速度，并有效提高对物体检测的性能。

Description

一种物体检测模型训练、物体检测方法及装置
技术领域
本发明涉及机器学习技术领域，具体而言，涉及一种物体检测模型训练、物体检测方法及装置。
背景技术
随着机器学习和计算机视觉技术的不断发展，物体检测在计算机视觉与模式识別领域，已成为一个比较热门的研究方向。物体检测对于计算机而言，其所要面对的是图片的像素矩阵，很难直接得到物体的名称和其在目标图像中的位置，再加上物体姿态的各异、光照强弱不一以及各种背景的混杂和相互遮挡的干扰，使得基于计算机视觉的物体检测任务变得更加的困难。
现有的对物体检测模型进行训练的方法大多基于梯度下降算法，即根据误差函数对网络参数的导数(即梯度)来更新网络参数，但是存在训练时间较长的问题，训练效果也有提高的空间。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，本发明第一方面的实施例提供了一种检测模型训练方法，其包括：
将训练图像输入所述物体检测模型中，确定所述训练图像的前景点预测值；
确定所述前景点预测值对所述训练图像的梯度；
判断所述梯度是否满足预设误差约束条件；
当不满足所述预设误差约束条件时，根据所述梯度在所述训练图像的背景点位置的值对所述物体检测模型的网络参数的梯度，来更新所述网络参数，直至满足收敛条件或达到预设训练次数，得到训练后的所述物体检测模型。
进一步地，所述确定所述训练图像的前景点预测值包括：将所述训练图像中物体检测框内的位置对应像素的输出结果确定为所述前景点预测值。
进一步地，所述确定所述前景点预测值对所述训练图像的梯度包括：将所述物体检测模型的误差函数在所述训练图像的前景点位置的值对所述训练图像的梯度确定为所述梯度。
进一步地，所述梯度与所述训练图像的大小相同，所述训练图像中的前景点位置为所述梯度中对应的前景点位置，所述训练图像中的背景点位置为所述梯度中对应的背景点位置。
进一步地，所述预设误差约束条件为所述梯度在所述训练图像的物体检测框范围之内。
进一步地，述预设误差约束条件为所述梯度在所述训练图像的背景点位置的值为0。
进一步地，所述根据所述梯度在所述训练图像的背景点位置的值对所述物体检测模型的网络参数的梯度来更新所述网络参数包括：
根据所述梯度和所述训练图像的背景点掩膜确定所述梯度在所述训练图像的背景点位置的值；
根据所述梯度在所述训练图像的背景点位置的值对所述网络参数求导得到二阶梯度；
根据所述二阶梯度对所述网络参数进行更新。
进一步地，所述物体检测模型包括单级、双级和级联级检测模型。
为达上述目的，本发明第二方面的实施例还提供了一种物体检测模型训练装置，其包括：
获取模块，用于将训练图像输入所述物体检测模型中，确定所述训练图像的前景点预测值；
处理模块，用于确定所述前景点预测值对所述训练图像的梯度；
判断模块，用于判断所述梯度是否满足预设误差约束条件；
训练模块，用于当不满足所述预设误差约束条件时，根据所述梯度在所述训练图像的背景点位置的值对所述物体检测模型的网络参数的梯度来更新所述网络参数，直至满足收敛条件或达到预设训练次数，得到训练后的所述物体检测模型。
使用本发明的物体检测模型训练方法或装置，根据输入图像的前景点预测值判断前景点预测值对输入图像的梯度是否在前景点像素范围之内，并根据前景点预测值对输入图像的梯度在输入图像背景点位置的值对物体检测模型网络参数的梯度来更新网络参数。本发明通过考虑物体检测场景中对前景梯度的约束，可加快训练收敛速度，并有效提高训练效果，增强对物体检测的性能。
为达上述目的，本发明第三方面的实施例提供了一种物体检测方法，其包括：
获取待检测的图像并输入物体检测模型，所述物体检测模型采用如上所述的物体检测模型训练方法进行训练得到；
根据所述物体检测模型的输出得到所述待检测的图像的物体检测结果。
为达上述目的，本发明第四方面的实施例提供了一种物体检测装置，其包括：
获取模块，用于获取待检测的图像并输入物体检测模型，所述物体检测模型采用如上所述的物体检测模型训练方法进行训练得到；
检测模块，用于根据所述物体检测模型的输出得到所述待检测的图像的物体检测结果。
使用本发明的物体检测方法或装置，通过采用根据如上所述的物体检测模型训练方法训练得到的物体检测模型对待检测图像进行检测，可提高对物体检测的准确度，具有广泛的应用前景。
为达上述目的，本发明第五方面的实施例提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现根据本发明第一方面所述的物体检测模型训练方法或实现根据本发明第三方面所述的物体检测方法。
为达上述目的，本发明第六方面的实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的物体检测模型训练方法或实现根据本发明第三方面所述的物体检测方法。
根据本发明的非临时性计算机可读存储介质和计算设备，具有与根据本发明第一方面的物体检测模型训练方法或与根据本发明第三方面的物体检测方法具有类似的有益效果，在此不再赘述。
附图说明
图1为现有技术的原理示意图；
图2为根据本发明实施例的物体检测模型训练方法的流程示意图；
图3为根据本发明实施例的更新网络参数的值的流程示意图；
图4为根据本发明实施例的根据二阶梯度对网络参数进行更新的流程示意图；
图5为根据本发明实施例的物体检测模型训练装置的结构示意图；
图6为根据本发明实施例的物体检测方法的流程示意图；
图7为根据本发明实施例的物体检测装置的结构示意图；
图8为根据本发明实施例的计算设备的结构示意图。
具体实施方式
下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
随着机器学习和计算机视觉技术的不断发展，物体检测在安防、交通等很多领域都有着广泛的应用，深入人们的日常生活，在一定程度减轻了人们的工作负担，也改变了人们的生活方式。但是现有的对物体检测模型的训练方法，大多都基于误差函数对模型网络参数的梯度来对网络参数进行更新，其需要耗费的训练时间较长，而且对物体检测的性能有待提高。
图1所示为现有技术的梯度下降算法的原理示意图，通过梯度下降法基于学习率构建一个迭代过程进行迭代得到θ0、θ1、θ2等，直至求得使得函数达到最小值min。
本发明考虑物体检测场景中前景点梯度的约束：前景点梯度应该在物体框范围内，前景点梯度的真值在物体框范围外为0，在物体框范围内允许为任意数。本发明除了根据误差函数对网络参数的梯度来更新网络参数以外，再根据前景点预测值对输入图片的梯度是否在前景点像素范围内再次更新网络参数，可加快训练收敛速度，提高物体检测性能。
图2所示为根据本发明实施例的物体检测模型训练方法的流程示意图，包括步骤S11至S14。
在步骤S11中，将训练图像输入所述物体检测模型中，确定所述训练图像的前景点预测值。在本发明实施例中，确定所述训练图像的前景点预测值包括：将所述训练图像中物体检测框的位置对应像素的输出结果确定为所述前景点预测值。可以理解的是，本文中所称前景点指的是在物体检测模型的物体检测框范围内的像素点，文中所称背景点指的是在所述物体检测框范围外的像素点。在本发明实施例中，以xi表示第i张输入的训练图像，其中，训练图像中物体检测框内(即有物体)的位置的像素为前景点像素，物体检测框外(即无物体)的位置的像素为背景点像素。以θ表示物体检测模型的网络参数。以f(xi，θ)表示输入第i张训练图像时所述物体检测模型的输出结果，其中，物体检测框内的位置的输出结果为前景点预测值。
在步骤S12中，确定所述前景点预测值对所述训练图像的梯度。在本发明实施例中，确定所述前景点预测值对所述训练图像的梯度包括：将所述检测模型的误差函数在所述训练图像的前景点位置的值对所述训练图像的梯度确定为所述梯度。可以理解的是，所述前景点预测值根据输入的训练图像的二维像素矩阵确定，所述前景点预测值对所述训练图像可确定梯度。在本发明实施例中，yi表示第i张训练图像的标注信息，即真值。在物体检测模型中，yi是一个矩阵，其中，根据标注信息，有物体(物体检测框内)的位置对应的元素为1，无物体(物体检测框外)的位置对应的元素为0。L(f(xi，θ)，yi)表示物体检测模型的误差函数。M表示前景点掩膜，有物体的位置的值的元素为1，否则为0。则前景点预测值对训练图像的梯度，即误差函数在前景点处的值对训练图像的梯度表示为：
梯度表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向(此梯度的方向)变化最快。可以理解的是，在本发明实施例中，和xi大小相同，xi中的前景点位置即为/>中的前景点位置，xi中的背景点位置即为/>中的背景点位置。
在步骤S13中，判断所述梯度是否满足预设误差约束条件。在本发明实施例中，所述预设条件为所述梯度在所述训练图像的物体检测框范围之内。本发明实施例考虑物体检测场景中前景点梯度的约束，即前景点梯度应该在物体检测框(即前景点像素)范围内。在本发明实施例中，述预设条件为所述梯度在所述训练图像的背景点位置的值为0，即前景点梯度的真值在物体检测框范围外为0，在物体检测框范围内允许为任意数。
在步骤S14中，当不满足所述预设误差约束条件时，根据所述梯度在所述训练图像的背景点位置的值对所述物体检测模型的网络参数的梯度，来更新所述网络参数，直至满足收敛条件或达到预设训练次数，得到训练后的所述物体检测模型。图3所示为根据本发明实施例的更新网络参数的值的流程示意图，包括步骤S21至S23。
在步骤S21中，根据所述梯度和所述训练图像的背景点掩膜确定所述梯度在所述训练图像的背景点位置的值。在本发明实施例中，记为梯度/>在背景点位置的值：
其中，1-M表示训练图像的背景点掩膜。
在本发明实施例中，是前景点预测值对输入图片的梯度，那么/>在背景点位置的值应该为零，否则需要进一步更新物体检测模型的网络参数。
在步骤S22中，根据所述梯度在所述训练图像的背景点位置的值对所述网络参数求导得到二阶梯度。在本发明实施例中，根据梯度在背景点位置的值/>对网络参数求导，得到的二阶梯度为：
在步骤S23中，根据所述二阶梯度对所述网络参数进行更新。图4所示为根据本发明实施例的根据二阶梯度对网络参数进行更新的流程示意图，包括步骤S231至S234。
在步骤S231中，计算在前景框范围外的梯度(即在训练图像的背景点位置的梯度)对网络倒数第一层参数的导数，即二阶梯度。
在步骤S232中，根据反向传播算法和导数链式法则，计算前景点对网络倒数第二层参数的导数，即梯度。
在步骤S233中，计算在前景框范围外的梯度对网络倒数第二层参数的导数，即二阶梯度。
在步骤S234中，重复上述步骤直至计算至网络第一层参数，根据上述步骤计算的各二阶梯度更新网络每一层的参数。在本发明实施例中，网络参数更新方式是：
θk+1＝θk-ε"g"k
其中，ε"是学习率，k是迭代次数。
在本发明实施例中，当满足预设的收敛条件，或迭代次数到达预设次数时，完成对所述物体检测模型的训练。
可以理解的是，本发明实施例适用于任何物体检测模型，包括但不限于one-stage(单级)、two-stage(双级)和cascade-stage(级联级)。本发明实施例适用于任何前景建模方式，包括但不限于anchor-based、anchor-free(point)和RoI。
采用本发明实施例的检测模型训练方法，通过根据输入图像的前景点预测值判断前景点预测值对输入图像的梯度是否在前景点像素范围之内，并根据前景点预测值对输入图像的梯度在输入图像背景点位置的值对物体检测模型网络参数的梯度来更新网络参数。本发明通过考虑物体检测场景中对前景梯度的约束，可加快训练收敛速度，并有效提高训练效果，增强对物体检测的性能。
本发明第二方面的实施例还提供了一种物体检测模型训练装置。图5所示为根据本发明实施例的物体检测模型训练装置500的结构示意图，包括获取模块501、处理模块502、判断模块503以及训练模块504。
获取模块501用于将训练图像输入所述物体检测模型中，确定所述训练图像的前景点预测值。在本发明实施例中，获取模块501包括预测单元5011(图中未示出)，用于确定所述训练图像中有物体的位置对应像素的输出结果作为所述前景点预测值。
处理模块502用于确定所述前景点预测值对所述训练图像的梯度。在本发明实施例中，处理模块502包括梯度单元5021(图中未示出)，用于确定所述物体检测模型的误差函数在所述训练图像的前景点位置的值对所述训练图像的梯度作为所述梯度。
判断模块503用于判断所述梯度是否满足预设条件。
训练模块504用于当不满足所述预设条件时，根据所述梯度在所述训练图像的背景点位置的值对所述物体检测模型的网络参数的梯度来更新所述网络参数，直至满足所述预设条件或达到预设训练次数，得到训练后的所述物体检测模型。在本发明实施例中，训练模块504包括确定单元5041、二阶梯度单元5042以及更新单元5043(图中均未示出)，其中：
确定单元5041用于根据所述梯度和所述训练图像的背景点掩膜确定所述梯度在所述训练图像的背景点位置的值；
二阶梯度单元5042用于根据所述梯度在所述训练图像的背景点位置的值对所述网络参数求导得到二阶梯度；
更新单元5043用于根据所述二阶梯度对所述网络参数进行更新。
在本发明实施例中，所述物体检测模型训练装置500的各个模块的更具体实现方式可以参见对于本发明的检测模型训练方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明第三方面的实施例提出了一种物体检测方法。图6所示为根据本发明实施例的物体检测方法的流程示意图，包括步骤S61～S62。
在步骤S61中，获取待检测的图像并输入物体检测模型，所述物体检测模型采用如上所述的物体检测模型训练方法进行训练得到。
在步骤S62中，根据所述物体检测模型的输出得到所述待检测的图像的物体检测结果。
采用本发明实施例的物体检测方法，通过采用根据如上所述的物体检测模型训练方法训练得到的物体检测模型对待检测图像进行检测，可提高对物体检测的准确度，具有广泛的应用前景。
本发明第四方面的实施例提出了一种物体检测装置。图7所示为根据本发明实施例的物体检测装置700的结构示意图，包括获取模块701以及检测模块702。
获取模块701用于获取待检测的图像并输入物体检测模型，所述物体检测模型采用如上所述的物体检测模型训练方法进行训练得到；
检测模块702用于根据所述物体检测模型的输出得到所述待检测的图像的物体检测结果。
所述物体检测装置700的各个模块的更具体实现方式可以参见对于本发明的物体检测方法的描述，且具有与之相似的有益效果，在此不再赘述。
可选地，图7所示的物体检测装置700还可以包括训练模块，用于执行如图2所示的物体检测模型训练方法。
本发明第五方面的实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现根据本发明第一方面所述的物体检测模型训练方法或实现根据本发明第三方面所述的物体检测方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明第六方面的实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明第一方面所述的物体检测模型训练方法或实现根据本发明第三方面所述的物体检测方法。
根据本发明第五、六方面的非临时性计算机可读存储介质和计算设备，可以参照根据本发明第一方面实施例或第三方面实施例具体描述的内容实现，并具有与根据本发明第一方面实施例的物体检测模型训练方法或第三方面实施例的物体检测方法具有类似的有益效果，在此不再赘述。
图8示出了适于用来实现本公开的实施方式的示例性计算设备的框图。图8显示的计算设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，计算设备12可以通用计算设备的形式实现。计算设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算设备12的其它模块通信。要说明的是，尽管图中未示出，可以结合计算设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
本发明的计算设备可以是服务器，也可以有限算力的终端设备。
尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种物体检测模型训练方法，其特征在于，包括：
将训练图像输入所述物体检测模型中，确定所述训练图像的前景点预测值，其中，所述前景点指在所述物体检测模型的物体检测框范围内的像素点；
确定所述前景点预测值对所述训练图像的梯度；
判断所述梯度是否满足预设误差约束条件，所述预设误差约束条件为所述梯度在所述训练图像的物体检测框范围之内；
当不满足所述误差约束预设条件时，根据所述梯度在所述训练图像的背景点位置的值对所述物体检测模型的网络参数的梯度，来更新所述网络参数，直至满足收敛条件或达到预设训练次数，得到训练后的所述物体检测模型；其中，所述背景点指在所述物体检测框范围外的像素点。
2.根据权利要求1所述的物体检测模型训练方法，其特征在于，所述确定所述训练图像的前景点预测值包括：将所述训练图像中物体检测框内的位置对应像素的输出结果确定为所述前景点预测值。
3.根据权利要求1所述的物体检测模型训练方法，其特征在于，所述确定所述前景点预测值对所述训练图像的梯度包括：将所述物体检测模型的误差函数在所述训练图像的前景点位置的值对所述训练图像的梯度确定为所述梯度。
4.根据权利要求1所述的物体检测模型训练方法，其特征在于，所述梯度与所述训练图像的大小相同，所述训练图像中的前景点位置为所述梯度中对应的前景点位置，所述训练图像中的背景点位置为所述梯度中对应的背景点位置。
5.根据权利要求1所述的物体检测模型训练方法，其特征在于，所述预设误差约束条件为所述梯度在所述训练图像的背景点位置的值为0。
6.根据权利要求1-5中任一项所述的物体检测模型训练方法，其特征在于，所述根据所述梯度在所述训练图像的背景点位置的值对所述检测模型的网络参数的梯度来更新所述网络参数包括：
根据所述梯度和所述训练图像的背景点掩膜确定所述梯度在所述训练图像的背景点位置的值；
根据所述梯度在所述训练图像的背景点位置的值对所述网络参数求导得到二阶梯度；
根据所述二阶梯度对所述网络参数进行更新。
7.根据权利要求1-5中任一项所述的物体检测模型训练方法，其特征在于，所述物体检测模型包括单级、双级和级联级检测模型。
8.一种物体检测模型训练装置，其特征在于，包括：
获取模块，用于将训练图像输入所述物体检测模型中，确定所述训练图像的前景点预测值，其中，所述前景点指在所述物体检测模型的物体检测框范围内的像素点；
处理模块，用于确定所述前景点预测值对所述训练图像的梯度；
判断模块，用于判断所述梯度是否满足预设误差约束条件，所述预设误差约束条件为所述梯度在所述训练图像的物体检测框范围之内；
训练模块，用于当不满足所述预设误差约束条件时，根据所述梯度在所述训练图像的背景点位置的值对所述物体检测模型的网络参数的梯度来更新所述网络参数，直至满足收敛条件或达到预设训练次数，得到训练后的所述物体检测模型；其中，所述背景点指在所述物体检测框范围外的像素点。
9.一种物体检测方法，其特征在于，包括：
获取待检测的图像并输入物体检测模型，所述物体检测模型采用如权利要求1-7中任一项所述的物体检测模型训练方法进行训练得到；
根据所述物体检测模型的输出得到所述待检测的图像的物体检测结果。
10.一种物体检测装置，其特征在于，包括：
获取模块，用于获取待检测的图像并输入物体检测模型，所述物体检测模型采用如权利要求1-7中任一项所述的物体检测模型训练方法进行训练得到；
检测模块，用于根据所述物体检测模型的输出得到所述待检测的图像的物体检测结果。
11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-7中任一项所述的物体检测模型训练方法，或实现根据权利要求9所述的物体检测方法。
12.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-7中任一项所述的物体检测模型训练方法，或实现根据权利要求9所述的物体检测方法。
CN202010170904.4A 2020-03-12 2020-03-12 一种物体检测模型训练、物体检测方法及装置 Active CN111353464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010170904.4A CN111353464B (zh) 2020-03-12 2020-03-12 一种物体检测模型训练、物体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010170904.4A CN111353464B (zh) 2020-03-12 2020-03-12 一种物体检测模型训练、物体检测方法及装置

Publications (2)

Publication Number Publication Date
CN111353464A CN111353464A (zh) 2020-06-30
CN111353464B true CN111353464B (zh) 2023-07-21

Family

ID=71197382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010170904.4A Active CN111353464B (zh) 2020-03-12 2020-03-12 一种物体检测模型训练、物体检测方法及装置

Country Status (1)

Country Link
CN (1) CN111353464B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028725A1 (en) * 2017-08-10 2019-02-14 Intel Corporation CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT
CN109117831B (zh) * 2018-09-30 2021-10-12 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN110647920A (zh) * 2019-08-29 2020-01-03 北京百度网讯科技有限公司 机器学习中的迁移学习方法及装置、设备与可读介质
CN110866897B (zh) * 2019-10-30 2022-10-14 上海联影智能医疗科技有限公司 一种图像检测方法及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备

Also Published As

Publication number Publication date
CN111353464A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
US10984556B2 (en) Method and apparatus for calibrating relative parameters of collector, device and storage medium
CN109344755B (zh) 视频动作的识别方法、装置、设备及存储介质
EP3637310A1 (en) Method and apparatus for generating vehicle damage information
WO2021031954A1 (zh) 对象数量确定方法、装置、存储介质与电子设备
CN112668588B (zh) 车位信息生成方法、装置、设备和计算机可读介质
CN113780270A (zh) 目标检测方法和装置
CN110910445A (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN110688873A (zh) 多目标追踪方法及人脸识别方法
CN111626295A (zh) 车牌检测模型的训练方法和装置
KR20220153667A (ko) 특징 추출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN111428566A (zh) 一种形变目标跟踪系统及方法
CN111815748B (zh) 一种动画处理方法、装置、存储介质及电子设备
CN116580063B (zh) 目标追踪方法、装置、电子设备及存储介质
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN109934185B (zh) 数据处理方法及装置、介质和计算设备
CN111353464B (zh) 一种物体检测模型训练、物体检测方法及装置
CN111488977B (zh) 神经网络模型训练方法和装置
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
CN115620082A (zh) 模型训练方法、头部姿态估计方法、电子设备及存储介质
CN113792569B (zh) 对象识别方法、装置、电子设备及可读介质
CN111881833B (zh) 一种车辆检测方法、装置、设备及存储介质
CN111062479B (zh) 基于神经网络的模型快速升级方法及装置
CN113642443A (zh) 模型的测试方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant