CN108549927A - 物体检测网络的训练方法和特征监督图生成方法 - Google Patents

物体检测网络的训练方法和特征监督图生成方法 Download PDF

Info

Publication number
CN108549927A
CN108549927A CN201810219901.8A CN201810219901A CN108549927A CN 108549927 A CN108549927 A CN 108549927A CN 201810219901 A CN201810219901 A CN 201810219901A CN 108549927 A CN108549927 A CN 108549927A
Authority
CN
China
Prior art keywords
supervision
sample
pixel
feature
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810219901.8A
Other languages
English (en)
Inventor
曾星宇
杨朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810219901.8A priority Critical patent/CN108549927A/zh
Publication of CN108549927A publication Critical patent/CN108549927A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及物体检测技术领域，尤其涉及一种物体检测网络的训练方法和特征监督图生成方法，其中训练方法包括：通过物体检测网络获得样本图像的特征图；使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域；使用所述特征监督损失函数训练所述物体检测网络。本发明使用特征监督图与特征图进行比较，生成特征监督损失函数，并使用该特征监督损失函数训练所述物体检测网络，使得训练得到的物体检测网络有更好的辨别目标物体能力，提高了其用于物体检测的准确度。

Description

物体检测网络的训练方法和特征监督图生成方法
技术领域
本发明涉及物体检测技术领域，尤其涉及一种物体检测网络的训练方法和特征监督图生成方法、装置、终端及计算机可读存储介质。
背景技术
物体检测是计算机视觉领域最基本的问题之一，其包含对图片视频最基本的语义理解分析，一直以来被投入大量研究。物体检测的主要目的是使用长方形方框，即目标物体框将图片中的特定目标物体标识出来。
现有的物体检测终端基本都是采用深度学习的方式，输入一张任意大小的图像给训练好的神经网络生成特征图，终端自动分析该特征图并抽取特征向量做出该区域是何种物体的判断。
但由于被拍摄的物体的拍摄角度、形态、光照和背景等变化复杂，现有的物体检测方式准确度还不够，因此，如何提高物体检测的精度是亟待解决的问题。
发明内容
本发明实施例提供一种物体检测网络的训练方法和特征监督图生成方法、装置、终端及计算机可读存储介质，可以提高物体检测的准确度。
第一方面，本发明实施例提供了一种物体检测网络的训练方法，包括：
通过物体检测网络获得样本图像的特征图；
使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域；
使用所述特征监督损失函数训练所述物体检测网络。
进一步地，所述使用特征监督图与所述特征图进行比较之前，包括：
生成所述样本图像对应的特征监督图。
进一步地，所述生成所述样本图像对应的特征监督图，包括：
计算所述样本图像中各像素点的监督数值；所述样本图像中被目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
根据各像素点的所述监督数值，生成特征监督图。
进一步地，所述计算所述样本图像中各像素点的监督数值，包括：
通过高斯分布函数设置每个所述目标物体框对所述像素点的影响，作为正样本影响值；通过预设数值，作为负样本影响值；
根据所述像素点的坐标，所述目标物体框的坐标，所述预设数值以及所述高斯分布函数计算所述样本图像中各像素点的监督数值。
第二方面，本发明实施例提供了一种用于物体检测的特征监督图生成方法，包括：
获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；
计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
根据各像素点的所述监督数值，生成特征监督图，所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
进一步地，所述计算所述样本图像中各像素点的监督数值，包括：
通过高斯分布函数设置每个所述目标物体框对所述像素点的影响，作为正样本影响值；通过预设数值，作为负样本影响值；
根据所述像素点的坐标，所述目标物体框的坐标，所述预设数值以及所述高斯分布函数计算所述样本图像中各像素点的监督数值。
第三方面，本发明实施例提供了一种物体检测网络的训练装置，包括：
获取模块，用于通过物体检测网络获得样本图像的特征图；
比较模块，用于使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域；
训练模块，用于使用所述特征监督损失函数训练所述物体检测网络。
第四方面，本发明实施例提供了一种用于物体检测的特征监督图生成装置，包括：
获取模块，用于获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；
计算模块，用于计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
生成模块，用于根据各像素点的所述监督数值，生成特征监督图，所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
第五方面，本发明实施例提供了一种终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面或第二方面所述的方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面或第二方面所述的方法。
本发明实施例中生成的特征监督图通过不同的值表示样本图像中目标物体和非目标物体的所在区域，通过使用特征监督图与特征图进行比较，生成特征监督损失函数，并使用该特征监督损失函数训练所述物体检测网络，使得训练得到的物体检测网络有更好的辨别目标物体能力，提高了其用于物体检测的准确度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种物体检测网络的训练方法的示意流程图；
图2是本发明实施例提供的在拍摄有道路画面的图像中目标物体框标示示意图；
图3是本发明实施例提供的一种物体检测网络的训练方法中步骤101的示意流程图；
图4是本发明实施例提供的一种物体检测网络的训练方法中步骤102的示意流程图；
图5是本发明实施例提供的一种物体检测网络的训练方法中步骤103的示意流程图
图6是本发明实施例提供的另一种物体检测网络的训练方法的示意流程图；
图7是本发明实施例提供的一种用于物体检测的特征监督图生成方法的示意流程图；
图8是本发明实施例提供的一种用于物体检测的特征监督图生成方法中步骤702的示意流程图；
图9是本发明实施例提供的一种物体检测网络的训练装置的示意性框图；
图10是本发明实施例提供的另一种物体检测网络的训练装置的示意性框图；
图11是本发明实施例提供的一种用于物体检测的特征监督图生成装置的示意性框图；
图12是本发明实施例提供的一种终端的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
参见图1，是本发明实施例提供一种物体检测网络的训练方法，该方法适用于对物体检测网络进行训练的情形，由物体检测网络的训练装置执行。该物体检测网络的训练装置配置于终端，可由软件和/或硬件实现。终端包括但不限于电脑、服务器、智能手机、平板电脑、PAD等终端。如图1所示，该方法可包括S101至S103。
S101，通过物体检测网络获得样本图像的特征图。
其中，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本。
样本图像用于训练物体检测网络，所述样本图像通常为很多个，构成样本图像集。所述样本图像人为标记有目标物体框，所述目标物体框通常为长方形方框，使用该长方形方框将样本图像中的目标物体标识出来，而每个目标物体框表示有一个目标物体在其中。所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本。通常情况下，一张样本图像上可能包含多个目标物体框，即包括多个正样本。
例如，如图2所示，在一张拍摄道路画面的图像中进行目标物体为车辆的物体检测，使用长方形方框21和22分别标识出摩托车和小汽车的区域，长方形方框21和22为目标物体框。如图2所示的图像，包括2个正样本，除2个正样本之外的区域为负样本。
可选地，如图3所示，所述步骤101包括：S1011至S1012。
S1011，获取样本图像，所述样本图像为标记有目标物体框的样本图像。
其中，获取终端管理者上传的样本图像，所述所述样本图像为标记有目标物体框的样本图像。
S1012，将所述样本图像输入物体检测网络得到所述样本图像的特征图。
其中，所述物体检测网络基于目标检测网络框架，可以为卷积神经网络。所述目标检测网络框架包括第一损失函数。训练所述物体检测网络的过程为基于目标检测网络框架的物体检测网络训练过程。
在本发明实施例中，所述目标检测网络框架可以为Faster RCNN框架。所述神经网络可以为卷积神经网络，例如5层的ZF，或16层的VGG-16，其具体结构为本领域技术人员常规知识，本发明不再赘述。
在基于Faster RCNN框架训练卷积神经网络过程中，任意一张样本图像输入卷积神经网络之后，生成特征图，之后分成两个分支，其中第一个分支通过Faster RCNN的区域建议网络(Region Proposal Network，RPN)生成候选框和对应的特征向量，做分类判断，该第一分支最后通常采用分类的损失函数，即第一损失函数，如softmax loss等，通过后向传播算法对卷积神经网络进行训练。该第一个分支是Faster RCNN框架自带的，属于本领域常规技术，本发明此处不再赘述。而第二个分支为将特征图与生成的特征监督图进行比较生成新的损失函数，即特征监督损失函数，如L2loss等。该第二个分支是本发明提出的对现有训练过程的改进内容。需要说明的是，第一损失函数和特征监督损失函数的具体形式仅为示例性描述，不解释为对本发明的具体限制。
需要说明的是，本发明实施例还可以采用其他目标检测网络框架，如RCNN或FastRCNN框架。此外，神经网络的结构也可以为3层或7层等。此处仅为示例性描述，不解释为对本发明的具体限制。
S102，使用特征监督图与所述特征图进行比较，生成特征监督损失函数。
其中，步骤S102为第二分支的重要内容。所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
可选地，如图4所示，步骤S102包括步骤S1021和S1022。
S1021，对所述特征图进行升采样，获得与所述样本图像维度大小相同的特征图。
S1022，将升采样后的所述特征图与所述特征监督图进行比较，得到特征监督损失函数。
在本发明实施例中，物体检测网络的输出通常是比输入的样本图像的维度大小要小的，所以通过对特征图加升采样操作获得与所述样本图像维度大小相同的特征图，从而特征图与所述特征监督图具有相同的维度，并将升采样后的特征图与特征监督图进行比较生成新的损失函数，即特征监督损失函数，如L2loss等。在本发明实施例中，所述升采样操作通过反卷积来实现，即卷积的逆操作。
S103，使用所述特征监督损失函数训练所述物体检测网络。
在本发明实施例中，利用所述所述特征监督损失函数训练所述物体检测网络，从而缩小所述特征监督图与所述物体检测网络生成的特征图之间的差距，以提高训练出来的物体检测网络的准确度。
可选地，如图5所示，步骤S103包括步骤S1031和S1032。
S1031，计算所述第一损失函数和所述所述特征监督损失函数之和得到第二损失函数。
其中，所述物体检测网络包括第一损失函数。
S1032，利用所述第二损失函数调整所述物体检测网络。
其中，通过所述第二损失函数调整所述物体检测网络的步骤，为通过后向传播算法对物体检测网络进行训练的现有技术，属于本领域技术人员常规技术手段，本发明不再赘述。
可选地，在本发明实施例中，如图6所示，步骤S102之前还包括S100，生成所述样本图像对应的特征监督图。
其中，步骤S100为前述第二分支的前提，生成所述样本图像对应的特征监督图，以便将所述特征监督图与特征图进行比较。
需要说明的是，步骤S100在步骤S101中的步骤S1011之后实现即可，步骤S100在步骤S101中的步骤S1012之前或之后实现均可，本发明实施例对步骤S100与步骤S1012的先后顺序不做具体限定。
另外，特征监督图的生成方法，在后续的实施例中会详细描述，此处不再赘述。
在本发明实施例中，通过比较所述特征图和特征监督图得到特征监督损失函数，并使用所述特征监督损失函数训练所述物体检测网络，能够使得物体检测网络输出的特征图更逼近特征监督图，从而使得物体检测网络有更好的辨别目标物体能力，提高其用于物体检测的准确度。
参见图7，是本发明实施例提供一种用于物体检测的特征监督图生成方法的示意流程图。该方法由用于物体检测的特征监督图生成装置执行，该装置配置于终端，可由软件和/或硬件实现。如图7所示，该方法可包括S701至S703。
S701，获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本。
其中，该步骤与图1所示的物体检测网络的训练方法中步骤S1011相同，此处不再赘述。
S702，计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响。
其中，各像素点的监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响。可见，各像素点的监督数值表征该像素点属于正样本，即属于目标物体的可能性。监督数值越大，表示该像素点属于目标物体的可能性越大。
本发明实施例通过将像素级别的监督信号，用来表征认为标识的目标物体框中不同像素点所拥有不同重要程度。从而，当利用该监督信号调整神经网络时，该监督信号能够作用于神经网络的任何一层，从而提高模型训练中中间层的学习能力，提高物体检测终端的候选框的命中率。
可选地，如图8所示，步骤S702可包括步骤S7021至S7022。
S7021，通过高斯分布函数设置每个所述目标物体框对所述像素点的影响，作为正样本影响值；通过预设数值，作为负样本影响值。
在本发明实施例中，设置所述像素点的所述负样本影响值为预设值b；设置每个所述目标物体框对所述像素点的影响为高斯分布
其中，A为高斯分布的幅值，(x，y)为所述像素点的坐标值，(xc，yc)为所述目标物体框的中心像素点的坐标值，σ为标准差。
在本发明实施例中，高斯分布符合各向同性原则。每个所述像素点的所述负样本影响值都相同，为预设值b，这样设置可以使得对样本图像中要检测的目标物体而言，除了目标物体框外，其他区域都可当做背景，为负样本，增加了特征监督图的准确度，从而为训练神经网络以获得精度更高的物体检测结果提供了有利基础。
由于一张样本图像上，通常包括多个正样本，因此，每个像素点均有多个所述正样本影响所述像素点。
S7022，根据所述像素点的坐标，所述目标物体框的坐标，所述预设数值以及所述高斯分布函数计算所述样本图像中各像素点的监督数值。
在本发明实施例中，S7022包括S702221和S70222。
S70221，根据公式(1)、(2)和(3)：
计算A，b和σ。
其中，M表示所述样本图像的像素点的总数目；N表示所述样本图像中所述目标物体框的平均数目，即样本图像集中平均每个样本图像的正样本数目；(xm，ym)表示第m个像素点的坐标值；(xcn，ycn)表示第n个目标物体框的中心像素点的坐标值；(xm0，ym0)表示第n个目标物体框的第m个边界像素点的坐标值。
在本发明实施例中，自适应生成和样本图像大小一样的像素级别的特征监督图，生成该特征监督图的主要目的是，使得利用该特征监督图训练神经网络后，神经网络学习出来的特征图能够逼近特征监督图，从而学习出目标物体的特性，从而使得神经网络有更好的辨别目标物体能力。因此，特征监督图必须能够区分开目标物体和非目标物体，体现形式为特征监督图中属于正样本和负样本的像素点具有不同的监督数值。
特征监督图的监督数值需要满足以下三个特性：
第一，特征监督图和样本图像的大小一样，而样本图像中正样本要远远小于负样本，如果正负样本的监督数值大小比较接近，那么神经网络在训练过程中会倾向于把所有的像素点都学习成负样本，故而特征监督图的监督数值需要满足正负样本均衡，即在所有的样本图像中，属于目标物体框中的像素点的监督数值之和，等于目标物体框外的像素点的监督数值之和。
第二，目标物体框的边界即为正负样本的边界，为了体现该边界的特殊性，特征监督图在边界的监督数值趋近0，该特征监督图的监督数值满足边界趋于0，即在所有的样本图像中，目标物体框的边界像素点的监督数值趋于0。
第三，因为每一类的正样本代表的是同一类物体，同一类物体包括不同的个体，他们之间有较强的相似性，特征监督图需要保持同类物体之间的特殊性，因而特征监督图上同一类的不同物体区域符合相同的数值分布，即该特征监督图所有的目标物体框内监督数值均符合同一个类型的分布，且能量归一化。
为了达到上述要求，本发明实施例提出了上述公式(1)、(2)和(3)。
S70222，根据公式(4)
计算所述样本图像中各像素点的监督数值。
其中，(x，y)为所述像素点的坐标值，N表示所述样本图像中所述目标物体框的平均数目，(xcn，ycn)表示第n个目标物体框的中心像素点的坐标值；等式右边第一项为正样本影响值，第二项b为负样本影响值。
S703，根据各像素点的所述监督数值，生成特征监督图。
其中，所述监督数值对应所述特征监督图的各像素点的像素值。根据各像素点的所述监督数值，生成特征监督图。所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
本发明实施例中，可以不需要额外的人为干预，在现有的标识有目标物体框的情况下，自适应生成和样本图像大小一样的像素级别的特征监督图，从而使得利用该特征监督图训练神经网络后，神经网络输出的特征图能够逼近特征监督图，更好地学习到目标物体的特性，从而使得神经网络有更好的辨别目标物体能力，提高其用于物体检测的准确度。
本发明实施例还提供一种物体检测网络的训练装置和一种用于物体检测的特征监督图生成装置。其中，该训练装置用于执行前述图1所述的训练方法，该特征监督图生成装置用于执行前述图7所述的特征监督图生成方法。装置实施例未详细描述之处，请参见前述对方法实施例的描述。
参见图9，是本发明实施例提供的一种物体检测网络的训练装置，该训练装置包括获取模块91、比较模块92和训练模块93。
其中，获取模块91，用于通过物体检测网络获得样本图像的特征图。
比较模块92，用于使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
训练模块93，用于使用所述特征监督损失函数训练所述物体检测网络。
可选地，如图10所示，该训练装置还包括生成模块90，所述生成模块90用于生成所述样本图像对应的特征监督图。
可选地，所述生成模块90包括第一计算单元和生成单元。
其中，所述第一计算单元，用于计算所述样本图像中各像素点的监督数值；所述样本图像中被目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
所述生成单元，用于根据各像素点的所述监督数值，生成特征监督图。
可选地，所述第一计算单元，具体用于：
通过高斯分布函数设置每个所述目标物体框对所述像素点的影响，作为正样本影响值；通过预设数值，作为负样本影响值；
根据所述像素点的坐标，所述目标物体框的坐标，所述预设数值以及所述高斯分布函数计算所述样本图像中各像素点的监督数值。
可选地，所述比较模块92包括升采样单元和比较单元。
其中，所述升采样单元，用于对所述特征图进行升采样，获得与所述样本图像的维度大小相同的特征图。
所述比较单元，用于将升采样后的所述特征图与所述特征监督图进行比较，得到特征监督损失函数。
参见图11，是本发明实施例提供的一种用于物体检测的特征监督图生成装置，该装置包括获取模块111、计算模块112和生成模块113。
其中，获取模块111，用于获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本。
计算模块112，用于计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响。
生成模块113，用于根据各像素点的所述监督数值，生成特征监督图，所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
可选地，计算模块112可包括设置单元和计算单元。
设置单元，用于通过高斯分布函数设置每个所述目标物体框对所述像素点的影响，作为正样本影响值；通过预设数值，作为负样本影响值。
计算单元，根据所述像素点的坐标，所述目标物体框的坐标，所述预设数值以及所述高斯分布函数计算所述样本图像中各像素点的监督数值。
可选地，所述计算单元具体用于：
根据公式(1)、(2)和(3)：
计算A，b和σ；
根据公式(4)
计算所述样本图像中各像素点的监督数值。
参见图12，是本发明另一实施例提供的一种终端示意框图。如图所示的终端可以包括：一个或多个处理器1201；一个或多个输入设备1202，一个或多个输出设备1203和存储器1204。上述处理器1201、输入设备1202、输出设备1203和存储器1204通过总线1205连接。存储器1204用于存储计算机程序，所述计算机程序包括程序指令，处理器1201用于执行存储器1204存储的程序指令。其中，处理器1201被配置用于调用所述程序指令执行：
通过物体检测网络获得样本图像的特征图；
使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域；
使用所述特征监督损失函数训练所述物体检测网络。
或
获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；
计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
根据各像素点的所述监督数值，生成特征监督图，所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
应当理解，在本发明实施例中，所称处理器1201可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备1202可以包括触控板、摄像头、麦克风等，输出设备1203可以包括显示器(LCD等)、扬声器等。
该存储器1204可以包括只读存储器和随机存取存储器，并向处理器1201提供指令和数据。存储器1204的一部分还可以包括非易失性随机存取存储器。例如，存储器1204还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器1201、输入设备1202、输出设备1203可执行本发明实施例提供的方法的实施例中所描述的实现方式，也可执行本发明实施例所描述的终端的实现方式，在此不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：
通过物体检测网络获得样本图像的特征图；
使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域；
使用所述特征监督损失函数训练所述物体检测网络。
或
获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；
计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
根据各像素点的所述监督数值，生成特征监督图，所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块/单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块/单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块/单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能模块/单元可以集成在一个处理单元中，也可以是各个模块/单元单独物理存在，也可以是两个或两个以上模块/单元集成在一个单元中。上述集成的模块/单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种物体检测网络的训练方法，其特征在于，包括：
通过物体检测网络获得样本图像的特征图；
使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域；
使用所述特征监督损失函数训练所述物体检测网络。
2.根据权利要求1所述的方法，其特征在于，所述使用特征监督图与所述特征图进行比较之前，包括：
生成所述样本图像对应的特征监督图。
3.根据权利要求2所述的方法，其特征在于，所述生成所述样本图像对应的特征监督图，包括：
计算所述样本图像中各像素点的监督数值；所述样本图像中被目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
根据各像素点的所述监督数值，生成特征监督图。
4.根据权利要求3所述的方法，其特征在于，所述计算所述样本图像中各像素点的监督数值，包括：
通过高斯分布函数设置每个所述目标物体框对所述像素点的影响，作为正样本影响值；通过预设数值，作为负样本影响值；
根据所述像素点的坐标，所述目标物体框的坐标，所述预设数值以及所述高斯分布函数计算所述样本图像中各像素点的监督数值。
5.一种用于物体检测的特征监督图生成方法，其特征在于，包括：
获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；
计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
根据各像素点的所述监督数值，生成特征监督图，所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
6.根据权利要求5所述的方法，其特征在于，所述计算所述样本图像中各像素点的监督数值，包括：
通过高斯分布函数设置每个所述目标物体框对所述像素点的影响，作为正样本影响值；通过预设数值，作为负样本影响值；
根据所述像素点的坐标，所述目标物体框的坐标，所述预设数值以及所述高斯分布函数计算所述样本图像中各像素点的监督数值。
7.一种物体检测网络的训练装置，其特征在于，包括：
获取模块，用于通过物体检测网络获得样本图像的特征图；
比较模块，用于使用特征监督图与所述特征图进行比较，生成特征监督损失函数；所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域；
训练模块，用于使用所述特征监督损失函数训练所述物体检测网络。
8.一种用于物体检测的特征监督图生成装置，其特征在于，包括：
获取模块，用于获取样本图像，所述样本图像为标记有目标物体框的样本图像；所述样本图像中被所述目标物体框圈出的区域为正样本，未被所述目标物体框圈出的区域为负样本；
计算模块，用于计算所述样本图像中各像素点的监督数值；所述监督数值包括正样本影响值和负样本影响值，所述正样本影响值表示所述正样本对所述像素点的影响，所述负样本影响值表示所述负样本对所述像素点的影响；
生成模块，用于根据各像素点的所述监督数值，生成特征监督图，所述特征监督图通过不同的值表示所述样本图像中目标物体和非目标物体的所在区域。
9.一种终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
CN201810219901.8A 2018-03-16 2018-03-16 物体检测网络的训练方法和特征监督图生成方法 Pending CN108549927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810219901.8A CN108549927A (zh) 2018-03-16 2018-03-16 物体检测网络的训练方法和特征监督图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810219901.8A CN108549927A (zh) 2018-03-16 2018-03-16 物体检测网络的训练方法和特征监督图生成方法

Publications (1)

Publication Number Publication Date
CN108549927A true CN108549927A (zh) 2018-09-18

Family

ID=63516576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810219901.8A Pending CN108549927A (zh) 2018-03-16 2018-03-16 物体检测网络的训练方法和特征监督图生成方法

Country Status (1)

Country Link
CN (1) CN108549927A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222704A (zh) * 2019-06-12 2019-09-10 北京邮电大学 一种弱监督目标检测方法及装置
CN110738164A (zh) * 2019-10-12 2020-01-31 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
CN105321188A (zh) * 2014-08-04 2016-02-10 江南大学 基于前景概率的目标跟踪方法
CN106295678A (zh) * 2016-07-27 2017-01-04 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
CN107341488A (zh) * 2017-06-16 2017-11-10 电子科技大学 一种sar图像目标检测识别一体化方法
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN107545263A (zh) * 2017-08-02 2018-01-05 清华大学 一种物体检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321188A (zh) * 2014-08-04 2016-02-10 江南大学 基于前景概率的目标跟踪方法
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN106295678A (zh) * 2016-07-27 2017-01-04 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
CN107341488A (zh) * 2017-06-16 2017-11-10 电子科技大学 一种sar图像目标检测识别一体化方法
CN107545263A (zh) * 2017-08-02 2018-01-05 清华大学 一种物体检测方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LIJUN WANG等: "Visual Tracking with Fully Convolutional Networks", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
XINGYU ZENG等: "Multi-Stege Contextual Deep Learning for Pedestrian Detection", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
刘键: "基于卷积神经网络的行人检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
吴晓光等: "基于自适应颜色特征学习的目标跟踪技术", 《计算机工程与应用》 *
龚安等: "基于卷积神经网络的实时行人检测方法", 《计算机系统应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222704A (zh) * 2019-06-12 2019-09-10 北京邮电大学 一种弱监督目标检测方法及装置
CN110222704B (zh) * 2019-06-12 2022-04-01 北京邮电大学 一种弱监督目标检测方法及装置
CN110738164A (zh) * 2019-10-12 2020-01-31 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置
CN110738164B (zh) * 2019-10-12 2022-08-12 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置

Similar Documents

Publication Publication Date Title
JP7375006B2 (ja) 画像セマンティックセグメンテーションネットワークのトレーニング方法、装置、機器及びコンピュータプログラム
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN110728330A (zh) 基于人工智能的对象识别方法、装置、设备及存储介质
CN108280477A (zh) 用于聚类图像的方法和装置
CN108319953A (zh) 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN108154196A (zh) 用于输出图像的方法和装置
CN109754068A (zh) 基于深度学习预训练模型的迁移学习方法及终端设备
CN113255617B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN109635825A (zh) 车辆属性检测方法、装置及存储介质
CN109117773A (zh) 一种图像特征点检测方法、终端设备及存储介质
CN108509892A (zh) 用于生成近红外图像的方法和装置
CN106489141A (zh) 用于对内容进行分类的方法和电子设备
CN110443824A (zh) 用于生成信息的方法和装置
CN110070115A (zh) 一种单像素攻击样本生成方法、装置、设备及存储介质
CN108229658A (zh) 基于有限样本的物体检测器的实现方法及装置
CN110059666A (zh) 一种注意力检测方法及装置
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN108932273A (zh) 图片筛选方法及装置
CN109784394A (zh) 一种翻拍图像的识别方法、系统及终端设备
CN110795975B (zh) 人脸误检优化方法及装置
CN109522970A (zh) 图像分类方法、装置及系统
CN108549927A (zh) 物体检测网络的训练方法和特征监督图生成方法
CN108182444A (zh) 基于场景分类的视频质量诊断的方法及装置
CN108509994A (zh) 人物图像聚类方法和装置
CN110009038A (zh) 筛查模型的训练方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180918

RJ01 Rejection of invention patent application after publication