CN104573669B - 图像物体检测方法 - Google Patents

图像物体检测方法 Download PDF

Info

Publication number
CN104573669B
CN104573669B CN201510041017.6A CN201510041017A CN104573669B CN 104573669 B CN104573669 B CN 104573669B CN 201510041017 A CN201510041017 A CN 201510041017A CN 104573669 B CN104573669 B CN 104573669B
Authority
CN
China
Prior art keywords
image
mark
window
candidate
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510041017.6A
Other languages
English (en)
Other versions
CN104573669A (zh
Inventor
黄凯奇
任伟强
王冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201510041017.6A priority Critical patent/CN104573669B/zh
Publication of CN104573669A publication Critical patent/CN104573669A/zh
Application granted granted Critical
Publication of CN104573669B publication Critical patent/CN104573669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种能够在大图像数据集上获得较好检测性能的图像物体检测方法,包括:对多个样本图像按照信息量级别分别进行标注,获得对应的标注图像;提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口;在卷积神经网络上提取所述候选窗口的特征表达并组成候选集,通过半监督学习对所述候选集进行拟合,获得图像检测模型目标函数;提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口,提取所述待检测窗口的特征表达并进行检测,获得包含所述目标物体概率最大的所述候选窗口。本发明所述方法能够在大数据集上较快速准确的对目标物体进行检测。

Description

图像物体检测方法
技术领域
[0001] 本发明涉及图像识别或图像处理技术领域,特别涉及一种图像物体检测方法。
背景技术
[0002] 在图像识别或图像处理技术中,图像物体检测应用广泛,例如犯罪追踪、大型体育 赛事或博览会的人流统计及分析、智能城市、智能交通、智能家居、网购检索、以图搜图、图 像或视频语义的实时理解等。是否能够较好的完成对输入图像如人脸等的识别并找到相关 度高的匹配图像,一方面取决于图像数据库是否足够完备,海量图像、视频数据将有利于提 升检索性能;另一方面与所使用的图像检测方法是否合适有关,这就需要计算机对图像数 据集合理建模,以便后续快速准确的从图像数据库中为输入图像找到最为相似的搜索结 果,图像检测建模过程也称图像检测算法学习,图像检测即是通过这种学习过程找到图像 检测的目标函数并将其用于检测图像中的物体。
[0003] 现有技术中,图像检测算法学习按照图像数据集中的图像数据是否包含先验信息 可以分为三种类型:全部图像数据均包含先验信息、例如物体的种类或位置标签等的有监 督学习,一部分图像数据包含先验信息另一部分图像数据不包含先验信息的半监督学习和 全部图像数据不包含先验信息的无监督学习方法。
[0004] 无监督学习方法基于无先验信息标签的数据集实现,不利于在有限计算能力下获 得较快的计算速度,较难获得良好的检测性能;有卷积神经监督学习方法基于先验信息标 签完备的数据集实现,有助于提高图像检测性能,但受到标签标注人工成本和硬件存储容 量等的限制,对于样本容量大的图像数据集并不适用。
[0005] 半监督学习方法基于部分图像贴住标签的数据集,对于人员和硬件资源的消耗适 中,但随着图像数据的增加,现有图像检测模型中数据集模糊性增加,通过半监督学习得到 的目标函数对大数据集的拟合性下降,因此现有半监督学习得到的图像物体检测方法在大 图像数据集上对图像的检测性能不佳。
发明内容
[0006] 本发明提供一种图像物体检测方法,以实现在大图像数据集上获得较好检测性 能。
[0007] 本发明图像物体检测方法,包括:
[0008] 对多个样本图像按照信息量级别分别进行标注,获得对应的标注图像;
[0009] 根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的 区域并生成候选窗口;
[0010] 在卷积神经网络上提取所述候选窗口的特征表达并组成候选集,通过半监督学习 对所述候选集进行拟合,获得图像检测模型目标函数;
[0011] 根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体 概率最大的区域并生成待检测窗口,在所述卷积神经网络上提取所述待检测窗口的特征表 达并在所述图像检测模型目标函数上进行检测,获得所述候选集中的特征表达所对应的包 含所述目标物体概率最大的所述候选窗口。
[0012] 本发明的有益效果为:
[0013] 本发明通过在更加灵活的卷积神经网络上提取候选窗口的特征表达,并基于卷积 神经网络进行半监督学习,将图像先验信息量程度不同的图像数据统一个框架,能够表达 更复杂的非线性变换关系,更好的处理候选集以及待检测窗口等输入图像的非线性和复杂 性,从而能够在大量图像所组成数据集上快速高效的检测出目标物体,解决了如何在大图 像数据集上获得较好检测性能的技术问题。
附图说明
[00M]图1是本发明图像物体检测方法实施例一的流程图;
[0015] 图2是本发明图像物体检测方法实施例一的框架图;
[0016] 图3是本发明图像物体检测方法实施例一在Pascal VOC 2007测试集上前10类物 体的检测性能对比图;
[0017] 图4是本发明图像物体检测方法实施例一在Pascal VOC 2007测试集上进行测试 的效果图;
[0018] 图5是本发明图像物体检测方法实施例二的流程图;
[0019] 图6是本发明图像物体检测方法实施例二的平均检测精度示意图;
[0020] 图7是本发明图像物体检测方法实施例三的流程图;
[0021] 图8是本发明图像物体检测方法实施例四的流程图。
具体实施方式
[0022] 图1为本发明图像物体检测方法实施例一的流程图,图2是本发明图像物体检测方 法实施例一的框架图,如图1所示,本发明图像物体检测方法,包括:
[0023] S101、对多个样本图像按照信息量级别分别进行标注,获得对应的标注图像;
[0024] 优选的,所述信息量级别包括强标注和弱标注,所述对多个样本图像按照信息量 级别分别进行标注,获得对应的标注图像包括:
[0025] 对样本图像添加所包含物体的类别标注和位置标注,获得强标注图像;强标注图 像指的是知道图像中所包含物体的类别及其位置的图像;
[0026] 或者,
[0027] 对样本图像仅添加所包含物体的类别标注,获得弱标注图像;弱标注图像指的是 知道所包含的物体类别的图像,比如“人”、“椅子”,但是“人”和“椅子”在图像中的什么位 置,以及其数目,都是不知道的;
[0028] S102、根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最 大的区域并生成候选窗口;需要说明的是,对任意所述标注图像,若能提取到包含物体的区 域则提取所述标注图像中包含物体的区域,若不能提取到包含物体的区域则提取所述标注 图像中最可能包含物体的区域,也即对于任意一张所述标注图像,在完成第一步骤之后即 能够确定无疑的对提取方式二选其一而不存在无法确定唯一提取方式的情形;
[0029] 优选的,所述根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体 概率最大的区域并生成候选窗口包括:
[0030] 根据所述类别标注和所述位置标注,提取所述强标注图像中包含物体的区域并生 成强标注候选窗口;
[0031] 或者,
[0032] 根据所述类别标注和选择性搜索算法,提取所述弱标注图像中包含物体概率最大 的区域并生成弱标注候选窗口,具体包括:
[0033] S1021、将输入图像从RGB空间转化到不同的颜色空间,如HSV,Lab,RGI,I等;
[0034] S1022、利用基于图的过分割算法,对转换了颜色空间的图像进行分割;
[0035] S1023、利用层次化组织思想,采用贪婪算法进行区块合并,得到层次化的图像分 块;
[0036] S1024、将不同参数下得到的图像分块整合到一起并进行去重处理,得到弱标注图 像的候选窗口;
[0037] 由此可见,所述选择性搜索算法,是一种基于过分割,采用多种参数配置得到图像 的多个过分割,利用层次化组织合并算法实现图像块层级合并,得到层次化的图像分块的 方法,而所述分块中很可能包含有完整的物体;而对于强标注图像,由于图像中物体的位置 是给定的,因而可以直接根据物体的位置标注提取出相关的物体区域。
[0038] S103、在卷积神经网络上提取所述候选窗口的特征表达并组成候选集,通过半监 督学习对所述候选集进行拟合,获得图像检测模型目标函数;
[0039] 优选的,所述卷积神经网络为预先在图像分类数据集ImageNet2013上训练并获取 的卷积神经网络,图像分类数据集ImageNet2013是一个很大的图像分类数据集,预先在该 数据集上训练得到的卷积神经网络能够从候选窗口中提取得到包含更强的高层语义信息 的丰富特征表达;
[0040] 在获取到可能包含感兴趣的物体的候选区域之后,要通过计算机视觉和模式识别 算法确定某个候选窗口是否是某种物体,就需要首先对该候选窗口进行特征表达,从而可 以在之后使用分类器进行分类判断;在图像分类与识别技术中,常用的特征表达包括SIFT、 LBP、H0G等底层特征表达,词包模型等中层特征表达,以及卷积神经网络、深度信念网络等 近年非常流行的层次化特征表达;所述半监督学习,要解决的是物体层次的识别问题,要通 过消除半监督学习中数据集的模糊性来回答什么物体在什么地方这个语义层次的问题,这 种高层语义问题不是底层特征描述和中层特征描述能够很好处理的,需要非常抽象的高层 特征表达,卷积神经网络在物体识别领域取得了一系列的重大突破,其层次化的特征表达, 实现了特征由底层到高层的逐层抽象,其前面的特征层通常是边缘,角点检测子,随着层数 增多,后面的特征逐渐开始描述物体部件、整个物体。通过提取卷积神经网络后面特征层的 特征,能够得到对图像较高层次,例如物体级别的描述与表达,卷积神经网络还有一个重要 的特性就是其模型容量非常大,层数越多,神经元数目越大,模型复杂度越多,能够编码存 储的信息量越大,而在一个非常大的图像的数据集ImageNet 2013上训练,将得到一个大规 模的卷积神经网络,其中所述ImageNet 2013包含1000类约120万张图像,将丰富的一般物 体表观信息编码存储于该网络中,使用的卷积神经网络包含5个卷积层,2个全连接层,并且 第1、2、5个卷积层后面连了最大值汇聚层,整个网络包含约65万神经元,就像人类大脑中存 储的知识有助于分辨物体一样,这个包含了大量一般视觉先验信息的卷积神经网络,能够 有效地用于对物体进行一般化的特征表达。
[0041] 优选的,所述通过半监督学习对所述候选集进行拟合,获得图像检测模型目标函 数包括:
[0042] 判断所述强标注候选窗口是否属于正的样本图像;所述正的样本图像指的是该图 像类别标注与相同的图像;
[0043] 若判断为是,则根据公式(1)确定所述正样本图像强标注候选窗口的负对数似然 函数:
Figure CN104573669BD00081
[0045] 或者,
[0046] 根据公式⑵确定所述正样本图像弱标注候选窗口的负对数似然函数:
Figure CN104573669BD00082
[0048]若判断为否,则根据公式⑶确定负样本图像候选窗口、所述候选窗口可以为强标 注候选窗口或弱标注候选窗口的负对数似然函数:
Figure CN104573669BD00083
[0050]并根据公式⑷确定所述图像检测模型目标函数:
Figure CN104573669BD00084
[0052] 其中,
Figure CN104573669BD00085
,用于将卷积神经网络的输出函数f (X)转换成概率,
Figure CN104573669BD00086
.,所述σ (X)为sigmoid函数,所述argmax为求函数最大值时变量取值的 函数,
Figure CN104573669BD00087
表示第i个正样本图像强标注候选窗口的特征表达,
Figure CN104573669BD00088
表示第i个正样本图像 第j个弱标注候选窗口的特征表达,ki表不第i个正样本图像中响应最大的弱标注候选窗口 的索引,
Figure CN104573669BD00089
表示第i个正样本图像响应最大的弱标注候选窗口的特征表达,
Figure CN104573669BD000810
表示第i 个负样本图像候选窗口的特征表达,NP、Nwp、Nn分别表示正样本图像强标注窗口的个数、正 样本图像弱标注窗口的个数和随机选取的负样本图像候选窗口的个数,Cl、C2、C3为加权参 数,用于调整不同类型数据集的损失惩罚,λ为权重衰减系数,用于加在卷积神经网络的权 重上,以控制权重的取值范围,防止出现模型的过拟合现象,w为所述卷积神经网络的输出 函数的二范数。
[0053] 在所有的候选窗口都已经使用预训练的卷积神经网络进行特征表达时,接下来就 是训练一个分类模型,将部分标注的正样本和负样本图像区分开来,正样本图像强标注候 选窗口的特征表达记作
Figure CN104573669BD000811
其中d是卷积神经网络特征表达的维度,Np 是标注的正样本图像的个数;第i张弱标注的正样本图像包含所有提取的候选窗口的特征 表达,这里使用包的形式来表达,记为
Figure CN104573669BD000812
,其中
Figure CN104573669BD000813
代表正样本弱标注图像的数 目;对于负样本图像,我们也是使用候选窗口算法提取一定数目的候选窗口出来进行特征 表达,但是由于负样本中所有的候选窗口都是负样例,因而可以直接从中随机抽取出一部 分负示例构成负样本集合
Figure CN104573669BD00091
,其中1就是随机选取的负样本图像的个数;整个候选 集记作{XP,XwP,Xn},由于类别标签已经隐含在其中,我们不再明确写出数据对应的类别标 注y,相比线性预测模型,采用更加灵活的深度神经网络进行特征表达,能够表达更加复杂 的非线性变换关系,因而能够更好地处理输入数据的非线性和复杂性;比较特殊的是弱标 注正样本数据,由于我们是以正包的形式对其进行表示,因而我们没法确定其中哪个示例 是正样本,哪个示例是负样本,唯一明确的是其中至少有一个是正样本,因此使用max函数 来确定是概率最大的示例,max操作使得图像物体检测模型输出函数是非凸的,然而,在实 际应用中,我们仍然可以使用基于梯度的方法对卷积神经网络的参数进行训练。
[0054] S104、根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标 物体概率最大的区域并生成待检测窗口,在所述卷积神经网络上提取所述待检测窗口的特 征表达并在所述图像检测模型目标函数上进行检测,获得所述候选集中的特征表达所对应 的包含所述目标物体概率最大的候选窗口;需要强调的是,这里使用与S103中相同的窗口 提取算法提取所述待检测图像的候选窗口并使用相同的卷积神经网络进行特征表达。
[0055] 图3是本发明图像物体检测方法实施例一在Pascal VOC 2007测试集上前10类物 体的检测性能对比图,如图3所示,第一、三列是采用5%窗口标注进行半监督学习的结果, 第二、四列是采用30%窗口标注进行半监督学习的结果,最后一列展示了采用30%窗口标 注进行半监督学习时的典型误检情况;图4是本发明图像物体检测方法实施例一在Pascal VOC 2007测试集上进行测试的效果图,如图4所示,本发明图像物体检测方法实施例一在只 使用部分弱标注图像和部分强标注图像,未使用任何分割标注信息的情况下,获得了较佳 物体分割效果。
[0056] 本发明图像物体检测方法实施例一,通过在更加灵活的卷积神经网络上提取候选 窗口的特征表达,并基于卷积神经网络进行半监督学习,采用加权逻辑Logistic回归函数、 也就是二类加权Softmax回归函数作为所述图像检测模型的目标函数,将强标注图像数据 与弱标注图像数据统一个框架,相比线性预测模型,能够表达更复杂的非线性变换关系,因 而能够更好的处理候选集以及待检测窗口等输入图像的非线性和复杂性,从而能获得对于 标注程度不完备的大量图像所组成数据集的良好检测性能。
[0057] 图5为本发明图像物体检测方法实施例二的流程图,如图5所示,本发明图像物体 检测方法实施例二中S202〜S205分别与实施例一中SlOl〜S104对应相同,不同之处在于, 还包括:
[0058] S201、根据性能需求和各信息量等级对应的资源成本确定每种信息量等级所对应 的标注图像的数目;
[0059] 优选的,所述信息量级别包括强标注和弱标注,所述强标注指的是详细标注出了 每个物体在图像中的位置的标注,所述弱标注指的是标注了图像中包含的物体类别,而没 有给出物体在图像中的位置的标注;所述根据性能需求和各信息量等级对应的资源成本确 定每种信息量等级所包含的标注图像的数目包括:
[0060] 根据性能需求和各信息量等级对应的资源成本确定所述强标注图像数目a和弱标 注图像数目b,且所述a小于b;
[0061] 所述信息量级别指的是根据图像先验信息的数量人为划分的标注等级,所述先验 信息可以是所述物体类别标注或位置标注等,因此所述信息量级别反映了标注一个图像所 需的人工成本与存储成本之和也即该信息量级别对应的单位标注成本,则根据各信息量等 级对应的资源成本、性能需求和单位标注成本,可以合理预估所述a和b的值,以实现利用最 少的人力成本进行数据标注,通常情况下,弱标注数据标注代价也相对较低、较容易获得, 因而在我们的数据中占据主要部分,而强标注数据标注成本虽然比较高,但明确给出了物 体的位置,因此对确定图像检测模型目标函数能够给出较强的指导信号,从而提高检测性 能。
[0062] 图6是本发明图像物体检测方法实施例二的平均检测精度示意图,如图6所示,当 使用不同数目的强标注图像进行半监督学习最终时,随着加入强标注样本的数目增多,得 到的物体的平均检测精度逐渐增加,但是提高的幅度在逐渐减少。
[0063] 本发明图像物体检测方法实施例二以包含两种标注程度不同的信息量等级为例, 预先确定强标注图像和弱标注图像的数目,并同时处理包含弱标注图像和强标注图像,实 现了标注成本和图像物体标注性能的最佳平衡,在有限资源下存储大量图像数据时仍然能 够获得较好的检测性能,也即提供了一种有限标注代价的图像物体检测方法;同时,因为需 要标注图像中物体的类别,以及很少部分的图像中的物体位置,所以非常适合大规模图像 数据下的图像物体自动检测任务,从而为海量图像数据的组织整理问题提供了可行的解决 方法。
[0064] 图7为本发明图像物体检测方法实施例三的流程图,如图7所示,本发明图像物体 检测方法实施例三中S301〜S302分别与实施例一中SlOl〜S102对应相同,S304〜S305分别 与实施例一中S103〜S104对应相同,不同之处在于,在所述根据类别标注和所述位置标注, 提取所述强标注图像中包含物体的区域并生成强标注候选窗口之后,还包括:
[0065] S303、对所述强标注候选窗口进行翻转处理。
[0066] 优选的,所述翻转处理为水平180度翻转。
[0067] 本发明图像物体检测方法实施例三在完成提取强标注候选窗口后对其作翻转处 理,则包含物体位置信息的强标注数据变为原来的两倍,在不增加人工标注成本的基础上 降低了候选集的图像数据模糊性,增大检测的准确性,提高了所述图像物体检测方法的检 测性能。
[0068] 图8为本发明图像物体检测方法实施例四的流程图,如图8所示,本发明图像物体 检测方法实施例四中S401〜S402分别与实施例一中SlOl〜S102对应相同,S404与实施例一 中S104对应相同,不同之处在于,所述通过半监督学习对所述候选集进行拟合,获得图像检 测模型目标函数包括:根据有限存储大规模优化重建算法(!^111;^6(1-11161110巧-131'〇7(1611-Fletcher-Gol dfarb-Shanno algorithm,简称L-BFGS算法),获得图像检测模型目标函数。
[0069] 本发明图像物体检测方法实施例四中所述L-BFGS算法速度更快,因此模型的训练 速度更快。
[0070] 以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详 细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡 在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保 护范围之内。

Claims (8)

  1. I. 一种图像物体检测方法,其特征在于,包括: 对多个样本图像按照信息量级别分别进行标注,获得对应的标注图像; 根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域 并生成候选窗口; 在卷积神经网络上提取所述候选窗口的特征表达并组成候选集,通过半监督学习对所 述候选集进行拟合,获得图像检测模型目标函数; 根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率 最大的区域并生成待检测窗口,在所述卷积神经网络上提取所述待检测窗口的特征表达; 并根据所述待检测窗口的特征表达在所述图像检测模型目标函数上进行检测,获得包含所 述目标物体置信度最高的待检测窗口,作为最终检测到的目标物体; 其中, 所述信息量级别,包括:强标注和弱标注; “对多个样本图像按照信息量级别分别进行标注,获得对应的标注图像”,包括: 对样本图像添加所包含物体的类别标注和位置标注,获得强标注图像;所述强标注图 像指的是知道图像中所包含物体的类别及其位置的图像; 或者, 对样本图像仅添加所包含物体的类别标注,获得弱标注图像;所述弱标注图像指的是 仅知道所包含的物体类别的图像; “根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域 并生成候选窗口”,包括: 根据所述类别标注和所述位置标注,提取所述强标注图像中包含物体的区域并生成强 标注候选窗口; 或者, 根据所述类别标注和选择性搜索算法,提取所述弱标注图像中包含物体概率最大的区 域并生成弱标注候选窗口;具体包括:将输入图像从RGB空间转化到不同的颜色空间;利用 基于图的过分割算法,对转换了颜色空间的图像进行分割;利用层次化组织思想,采用贪婪 算法进行区块合并,得到层次化的图像分块;将不同参数下得到的图像分块整合到一起并 进行去重处理,得到弱标注图像的候选窗口; 所述图像检测模型目标函数为:
    Figure CN104573669BC00021
    C1X2X3为加权参数,用于调整不同类型数据集的损失惩罚;λ为权重衰减系数,用于加 在卷积神经网络的权重上,以控制权重的取值范围,防止出现模型的过拟合现象,w为所述 卷积神经网络的输出函数的二范数; 1^表示正样本图像强标注候选窗口的负对数似然函数:
    Figure CN104573669BC00022
    Lwp表示正样本图像弱标注候选窗口的负对数似然函数:
    Figure CN104573669BC00031
    Ln表示负样本图像候选窗口的负对数似然函数:
    Figure CN104573669BC00032
    Figure CN104573669BC00033
    ,用于将卷积神经网络的输出函数f(x)转换成概率;
    Figure CN104573669BC00034
    表示第i个正样本 图像强标注候选窗口的特征表达;ki表示第i个正样本图像中响应最大的弱标注候选窗口 的索引,
    Figure CN104573669BC00035
    表示第i个正样本图像响应最大的弱标注候选窗口的特征表达;
    Figure CN104573669BC00036
    表示第i 个负样本图像候选窗口的特征表达;NP、Nwp、Nn分别表示正样本图像强标注窗口的个数、正 样本图像弱标注窗口的个数和随机选取的负样本图像候选窗口的个数。
  2. 2. 根据权利要求1所述的图像物体检测方法,其特征在于,在所述根据所述类别标注和 所述位置标注,提取所述强标注图像中包含物体的区域并生成强标注候选窗口之后,还包 括: 对所述强标注候选窗口进行翻转处理。
  3. 3. 根据权利要求1所述的图像物体检测方法,其特征在于,所述通过半监督学习对所述 候选集进行拟合,获得图像检测模型目标函数包括: 判断所述强标注候选窗口是否属于正的样本图像; 若判断为是,则确定所述正样本图像强标注候选窗口的负对数似然函数:
    Figure CN104573669BC00037
    或者, 确定所述正样本图像弱标注候选窗口的负对数似然函数:
    Figure CN104573669BC00038
    若判断为否,则确定负样本图像候选窗口的负对数似然函数:
    Figure CN104573669BC00039
    并确定所述图像检测模型目标函数:
    Figure CN104573669BC000310
    其中,
    Figure CN104573669BC000311
    ,所述〇 (X)为sigmoid函数,所述arg max为 求函数最大值时变量取值的函数:
    Figure CN104573669BC000312
    表示第i个正样本图像强标注候选窗口的特征表达,
    Figure CN104573669BC000313
    表示第i个正样本图像第j个弱标注候选窗口的特征表达,Iu表示第i个正样本图像中 响应最大的弱标注候选窗口的索引,
    Figure CN104573669BC000314
    表不第i个正样本图像响应最大的弱标注候选 窗口的特征表达,
    Figure CN104573669BC000315
    表示第i个负样本图像候选窗口的特征表达,Np、Nwp、Nn分别表示正样本 图像强标注窗口的个数、正样本图像弱标注窗口的个数和随机选取的负样本图像候选窗口 的个数,Cl、C2、C3分别为正样本强标注权重参数Cl、负样本权重参数C2和正样本弱标注权重 参数C3A为权重衰减系数,W为所述卷积神经网络的输出函数的二范数。
  4. 4. 根据权利要求1所述的图像物体检测方法,其特征在于,所述通过半监督学习对所述 候选集进行拟合,获得图像检测模型目标函数包括: 根据有限存储大规模优化重建L-BFGS算法,获得图像检测模型目标函数。
  5. 5. 根据权利要求1所述的图像物体检测方法,其特征在于,在所述对多个样本图像按照 信息量级别分别进行标注,获得对应的标注图像之前,还包括: 根据性能需求和各信息量等级对应的资源成本确定每种信息量等级所对应的标注图 像的数目。
  6. 6. 根据权利要求5所述的图像物体检测方法,其特征在于,所述根据性能需求和各信息 量等级对应的资源成本确定每种信息量等级所对应的标注图像的数目包括: 根据性能需求和各信息量等级对应的资源成本确定所述强标注图像数目a和弱标注图 像数目b,且所述a小于b。
  7. 7. 根据权利要求1所述的图像物体检测方法,其特征在于,在所述在卷积神经网络上提 取所述候选窗口的特征表达并组成候选集之前,还包括: 在图像分类数据集ImageNet2013上训练,获取所述卷积神经网络。
  8. 8. 根据权利要求3所述的图像物体检测方法,其特征在于,在所述根据所述窗口提取方 法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测 窗口之前,还包括: 获取测试集中多个待测试图像并进行测试,所述测试包括: 根据所述窗口提取方法提取待测试图像中包含目标物体的区域或包含目标物体概率 最大的区域并生成待测试窗口,在所述卷积神经网络上提取所述待测试窗口的特征表达并 在所述图像测试模型目标函数上进行检测,获得所述候选集中的特征表达所对应的包含所 述目标物体概率最大的所述候选窗口; 比较所述获得的包含所述目标物体概率最大的所述候选窗口与待测试图像是否相同, 若判断为是则计为一次正示例; 将所述测试进行K次,计算正示例个数Q与所述K之比,得到平均精度Q/K; 根据所述平均精度Q/K,调整所述正样本强标注权重参数C1、负样本权重参数C2和正样 本弱标注权重参数C3,以修正所述图像检测模型目标函数。
CN201510041017.6A 2015-01-27 2015-01-27 图像物体检测方法 Active CN104573669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510041017.6A CN104573669B (zh) 2015-01-27 2015-01-27 图像物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510041017.6A CN104573669B (zh) 2015-01-27 2015-01-27 图像物体检测方法

Publications (2)

Publication Number Publication Date
CN104573669A CN104573669A (zh) 2015-04-29
CN104573669B true CN104573669B (zh) 2018-09-04

Family

ID=53089691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510041017.6A Active CN104573669B (zh) 2015-01-27 2015-01-27 图像物体检测方法

Country Status (1)

Country Link
CN (1) CN104573669B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6462328B2 (ja) * 2014-11-18 2019-01-30 日立オートモティブシステムズ株式会社 走行制御システム
CN105205501B (zh) * 2015-10-04 2018-09-18 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法
CN105426908B (zh) * 2015-11-09 2018-11-02 国网冀北电力有限公司信息通信分公司 一种基于卷积神经网络的变电站属性分类方法
CN105426930B (zh) * 2015-11-09 2018-11-02 国网冀北电力有限公司信息通信分公司 一种基于卷积神经网络的变电站属性分割方法
CN105512685B (zh) * 2015-12-10 2019-12-03 小米科技有限责任公司 物体识别方法和装置
CN106548192B (zh) * 2016-09-23 2019-08-09 北京市商汤科技开发有限公司 基于神经网络的图像处理方法、装置和电子设备
CN106529415A (zh) * 2016-10-16 2017-03-22 北海益生源农贸有限责任公司 结合特征和模型的道路检测方法
CN106504233B (zh) * 2016-10-18 2019-04-09 国网山东省电力公司电力科学研究院 基于Faster R-CNN的无人机巡检图像电力小部件识别方法及系统
CN106934344B (zh) * 2017-01-23 2020-01-31 西北大学 一种基于神经网络的快速行人检测方法
JP6542824B2 (ja) * 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107463896A (zh) * 2017-07-30 2017-12-12 合肥徽工工业自动化工程有限公司 一种应用于自动化系统的图像物体检测方法
CN107506793B (zh) * 2017-08-21 2020-12-18 中国科学院重庆绿色智能技术研究院 基于弱标注图像的服装识别方法及系统
CN108053407B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 数据处理方法及数据处理系统
US10860888B2 (en) 2018-01-05 2020-12-08 Whirlpool Corporation Detecting objects in images
CN108416384A (zh) * 2018-03-05 2018-08-17 苏州大学 一种图像标签标注方法、系统、设备及可读存储介质
CN109541336B (zh) * 2018-10-10 2020-11-24 华南理工大学 一种非侵入式负荷监测的多维信号检测方法
CN109783673B (zh) * 2019-01-11 2021-03-26 海东市平安正阳互联网中医医院有限公司 一种舌象图像的标注方法和装置
CN110929729B (zh) * 2020-02-18 2020-08-04 北京海天瑞声科技股份有限公司 图像标注方法、图像标注装置及计算机存储介质
CN111968124B (zh) * 2020-10-26 2020-12-22 四川省肿瘤医院 基于半监督语义分割的肩部肌骨超声结构分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101200252A (zh) * 2007-12-10 2008-06-18 中国科学院计算技术研究所 一种目标场所优化调度方法及系统
CN101406390A (zh) * 2007-10-10 2009-04-15 三星电子株式会社 检测人体部位和人的方法和设备以及对象检测方法和设备
CN103020658A (zh) * 2012-12-31 2013-04-03 中国科学院自动化研究所 二维图像中的物体识别方法
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101406390A (zh) * 2007-10-10 2009-04-15 三星电子株式会社 检测人体部位和人的方法和设备以及对象检测方法和设备
CN101200252A (zh) * 2007-12-10 2008-06-18 中国科学院计算技术研究所 一种目标场所优化调度方法及系统
CN103020658A (zh) * 2012-12-31 2013-04-03 中国科学院自动化研究所 二维图像中的物体识别方法
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法

Also Published As

Publication number Publication date
CN104573669A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104573669B (zh) 图像物体检测方法
CN108416394B (zh) 基于卷积神经网络的多目标检测模型构建方法
CN104992142A (zh) 一种基于深度学习和属性学习相结合的行人识别方法
CN107346436B (zh) 一种融合图像分类的视觉显著性检测方法
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
Moallem et al. Optimal threshold computing in automatic image thresholding using adaptive particle swarm optimization
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN107506793B (zh) 基于弱标注图像的服装识别方法及系统
CN103745201B (zh) 一种节目识别方法及装置
Li et al. Adaptive metric learning for saliency detection
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN106682696A (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
CN108764316A (zh) 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
CN107220598A (zh) 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法
CN109271546A (zh) 图像检索特征提取模型建立、数据库建立及检索方法
Pei et al. Unsupervised multimodal feature learning for semantic image segmentation
Wang et al. Autonomous garbage detection for intelligent urban management
Islam et al. InceptB: a CNN based classification approach for recognizing traditional bengali games
CN105303163B (zh) 一种目标检测的方法及检测装置
Jia et al. Fruit recognition based on pulse coupled neural network and genetic Elman algorithm application in apple harvesting robot
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant