CN104573669B - 图像物体检测方法 - Google Patents
图像物体检测方法 Download PDFInfo
- Publication number
- CN104573669B CN104573669B CN201510041017.6A CN201510041017A CN104573669B CN 104573669 B CN104573669 B CN 104573669B CN 201510041017 A CN201510041017 A CN 201510041017A CN 104573669 B CN104573669 B CN 104573669B
- Authority
- CN
- China
- Prior art keywords
- image
- mark
- window
- candidate
- candidate window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 230000006870 function Effects 0.000 claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 238000013480 data collection Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000013517 stratification Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010043495 Thought blocking Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明提供一种能够在大图像数据集上获得较好检测性能的图像物体检测方法，包括：对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，提取所述待检测窗口的特征表达并进行检测，获得包含所述目标物体概率最大的所述候选窗口。本发明所述方法能够在大数据集上较快速准确的对目标物体进行检测。
Description
技术领域
本发明涉及图像识别或图像处理技术领域，特别涉及一种图像物体检测方法。
背景技术
在图像识别或图像处理技术中，图像物体检测应用广泛，例如犯罪追踪、大型体育赛事或博览会的人流统计及分析、智能城市、智能交通、智能家居、网购检索、以图搜图、图像或视频语义的实时理解等。是否能够较好的完成对输入图像如人脸等的识别并找到相关度高的匹配图像，一方面取决于图像数据库是否足够完备，海量图像、视频数据将有利于提升检索性能；另一方面与所使用的图像检测方法是否合适有关，这就需要计算机对图像数据集合理建模，以便后续快速准确的从图像数据库中为输入图像找到最为相似的搜索结果，图像检测建模过程也称图像检测算法学习，图像检测即是通过这种学习过程找到图像检测的目标函数并将其用于检测图像中的物体。
现有技术中，图像检测算法学习按照图像数据集中的图像数据是否包含先验信息可以分为三种类型：全部图像数据均包含先验信息、例如物体的种类或位置标签等的有监督学习，一部分图像数据包含先验信息另一部分图像数据不包含先验信息的半监督学习和全部图像数据不包含先验信息的无监督学习方法。
无监督学习方法基于无先验信息标签的数据集实现，不利于在有限计算能力下获得较快的计算速度，较难获得良好的检测性能；有卷积神经监督学习方法基于先验信息标签完备的数据集实现，有助于提高图像检测性能，但受到标签标注人工成本和硬件存储容量等的限制，对于样本容量大的图像数据集并不适用。
半监督学习方法基于部分图像贴住标签的数据集，对于人员和硬件资源的消耗适中，但随着图像数据的增加，现有图像检测模型中数据集模糊性增加，通过半监督学习得到的目标函数对大数据集的拟合性下降，因此现有半监督学习得到的图像物体检测方法在大图像数据集上对图像的检测性能不佳。
发明内容
本发明提供一种图像物体检测方法，以实现在大图像数据集上获得较好检测性能。
本发明图像物体检测方法，包括：
对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；
根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；
在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；
根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，在所述卷积神经网络上提取所述待检测窗口的特征表达并在所述图像检测模型目标函数上进行检测，获得所述候选集中的特征表达所对应的包含所述目标物体概率最大的所述候选窗口。
本发明的有益效果为：
本发明通过在更加灵活的卷积神经网络上提取候选窗口的特征表达，并基于卷积神经网络进行半监督学习，将图像先验信息量程度不同的图像数据统一个框架，能够表达更复杂的非线性变换关系，更好的处理候选集以及待检测窗口等输入图像的非线性和复杂性，从而能够在大量图像所组成数据集上快速高效的检测出目标物体，解决了如何在大图像数据集上获得较好检测性能的技术问题。
附图说明
图1是本发明图像物体检测方法实施例一的流程图；
图2是本发明图像物体检测方法实施例一的框架图；
图3是本发明图像物体检测方法实施例一在Pascal VOC 2007测试集上前10类物体的检测性能对比图；
图4是本发明图像物体检测方法实施例一在Pascal VOC 2007测试集上进行测试的效果图；
图5是本发明图像物体检测方法实施例二的流程图；
图6是本发明图像物体检测方法实施例二的平均检测精度示意图；
图7是本发明图像物体检测方法实施例三的流程图；
图8是本发明图像物体检测方法实施例四的流程图。
具体实施方式
图1为本发明图像物体检测方法实施例一的流程图，图2是本发明图像物体检测方法实施例一的框架图，如图1所示，本发明图像物体检测方法，包括：
S101、对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；
优选的，所述信息量级别包括强标注和弱标注，所述对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像包括：
对样本图像添加所包含物体的类别标注和位置标注，获得强标注图像；强标注图像指的是知道图像中所包含物体的类别及其位置的图像；
或者，
对样本图像仅添加所包含物体的类别标注，获得弱标注图像；弱标注图像指的是知道所包含的物体类别的图像，比如“人”、“椅子”，但是“人”和“椅子”在图像中的什么位置，以及其数目，都是不知道的；
S102、根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；需要说明的是，对任意所述标注图像，若能提取到包含物体的区域则提取所述标注图像中包含物体的区域，若不能提取到包含物体的区域则提取所述标注图像中最可能包含物体的区域，也即对于任意一张所述标注图像，在完成第一步骤之后即能够确定无疑的对提取方式二选其一而不存在无法确定唯一提取方式的情形；
优选的，所述根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口包括：
根据所述类别标注和所述位置标注，提取所述强标注图像中包含物体的区域并生成强标注候选窗口；
或者，
根据所述类别标注和选择性搜索算法，提取所述弱标注图像中包含物体概率最大的区域并生成弱标注候选窗口，具体包括：
S1021、将输入图像从RGB空间转化到不同的颜色空间，如HSV,Lab,RGI,I等；
S1022、利用基于图的过分割算法，对转换了颜色空间的图像进行分割；
S1023、利用层次化组织思想，采用贪婪算法进行区块合并，得到层次化的图像分块；
S1024、将不同参数下得到的图像分块整合到一起并进行去重处理，得到弱标注图像的候选窗口；
由此可见，所述选择性搜索算法，是一种基于过分割，采用多种参数配置得到图像的多个过分割，利用层次化组织合并算法实现图像块层级合并，得到层次化的图像分块的方法，而所述分块中很可能包含有完整的物体；而对于强标注图像，由于图像中物体的位置是给定的，因而可以直接根据物体的位置标注提取出相关的物体区域。
S103、在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；
优选的，所述卷积神经网络为预先在图像分类数据集ImageNet2013上训练并获取的卷积神经网络，图像分类数据集ImageNet2013是一个很大的图像分类数据集，预先在该数据集上训练得到的卷积神经网络能够从候选窗口中提取得到包含更强的高层语义信息的丰富特征表达；
在获取到可能包含感兴趣的物体的候选区域之后，要通过计算机视觉和模式识别算法确定某个候选窗口是否是某种物体，就需要首先对该候选窗口进行特征表达，从而可以在之后使用分类器进行分类判断；在图像分类与识别技术中，常用的特征表达包括SIFT、LBP、HOG等底层特征表达，词包模型等中层特征表达，以及卷积神经网络、深度信念网络等近年非常流行的层次化特征表达；所述半监督学习，要解决的是物体层次的识别问题，要通过消除半监督学习中数据集的模糊性来回答什么物体在什么地方这个语义层次的问题，这种高层语义问题不是底层特征描述和中层特征描述能够很好处理的，需要非常抽象的高层特征表达，卷积神经网络在物体识别领域取得了一系列的重大突破，其层次化的特征表达，实现了特征由底层到高层的逐层抽象，其前面的特征层通常是边缘，角点检测子，随着层数增多，后面的特征逐渐开始描述物体部件、整个物体。通过提取卷积神经网络后面特征层的特征，能够得到对图像较高层次，例如物体级别的描述与表达，卷积神经网络还有一个重要的特性就是其模型容量非常大，层数越多，神经元数目越大，模型复杂度越多，能够编码存储的信息量越大，而在一个非常大的图像的数据集ImageNet 2013上训练，将得到一个大规模的卷积神经网络，其中所述ImageNet 2013包含1000类约120万张图像，将丰富的一般物体表观信息编码存储于该网络中，使用的卷积神经网络包含5个卷积层，2个全连接层，并且第1、2、5个卷积层后面连了最大值汇聚层，整个网络包含约65万神经元，就像人类大脑中存储的知识有助于分辨物体一样，这个包含了大量一般视觉先验信息的卷积神经网络，能够有效地用于对物体进行一般化的特征表达。
优选的，所述通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数包括：
判断所述强标注候选窗口是否属于正的样本图像；所述正的样本图像指的是该图像类别标注与相同的图像；
若判断为是，则根据公式(1)确定所述正样本图像强标注候选窗口的负对数似然函数：
或者，
根据公式(2)确定所述正样本图像弱标注候选窗口的负对数似然函数：
若判断为否，则根据公式(3)确定负样本图像候选窗口、所述候选窗口可以为强标注候选窗口或弱标注候选窗口的负对数似然函数：
并根据公式(4)确定所述图像检测模型目标函数：
其中，用于将卷积神经网络的输出函数f(x)转换成概率，所述σ(x)为sigmoid函数，所述argmax为求函数最大值时变量取值的函数，表示第i个正样本图像强标注候选窗口的特征表达，表示第i个正样本图像第j个弱标注候选窗口的特征表达，ki表示第i个正样本图像中响应最大的弱标注候选窗口的索引，表示第i个正样本图像响应最大的弱标注候选窗口的特征表达，表示第i个负样本图像候选窗口的特征表达，Np、Nwp、Nn分别表示正样本图像强标注窗口的个数、正样本图像弱标注窗口的个数和随机选取的负样本图像候选窗口的个数，C1、C2、C3为加权参数，用于调整不同类型数据集的损失惩罚，λ为权重衰减系数，用于加在卷积神经网络的权重上，以控制权重的取值范围，防止出现模型的过拟合现象，w为所述卷积神经网络的输出函数的二范数。
在所有的候选窗口都已经使用预训练的卷积神经网络进行特征表达时，接下来就是训练一个分类模型，将部分标注的正样本和负样本图像区分开来，正样本图像强标注候选窗口的特征表达记作其中d是卷积神经网络特征表达的维度，Np是标注的正样本图像的个数；第i张弱标注的正样本图像包含所有提取的候选窗口的特征表达，这里使用包的形式来表达，记为其中代表正样本弱标注图像的数目；对于负样本图像，我们也是使用候选窗口算法提取一定数目的候选窗口出来进行特征表达，但是由于负样本中所有的候选窗口都是负样例，因而可以直接从中随机抽取出一部分负示例构成负样本集合其中Nn就是随机选取的负样本图像的个数；整个候选集记作{Xp,Xwp,Xn}，由于类别标签已经隐含在其中，我们不再明确写出数据对应的类别标注y，相比线性预测模型，采用更加灵活的深度神经网络进行特征表达，能够表达更加复杂的非线性变换关系，因而能够更好地处理输入数据的非线性和复杂性；比较特殊的是弱标注正样本数据，由于我们是以正包的形式对其进行表示，因而我们没法确定其中哪个示例是正样本，哪个示例是负样本，唯一明确的是其中至少有一个是正样本，因此使用max函数来确定是概率最大的示例，max操作使得图像物体检测模型输出函数是非凸的，然而，在实际应用中，我们仍然可以使用基于梯度的方法对卷积神经网络的参数进行训练。
S104、根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，在所述卷积神经网络上提取所述待检测窗口的特征表达并在所述图像检测模型目标函数上进行检测，获得所述候选集中的特征表达所对应的包含所述目标物体概率最大的候选窗口；需要强调的是，这里使用与S103中相同的窗口提取算法提取所述待检测图像的候选窗口并使用相同的卷积神经网络进行特征表达。
图3是本发明图像物体检测方法实施例一在Pascal VOC 2007测试集上前10类物体的检测性能对比图，如图3所示，第一、三列是采用5％窗口标注进行半监督学习的结果，第二、四列是采用30％窗口标注进行半监督学习的结果，最后一列展示了采用30％窗口标注进行半监督学习时的典型误检情况；图4是本发明图像物体检测方法实施例一在PascalVOC 2007测试集上进行测试的效果图，如图4所示，本发明图像物体检测方法实施例一在只使用部分弱标注图像和部分强标注图像，未使用任何分割标注信息的情况下，获得了较佳物体分割效果。
本发明图像物体检测方法实施例一，通过在更加灵活的卷积神经网络上提取候选窗口的特征表达，并基于卷积神经网络进行半监督学习，采用加权逻辑Logistic回归函数、也就是二类加权Softmax回归函数作为所述图像检测模型的目标函数，将强标注图像数据与弱标注图像数据统一个框架，相比线性预测模型，能够表达更复杂的非线性变换关系，因而能够更好的处理候选集以及待检测窗口等输入图像的非线性和复杂性，从而能获得对于标注程度不完备的大量图像所组成数据集的良好检测性能。
图5为本发明图像物体检测方法实施例二的流程图，如图5所示，本发明图像物体检测方法实施例二中S202～S205分别与实施例一中S101～S104对应相同，不同之处在于，还包括：
S201、根据性能需求和各信息量等级对应的资源成本确定每种信息量等级所对应的标注图像的数目；
优选的，所述信息量级别包括强标注和弱标注，所述强标注指的是详细标注出了每个物体在图像中的位置的标注，所述弱标注指的是标注了图像中包含的物体类别，而没有给出物体在图像中的位置的标注；所述根据性能需求和各信息量等级对应的资源成本确定每种信息量等级所包含的标注图像的数目包括：
根据性能需求和各信息量等级对应的资源成本确定所述强标注图像数目a和弱标注图像数目b，且所述a小于b；
所述信息量级别指的是根据图像先验信息的数量人为划分的标注等级，所述先验信息可以是所述物体类别标注或位置标注等，因此所述信息量级别反映了标注一个图像所需的人工成本与存储成本之和也即该信息量级别对应的单位标注成本，则根据各信息量等级对应的资源成本、性能需求和单位标注成本，可以合理预估所述a和b的值，以实现利用最少的人力成本进行数据标注，通常情况下，弱标注数据标注代价也相对较低、较容易获得，因而在我们的数据中占据主要部分，而强标注数据标注成本虽然比较高，但明确给出了物体的位置，因此对确定图像检测模型目标函数能够给出较强的指导信号，从而提高检测性能。
图6是本发明图像物体检测方法实施例二的平均检测精度示意图，如图6所示，当使用不同数目的强标注图像进行半监督学习最终时，随着加入强标注样本的数目增多，得到的物体的平均检测精度逐渐增加，但是提高的幅度在逐渐减少。
本发明图像物体检测方法实施例二以包含两种标注程度不同的信息量等级为例，预先确定强标注图像和弱标注图像的数目，并同时处理包含弱标注图像和强标注图像，实现了标注成本和图像物体标注性能的最佳平衡，在有限资源下存储大量图像数据时仍然能够获得较好的检测性能，也即提供了一种有限标注代价的图像物体检测方法；同时，因为需要标注图像中物体的类别，以及很少部分的图像中的物体位置，所以非常适合大规模图像数据下的图像物体自动检测任务，从而为海量图像数据的组织整理问题提供了可行的解决方法。
图7为本发明图像物体检测方法实施例三的流程图，如图7所示，本发明图像物体检测方法实施例三中S301～S302分别与实施例一中S101～S102对应相同，S304～S305分别与实施例一中S103～S104对应相同，不同之处在于，在所述根据类别标注和所述位置标注，提取所述强标注图像中包含物体的区域并生成强标注候选窗口之后，还包括：
S303、对所述强标注候选窗口进行翻转处理。
优选的，所述翻转处理为水平180度翻转。
本发明图像物体检测方法实施例三在完成提取强标注候选窗口后对其作翻转处理，则包含物体位置信息的强标注数据变为原来的两倍，在不增加人工标注成本的基础上降低了候选集的图像数据模糊性，增大检测的准确性，提高了所述图像物体检测方法的检测性能。
图8为本发明图像物体检测方法实施例四的流程图，如图8所示，本发明图像物体检测方法实施例四中S401～S402分别与实施例一中S101～S102对应相同，S404与实施例一中S104对应相同，不同之处在于，所述通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数包括：根据有限存储大规模优化重建算法(Limited-memory-Broyden–Fletcher–Gol dfarb–Shanno algorithm，简称L-BFGS算法)，获得图像检测模型目标函数。
本发明图像物体检测方法实施例四中所述L-BFGS算法速度更快，因此模型的训练速度更快。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种图像物体检测方法，其特征在于，包括：
对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；
根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；
在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；
根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，在所述卷积神经网络上提取所述待检测窗口的特征表达；并根据所述待检测窗口的特征表达在所述图像检测模型目标函数上进行检测，获得包含所述目标物体置信度最高的待检测窗口，作为最终检测到的目标物体；
其中，
所述信息量级别，包括：强标注和弱标注；
“对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像”，包括：
对样本图像添加所包含物体的类别标注和位置标注，获得强标注图像；所述强标注图像指的是知道图像中所包含物体的类别及其位置的图像；
或者，
对样本图像仅添加所包含物体的类别标注，获得弱标注图像；所述弱标注图像指的是仅知道所包含的物体类别的图像；
“根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口”，包括：
根据所述类别标注和所述位置标注，提取所述强标注图像中包含物体的区域并生成强标注候选窗口；
或者，
根据所述类别标注和选择性搜索算法，提取所述弱标注图像中包含物体概率最大的区域并生成弱标注候选窗口；具体包括：将输入图像从RGB空间转化到不同的颜色空间；利用基于图的过分割算法，对转换了颜色空间的图像进行分割；利用层次化组织思想，采用贪婪算法进行区块合并，得到层次化的图像分块；将不同参数下得到的图像分块整合到一起并进行去重处理，得到弱标注图像的候选窗口；
所述图像检测模型目标函数为：
C1、C2、C3为加权参数，用于调整不同类型数据集的损失惩罚；λ为权重衰减系数，用于加在卷积神经网络的权重上，以控制权重的取值范围，防止出现模型的过拟合现象，w为所述卷积神经网络的输出函数的二范数；
Lp表示正样本图像强标注候选窗口的负对数似然函数：
Lwp表示正样本图像弱标注候选窗口的负对数似然函数：
Ln表示负样本图像候选窗口的负对数似然函数：
用于将卷积神经网络的输出函数f(x)转换成概率；表示第i个正样本图像强标注候选窗口的特征表达；ki表示第i个正样本图像中响应最大的弱标注候选窗口的索引，表示第i个正样本图像响应最大的弱标注候选窗口的特征表达；表示第i个负样本图像候选窗口的特征表达；Np、Nwp、Nn分别表示正样本图像强标注窗口的个数、正样本图像弱标注窗口的个数和随机选取的负样本图像候选窗口的个数。
2.根据权利要求1所述的图像物体检测方法，其特征在于，在所述根据所述类别标注和所述位置标注，提取所述强标注图像中包含物体的区域并生成强标注候选窗口之后，还包括：
对所述强标注候选窗口进行翻转处理。
3.根据权利要求1所述的图像物体检测方法，其特征在于，所述通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数包括：
判断所述强标注候选窗口是否属于正的样本图像；
若判断为是，则确定所述正样本图像强标注候选窗口的负对数似然函数：
或者，
确定所述正样本图像弱标注候选窗口的负对数似然函数：
若判断为否，则确定负样本图像候选窗口的负对数似然函数：
并确定所述图像检测模型目标函数：
其中，所述σ(x)为sigmoid函数，所述arg max为求函数最大值时变量取值的函数，表示第i个正样本图像强标注候选窗口的特征表达，表示第i个正样本图像第j个弱标注候选窗口的特征表达，ki表示第i个正样本图像中响应最大的弱标注候选窗口的索引，表示第i个正样本图像响应最大的弱标注候选窗口的特征表达，表示第i个负样本图像候选窗口的特征表达，Np、Nwp、Nn分别表示正样本图像强标注窗口的个数、正样本图像弱标注窗口的个数和随机选取的负样本图像候选窗口的个数，C1、C2、C3分别为正样本强标注权重参数C1、负样本权重参数C2和正样本弱标注权重参数C3，λ为权重衰减系数，w为所述卷积神经网络的输出函数的二范数。
4.根据权利要求1所述的图像物体检测方法，其特征在于，所述通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数包括：
根据有限存储大规模优化重建L-BFGS算法，获得图像检测模型目标函数。
5.根据权利要求1所述的图像物体检测方法，其特征在于，在所述对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像之前，还包括：
根据性能需求和各信息量等级对应的资源成本确定每种信息量等级所对应的标注图像的数目。
6.根据权利要求5所述的图像物体检测方法，其特征在于，所述根据性能需求和各信息量等级对应的资源成本确定每种信息量等级所对应的标注图像的数目包括：
根据性能需求和各信息量等级对应的资源成本确定所述强标注图像数目a和弱标注图像数目b，且所述a小于b。
7.根据权利要求1所述的图像物体检测方法，其特征在于，在所述在卷积神经网络上提取所述候选窗口的特征表达并组成候选集之前，还包括：
在图像分类数据集ImageNet2013上训练，获取所述卷积神经网络。
8.根据权利要求3所述的图像物体检测方法，其特征在于，在所述根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口之前，还包括：
获取测试集中多个待测试图像并进行测试，所述测试包括：
根据所述窗口提取方法提取待测试图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待测试窗口，在所述卷积神经网络上提取所述待测试窗口的特征表达并在所述图像测试模型目标函数上进行检测，获得所述候选集中的特征表达所对应的包含所述目标物体概率最大的所述候选窗口；
比较所述获得的包含所述目标物体概率最大的所述候选窗口与待测试图像是否相同，若判断为是则计为一次正示例；
将所述测试进行K次，计算正示例个数Q与所述K之比，得到平均精度Q/K；
根据所述平均精度Q/K，调整所述正样本强标注权重参数C1、负样本权重参数C2和正样本弱标注权重参数C3，以修正所述图像检测模型目标函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510041017.6A CN104573669B (zh) | 2015-01-27 | 2015-01-27 | 图像物体检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510041017.6A CN104573669B (zh) | 2015-01-27 | 2015-01-27 | 图像物体检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104573669A CN104573669A (zh) | 2015-04-29 |
| CN104573669B true CN104573669B (zh) | 2018-09-04 |
Family
ID=53089691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510041017.6A Active CN104573669B (zh) | 2015-01-27 | 2015-01-27 | 图像物体检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104573669B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6462328B2 (ja) | 2014-11-18 | 2019-01-30 | 日立オートモティブシステムズ株式会社 | 走行制御システム |
| US9727800B2 (en) * | 2015-09-25 | 2017-08-08 | Qualcomm Incorporated | Optimized object detection |
| CN105205501B (zh) * | 2015-10-04 | 2018-09-18 | 北京航空航天大学 | 一种多分类器联合的弱标注图像对象检测方法 |
| CN105426930B (zh) * | 2015-11-09 | 2018-11-02 | 国网冀北电力有限公司信息通信分公司 | 一种基于卷积神经网络的变电站属性分割方法 |
| CN105426908B (zh) * | 2015-11-09 | 2018-11-02 | 国网冀北电力有限公司信息通信分公司 | 一种基于卷积神经网络的变电站属性分类方法 |
| CN105512685B (zh) * | 2015-12-10 | 2019-12-03 | 小米科技有限责任公司 | 物体识别方法和装置 |
| EP3486863A4 (en) | 2016-07-30 | 2019-07-10 | Huawei Technologies Co., Ltd. | PICTURE IDENTIFICATION METHOD AND SENDING DEVICE |
| CN109800863B (zh) * | 2016-08-30 | 2023-05-23 | 中国石油大学(华东) | 一种基于模糊理论和神经网络的测井相识别方法 |
| CN106548192B (zh) * | 2016-09-23 | 2019-08-09 | 北京市商汤科技开发有限公司 | 基于神经网络的图像处理方法、装置和电子设备 |
| CN106529415A (zh) * | 2016-10-16 | 2017-03-22 | 北海益生源农贸有限责任公司 | 结合特征和模型的道路检测方法 |
| CN106504233B (zh) * | 2016-10-18 | 2019-04-09 | 国网山东省电力公司电力科学研究院 | 基于Faster R-CNN的无人机巡检图像电力小部件识别方法及系统 |
| CN106934344B (zh) * | 2017-01-23 | 2020-01-31 | 西北大学 | 一种基于神经网络的快速行人检测方法 |
| JP6542824B2 (ja) | 2017-03-13 | 2019-07-10 | ファナック株式会社 | 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法 |
| CN106886801B (zh) | 2017-04-14 | 2021-12-17 | 北京图森智途科技有限公司 | 一种图像语义分割方法及装置 |
| CN107463896A (zh) * | 2017-07-30 | 2017-12-12 | 合肥徽工工业自动化工程有限公司 | 一种应用于自动化系统的图像物体检测方法 |
| CN107506793B (zh) * | 2017-08-21 | 2020-12-18 | 中国科学院重庆绿色智能技术研究院 | 基于弱标注图像的服装识别方法及系统 |
| CN108053407B (zh) * | 2017-12-22 | 2021-04-13 | 联想(北京)有限公司 | 数据处理方法及数据处理系统 |
| US10860888B2 (en) | 2018-01-05 | 2020-12-08 | Whirlpool Corporation | Detecting objects in images |
| CN108388859B (zh) * | 2018-02-11 | 2022-04-15 | 深圳市商汤科技有限公司 | 物体检测方法、网络训练方法、装置和计算机存储介质 |
| CN108416384B (zh) * | 2018-03-05 | 2021-11-05 | 苏州大学 | 一种图像标签标注方法、系统、设备及可读存储介质 |
| CN109541336B (zh) * | 2018-10-10 | 2020-11-24 | 华南理工大学 | 一种非侵入式负荷监测的多维信号检测方法 |
| CN111263224B (zh) * | 2018-11-30 | 2022-07-15 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及电子设备 |
| CN109783673B (zh) * | 2019-01-11 | 2021-03-26 | 海东市平安正阳互联网中医医院有限公司 | 一种舌象图像的标注方法和装置 |
| CN110968718B (zh) * | 2019-11-19 | 2023-07-14 | 北京百度网讯科技有限公司 | 目标检测模型负样本挖掘方法、装置及电子设备 |
| CN110929729B (zh) * | 2020-02-18 | 2020-08-04 | 北京海天瑞声科技股份有限公司 | 图像标注方法、图像标注装置及计算机存储介质 |
| CN111797832B (zh) * | 2020-07-14 | 2024-02-02 | 成都数之联科技股份有限公司 | 一种图像感兴趣区域自动生成方法及系统及图像处理方法 |
| CN112200740B (zh) * | 2020-10-08 | 2022-05-31 | 华中科技大学 | 一种基于图像边缘检测的图像分块去重方法和系统 |
| CN111968124B (zh) * | 2020-10-26 | 2020-12-22 | 四川省肿瘤医院 | 基于半监督语义分割的肩部肌骨超声结构分割方法 |
| CN115482142A (zh) * | 2022-09-27 | 2022-12-16 | 河北纬坤电子科技有限公司 | 暗水印添加方法、提取方法、系统、存储介质及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101200252A (zh) * | 2007-12-10 | 2008-06-18 | 中国科学院计算技术研究所 | 一种目标场所优化调度方法及系统 |
| CN101406390A (zh) * | 2007-10-10 | 2009-04-15 | 三星电子株式会社 | 检测人体部位和人的方法和设备以及对象检测方法和设备 |
| CN103020658A (zh) * | 2012-12-31 | 2013-04-03 | 中国科学院自动化研究所 | 二维图像中的物体识别方法 |
| CN104217225A (zh) * | 2014-09-02 | 2014-12-17 | 中国科学院自动化研究所 | 一种视觉目标检测与标注方法 |
-
2015
- 2015-01-27 CN CN201510041017.6A patent/CN104573669B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101406390A (zh) * | 2007-10-10 | 2009-04-15 | 三星电子株式会社 | 检测人体部位和人的方法和设备以及对象检测方法和设备 |
| CN101200252A (zh) * | 2007-12-10 | 2008-06-18 | 中国科学院计算技术研究所 | 一种目标场所优化调度方法及系统 |
| CN103020658A (zh) * | 2012-12-31 | 2013-04-03 | 中国科学院自动化研究所 | 二维图像中的物体识别方法 |
| CN104217225A (zh) * | 2014-09-02 | 2014-12-17 | 中国科学院自动化研究所 | 一种视觉目标检测与标注方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104573669A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104573669B (zh) | 图像物体检测方法 | |
| CN108416394B (zh) | 基于卷积神经网络的多目标检测模型构建方法 | |
| CN109344736B (zh) | 一种基于联合学习的静态图像人群计数方法 | |
| CN107346436B (zh) | 一种融合图像分类的视觉显著性检测方法 | |
| CN107506793B (zh) | 基于弱标注图像的服装识别方法及系统 | |
| CN109559300A (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN106682696A (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN111753189A (zh) | 一种少样本跨模态哈希检索共同表征学习方法 | |
| CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
| CN104992142A (zh) | 一种基于深度学习和属性学习相结合的行人识别方法 | |
| CN113095415B (zh) | 一种基于多模态注意力机制的跨模态哈希方法及系统 | |
| CN108629367A (zh) | 一种基于深度网络增强服装属性识别精度的方法 | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN112308115B (zh) | 一种多标签图像深度学习分类方法及设备 | |
| CN108427740B (zh) | 一种基于深度度量学习的图像情感分类与检索算法 | |
| CN109829065B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
| CN108596256B (zh) | 一种基于rgb-d物体识别分类器构造方法 | |
| CN105976397B (zh) | 一种目标跟踪方法 | |
| CN113239916B (zh) | 一种表情识别及课堂状态评估方法、设备及介质 | |
| CN103745233B (zh) | 基于空间信息迁移的高光谱图像分类方法 | |
| CN113255443A (zh) | 一种基于金字塔结构的图注意力网络时序动作定位方法 | |
| Islam et al. | InceptB: a CNN based classification approach for recognizing traditional bengali games | |
| CN109522961A (zh) | 一种基于字典深度学习的半监督图像分类方法 | |
| Li et al. | Localizing and quantifying infrastructure damage using class activation mapping approaches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |