CN109858552A - 一种用于细粒度分类的目标检测方法及设备 - Google Patents
一种用于细粒度分类的目标检测方法及设备 Download PDFInfo
- Publication number
- CN109858552A CN109858552A CN201910101320.9A CN201910101320A CN109858552A CN 109858552 A CN109858552 A CN 109858552A CN 201910101320 A CN201910101320 A CN 201910101320A CN 109858552 A CN109858552 A CN 109858552A
- Authority
- CN
- China
- Prior art keywords
- target
- classification
- feature vector
- loss function
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 162
- 230000006870 function Effects 0.000 claims description 69
- 238000005352 clarification Methods 0.000 claims description 53
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000013016 learning Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于细粒度分类的目标检测方法及设备，涉及计算机视觉技术领域，用以解决现有技术中，目标检测时往往对目标图像的局部特征提取不够精细，或提取到不同细分类别的目标图像的局部特征间的区分度不够大，进而导致检测出的目标的类别不够细化的问题，本发明方法包括：获取目标的目标图像，通过预先构建的目标检测网络模型对所述目标图像进行目标检测，获得所述目标图像中目标的分类及位置，所述预先构建的目标检测网络模型中包括用于调整模型参数的分类损失函数，其中，构建目标检测网络模型过程中根据所述分类损失函数调整模型参数，使所述目标检测网络模型区分目标所属分类及同一类目标所属子分类。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种用于细粒度分类的目标检测方法及设备。
背景技术
随着计算机视觉技术和深度学习网络技术的发展，目标检测近年来已经取得了很重要的进展，目标检测主流的算法主要分为两个类型：
(1)两阶段two-stage方法，如R-CNN(Region-based Convolutional NeuralNetworks)系算法，其主要思路是先通过启发式方法(selective search)或者卷积神经网络CNN网络(RPN)产生一系列稀疏的候选框，然后对这些候选框进行分类与回归；
(2)一阶段one-stage方法，如YoLo和SSD，其主要思路是均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用CNN提取特征后直接进行分类与回归。
细粒度检测识别关注点在于局部特征，对于一张图片，局部特征是很多的，怎么在众多的局部特征学习到有用的特征，这是一个难题。特别是在图片很少的情况下，很容易学到错误的特征，且上述目标检测中浅层的卷积核空间分辨率高，但是携带语义特征少，怎么将局部特征与语义特征相结合也是一个难点。
即上述两种进行目标检测的方法，虽能在检测目标的同时输出目标的分类，但现实场景中，往往对目标图像的局部特征提取不够，或提取到不同细分类别的目标图像的局部特征间的区分度不够大，进而导致检测出的目标的类别不够细化，不能应用于某些对目标分类要求较高的场景中，如存在大量外表相似，但实际商品种类不同的商品的商品细分类、人脸识别、行人再识别、车辆识别等，且现有技术中，对目标进行细分类检测时，需要目标检测网络模型和目标细粒度分类模型两个模型，操作复杂，浪费资源。
综上所述，现有技术中，目标检测时往往对目标图像的局部特征提取不够精细，或提取到不同细分类别的目标图像的局部特征间的区分度不够大，进而导致检测出的目标的类别不够细化的问题。
发明内容
本发明提供一种用于细粒度分类的目标检测方法及设备，用以解决现有技术中，目标检测时往往对目标图像的局部特征提取不够精细，或提取到不同细分类别的目标图像的局部特征间的区分度不够大，进而导致检测出的目标的类别不够细化的问题。
第一方面，本发明提供一种用于细粒度分类的目标检测方法，该方法包括：
获取目标的目标图像；
通过预先构建的目标检测网络模型对所述目标图像进行目标检测，获得所述目标图像中目标的分类及位置，所述预先构建的目标检测网络模型中包括用于调整模型参数的分类损失函数，其中，构建目标检测网络模型过程中根据所述分类损失函数调整模型参数，使所述目标检测网络模型区分目标所属分类及同一类目标所属子分类。
上述方法中，用能区分待检测的目标所属分类及同一类目标所属子分类的分类损失函数，替代现有技术中用于调整模型参数的损失函数，进而使提取到的不同细分类别的目标图像的局部特征间的区分度更大，以实现将上述外表相似的同一大类的目标进行子分类。
在一种可能的实现方式中，所述目标检测网络模型包括用于获得所述目标图像中目标的分类的目标分类检测支路，以及用于获得所述目标图像中目标的位置的目标位置检测支路，所述分类损失函数为所述目标分类检测支路的损失函数。
在一种可能的实现方式中，所述分类损失函数包括如下任意一个：
度量学习损失函数N-pair loss；
损失函数AMSoftmax；
损失函数triplet loss；
损失函数Contrastive Loss；
损失函数II loss。
上述方法中，用上述分类损失函数替代目标分类检测支路常规的损失函数，以根据目标分类检测支路的输出结果调整目标检测网络模型的模型参数，使训练的目标检测网络模型对外表相似的目标进行精确的更细的分类。
在一种可能的实现方式中，所述预先构建的目标检测网络模型通过如下任一预设目标检测算法对所述目标图像进行目标检测：
单发多盒探测器SSD算法；
YOLO算法。
在一种可能的实现方式中，还包括：
在构建目标检测网络模型时，将用于训练的多个同一种类和/或不同同类目标的目标图像输入所述目标检测网络模型，获取所述目标检测网络模型的目标分类检测支路输出的每个目标对应的特征向量；
利用所述分类损失函数，计算不同种类目标的特征向量间的偏离程度，和/或，计算同一种类目标的特征向量间的偏离程度；
根据所述不同种类目标的特征向量间的偏离程度，和/或，同一种类目标的特征向量间的偏离程度，调整所述目标检测网络模型的模型参数至所述偏离程度达到预设要求。
上述方法中，根据不同种类目标的特征向量间的偏离程度，和/或，计算同一种类目标的特征向量间的偏离程度，调整目标检测网络模型的模型参数，使训练的目标检测网络模型对目标的分类更精准。
在一种可能的实现方式中，利用所述分类损失函数，计算不同种类目标的特征向量间的偏离程度，包括：将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算不同的特征向量集合的中心特征向量间的距离的方差。
在一种可能的实现方式中，利用所述分类损失函数，计算同一种类目标的特征向量间的偏离程度，包括：
将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差。
在一种可能的实现方式中，所述偏离程度达到预设要求，包括：
同一种类目标的特征向量间的偏离程度小于预设最小偏离阈值；和/或
不同种类目标的特征向量间的偏离程度大于预设最大偏离阈值。
在一种可能的实现方式中，所述偏离程度达到预设要求，包括：
每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差小于预设最小距离方差；和/或
不同的特征向量集合的中心特征向量间的距离的方差大于预设最大距离方差。
上述方法中，通过增大不同种类的特征向量之间的距离，减小同类目标的特征向量间的距离，来增大不同类目标的特征的区分度以及减小同类目标的特征的区分度进行目标检测网络模型的训练，进而在用目标检测网络模型识别目标时，进而能快速准确的区分出同类和/或异类目标。
在一种可能的实现方式中，所述偏离程度达到预设要求，包括：
每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差小于预设最小距离方差；和/或
不同的特征向量集合的中心特征向量间的距离的方差大于预设最大距离方差。
在一种可能的实现方式中，该方法应用于人脸识别、人/物再识别、商品细分类或车辆识别。
当本申请的方法应用于人脸识别时，能提升人脸识别的准确性；应用于人/物再识别时，能对上述人/物进行进一步的分类；应用于商品细分类或车辆识别时，能对上述商品/车辆进行更细致的分类，如识别出上述商品/车辆所属厂家、厂家产品系列及其厂家产品系列下属细分类。
第二方面，本发明提供一种用于细粒度分类的目标检测的设备，该设备包括处理器和存储器，其中，所述存储器存储可执行程序代码，当所述程序代码被执行时，使得所述处理器执行上述本发明第一方面提供的方法。
第三方面，本申请还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第一方面所述方法的步骤。
另外，第二方面和第三方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种用于细粒度分类的目标检测的方法示意图；
图2为本发明实施例二提供的一种用于细粒度分类的目标检测的设备示意图；
图3为本发明实施例三提供的一种用于细粒度分类的目标检测的装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面对文中出现的一些词语进行解释：
1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本发明实施例中术语“目标”，指待检测分类的物体(包括零售场景下的商品)、人、车辆、动物等。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
随着互联网业务的快速发展，零售行业逐渐与互联网业务结合，形成新的零售形式(新零售)，即无人售货的零售形式，新零售场景下的零售常是无人售货柜的形式，在顾客购买商品时，对顾客所拿商品进行识别分类，在识别后自助结账，既改善了用户的购物体验，又极大的解决了人力及物力成本，但近些年在新零售场景下，无人售货柜/商店迅速增加，其中商品的商品图像数量呈现爆炸式增长，商品图像的自动分类也因此成为一个重要的研究方向，基于对商品的识别分类结果进行自助结账以及售卖商品的统计，但在新零售场景下存在大量外表相似，但实际细化的分类不同的商品，提高对此类商品的细化分类识别的精度显得日益重要。
基于上述场景，本申请实施例提供一种用于细粒度分类的目标检测方法。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
针对上述场景，下面结合说明书附图对本发明实施例做进一步详细描述。
实施例一：
如图1所示，本实施例提供一种用于细粒度分类的目标检测方法，该方法包括：
步骤101，获取目标的目标图像；
作为一种可选的实施方式，可以但不局限于采用一个/多个普通摄像头/旋转摄像头，对上述物品进行固定角度/多角度拍照获取上述物品的物品图像；
在上述步骤101获取物品的物品图像时，若获取的是物品的多个角度的图像，可以但不局限于从中选择一张像素最佳/包含上述物品指定部位的图像作为输入特征识别模型的物品图像，对此不做过多限定，本领域的技术人员可根据实际需求设置。
步骤102，通过预先构建的目标检测网络模型对上述目标图像进行目标检测，获得上述目标图像中目标的分类及位置，上述预先构建的目标检测网络模型中包括用于调整模型参数的分类损失函数，其中，构建目标检测网络模型过程中根据上述分类损失函数调整模型参数，使上述目标检测网络模型区分目标所属分类及同一类目标所属子分类。
上述预先构建的目标检测网络模型可以但不限于为深度学习网络模型，对上述深度学习网络模型不做过多限定，本领域的技术人员可根据实际需求设置，在本实施例中，上述深度学习网络模型可以但不局限于包括：卷积神经网络CNN(Convolutional NeuralNetwork)、循环神经网络RNN(Recurrent Neural Network)、深度神经网络DNN(DeepNeural Networks)等。
上述预先构建的目标检测网络模型中包括用于调整模型参数的分类损失函数，本实施例实施选用的分类损失函数的目的均为，通过增大提取的同类目标的目标图像的特征的聚类，减少提取的不同种类目标的目标图像的特征的聚类，即将提取到不同细分类别的目标图像的局部特征间的区分度增大，以及将提取到同一细分类别的目标图像的局部特征间的区分度减小，提升不同种类的特征的表达，以实现使检测出的目标的类别具有细粒度，如检测出某个品牌的牛奶的具体口味类别等。
作为一种可选的实施方式，上述目标检测网络模型包括用于获得上述目标图像中目标的分类的目标分类检测支路，以及用于获得上述目标图像中目标的位置的目标位置检测支路，上述分类损失函数为上述目标分类检测支路的损失函数。
上述分类损失函数包括如下任意一个：
度量学习损失函数N-pair loss；
损失函数AMSoftmax；
损失函数triplet loss；
损失函数Contrastive Loss；
损失函数II loss。
作为一种可选的实施方式，上述预先构建的目标检测网络模型通过如下任一预设目标检测算法对上述目标图像进行目标检测：
单发多盒探测器SSD算法；
YOLO算法。
上述YOLO算法，将目标检测作为回归问题求解，其基于一个单独的End-To-End网络，完成从目标图像的输入到目标位置和类别的输出，输入图像经过一次接口Inference，便能得到图像中所有目标的位置和其所属类别及相应的置信概率；使用上述YOLO算法进行目标检测的速率更快，出现北京错误的情况少，且泛化能力强。
上述SDD算法，其核心是在目标图像上采用卷积核来预测一系列标注框的类别、坐标偏移。为了提高检测准确率，SSD在不同尺度的特征图上进行预测，其结合了YOLO中的回归思想和基于区域的卷积神经网络Faster-RCNN中的检测头Anchor机制，使用全图各个位置的多尺度区域特征进行回归，既保持了YOLO速度快的特性，也保证了窗口预测的跟Faster-RCNN一样比较精准。
作为一种可选的实施方式，在构建目标检测网络模型时，将用于训练的多个同一种类和/或不同同类目标的目标图像输入上述目标检测网络模型，获取上述目标检测网络模型的目标分类检测支路输出的每个目标对应的特征向量；
利用上述分类损失函数，计算不同种类目标的特征向量间的偏离程度，和/或，计算同一种类目标的特征向量间的偏离程度；
根据上述不同种类目标的特征向量间的偏离程度，和/或，同一种类目标的特征向量间的偏离程度，调整上述目标检测网络模型的模型参数至上述偏离程度达到预设要求。
作为一种可选的实施方式，同一种类目标的特征向量间的偏离程度小于预设最小偏离阈值时，确定上述偏离程度达到预设要求；和/或
不同种类目标的特征向量间的偏离程度大于预设最大偏离阈值时，确定上述偏离程度达到预设要求。
作为一种可选的实施方式，可以但不局限于按照如下方法调整上述目标检测网络模型的模型参数至上述偏离程度达到预设要求：
1)利用上述分类损失函数，计算不同种类目标的特征向量间的偏离程度，根据计算结果调整上述目标检测网络模型的模型参数至上述偏离程度达到预设要求；
作为一种可选的实施方式，将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算每个特征向量集合中不同的特征向量集合的中心特征向量间的距离的方差；
作为一种可选的实施方式，不同的特征向量集合的中心特征向量间的距离的方差大于预设最大距离方差时，确定上述偏离程度达到预设要求；
2)利用上述分类损失函数，计算同一种类目标的特征向量间的偏离程度，根据计算结果调整上述目标检测网络模型的模型参数至上述偏离程度达到预设要求；
作为一种可选的实施方式，将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算不同的特征向量集合的中心特征向量间的距离的方差；
作为一种可选的实施方式，每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差小于预设最小距离方差，且时，确定上述偏离程度达到预设要求；
3)利用上述分类损失函数，计算不同种类目标的特征向量间的偏离程度，以及同一种类目标的特征向量间的偏离程度，根据上述不同种类目标的特征向量间的偏离程度，以及同一种类目标的特征向量间的偏离程度，调整上述目标检测网络模型的模型参数至上述偏离程度达到预设要求；
作为一种可选的实施方式，将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算每个特征向量集合中不同的特征向量集合的中心特征向量间的距离的方差，以及每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差，以及不同的特征向量集合的中心特征向量间的距离的方差；
作为一种可选的实施方式，每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差小于预设最小距离方差，且不同的特征向量集合的中心特征向量间的距离的方差大于预设最大距离方差时，确定上述偏离程度达到预设要求。
上述方法可以但不局限于应用于人脸识别、人/物再识别、商品细分类或车辆识别。
需要说明的是，本发明实施例中所列举的一种应用于人脸识别、人/物再识别、商品细分类或车辆识别的细粒度分类的目标检测的方式只是举例说明，任何一种可以对目标进行上述细粒度分类检测的方式都适用于本发明实施例。
实施例二：
如图2所示，基于相同的发明构思，本实施例提供一种用于细粒度分类的目标检测的设备，该设备包括处理器201和存储器202，其中，上述存储器存储可执行程序代码，当上述程序代码被执行时，使得上述处理器实现下述过程：
获取目标的目标图像；
通过预先构建的目标检测网络模型对上述目标图像进行目标检测，获得上述目标图像中目标的分类及位置，上述预先构建的目标检测网络模型中包括用于调整模型参数的分类损失函数，其中，构建目标检测网络模型过程中根据上述分类损失函数调整模型参数，使上述目标检测网络模型区分目标所属分类及同一类目标所属子分类。
可选地，上述目标检测网络模型包括用于获得上述目标图像中目标的分类的目标分类检测支路，以及用于获得上述目标图像中目标的位置的目标位置检测支路，上述分类损失函数为上述目标分类检测支路的损失函数。
可选地，上述分类损失函数包括如下任意一个：
度量学习损失函数N-pair loss；
损失函数AMSoftmax；
损失函数triplet loss；
损失函数Contrastive Loss；
损失函数II loss。
可选地，上述处理器具体用于，预先构建的目标检测网络模型通过如下任一预设目标检测算法对上述目标图像进行目标检测：
单发多盒探测器SSD算法；
YOLO算法。
上述处理器还用于，在构建目标检测网络模型时，将用于训练的多个同一种类和/或不同同类目标的目标图像输入上述目标检测网络模型，获取上述目标检测网络模型的目标分类检测支路输出的每个目标对应的特征向量；
利用上述分类损失函数，计算不同种类目标的特征向量间的偏离程度，和/或，计算同一种类目标的特征向量间的偏离程度；
根据上述不同种类目标的特征向量间的偏离程度，和/或，同一种类目标的特征向量间的偏离程度，调整上述目标检测网络模型的模型参数至上述偏离程度达到预设要求。
可选地，上述处理器具体用于，将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算不同的特征向量集合的中心特征向量间的距离的方差。
可选地，上述处理器具体用于，将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差。
可选地，同一种类目标的特征向量间的偏离程度小于预设最小偏离阈值时，确定上述偏离程度达到预设要求；和/或
不同种类目标的特征向量间的偏离程度大于预设最大偏离阈值时，确定上述偏离程度达到预设要求。
可选地，每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差小于预设最小距离方差时，确定上述偏离程度达到预设要求；和/或
不同的特征向量集合的中心特征向量间的距离的方差大于预设最大距离方差时，确定上述偏离程度达到预设要求。
上述设备可以但不局限于应用于人脸识别、人/物再识别、商品细分类或车辆识别。
如图3所示，基于相同的发明构思，本实施例提供一种用于细粒度分类的目标检测的装置，该装置包括：
目标图像获取单元301，用于获取目标的目标图像；
目标细粒度检测单元302，用于通过预先构建的目标检测网络模型对上述目标图像进行目标检测，获得上述目标图像中目标的分类及位置，上述预先构建的目标检测网络模型中包括用于调整模型参数的分类损失函数，其中，构建目标检测网络模型过程中根据上述分类损失函数调整模型参数，使上述目标检测网络模型区分目标所属分类及同一类目标所属子分类。
可选地，上述目标检测网络模型包括用于获得上述目标图像中目标的分类的目标分类检测支路，以及用于获得上述目标图像中目标的位置的目标位置检测支路，上述分类损失函数为上述目标分类检测支路的损失函数。
可选地，上述分类损失函数包括如下任意一个：
度量学习损失函数N-pair loss；
损失函数AMSoftmax；
损失函数triplet loss；
损失函数Contrastive Loss；
损失函数II loss。
可选地，上述处理器具体用于，预先构建的目标检测网络模型通过如下任一预设目标检测算法对上述目标图像进行目标检测：
单发多盒探测器SSD算法；
YOLO算法。
上述目标细粒度检测单元还用于，在构建目标检测网络模型时，将用于训练的多个同一种类和/或不同同类目标的目标图像输入上述目标检测网络模型，获取上述目标检测网络模型的目标分类检测支路输出的每个目标对应的特征向量；
利用上述分类损失函数，计算不同种类目标的特征向量间的偏离程度，和/或，计算同一种类目标的特征向量间的偏离程度；
根据上述不同种类目标的特征向量间的偏离程度，和/或，同一种类目标的特征向量间的偏离程度，调整上述目标检测网络模型的模型参数至上述偏离程度达到预设要求。
可选地，上述目标细粒度检测单元用于，将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算不同的特征向量集合的中心特征向量间的距离的方差。
可选地，上述目标细粒度检测单元用于，将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差。
可选地，同一种类目标的特征向量间的偏离程度小于预设最小偏离阈值时，确定上述偏离程度达到预设要求；和/或
不同种类目标的特征向量间的偏离程度大于预设最大偏离阈值时，确定上述偏离程度达到预设要求。
可选地，每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差小于预设最小距离方差时，确定上述偏离程度达到预设要求；和/或
不同的特征向量集合的中心特征向量间的距离的方差大于预设最大距离方差时，确定上述偏离程度达到预设要求。
上述设备可以但不局限于应用于人脸识别、人/物再识别、商品细分类或车辆识别。
实施例三：
本发明实施例还提供一种计算机可读非易失性存储介质，包括程序代码，当所述程序代码在计算终端上运行时，所述程序代码用于使所述计算终端执行上述本发明实施例一的方法的步骤。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种用于细粒度分类的目标检测方法，其特征在于，该方法包括：
获取目标的目标图像；
通过预先构建的目标检测网络模型对所述目标图像进行目标检测，获得所述目标图像中目标的分类及位置，所述预先构建的目标检测网络模型中包括用于调整模型参数的分类损失函数，其中，构建目标检测网络模型过程中根据所述分类损失函数调整模型参数，使所述目标检测网络模型区分目标所属分类及同一类目标所属子分类。
2.如权利要求1所述的方法，其特征在于，所述目标检测网络模型包括用于获得所述目标图像中目标的分类的目标分类检测支路，以及用于获得所述目标图像中目标的位置的目标位置检测支路，所述分类损失函数为所述目标分类检测支路的损失函数。
3.如权利要求1所述的方法，其特征在于，所述分类损失函数包括如下任意一个：
度量学习损失函数N-pair loss；
损失函数AMSoftmax；
损失函数triplet loss；
损失函数Contrastive Loss；
损失函数II loss。
4.如权利要求1所述的方法，其特征在于，所述预先构建的目标检测网络模型通过如下任一预设目标检测算法对所述目标图像进行目标检测：
单发多盒探测器SSD算法；
YOLO算法。
5.如权利要求2所述的方法，其特征在于，还包括：
在构建目标检测网络模型时，将用于训练的多个同一种类和/或不同同类目标的目标图像输入所述目标检测网络模型，获取所述目标检测网络模型的目标分类检测支路输出的每个目标对应的特征向量；利用所述分类损失函数，计算不同种类目标的特征向量间的偏离程度，和/或，计算同一种类目标的特征向量间的偏离程度；
根据所述不同种类目标的特征向量间的偏离程度，和/或，同一种类目标的特征向量间的偏离程度，调整所述目标检测网络模型的模型参数至所述偏离程度达到预设要求。
6.如权利要求5所述的方法，其特征在于，利用所述分类损失函数，计算不同种类目标的特征向量间的偏离程度，包括：
将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算不同的特征向量集合的中心特征向量间的距离的方差。
7.如权利要求5所述的方法，其特征在于，利用所述分类损失函数，计算同一种类目标的特征向量间的偏离程度，包括：
将同一种类目标的特征向量集中到同一个特征向量集合，并确定该特征向量集合的中心特征向量；
计算每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差。
8.如权利要求5所述的方法，其特征在于，所述偏离程度达到预设要求，包括：
同一种类目标的特征向量间的偏离程度小于预设最小偏离阈值；和/或
不同种类目标的特征向量间的偏离程度大于预设最大偏离阈值。
9.如权利要求6或7所述的方法，其特征在于，所述偏离程度达到预设要求，包括：
每个特征向量集合中不同的特征向量到该特征向量集合的中心特征向量的距离的方差小于预设最小距离方差；
不同的特征向量集合的中心特征向量间的距离的方差大于预设最大距离方差。
10.如权利要求1所述的方法，其特征在于，该方法应用于人脸识别、人/物再识别、商品细分类或车辆识别。
11.一种用于细粒度分类的目标检测的设备，其特征在于，该设备包括处理器和存储器，其中，所述存储器存储可执行程序代码，当所述程序代码被执行时，使得所述处理器执行上述权利要求1-10任一所述的方法。
12.一种计算机可存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～10任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910101320.9A CN109858552B (zh) | 2019-01-31 | 2019-01-31 | 一种用于细粒度分类的目标检测方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910101320.9A CN109858552B (zh) | 2019-01-31 | 2019-01-31 | 一种用于细粒度分类的目标检测方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109858552A true CN109858552A (zh) | 2019-06-07 |
| CN109858552B CN109858552B (zh) | 2021-01-26 |
Family
ID=66897368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910101320.9A Active CN109858552B (zh) | 2019-01-31 | 2019-01-31 | 一种用于细粒度分类的目标检测方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109858552B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334236A (zh) * | 2019-07-12 | 2019-10-15 | 厦门大学 | 一种基于施密特正交化约束的细粒度检索方法 |
| CN111027592A (zh) * | 2019-11-14 | 2020-04-17 | 中科软智(北京)科技有限公司 | 细粒度对象流量分析方法和装置 |
| CN112559897A (zh) * | 2021-02-23 | 2021-03-26 | 浙江口碑网络技术有限公司 | 匹配关系的识别方法、装置及设备 |
| CN113076964A (zh) * | 2020-01-03 | 2021-07-06 | 阿里巴巴集团控股有限公司 | 识别相似对象的方法、装置及电子设备 |
| CN113344031A (zh) * | 2021-05-13 | 2021-09-03 | 清华大学 | 一种文本分类方法 |
| WO2021213157A1 (zh) * | 2020-11-20 | 2021-10-28 | 平安科技（深圳）有限公司 | 模型训练方法、识别方法、装置、设备及存储介质 |
| CN115375985A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 非限定类别障碍物检测方法、相关网络训练方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871106A (zh) * | 2016-09-26 | 2018-04-03 | 北京眼神科技有限公司 | 人脸检测方法和装置 |
| US20180114056A1 (en) * | 2016-10-25 | 2018-04-26 | Vmaxx, Inc. | Vision Based Target Tracking that Distinguishes Facial Feature Targets |
| CN109284388A (zh) * | 2018-10-29 | 2019-01-29 | 深兰科技（上海）有限公司 | 字符数字唯一可译深度模型的文本分类方法及存储介质 |
-
2019
- 2019-01-31 CN CN201910101320.9A patent/CN109858552B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871106A (zh) * | 2016-09-26 | 2018-04-03 | 北京眼神科技有限公司 | 人脸检测方法和装置 |
| US20180114056A1 (en) * | 2016-10-25 | 2018-04-26 | Vmaxx, Inc. | Vision Based Target Tracking that Distinguishes Facial Feature Targets |
| CN109284388A (zh) * | 2018-10-29 | 2019-01-29 | 深兰科技（上海）有限公司 | 字符数字唯一可译深度模型的文本分类方法及存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334236A (zh) * | 2019-07-12 | 2019-10-15 | 厦门大学 | 一种基于施密特正交化约束的细粒度检索方法 |
| CN111027592A (zh) * | 2019-11-14 | 2020-04-17 | 中科软智(北京)科技有限公司 | 细粒度对象流量分析方法和装置 |
| CN111027592B (zh) * | 2019-11-14 | 2023-07-11 | 中科软智(北京)科技有限公司 | 细粒度对象流量分析方法和装置 |
| CN113076964A (zh) * | 2020-01-03 | 2021-07-06 | 阿里巴巴集团控股有限公司 | 识别相似对象的方法、装置及电子设备 |
| CN113076964B (zh) * | 2020-01-03 | 2024-01-05 | 阿里巴巴集团控股有限公司 | 识别相似对象的方法、装置及电子设备 |
| WO2021213157A1 (zh) * | 2020-11-20 | 2021-10-28 | 平安科技（深圳）有限公司 | 模型训练方法、识别方法、装置、设备及存储介质 |
| CN112559897A (zh) * | 2021-02-23 | 2021-03-26 | 浙江口碑网络技术有限公司 | 匹配关系的识别方法、装置及设备 |
| CN112559897B (zh) * | 2021-02-23 | 2021-05-18 | 浙江口碑网络技术有限公司 | 匹配关系的识别方法、装置及设备 |
| CN113344031A (zh) * | 2021-05-13 | 2021-09-03 | 清华大学 | 一种文本分类方法 |
| CN113344031B (zh) * | 2021-05-13 | 2022-12-27 | 清华大学 | 一种文本分类方法 |
| CN115375985A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 非限定类别障碍物检测方法、相关网络训练方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109858552B (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858552A (zh) | 一种用于细粒度分类的目标检测方法及设备 | |
| TWI746674B (zh) | 識別圖像中物件的類型預測方法、裝置及電子設備 | |
| US10083233B2 (en) | Video processing for motor task analysis | |
| CN105844283B (zh) | 用于识别图像类目归属的方法、图像搜索方法及装置 | |
| WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| US20180330183A1 (en) | Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium | |
| CN108510000A (zh) | 复杂场景下行人细粒度属性的检测与识别方法 | |
| CN108596128B (zh) | 对象识别方法、装置及存储介质 | |
| CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| CN109644255A (zh) | 标注包括一组帧的视频流的方法和装置 | |
| US9959480B1 (en) | Pixel-structural reference image feature extraction | |
| GB2516512A (en) | Face detection | |
| CN107918767B (zh) | 目标检测方法、装置、电子设备及计算机可读介质 | |
| CN110008799A (zh) | 指定区域的人流状况估算方法和装置 | |
| CN109871821A (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
| CN110287907A (zh) | 一种对象检测方法和装置 | |
| CN111814846B (zh) | 属性识别模型的训练方法、识别方法及相关设备 | |
| TWI776176B (zh) | 手部作業動作評分裝置、方法及電腦可讀取存儲介質 | |
| Ballotta et al. | Fully convolutional network for head detection with depth images | |
| Xia et al. | Kiwifruit counting using KiwiDetector and KiwiTracker | |
| CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
| CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 | |
| WO2021030924A1 (zh) | 货架物品识别方法、装置及系统 | |
| Pratama et al. | Application of yolo (you only look once) v. 4 with preprocessing image and network experiment | |
| US20220366248A1 (en) | Learning apparatus, a learning method, object detecting apparatus, object detecting method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240508 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: Unit 1001, 369 Weining Road, Changning District, Shanghai, 200336 (9th floor of actual floor) Patentee before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |