CN110796141A - 目标检测方法及相关设备 - Google Patents

目标检测方法及相关设备 Download PDF

Info

Publication number
CN110796141A
CN110796141A CN201911003062.7A CN201911003062A CN110796141A CN 110796141 A CN110796141 A CN 110796141A CN 201911003062 A CN201911003062 A CN 201911003062A CN 110796141 A CN110796141 A CN 110796141A
Authority
CN
China
Prior art keywords
frame
target
initial prediction
initial
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911003062.7A
Other languages
English (en)
Inventor
任玉强
张文涛
袁豪磊
彭湃
孙众毅
习洋洋
郭卉
郭晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911003062.7A priority Critical patent/CN110796141A/zh
Publication of CN110796141A publication Critical patent/CN110796141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种目标检测方法及相关设备，在进行目标检测时，可获取待检测图像的初始预测信息，初始预测信息不仅包括初始预测边框以及对应的初始预测类别置信度，还包括反映初始预测边框与目标边框之间的偏移程度的初始预测偏移度；再根据初始预测类别置信度和初始预测偏移度对初始预测信息进行筛选，过滤部分初始预测信息，以获得目标最终的预测信息，预测信息包括预测边框以及对应的预测类别置信度；由于是依据初始预测类别置信度和初始预测偏移度两者进行初始预测信息的筛选，不仅可以减少目标检测时生成的目标的预测信息的数量，还可以有效提高无效预测信息的过滤准确度，保留关于目标有效的预测信息，有助于提高目标检测的检测准确率。

Description

目标检测方法及相关设备
技术领域
本发明涉及互联网技术领域，具体涉及目标检测技术领域，尤其涉及一种目标检测方法、一种目标检测装置、一种终端设备及一种计算机存储介质。
背景技术
目标检测技术融合了图像处理、模式识别、人工智能、自动控制等许多领域的前沿技术，在人脸识别、智能化交通系统、智能监控系统、工业检测、航天航空等诸多领域得到了广泛的应用。
现有的目标检测方法的基本思想是：先处理图片得到候选区域(候选框)，再对候选区域进行分类和边框回归，以实现对图片的目标检测识别。但是由于候选框的数量巨大，为了消除多余的候选框，找到最佳的物体检测位置，加快目标检测识别的速度，一般会选用如NMS(Non-maximum suppression，非极大值抑制)算法等的方法来去除多余的候选框。
然而，在NMS算法根据候选框的类别置信度高低顺序进行候选框过滤时，由于获取候选框的类别置信度的类别分类器具有遮挡和平移的鲁棒性，完全框中真实物体的第一候选框，以及位置有偏移且只框中部分真实物体(例如框中 80％的真实物体)的第二候选框，第一候选框的类别置信度低于第二候选框的类别置信度，假设NMS算法的IOU阈值设置为0.5，则第一候选框将会被过滤，由此可见，单纯地依靠类别置信度不能准确地反映候选框的准确性，有可能导致准确的候选框被过滤，造成NMS算法的过滤失误率过高，导致目标检测算法的准确度低下。
发明内容
本发明实施例提供了一种目标检测方法及相关设备，可以减少目标检测时生成的目标的预测信息的数量，更好地提高目标检测的处理效率。
一方面，本发明实施例提供了一种目标检测方法，包括：
获取待检测图像；
根据所述待检测图像获取目标的初始预测信息，其中，所述初始预测信息包括初始预测边框、所述初始预测边框对应的初始预测类别置信度和初始预测偏移度，所述初始预测偏移度用于反映所述初始预测边框与目标边框之间的偏移程度；
根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度。
其中，所述根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度，包括：
根据所述初始预测边框的位置信息构建所述目标的初始预测边框对应的二维高斯分布函数；
基于所述二维高斯分布函数和对应的权重构建第一混合高斯分布函数，所述二维高斯分布函数的权重为置偏积与总置偏积的比值，其中，所述置偏积为所述二维高斯分布函数对应的初始预测边框的初始预测类别置信度和初始预测偏移度的乘积，所述总置偏积为所述待检测图像中所有的所述置偏积的总和；
根据估计算法处理所述第一混合高斯分布函数以获得第二混合高斯分布函数，所述估计算法用于从所述第一混合高斯分布函数中找到一组二维高斯分布函数和对应的权重构成所述第二混合高斯分布函数，以使所述第二混合高斯分布函数代表所述第一混合高斯分布函数，所述第二混合高斯分布函数的项数小于所述第一混合高斯分布函数的项数；
根据预设权重范围对所述第二混合高斯分布函数中的各个权重进行筛选，获取在所述预设权重范围之中的权重作为第一权重；
根据所述第一权重对应的二维高斯分布函数，获得对应的所述初始预测边框及所述初始预测类别置信度，将所获得的所述初始预测边框、所述初始预测类别置信度作为所述目标的预测边框、预测类别置信度。
其中，所述估计算法为通过迭代对混合高斯分布函数进行密度估计的估计算法。
其中，所述根据所述待检测图像获取目标的初始预测信息，包括：
根据所述待检测图像和检测模型获取目标的初始预测信息，其中，所述检测模型是利用包含标注信息的训练图像，基于反映所述检测模型获得的初始预测边框的位置信息与目标边框的位置信息之间的差异、所述检测模型获得的初始预测类别置信度和目标类别信息之间的差异、以及所述检测模型获得的初始预测偏移度与目标偏移度之间的差异的损失函数来训练的，其中，所述标注信息包括所述训练图像的目标边框的位置信息、目标类别信息和目标偏移度。
其中，所述方法还包括：
以第一预设长度为间隔，将所述待检测图像划分为多个网格，所述网格包含至少一个完整的目标，所述待检测图像具有所述目标的初始预测信息或预测信息；
分别对每个网格进行以下处理：
对位于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除所述网格中的部分所述初始预测边框或部分所述预测边框。
其中，所述方法还包括：
以第二预设长度为间隔，将特征图划分为多个网格，所述特征图为对所述待检测图像进行特征提取而得到的，所述网格包含至少一个完整的经过特征提取后的目标，所述待检测图像具有所述目标的初始预测信息或预测信息；
分别对每个网格进行以下处理：
对映射于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除部分映射于所述网格中的所述初始预测边框或所述预测边框。
其中，所述方法还包括：
根据包含目标边框的位置信息的训练图像进行聚类处理，以获取多个聚类框宽和多个聚类框高；
计算多个聚类框宽的平均框宽和多个聚类框高的平均框高；
获取所述平均框宽和所述平均框高中较大值，将预设倍数和所述较大值的乘积作为所述第一预设长度。
其中，所述根据所述待检测图像获取目标的初始预测信息，包括：
对所述待检测图像进行特征提取以获取特征图；
分别在所述特征图的单元格的中心设置第一锚点，并以所述第一锚点为中心设置锚框面积相同、锚框的长宽比例不同的多个第一锚框，不同单元格中的第一锚框的面积不同；
分别获取所述第一锚框与映射于所述特征图上的目标边框之间的交并比，获取多个交并比中的最大值作为最大交并比；
以所述最大交并比对应的第一锚框的长度为步长，在所述特征图上设置多个第二锚点，并以所述最大交并比对应的所述第一锚点的锚框面积、锚框的长宽比例在所述第二锚点的位置上生成多个第二锚框；
根据所述第二锚框生成所述目标的所述初始预测边框。
另一方面，本发明实施例提供了一种目标检测装置，包括：
图像获取单元，用于获取待检测图像；
初始预测信息获取单元，用于根据所述待检测图像获取目标的初始预测信息，其中，所述初始预测信息包括初始预测边框、所述初始预测边框对应的初始预测类别置信度和初始预测偏移度，所述初始预测偏移度用于反映所述初始预测边框与目标边框之间的偏移程度；
目标预测信息获取单元，用于根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度。
其中，所述装置还包括：
第一划分单元，用于以第一预设长度为间隔，将所述待检测图像划分为多个网格，所述网格包含至少一个完整的目标，所述待检测图像上显示有所述目标的初始预测信息或预测信息；
第一剔除单元，用于分别对每个网格进行以下处理：
对位于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除所述网格中的部分所述初始预测边框或部分所述预测边框。
其中，所述装置还包括：
第二划分单元，用于以第二预设长度为间隔，将特征图划分为多个网格，所述特征图为对所述待检测图像进行特征提取而得到的，所述网格包含至少一个完整的经过特征提取后的目标，所述待检测图像上显示有所述目标的初始预测信息或预测信息；
第二剔除单元，用于分别对每个网格进行以下处理：
对映射于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除部分映射于所述网格中的所述初始预测边框或所述预测边框。
其中，所述初始预测信息获取单元包括：
特征提取模块，用于对所述待检测图像进行特征提取以获取特征图；
第一锚框设置模块，用于分别在所述特征图的单元格的中心设置第一锚点，并以所述第一锚点为中心设置锚框面积相同、锚框的长宽比例不同的多个第一锚框，不同单元格中的第一锚框的面积不同；
交并比获取模块，用于分别获取所述第一锚框与映射于所述特征图上的目标边框之间的交并比，获取多个交并比中的最大值作为最大交并比；
第二锚框设置模块，用于以所述最大交并比对应的第一锚框的长度为步长，在所述特征图上设置多个第二锚点，并以所述最大交并比对应的所述第一锚点的锚框面积、锚框的长宽比例在所述第二锚点的位置上生成多个第二锚框；
初始预测边框生成模块，用于根据所述第二锚框生成所述目标的所述初始预测边框。
另一方面，本发明实施例提供了一种终端设备，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行所述的目标检测方法。
另一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行所述的目标检测方法。
本发明实施例在进行目标检测时，可获取待检测图像的初始预测信息，其中，初始预测信息不仅包括初始预测边框以及对应的初始预测类别置信度，而且还包括反映初始预测边框与目标边框之间的偏移程度的初始预测偏移度；再根据初始预测类别置信度和初始预测偏移度对初始预测信息进行筛选，过滤部分初始预测信息，以获得目标最终的预测信息，其中，预测信息包括预测边框以及对应的预测类别置信度；由于是依据初始预测类别置信度和初始预测偏移度两者进行初始预测信息的筛选，不仅可以减少目标检测时生成的目标的预测信息的数量，而且可以有效提高无效预测信息的过滤准确度，保留关于目标有效的预测信息，有助于提高目标检测的检测准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标检测方法的场景示意图；
图2是本发明实施例提供的另一种目标检测方法的场景示意图；
图3是本发明实施例提供的一种目标检测方法的流程示意图；
图4是本发明实施例提供的一种目标检测方法中筛选初始预测信息的流程示意图；
图5是二维高斯分布函数的可视化示意图；
图6是本发明实施例提供的一种目标检测方法中过滤预测边框的流程示意图；
图7是本发明实施例提供的一种目标检测方法中对待检测图像进行网格划分的示意图；
图8是本发明实施例提供的另一种目标检测方法中过滤预测边框的流程示意图；
图9是本发明实施例提供的一种目标检测方法中对特征图进行网格划分的示意图；
图10是本发明实施例提供的一种目标检测方法中获取目标的初始预测信息的流程示意图；
图11是本发明实施例提供的一种目标检测方法中特征图的示意图；
图12是本发明实施例提供的一种目标检测装置的结构示意图；
图13是本发明实施例提供的另一种目标检测装置的结构示意图；
图14是本发明实施例提供的另一种目标检测装置的结构示意图；
图15是本发明实施例提供的一种目标检测装置的初始预测信息获取单元的结构示意图；
图16是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应当理解，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参见图1，图1是本发明实施例提供的一种目标检测方法的场景示意图；图1中，以货架图像为例进行目标检测方法的说明，用户可以利用手机11等终端进入微信小程序板块，再进入对应的小程序A，用户在小程序A中填写相关信息(例如货架所在超市等信息)后开始对货架上的商品进行拍照，可以得到货架商品图像12；小程序A是基于本发明实施例的目标检测方法而创建的商品识别应用，该应用搭载于云端服务器13中，因此，通过小程序A将货架商品图像12上传至云端服务器13后，在云端服务器13中对货架商品图像12进行商品检测和识别，可以得到具体的商品识别结果，同时将根据商品识别结果生成结果统计表格15；对于大型连锁超市的话，还会生成达标统计表格14，预先设定达标标准后，云端服务器13根据预设达标标准和商品识别结果判断该货架商品图像12是否达标，也即可以判断该货架所在超市的商品上架情况是否合格，最后将达标统计表格14和结果统计表格15返回到手机11，则用户可以根据返回的表格快捷地判定该超市的达标情况。其中，商品识别结果包括商品品类(例如啤酒、可乐、橙汁等)、商品对应的数量等。
参考图2，图2是本发明实施例提供的另一种目标检测方法的场景示意图；上述图1的方案也可以应用到监控摄像头21，通过安装在铺市中监控摄像头21 自动实时地获取货架商品图像，并通过有线或无线的方式将货架商品图像传输至云端服务器22中，在云端服务器22中对货架商品图像进行商品检测和识别，并生成商品识别结果，同理，依据商品识别结果生成达标统计表格和结果统计表格；另外，云端服务器22还将生成所有铺市的总达标统计表格。当铺市的工作人员有需要时，可以通过手机23等终端向云端服务器22发起请求下发铺市对应的结果统计表格和达标统计表格；一样地，当连锁超市的管理中心，即总部的工作人员想要了解各个铺市的情况时，可以通过总部的电脑24向云端服务器22请求下发总达标统计表格或者某个铺市的统计表格，则总部的工作人员可以实时掌控所有铺市的执行情况。实现从个人到总部均可实时掌控货架变化，保证销售渠道畅通，掌控卖场活动执行情况，最大化提升销售效率，同时极大缩减实地销售人员的在店时间，提升运作效率。
其中，对货架商品图像进行商品检测的具体过程可参见以下图3至图11所对应的实施例。当然，实施例所描述的目标检测方法不仅限于对货架商品的识别检测，还可以是其他各种目标的识别检测，例如，道路上的车辆统计检测(车辆类型和数量等)、或者行人统计检测(行人总数等)，还可以是人脸识别检测，或者是城市建筑统计检测，或者是动物统计检测等，都是可以适用的。
请参见图3，是本发明实施例提供的一种目标检测方法的流程示意图；所述目标检测方法，包括：
步骤S301，获取待检测图像；
具体地，利用图像获取设备获取包含目标的待检测图像，图像获取设备例如设置在智能终端(如手机等)上的摄像头或者是专门的监控摄像头等，均可以获得包含目标的待检测图像。
步骤S302，根据所述待检测图像获取目标的初始预测信息，其中，所述初始预测信息包括初始预测边框(即初始候选框)、所述初始预测边框对应的初始预测类别置信度和初始预测偏移度，所述初始预测偏移度用于反映所述初始预测边框与目标边框之间的偏移程度；
具体地，利用预训练好的检测模型处理待检测图像以获取目标的初始预测信息，其中，初始预测偏移度用于反映所述初始预测边框的位置信息与目标边框(指目标的真实边框)的位置信息之间的偏移程度，边框的位置信息是指示意一个边框的信息，可以是利用边框的中心点坐标和边框的宽高(以长方形的长宽为例，边框的宽对应通常意义上的长，边框的高对应通常意义上的宽)来表示一个边框，也可以是通过两个边框角点来表示一个边框，例如左上角的角点和右下角的角点的具体坐标；还可以是通过多个边(如两个边，给出两个边的极值点)来表示一个边框。而获取初始预测边框和对应的初始类别置信度的算法可以采用现有技术中的目标检测算法来实现，例如，基于锚点(anchor)的目标检测算法，R-CNN算法、Faster R-CNN算法、RPN算法、FPN算法和SSD 算法等，或者传统的算法，以金字塔多尺度、遍历滑窗的方式，逐尺度逐位置判断在这个尺度的这个位置处有没有认识的目标；或者是YOLO算法等。
其中，YOLO算法是一种一阶段的快速目标检测算法。YOLO将全图划分为S×S的格子，每个格子负责中心在该格子的目标检测，采用一次性预测所有格子所含目标的bbox、置信度以及所有类别概率向量来将问题一次性解决。
FPN算法是通过利用常规卷积神经网络模型内部从底至上各个层对同一尺度图片不同维度的特征表达结构，提出了一种可有效在单一图片视图下生成对其的多维度特征表达的方法。它可以有效地赋能常规卷积神经网络模型，从而可以生成出表达能力更强的特征图。
而SSD算法是一种一阶段的目标检测算法，使用卷积神经网络直接进行检测，而不是像Yolo那样在全连接层之后做检测。
步骤S303，根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框(即候选框)以及对应的预测类别置信度。
具体地，根据获取的目标的初始预测类别置信度和初始预测偏移度对初始预测信息进行筛选，去除部分无效、错误的初始预测信息，将过滤后得到的(即剩下的)初始预测边框和对应的初始预测类别置信度分别作为所述目标的预测边框和预测类别置信度，使得最后得到的目标的预测信息的数量大大减小，由于同时结合初始预测类别置信度和初始预测偏移度进行初始预测信息筛选，避免现有技术中由于类别分类器具有遮挡和平移的鲁棒性，导致单一的类别置信度不能准确的反映候选框的准确性，进而导致准确的预测边框被过滤，造成目标检测准确度低下；有效提高了无效初始预测信息的过滤准确度，也提升了目标检测的准确度。
本发明实施例在进行目标检测时，可获取待检测图像的初始预测信息，其中，初始预测信息不仅包括初始预测边框以及对应的初始预测类别置信度，而且还包括反映初始预测边框与目标边框之间的偏移程度的初始预测偏移度；再根据初始预测类别置信度和初始预测偏移度对初始预测信息进行筛选，过滤部分初始预测信息，以获得目标最终的预测信息，其中，预测信息包括预测边框以及对应的预测类别置信度；由于是依据初始预测类别置信度和初始预测偏移度两者进行初始预测信息的筛选，不仅可以减少目标检测时生成的目标的预测信息的数量，而且可以有效提高无效预测信息的过滤准确度，保留关于目标有效的预测信息，有助于提高目标检测的检测准确率。
特别地，当目标检测时生成围绕目标的一大一小的两个预测框时，大的预测框的类别置信度高于小的预测框，而且大的预测框更接近目标的真实边框，小的预测框约为大的预测框的十分之一，利用现有的NMS算法进行预测框过滤时，由于一大一小的预测框之间的交并比小于预设阈值(假设阈值设置为0.5)，此时小的预测框(无效的预测框)无法被去除，造成后续冗余的计算量；而利用本发明实施例的方法，结合初始预测框的类别置信度和偏移度进行初始预测框过滤，就可以过滤上述小的预测框，提高无效边框的过滤准确度。
另外，目标的预测信息还包括预测偏移度，预测偏移度用于反映预测边框 (的位置信息)与目标边框(的位置信息)之间的偏移程度，具体地，将过滤后得到的初始预测偏移度作为目标的预测偏移度。可选地，本发明实施例的方法还包括将所述目标的预测信息进行输出，当本发明实施例的方法应用于计算机或者手机上时，可以在显示屏上输出目标的预测信息，方便用户获知目标的识别检测结果。
进一步地，参考图3，本发明实施例的目标检测方法还包括：
步骤S304，对所述目标的预测信息进行后处理，所述后处理包括去除多余的预测边框等，可以是利用现有的NMS算法(包括标准的NMS算法或改进的 NMS算法)通过交并比计算来继续过滤多余的预测边框，减少预测边框的数量。
可选的，步骤S302中，所述根据所述待检测图像获取目标的初始预测信息，包括：
根据所述待检测图像和检测模型获取目标的初始预测信息，其中，所述检测模型是利用包含标注信息的训练图像，基于反映所述检测模型获得的初始预测边框的位置信息与目标边框的位置信息之间的差异、所述检测模型获得的初始预测类别置信度和目标类别信息之间的差异、以及所述检测模型获得的初始预测偏移度与目标偏移度之间的差异的损失函数来训练的，其中，所述标注信息包括所述训练图像的目标边框的位置信息、目标类别信息和目标偏移度。
具体地，获取多个包含标注信息的训练图像，以货架商品图像为例，需要获取大量的货架商品图像，尽可能覆盖所有的商品；通过人工标注的方式对训练图像的目标的边框、类别进行标注，可以是框出目标的真实边框(即目标边框)，并选择一种边框的表示方式表示目标边框，例如，以边框中心点和边框的宽高表示目标边框，即可以获得目标边框的位置信息(边框中心点坐标和边框的宽高)和目标类别信息(即目标的真实类别信息)；而目标偏移度为检测模型的初始预测边框和目标边框之间的偏移程度，由于目标边框的位置信息已知，检测模型也可以得到初始预测边框的位置信息(与目标边框相同，采用边框中心点和边框的宽高表示)，则根据初始预测边框的位置信息和目标边框的位置信息可以得到目标偏移度(即目标的真实偏移度)。另外，模型训练采用的损失函数包括针对初始预测边框的第一损失函数，针对初始类别置信度的第二损失函数和针对初始偏移度的第三损失函数，第一损失函数、第二损失函数、第三损失函数中的一个或者多个可以采用交叉熵损失函数，交叉熵损失函数用于缩小真实标注数据与预测数据之间的差异，提高检测模型的预测准确性。
接着开始训练检测模型，每次输入一张训练图像，可以得到一组输出数据，包括初始预测边框、初始预测类别置信度和初始预测偏移度，再根据对应的训练图像的真实标注数据进行对比，当模型输出的数据和真实标注数据相差较大时，调整模型的参数；否则，输入下一张训练图像，重复以上过程，反复调整检测模型的模型参数，以使真实标注数据与模型的输出数据之间的差异达到最小后，则检测模型训练完成。
可选的，参考图4，是本发明实施例提供的一种目标检测方法中筛选初始预测信息的流程示意图，所述步骤S303包括：
步骤S401，根据所述初始预测边框的位置信息构建所述目标的初始预测边框对应的二维高斯分布函数；
具体地，根据初始预测边框的位置信息构建对应的二维高斯分布函数，以边框中心点和边框的宽高为例，根据初始预测边框的中心点坐标(xi,yi)和初始预测边框的宽高(wi,hi)作为参数拟合二维高斯分布，则可以获得初始预测边框对应的二维高斯分布函数，N个初始预测边框可以得到N个二维高斯分布函数，二维高斯分布函数如下式所示：
其中，p表示一个二维高斯分布函数，参考图5，是二维高斯分布函数的可视化示意图，即高斯热力图，图5中有5个目标的二维高斯分布函数的可视化图，p也就是图5中的单个椭圆51中所有二维坐标点的集合。
步骤S402，基于所述二维高斯分布函数和对应的权重构建第一混合高斯分布函数，所述二维高斯分布函数的权重为置偏积与总置偏积的比值，其中，所述置偏积为所述二维高斯分布函数对应的初始预测边框的初始预测类别置信度和初始预测偏移度的乘积，所述总置偏积为所述待检测图像中所有的所述置偏积的总和；
具体地，根据每个二维高斯分布函数和对应的权重进行加权运算以构建第一混合高斯分布函数，其中，二维高斯分布函数的权重为置偏积c与总置偏积的比值，置偏积c为二维高斯分布函数对应的初始预测边框的初始预测类别置信度和初始预测偏移度的乘积，因此，一个二维高斯分布函数的权重ci如下式：
Figure RE-GDA0002308980020000121
则第一混合高斯分布函数可以表示成：
Figure RE-GDA0002308980020000122
其中，fi(p)表示第i个二维高斯分布函数。第一混合高斯分布函数相当于依据不同的权重叠加N个二维高斯分布函数。
步骤S403，根据估计算法处理所述第一混合高斯分布函数以获得第二混合高斯分布函数，所述估计算法用于从所述第一混合高斯分布函数中找到一组二维高斯分布函数和对应的权重构成所述第二混合高斯分布函数，以使所述第二混合高斯分布函数代表所述第一混合高斯分布函数，所述第二混合高斯分布函数的项数小于所述第一混合高斯分布函数的项数；
具体地，利用估计算法从第一混合高斯分布函数中找到一组(1个以上)二维高斯分布函数和对应的权重，这一组数据对应的高斯热力图可以代表第一混合高斯分布函数的高斯热力图，根据这组数据可以得到第二混合高斯分布函数，第二混合高斯分布函数可以代表第一混合高斯分布函数，而第二混合高斯分布函数的项数远远小于第一混合高斯分布函数的项数，即这一过程可以减少待检测图像所具有的二维高斯分布函数的个数，相当于可以除去待检测图像部分无效的初始预测边框，抑制部分无效的初始预测边框。实际上，由第一混合高斯分布函数得到第二混合高斯分布函数的过程中，对于未被选中的二维高斯分布函数(即除了第二混合高斯分布函数中的各项之外的，第一混合高斯分布函数的其余各项)，是通过将这些项对应的权重设置为预设数值，实现过滤以得到第二混合高斯分布函数。其中，预设数值为小于或等于0、或者是大于或等于1中的任何数值，当预设数值设置为0时，相当于直接消去权重为0的项，则此时的第一混合高斯分布函数即为第二混合高斯分布函数；而对于设置预设数值设置为小于0、或者是大于或等于1的数值时，通过权重比较判断，将第一混合高斯分布函数中权重在0到1之间的项取出来，即可构成第二混合高斯分布函数。
可选地，所述估计算法为通过迭代对混合高斯分布函数进行密度估计的估计算法，即利用估计算法，对第一混合高斯分布函数进行密度估计以获得最能代表第一混合高斯分布函数的一组数据，这组数据构成第二混合高斯分布函数。估计算法可以是基于通过迭代对混合高斯分布函数进行密度估计的算法，具体地，估计算法包括EM算法、密度估计算法或聚类算法，其中，EM的思想是，第一步是猜测隐含类别变量，第二步是更新其他参数，以获得最大的最大似然估计。本发明实施例中，即是通过不断迭代更新第一混合高斯分布函数中各项的权重的数值，为了提高计算处理速度，此处以将权重的数值设置为0为例，直接消去对应的项来找到最大的最大似然估计，找到最大的最大似然估计时，此时的第一混合高斯分布函数即为第二混合高斯分布函数。
步骤S404，根据预设权重范围对所述第二混合高斯分布函数中的各个权重进行筛选，获取在所述预设权重范围之中的权重作为第一权重；
具体地，为了进一步提高目标的预测边框的准确度，可以设置预设权重范围对第二混合高斯分布函数的各个权重进行筛选，可以根据具体的需求将预设权重范围设置在0到1之间(包括0)的任何数值，例如0.2-0.99之间，用户可以根据需要调整预设权重范围，对于权重的数值较低的各项去除掉以进一步减少目标的无效预测边框，提高目标的检测准确度。
步骤S405，根据所述第一权重对应的二维高斯分布函数，获得对应的所述初始预测边框及所述初始预测类别置信度，将所获得的所述初始预测边框、所述初始预测类别置信度作为所述目标的预测边框、预测类别置信度。
具体地，理想状态下，根据第一权重对应的二维高斯分布函数可以找到用于构建该函数的初始预测边框的位置信息，根据该位置信息即可以在目标所有的初始预测信息中找到对应的初始预测边框、初始预测类别置信度和初始预测偏移度，此时，可以将找到的初始预测边框作为目标的预测边框，而初始预测类别置信度为目标的预测类别置信度；同理，初始预测偏移度为目标的预测偏移度。
进一步地，本发明实施例还提供了两种对所述目标的预测信息进行后处理的方法，本发明实施例中，提供两种过滤目标的预测边框的方法，相当于对目标的预测信息的过滤方法。第一种方法，为了减少目标的初始预测边框或预测边框的数目，提高边框过滤速度，参考图6，图6是本发明实施例提供的一种目标检测方法中过滤预测边框的流程示意图；所述目标检测方法还包括：
步骤S601，以第一预设长度为间隔，将所述待检测图像划分为多个网格，所述网格包含至少一个完整的目标，所述待检测图像具有所述目标的初始预测信息或预测信息；
具体地，需要预先获取多张包含目标的训练图像，其中的目标可以一种或多种不同的目标，例如，以货架商品为例，货架商品图像中可以包括可乐、啤酒、橙汁等饮料，也可以包含大罐的橙汁、大罐的可乐等，获取的训练图像尽量覆盖后续想要进行目标检测的所有目标种类；然后对获取的训练图像中的目标进行边框标注得到目标边框，再根据包含目标边框的位置信息的训练图像进行聚类处理，以获取多个聚类框宽和多个聚类框高；接着计算多个聚类框宽的平均框宽和多个聚类框高的平均框高；最后，获取所述平均框宽和所述平均框高中的较大值，将预设倍数和所述较大值的乘积作为所述第一预设长度。一般地，预设倍数为2倍以上。
参考图7，图7是本发明实施例提供的一种目标检测方法中对待检测图像进行网格划分的示意图，以第一预设长度D1为间隔，划分待检测图像73，得到如图7所示的多个网格，待检测图像73中，可以是包括目标(如71)的初始预测信息，例如初始预测边框72，也可以是包括目标的预测信息，例如预测边框。
步骤S602，分别对每个网格进行以下处理：
对位于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除所述网格中的部分所述初始预测边框或部分所述预测边框。
具体地，需要先对所有网格中的初始预测边框或预测边框的类别置信度，按照从高到低的顺序进行排序；再对位于同一网格中的初始预测边框或预测边框执行非极大抑制处理，剔除冗余的初始预测边框或预测边框，由于只在同一网格中执行非极大抑制处理，对于不处于同一网格中的初始预测边框或预测边框不做处理，减少了边框过滤时的计算量，提升了边框过滤速度。其中的非极大抑制处理可以采用标准的NMS算法或者基于NMS算法的改进算法来实现。
标准的NMS算法流程是，首先选取所有预测框中类别置信度最大的那一个，记为box_best，并保留它；然后计算box_best与其余的预测框的IOU，如果这个IOU大于NMS设置的阈值(通常0.5)，则舍弃这个预测框；最后从剩下的预测框(不包含前一个box_best)中找到下一个box_best，如此循环往复。
第二种方法，为了减少目标的初始预测边框或预测边框的数目，提高边框过滤速度，对于基于锚点的目标检测算法得到的初始预测边框和预设边框的情形，可以从待检测图像的特征图出发，进行边框过滤。参考图8，图8是本发明实施例提供的另一种目标检测方法中过滤预测边框的流程示意图；所述目标检测方法还包括：
步骤S801，以第二预设长度为间隔，将特征图划分为多个网格，所述特征图为对所述待检测图像进行特征提取而得到的，所述网格包含至少一个完整的经过特征提取后的目标(相当于包含缩放后的目标)，所述待检测图像具有所述目标的初始预测信息或预测信息；
具体地，根据上述方法得到第一预设长度后，根据第一预设长度可以得到第二预设长度，第一预设长度与第二预设长度之间的比值，和待检测图像与特征图之间的缩放比值相同，因此，可以对第一预设长度缩放相同的比例后，可以得到第二预设长度。参考图9，图9是本发明实施例提供的一种目标检测方法中对特征图进行网格划分的示意图；以第二预设长度D2为间隔，将待检测图像的特征图划分成多个网格，特征图中包括多个锚框92和经过缩放后的目标91，锚框92可以是初始预测边框对应的锚框，或者是预测边框对应的锚框。
步骤S802，分别对每个网格进行以下处理：
对映射于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除部分映射于所述网格中的所述初始预测边框或所述预测边框。
具体地，需要先对所有映射于网格中的初始预测边框或预测边框的类别置信度，按照从高到低的顺序进行排序；再对映射于同一网格中的初始预测边框或预测边框执行非极大抑制处理，即对位于同一网格中的锚框(初始预测边框或预测边框对应的锚框)进行非极大抑制处理，通过剔除多余的锚框，以剔除冗余的初始预测边框或预测边框，由于只在同一网格中执行非极大抑制处理，对于不处于同一网格中的锚框不做处理，减少了边框过滤时的计算量，提升了边框过滤速度。其中的非极大抑制处理可以采用标准的NMS算法或者基于NMS 算法的改进算法来实现。
参考图6和图8，基于区域感知的非极大抑制处理方法，可以加快重复边框过滤的计算速度，节约计算成本。特别地，对于目标处在密集场景中，即待检测图像中具有大量的小目标，此时将产生大量的预测边框，而利用图6或图8 的方法，将可以迅速去除大量冗余的预测边框，过滤效率高。
可选的，检测模型为基于锚点的检测模型时，本发明实施例提出一种新的设置锚点的方法，通过减少锚点的数量，以减少产生的初始预测边框，减少计算量，提高目标检测的效率。具体地，参考图10和图11，图10是本发明实施例提供的一种目标检测方法中获取目标的初始预测信息的流程示意图，图11是本发明实施例提供的一种目标检测方法中特征图的示意图；所述根据所述待检测图像获取目标的初始预测信息，包括：
步骤S101，对所述待检测图像进行特征提取以获取特征图；
其中，一般是将待检测图像输入卷积神经网络中进行特征提取，以得到对应的特征图。
步骤S102，分别在所述特征图的单元格的中心设置第一锚点，并以所述第一锚点为中心设置锚框面积相同、锚框的长宽比例不同的多个第一锚框，不同单元格中的第一锚框的面积不同；
具体地，假设特征图的大小为d*d，则特征图具有d*d个单元格(cell)，例如d为5，则可以得到25个单元格，在每个单元格的中心设置一个第一锚点112，并以第一锚点112为中心生成多个第一锚框111，图11中，以每个第一锚点112 生成3个第一锚框111为例，则总共可以得到5*5*3＝75个第一锚框111，其中，每个第一锚点112以不同的锚框面积尺寸，相同或者不同的锚框长宽比例生成第一锚框111，总之，不同单元格中的第一锚点生成的第一锚框的面积不同，锚框面积和锚框长宽比可以根据需求进行设置。以图11的左上角的三个单元格为例，分别为单元格A、单元格B和单元格C，假设分别选取的锚框面积为16*16、 32*32和64*64，分别设置的锚框长宽比例为1:1、1:2和2:1，则在单元格A中可以生成3个锚框面积为16*16的第一锚框111，且三个第一锚框111的锚框长宽比例分别为1:1、1:2和2:1，总共可以得到9个第一锚框111。
步骤S103，分别获取所述第一锚框与映射于所述特征图上的目标边框之间的交并比，获取多个交并比中的最大值作为最大交并比；
具体地，对上述所有的第一锚框111分别计算与映射于特征图上的目标边框(即目标的真实边框)之间的交并比(IOU)，并获取所有交并比中的最大值作为最大交并比。
步骤S104，以所述最大交并比对应的第一锚框的长度为步长，在所述特征图上设置多个第二锚点，并以所述最大交并比对应的所述第一锚点的锚框面积、锚框的长宽比例在所述第二锚点的位置上生成多个第二锚框；
其中，参考图11，当最大交并比对应的第一锚框的长度为D3时，以D3为间隔在特征图上从左到右设置第二锚点113，并按照最大交并比对应的第一锚点的锚框面积、锚框的长宽比例，以第二锚点113为中心生成第二锚框，例如，假设最大交并比对应的第一锚框为图11中的第一锚框111，则最大交并比对应的第一锚点为图11中的第一锚点112，则相当于以单元格A对应的锚框面积、锚框的长宽比例，以第二锚点113为中心生成多个第二锚框。
值得指出的是，由于本发明实施例是以最大交并比对应的第一锚框的长度为间隔设置的第二锚点，即步长随着目标的大小变化，不仅可以明显减少生成的锚框数量，有效减少负anchor的产生，减少大量anchor的冗余计算量，也能够解决正负anchor不均衡问题。特别地，本发明实施例的方法还能提高对小目标的检测精度，按照现有的方式(如步骤S102)设置锚点时，由于第一锚点均设置在单元格的中心，锚框有可能无法框到小目标，导致小目标无法被检测到；而利用本发明实施例的方法，当通过上述步骤确定的D3小于d时，由于步长缩小，此时小目标将有可能被检测到。
另外，本发明实施例设置锚点的方式，对于密集场景(此处的密集场景是指具有大量的目标的场景，特别是大量不同目标之间的形状相同或相近的场景，例如零售货架商品、交通车辆和城市景观图像)的待检测图像，将有突出的改善作用，现有方法中，对于密集场景下的待检测图像，通常为了能框到所有目标，将会设置大量的密集的锚点，导致锚框之间出现高度重叠，造成冗余计算量；而利用本发明实施例设置锚点的方式，将可以有效减少锚点的数量，减少冗余计算量。
步骤S105，根据所述第二锚框生成所述目标的所述初始预测边框。
具体地，由于特征图和待检测图像之间存在一定的缩放比例，因此，按照一定的缩放比例，可以根据第二锚框在待检测图像上生成目标的初始预测边框。
本发明实施例在进行目标检测时，由于是依据初始预测类别置信度和初始预测偏移度两者进行初始预测信息的筛选，不仅可以减少目标检测时生成的目标的预测信息的数量，而且可以有效提高无效预测信息的过滤准确度，保留关于目标有效的预测信息，可以更好地提高目标检测的检测准确率。另外，特别是针对密集场景下的目标检测，基于区域性的非极大抑制处理，可以减少过滤冗余预测边框时的计算量，提高目标检测的效率；而基于新的锚点设置方式，可以有效减少负anchor的产生，减少冗余计算量，进一步提升目标检测效率。
基于上述目标检测方法实施例的描述，本发明实施例还公开了一种目标检测装置，参考图12，图12是本发明实施例提供的一种目标检测装置的结构示意图，所述目标检测装置包括图像获取单元121、初始预测信息获取单元122、目标预测信息获取单元123；其中：
图像获取单元121，用于获取待检测图像；
初始预测信息获取单元122，用于根据所述待检测图像获取目标的初始预测信息，其中，所述初始预测信息包括初始预测边框、所述初始预测边框对应的初始预测类别置信度和初始预测偏移度，所述初始预测偏移度用于反映所述初始预测边框与目标边框之间的偏移程度；
目标预测信息获取单元123，用于根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度；
后处理单元124，用于对所述目标的预测信息进行后处理。
其中，图像获取单元121、初始预测信息获取单元122、目标预测信息获取单元123、后处理单元124的具体功能实现方式可以参见上述图3对应实施例中的步骤S301-步骤S304、图6、图8对应实施例中的描述，这里不再进行赘述。
再一种实施方式中，参考图13，图13是本发明实施例提供的另一种目标检测装置的结构示意图；所述目标检测装置还包括第一划分单元131、第一剔除单元132，其中：
第一划分单元131，用于以第一预设长度为间隔，将所述待检测图像划分为多个网格，所述网格包含至少一个完整的目标，所述待检测图像上显示有所述目标的初始预测信息或预测信息；
第一剔除单元132，用于分别对每个网格进行以下处理：
对位于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除所述网格中的部分所述初始预测边框或部分所述预测边框。
其中，第一划分单元131、第一剔除单元132的具体功能实现方式可以参见上述图6对应实施例中的步骤S601-步骤S602，这里不再进行赘述。
在另一种实施例中，参考图14，图14是本发明实施例提供的另一种目标检测装置的结构示意图；所述目标检测装置还包括第二划分单元141、第二剔除单元142，其中：
第二划分单元141，用于以第二预设长度为间隔，将特征图划分为多个网格，所述特征图为对所述待检测图像进行特征提取而得到的，所述网格包含至少一个完整的经过特征提取后的目标，所述待检测图像上显示有所述目标的初始预测信息或预测信息；
第二剔除单元142，用于分别对每个网格进行以下处理：
对映射于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除部分映射于所述网格中的所述初始预测边框或所述预测边框。
其中，第二划分单元141、第二剔除单元142的具体功能实现方式可以参见上述图8对应实施例中的步骤S801-步骤S802，这里不再进行赘述。
进一步地，参考图15，图15是本发明实施例提供的一种目标检测装置的初始预测信息获取单元的结构示意图，所述初始预测信息获取单元122包括特征提取模块151、第一锚框设置模块152、交并比获取模块153、第二锚框设置模块154、初始预测边框生成模块155，其中：
特征提取模块151，用于对所述待检测图像进行特征提取以获取特征图；
第一锚框设置模块152，用于分别在所述特征图的单元格的中心设置第一锚点，并比所述第一锚点为中心设置锚框面积相同、锚框的长宽比例不同的多个第一锚框，不同单元格中的第一锚框的面积不同；
交并比获取模块153，用于分别获取所述第一锚框与映射于所述特征图上的目标边框之间的交并比，获取多个交并比中的最大值作为最大交并比；
第二锚框设置模块154，用于以所述最大交并比对应的第一锚框的长度为步长，在所述特征图上设置多个第二锚点，并以所述最大交并比对应的所述第一锚点的锚框面积、锚框的长宽比例在所述第二锚点的位置上生成多个第二锚框；
初始预测边框生成模块155，用于根据所述第二锚框生成所述目标的所述初始预测边框。
其中，特征提取模块151、第一锚框设置模块152、交并比获取模块153、第二锚框设置模块154、初始预测边框生成模块155的具体功能描述可参见图 10所对应的实施例中的步骤S101-步骤S105，这里不再进行赘述。
值得指出的是，图12、图13、图14和图15所示的目标检测装置中的各个单元或模块可以分别或全部合并为一个或若干个另外的单元或模块来构成，或者其中的某个(些)单元或模块还可以再拆分为功能上更小的多个单元或模块来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元或模块是基于逻辑功能划分的，在实际应用中，一个单元(或模块) 的功能也可以由多个单元(或模块)来实现，或者多个单元(或模块)的功能由一个单元(或模块)实现。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种终端设备，
请参见图16，是本发明实施例提供的一种终端设备的结构示意图。如图16 所示，上述图12至图15中的目标检测装置可以应用于所述终端设备160，所述终端设备160可以包括：处理器161，网络接口164和存储器165，此外，所述终端设备160还可以包括：用户接口163，和至少一个通信总线162。其中，通信总线162用于实现这些组件之间的连接通信。其中，用户接口163可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口163还可以包括标准的有线接口、无线接口。网络接口164可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器165可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器165可选的还可以是至少一个位于远离前述处理器161的存储装置。如图16所示，作为一种计算机存储介质的存储器165中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图16所示的终端设备160中，网络接口164可提供网络通讯功能；而用户接口163主要用于为用户提供输入的接口；而处理器161可以用于调用存储器165中存储的设备控制应用程序，以实现：
获取待检测图像；
根据所述待检测图像获取目标的初始预测信息，其中，所述初始预测信息包括初始预测边框、所述初始预测边框对应的初始预测类别置信度和初始预测偏移度，所述初始预测偏移度用于反映所述初始预测边框与目标边框之间的偏移程度；
根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度。
在一个实施例中，所述处理器161在执行根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度时，具体执行以下步骤：
根据所述初始预测边框的位置信息构建所述目标的初始预测边框对应的二维高斯分布函数；
基于所述二维高斯分布函数和对应的权重构建第一混合高斯分布函数，所述二维高斯分布函数的权重为置偏积与总置偏积的比值，其中，所述置偏积为所述二维高斯分布函数对应的初始预测边框的初始预测类别置信度和初始预测偏移度的乘积，所述总置偏积为所述待检测图像中所有的所述置偏积的总和；
根据估计算法处理所述第一混合高斯分布函数以获得第二混合高斯分布函数，所述估计算法用于从所述第一混合高斯分布函数中找到一组二维高斯分布函数和对应的权重构成所述第二混合高斯分布函数，以使所述第二混合高斯分布函数代表所述第一混合高斯分布函数，所述第二混合高斯分布函数的项数小于所述第一混合高斯分布函数的项数；
根据预设权重范围对所述第二混合高斯分布函数中的各个权重进行筛选，获取在所述预设权重范围之中的权重作为第一权重；
根据所述第一权重对应的二维高斯分布函数，获得对应的所述初始预测边框及所述初始预测类别置信度，将所获得的所述初始预测边框、所述初始预测类别置信度作为所述目标的预测边框、预测类别置信度。
在一个实施例中，所述处理器161在执行根据所述待检测图像获取目标的初始预测信息时，具体执行以下步骤：
根据所述待检测图像和检测模型获取目标的初始预测信息，其中，所述检测模型是利用包含标注信息的训练图像，基于反映所述检测模型获得的初始预测边框的位置信息与目标边框的位置信息之间的差异、所述检测模型获得的初始预测类别置信度和目标类别信息之间的差异、以及所述检测模型获得的初始预测偏移度与目标偏移度之间的差异的损失函数来训练的，其中，所述标注信息包括所述训练图像的目标边框的位置信息、目标类别信息和目标偏移度。
在一个实施例中，所述处理器161还执行以下步骤：
根据包含目标边框的位置信息的训练图像进行聚类处理，以获取多个聚类框宽和多个聚类框高；
计算多个聚类框宽的平均框宽和多个聚类框高的平均框高；
获取所述平均框宽和所述平均框高中较大值，将预设倍数和所述较大值的乘积作为所述第一预设长度。
在一个实施例中，所述处理器161还执行以下步骤：
以第一预设长度为间隔，将所述待检测图像划分为多个网格，所述网格包含至少一个完整的目标，所述待检测图像具有所述目标的初始预测信息或预测信息；
分别对每个网格进行以下处理：
对位于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除所述网格中的部分所述初始预测边框或部分所述预测边框。
在一个实施例中，所述处理器161还执行以下步骤：
以第二预设长度为间隔，将特征图划分为多个网格，所述特征图为对所述待检测图像进行特征提取而得到的，所述网格包含至少一个完整的经过特征提取后的目标，所述待检测图像具有所述目标的初始预测信息或预测信息；
分别对每个网格进行以下处理：
对映射于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除部分映射于所述网格中的所述初始预测边框或所述预测边框。
在一个实施例中，所述处理器161在执行根据所述待检测图像获取目标的初始预测信息时，具体执行以下步骤：
对所述待检测图像进行特征提取以获取特征图；
分别在所述特征图的单元格的中心设置第一锚点，并以所述第一锚点为中心设置锚框面积相同、锚框的长宽比例不同的多个第一锚框，不同单元格中的第一锚框的面积不同；
分别获取所述第一锚框与映射于所述特征图上的目标边框之间的交并比，获取多个交并比中的最大值作为最大交并比；
以所述最大交并比对应的第一锚框的长度为步长，在所述特征图上设置多个第二锚点，并以所述最大交并比对应的所述第一锚点的锚框面积、锚框的长宽比例在所述第二锚点的位置上生成多个第二锚框；
根据所述第二锚框生成所述目标的所述初始预测边框。
应当理解，本发明实施例中所描述的终端设备160可执行前文图3到图11 所对应实施例中对所述目标检测方法的描述，也可执行前文图12至图15所对应实施例中对所述目标检测装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的目标检测装置所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3到图11所对应实施例中对所述目标检测方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种目标检测方法，其特征在于，包括：
获取待检测图像；
根据所述待检测图像获取目标的初始预测信息，其中，所述初始预测信息包括初始预测边框、所述初始预测边框对应的初始预测类别置信度和初始预测偏移度，所述初始预测偏移度用于反映所述初始预测边框与目标边框之间的偏移程度；
根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度，包括：
根据所述初始预测边框的位置信息构建所述目标的初始预测边框对应的二维高斯分布函数；
基于所述二维高斯分布函数和对应的权重构建第一混合高斯分布函数，所述二维高斯分布函数的权重为置偏积与总置偏积的比值，其中，所述置偏积为所述二维高斯分布函数对应的初始预测边框的初始预测类别置信度和初始预测偏移度的乘积，所述总置偏积为所述待检测图像中所有的所述置偏积的总和；
根据估计算法处理所述第一混合高斯分布函数以获得第二混合高斯分布函数，所述估计算法用于从所述第一混合高斯分布函数中找到一组二维高斯分布函数和对应的权重构成所述第二混合高斯分布函数，以使所述第二混合高斯分布函数代表所述第一混合高斯分布函数，所述第二混合高斯分布函数的项数小于所述第一混合高斯分布函数的项数；
根据预设权重范围对所述第二混合高斯分布函数中的各个权重进行筛选，获取在所述预设权重范围之中的权重作为第一权重；
根据所述第一权重对应的二维高斯分布函数，获得对应的所述初始预测边框及所述初始预测类别置信度，将所获得的所述初始预测边框、所述初始预测类别置信度作为所述目标的预测边框、预测类别置信度。
3.根据权利要求1所述的方法，其特征在于，所述估计算法为通过迭代对混合高斯分布函数进行密度估计的估计算法。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像获取目标的初始预测信息，包括：
根据所述待检测图像和检测模型获取目标的初始预测信息，其中，所述检测模型是利用包含标注信息的训练图像，基于反映所述检测模型获得的初始预测边框的位置信息与目标边框的位置信息之间的差异、所述检测模型获得的初始预测类别置信度和目标类别信息之间的差异、以及所述检测模型获得的初始预测偏移度与目标偏移度之间的差异的损失函数来训练的，其中，所述标注信息包括所述训练图像的目标边框的位置信息、目标类别信息和目标偏移度。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
以第一预设长度为间隔，将所述待检测图像划分为多个网格，所述网格包含至少一个完整的目标，所述待检测图像具有所述目标的初始预测信息或预测信息；
分别对每个网格进行以下处理：
对位于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除所述网格中的部分所述初始预测边框或部分所述预测边框。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
以第二预设长度为间隔，将特征图划分为多个网格，所述特征图为对所述待检测图像进行特征提取而得到的，所述网格包含至少一个完整的经过特征提取后的目标，所述待检测图像具有所述目标的初始预测信息或预测信息；
分别对每个网格进行以下处理：
对映射于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除部分映射于所述网格中的所述初始预测边框或所述预测边框。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据包含目标边框的位置信息的训练图像进行聚类处理，以获取多个聚类框宽和多个聚类框高；
计算多个聚类框宽的平均框宽和多个聚类框高的平均框高；
获取所述平均框宽和所述平均框高中较大值，将预设倍数和所述较大值的乘积作为所述第一预设长度。
8.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述待检测图像获取目标的初始预测信息，包括：
对所述待检测图像进行特征提取以获取特征图；
分别在所述特征图的单元格的中心设置第一锚点，并以所述第一锚点为中心设置锚框面积相同、锚框的长宽比例不同的多个第一锚框，不同单元格中的第一锚框的面积不同；
分别获取所述第一锚框与映射于所述特征图上的目标边框之间的交并比，获取多个交并比中的最大值作为最大交并比；
以所述最大交并比对应的第一锚框的长度为步长，在所述特征图上设置多个第二锚点，并以所述最大交并比对应的所述第一锚点的锚框面积、锚框的长宽比例在所述第二锚点的位置上生成多个第二锚框；
根据所述第二锚框生成所述目标的所述初始预测边框。
9.一种目标检测装置，其特征在于，包括：
图像获取单元，用于获取待检测图像；
初始预测信息获取单元，用于根据所述待检测图像获取目标的初始预测信息，其中，所述初始预测信息包括初始预测边框、所述初始预测边框对应的初始预测类别置信度和初始预测偏移度，所述初始预测偏移度用于反映所述初始预测边框与目标边框之间的偏移程度；
目标预测信息获取单元，用于根据所述初始预测类别置信度和所述初始预测偏移度进行初始预测信息筛选，以获取所述目标的预测信息，所述预测信息包括预测边框以及对应的预测类别置信度。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第一划分单元，用于以第一预设长度为间隔，将所述待检测图像划分为多个网格，所述网格包含至少一个完整的目标，所述待检测图像上显示有所述目标的初始预测信息或预测信息；
第一剔除单元，用于分别对每个网格进行以下处理：
对位于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除所述网格中的部分所述初始预测边框或部分所述预测边框。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二划分单元，用于以第二预设长度为间隔，将特征图划分为多个网格，所述特征图为对所述待检测图像进行特征提取而得到的，所述网格包含至少一个完整的经过特征提取后的目标，所述待检测图像上显示有所述目标的初始预测信息或预测信息；
第二剔除单元，用于分别对每个网格进行以下处理：
对映射于所述网格中的所述初始预测边框或所述预测边框执行非极大抑制处理，以剔除部分映射于所述网格中的所述初始预测边框或所述预测边框。
12.根据权利要求9至11任一项所述的装置，其特征在于，所述初始预测信息获取单元包括：
特征提取模块，用于对所述待检测图像进行特征提取以获取特征图；
第一锚框设置模块，用于分别在所述特征图的单元格的中心设置第一锚点，并以所述第一锚点为中心设置锚框面积相同、锚框的长宽比例不同的多个第一锚框，不同单元格中的第一锚框的面积不同；
交并比获取模块，用于分别获取所述第一锚框与映射于所述特征图上的目标边框之间的交并比，获取多个交并比中的最大值作为最大交并比；
第二锚框设置模块，用于以所述最大交并比对应的第一锚框的长度为步长，在所述特征图上设置多个第二锚点，并以所述最大交并比对应的所述第一锚点的锚框面积、锚框的长宽比例在所述第二锚点的位置上生成多个第二锚框；
初始预测边框生成模块，用于根据所述第二锚框生成所述目标的所述初始预测边框。
13.一种终端设备，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-8任一项所述的目标检测方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-8任一项所述的目标检测方法。
CN201911003062.7A 2019-10-21 2019-10-21 目标检测方法及相关设备 Pending CN110796141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911003062.7A CN110796141A (zh) 2019-10-21 2019-10-21 目标检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911003062.7A CN110796141A (zh) 2019-10-21 2019-10-21 目标检测方法及相关设备

Publications (1)

Publication Number Publication Date
CN110796141A true CN110796141A (zh) 2020-02-14

Family

ID=69439576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911003062.7A Pending CN110796141A (zh) 2019-10-21 2019-10-21 目标检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN110796141A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418106A (zh) * 2020-11-25 2021-02-26 北京航空航天大学 一种基于密集关键点引导的舰船检测方法
CN112528907A (zh) * 2020-12-18 2021-03-19 四川云从天府人工智能科技有限公司 锚框生成及其标注框适配方法、装置及计算机存储介质
CN112597895A (zh) * 2020-12-22 2021-04-02 北京百度网讯科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN112613503A (zh) * 2020-11-23 2021-04-06 贝壳技术有限公司 图片类型识别方法及装置
CN113379734A (zh) * 2021-07-09 2021-09-10 无锡时代天使医疗器械科技有限公司 质量检测方法、装置、设备及计算机可读存储介质
CN115512341A (zh) * 2022-09-15 2022-12-23 粤丰科盈智能投资(广东)有限公司 一种基于高斯分布拟合的目标检测方法、装置及计算机介质
CN116152487A (zh) * 2023-04-17 2023-05-23 广东广物互联网科技有限公司 一种基于深度IoU网络的目标检测方法、装置、设备及介质
CN116993963A (zh) * 2023-09-21 2023-11-03 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613503A (zh) * 2020-11-23 2021-04-06 贝壳技术有限公司 图片类型识别方法及装置
CN112613503B (zh) * 2020-11-23 2023-06-16 贝壳技术有限公司 图片类型识别方法及装置
CN112418106B (zh) * 2020-11-25 2022-08-30 北京航空航天大学 一种基于密集关键点引导的舰船检测方法
CN112418106A (zh) * 2020-11-25 2021-02-26 北京航空航天大学 一种基于密集关键点引导的舰船检测方法
CN112528907B (zh) * 2020-12-18 2024-04-09 四川云从天府人工智能科技有限公司 锚框生成及其标注框适配方法、装置及计算机存储介质
CN112528907A (zh) * 2020-12-18 2021-03-19 四川云从天府人工智能科技有限公司 锚框生成及其标注框适配方法、装置及计算机存储介质
CN112597895A (zh) * 2020-12-22 2021-04-02 北京百度网讯科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN112597895B (zh) * 2020-12-22 2024-04-26 阿波罗智联(北京)科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN113379734A (zh) * 2021-07-09 2021-09-10 无锡时代天使医疗器械科技有限公司 质量检测方法、装置、设备及计算机可读存储介质
CN115512341A (zh) * 2022-09-15 2022-12-23 粤丰科盈智能投资(广东)有限公司 一种基于高斯分布拟合的目标检测方法、装置及计算机介质
CN115512341B (zh) * 2022-09-15 2023-10-27 粤丰科盈智能投资(广东)有限公司 基于高斯分布拟合的目标检测方法、装置及计算机介质
CN116152487A (zh) * 2023-04-17 2023-05-23 广东广物互联网科技有限公司 一种基于深度IoU网络的目标检测方法、装置、设备及介质
CN116993963A (zh) * 2023-09-21 2023-11-03 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN116993963B (zh) * 2023-09-21 2024-01-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110796141A (zh) 目标检测方法及相关设备
CN110059554B (zh) 一种基于交通场景的多支路目标检测方法
US20220076444A1 (en) Methods and apparatuses for object detection, and devices
CN107358149B (zh) 一种人体姿态检测方法和装置
CN107220618B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN107808122B (zh) 目标跟踪方法及装置
US20210333108A1 (en) Path Planning Method And Device And Mobile Device
CN112001339A (zh) 一种基于YOLO v4的行人社交距离实时监测方法
CN104303193B (zh) 基于聚类的目标分类
CN110472534A (zh) 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN105005760B (zh) 一种基于有限混合模型的行人再识别方法
CN110991311A (zh) 一种基于密集连接深度网络的目标检测方法
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及系统
CN105608456A (zh) 一种基于全卷积网络的多方向文本检测方法
CN106997459B (zh) 一种基于神经网络和图像叠合分割的人数统计方法及系统
GB2502187A (en) Determining parking lot occupancy from digital camera images
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
CN114677554A (zh) 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法
CN111008631B (zh) 图像的关联方法及装置、存储介质和电子装置
CN110310301B (zh) 一种检测目标对象的方法及装置
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
KR101917525B1 (ko) 문자열 식별 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022453

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination