CN113496513A - 一种目标对象检测方法及装置 - Google Patents
一种目标对象检测方法及装置 Download PDFInfo
- Publication number
- CN113496513A CN113496513A CN202010203469.0A CN202010203469A CN113496513A CN 113496513 A CN113496513 A CN 113496513A CN 202010203469 A CN202010203469 A CN 202010203469A CN 113496513 A CN113496513 A CN 113496513A
- Authority
- CN
- China
- Prior art keywords
- target object
- position information
- target
- anchor point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Abstract
本申请公开了一种目标对象检测方法,包括:获取包含目标对象的待检测图像;将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。所述方法既可以减轻待检测图像中的前景和背景的不平衡问题,又可以增加检测结果的准确率。
Description
技术领域
本申请涉及计算机技术领域,具体涉及目标对象检测方法、装置、电子设备及存储设备。本申请同时涉及一种目标对象检测模型的获得方法、装置、电子设备及存储设备。
背景技术
随着计算机技术的不断发展,基于深度学习的目标对象检测方法被广泛应用于各个领域,例如,在导航领域,通过目标对象检测方法识别图像传感器拍摄的车辆对象,以对车辆对象进行跟随;又例如,在商品交易平台中,通过目标对象检测方法识别用户上传的图像或视频资源中包括的商品对象,从而向用户提供与商品对象对应的匹配商品对象等。
目标对象检测方法一般分为:一阶段(OneStage)目标对象检测方法和二阶段(TwoStages)目标对象检测方法,其中,由于一阶段目标对象检测方法在针对待检测图像进行检测时,不需要在检测对象中选择候选区域,而是直接根据待检测图像输出检测结果,因此其具有检测速度相对较快的优点,基于该优点,一阶段目标对象检测方法被广泛应用于需要对检测结果进行及时响应的领域,例如,在商品交易平台中,通过一阶段目标对象检测方法快速的向用户提供与其上传的图像对象所包含的商品对象对应的匹配商品对象。
目前的一阶段目标对象检测方法或是基于锚点的检测方法,例如,YoloV2、SSD、RetinaNet等,或是无锚点的检测方法,例如,FSAF、FCOS、CornerNet、CenterNet等。然而,基于锚点的检测方法无论是在其分类分支(ClassSubnets)子任务还是检测分支(DetectionSubnets)子任务中都使用到了锚点,这样会加剧前景和背景的不平衡问题;而无锚点的检测方法虽然在分类分支和回归分支(RegressionSubnets)中不需要使用锚点,但却会增加回归分支的困难,影响检测准确率。因此,现有技术的一阶段目标对象检测方法存在不能兼顾待检测图像中的前景和背景的平衡问题以及增加检测准确率的问题。
发明内容
本申请实施例提供一种目标对象检测方法,以解决现有技术的一阶段目标对象检测方法存在的不能兼顾待检测图像中的前景和背景的平衡问题以及增加检测准确率的问题。
本申请实施例提供一种目标对象检测方法,包括:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息,包括:
获取所述待检测图像的多尺度特征信息;
根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息;
根据预设的锚点信息,获取与所述前景像素的位置信息对应的至少一个目标锚点;
根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述获取所述待检测图像的多尺度特征信息,包括:
将所述待检测图像输入到所述目标对象检测模型中的特征金字塔网络子任务中,获取所述待检测图像的多尺度特征信息。
可选的,所述根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息,包括:
根据所述多尺度特征信息,通过对所述待检测图像进行逐像素的分析处理,获得与所述目标对象对应的前景像素的位置信息。
可选的,所述根据预设的锚点尺寸信息,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述
所述根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个原始待确定锚点,以及获取与所述至少一个原始待确定锚点对应的至少一个预测位置信息;
根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,获取所述至少一个目标锚点。
所述根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,包括:
对所述至少一个原始待确定锚点和所述至少一个预测位置信息进行交并比计算,获取与所述至少一个原始待确定锚点和所述至少一个预测位置信息对应的至少一个交并比重合度;
根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点;
根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
获取与所述至少一个待确定目标锚点对应的至少一个类别预测分值;
根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
通过非极大值抑制方法对所述至少一个待确定目标锚点和所述至少一个类别预测分值进行处理,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点,包括:
从所述至少一个交并比重合度中,分别获取与每一前景像素的位置信息对应的最大值的交并比重合度;
根据与每一前景像素的位置信息对应的最大值的交并比重合度所对应的原始待确定锚点,确定所述待确定目标锚点。
可选的,所述根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息,包括:
使用所述目标对象检测模型中的锚点回归子任务对所述至少一个目标锚点进行回归分析,获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述目标对象检测模型的获得方法,包括:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件。
可选的,所述目标对象为商品对象。
可选的,所述方法应用于服务端,所述方法还包括:
根据所述商品对象在所述待检测图像中的位置信息,获取所述商品对象的特征信息;
根据所述商品对象的特征信息,获取与所述商品对象对应的匹配商品对象的信息。
将所述匹配商品对象的信息提供给客户端。
可选的,所述方法应用于客户端,所述方法还包括:
获取服务端提供的所述目标对象在所述待检测图像中的位置信息;
根据所述位置信息,对所述待检测图像中的所述目标对象进行标识;
展示标识出所述目标对象的所述待检测图像。
可选的,还包括:
获取服务端提供的所述目标锚点;
展示所述目标锚点。
可选的,所述展示所述目标锚点,包括:
通过闪烁的方式展示所述目标锚点。
可选的,所述方法还包括:根据所述目标对象检测模型,获得所述目标对象所属的类别信息。
本申请实施例还提供一种目标对象检测模型的获得方法,包括:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
本申请实施例还提供一种目标对象检测装置,包括:
获取单元,用于获取包含目标对象的待检测图像;
信息获得单元,用于将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储目标对象检测方法的程序,该设备通电并通过所述处理器运行所述目标对象检测方法的程序后,执行下述步骤:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
本申请实施例还提供一种存储设备,存储有目标对象检测方法的程序,该程序被处理器运行,执行下述步骤:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
本申请实施例还提供一种目标对象检测模型的获得装置,包括:
训练样本对象获取单元,用于获取包含原始对象的训练样本对象;
训练单元,用于使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
本申请实施例还提供另一种电子设备,包括:
处理器;
存储器,用于存储目标对象检测模型的获得方法的程序,该设备通电并通过所述处理器运行所述目标对象检测模型的获得方法的程序后,执行下述步骤:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
本申请实施例还提供另一种存储设备,存储有目标对象检测模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
本申请还提供另一种目标对象检测方法,包括:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述方法应用于服务端,所述方法还包括:
将所述目标锚点提供给客户端。
可选的,所述方法应用于客户端,所述方法还包括:
获取服务端提供的所述目标锚点;
展示所述目标锚点。
可选的,所述展示所述目标锚点,包括:
通过闪烁的方式展示所述目标锚点。
本申请还提供另一种目标对象检测装置,包括:
图像获取单元,用于获取包含目标对象的待检测图像;
前景像素位置信息获得单元,用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
目标锚点获取单元,用于获取与所述前景像素的位置信息对应的目标锚点;
目标对象位置信息获得单元,用于根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
本申请还提供一种电子设备,包括:
处理器;
存储器,用于存储目标对象检测方法的程序,该设备通电并通过所述处理器运行所述目标对象检测方法的程序后,执行下述步骤:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
本申请还提供一种存储设备,存储有目标对象检测方法的程序,该程序被处理器运行,执行下述步骤:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
与现有技术相比,本申请具有以下优点:
本申请实施例提供一种目标对象检测方法,包括:获取包含目标对象的待检测图像;将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。所述方法在将待检测图像输入到目标对象检测模型中之后,通过无锚点定位方法从待检测图像中获取与目标对象对应的前景像素的位置信息,可以减轻待检测图像中的前景和背景的不平衡问题;同时,通过获取与前景像素的位置信息对应的目标锚点,获得目标对象在待检测图像中的位置信息,又可以增加检测结果的准确率。由此可知,所述方法既可以减轻待检测图像中的前景和背景的不平衡问题,又可以增加检测结果的准确率。
附图说明
图1是本申请第一实施例提供的一种目标对象检测方法的应用场景示意图。
图2是本申请第一实施例提供的一种目标对象检测方法的流程图。
图3是本申请第一实施例提供的一种目标对象检测模型的结构示意图。
图4是本申请第二实施例提供的一种目标对象检测模型的获得方法的流程图。
图5是本申请第三实施例提供的一种目标对象检测装置的示意图。
图6是本申请第四实施例提供的一种电子设备的示意图。
图7是本申请第六实施例提供的一种目标对象检测模型的获得装置的示意图。
图8是本申请第九实施例提供的另一种目标对象检测方法的流程图。
图9是本申请第十实施例提供的另一种目标对象检测装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
为了使本领域的技术人员更好的理解本申请方案,下面基于本申请提供的目标对象检测方法,对其实施例的具体应用场景进行详细描述。本申请第一实施例提供的目标对象检测方法可以应用与客户端与服务端交互的场景,如图1所示,其为本申请第一实施例提供的一种目标对象检测方法的应用场景示意图。
在具体实施时,基于向用户提供待检测图像中的目标对象的位置信息的需求,客户端在获得待包含目标对象的待检测图像之后,与服务端建立连接,之后,将待检测图像发送给服务端;服务端将获取到的待检测图像输入到目标对象检测模型中,获得目标对象在待检测图像中的位置信息,其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息;在服务端获得目标对象在待检测图像中的位置信息之后,将所述位置信息提供给客户端;之后,客户端根据获取到的位置信息,对待检测图像中的所述目标对象进行标识,并展示给用户查看。
需要说明的是,所述客户端可以是移动终端设备,如手机、平板电脑等,也可以是常用的计算机设备。所述服务端一般是指服务器,该服务器可以是物理服务器,也可以是云端服务器,此处不做特殊限定。
另外,在具体实施时,也可以将所述目标对象检测方法单独应用于客户端或服务端中,例如,客户端在获得包含目标对象的待检测图像之后,直接将待检测图像直接输入到目标对象检测模型中,获得目标对象在待检测图像中的位置信息,之后,根据获取到的位置信息,对待检测图像中的所述目标对象进行标识,并展示给用户查看,而不需要与服务端进行交互。
需要说明的是,以上应用场景仅仅是本申请第一实施例提供的目标对象检测方法的具体实施例,提供上述应用场景的目的是便于理解所述方法,而并非用于限定所述方法。
本申请第一实施例提供一种目标对象检测方法,如图2所示,其为本申请第一实施例提供的一种目标对象检测方法的流程图。以下结合图2对本申请第一实施例提供的所述目标对象检测方法予以介绍。
步骤S201,获取包含目标对象的待检测图像。
所述待检测图像,是指包含目标对象的图像,该图像可以直接为图像对象,或者也可以是视频资源中的视频帧。
目标对象,泛指具有轮廓特征的对象,目标对象可以为车辆对象、商品对象等对象。
所述获取包含目标对象的待检测图像,具体可以是由客户端获得用户上传的包含目标对象的图像,或者是由客户端通过其连接的图像传感器,如摄像头拍摄获得包含目标对象的图像,之后,客户端将获取到的待检测图像发送给服务端。
需要说明的是,在本申请第一实施例中,如无特殊说明,以所述方法应用于客户端与服务端的交互场景中介绍所述方法。
步骤S202,将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
在获得待检测图像之后,通过将待检测图像输入到预先训练获得的目标对象检测模型中,即可获得目标对象在待检测图像中的位置信息,其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息,如图3所示,其为本申请第一实施例提供的一种目标对象检测模型的结构示意图,以下结合图3对本申请所述目标对象检测模型进行介绍。
所述目标对象检测模型为基于卷积神经网络(CNN,ConvolutionalNeuralNetworks)的一阶段(OneStage)目标对象检测模型,该模型为多分支任务的模型,具体包括:分类分支子任务301,锚点获得子任务302以及锚点回归子任务303。
所述分类分支子任务301,用于使用无锚点定位方法从包括目标对象的待检测图像中获得与所述目标对象对应的前景像素的位置信息,如图3所示,分类分支子任务可以为一个用于进行像素分类的卷积层(Convolutionallayer),该卷积层用于根据与待检测图像的每一像素对应的多尺度特征信息,对该像素进行分类,判断该像素为前景像素还是背景像素;锚点获得子任务302,用于获取与所述前景像素的位置信息对应的目标锚点,如图3所示,锚点获得子任务可以为一个用于获取目标锚点的卷积层,该卷积层用于对与每一前景像素对应的预设锚点进行分析,获取目标锚点;锚点回归子任务303,用于根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息,如图3所述,锚点回归子任务可以为一个用于根据获得的目标锚点进行回归预测(boundingbox regression),以获得目标对象在待检测图像中的位置信息的卷积层,其具体实施方法因为在现有技术中有详细介绍,此处不再赘述。
需要说明的是,在计算机视觉领域,锚点(anchor),是指预先设定的与目标对象对应的固定矩形框,这些矩形框的尺寸以及在待检测图像中的位置可以不同,用于快速的对待检测图像中的目标对象进行定位。
所述目标对象对应的前景像素,是指在待检测图像中,存在于目标对象所在区域的像素;与目标对象对应的前景像素相对应的,是在目标对象所在区域以外的背景像素。
如图3所示,在本申请第一实施例中,所述目标对象检测模型还包括特征金字塔网络(FPN,FeaturePyramidNetworks)子任务304,具体用于提取待检测图像的多尺度的特征信息,其中,FPN是根据特征金字塔概念设计的特征提取器,目的是提高特征提取的精度和速度,其替代了类如FasterR-CNN中的特征提取器,可以生成更高质量的特征图金字塔。
所述目标对象检测模型,具体可以通过下述方法获得:获取包含原始对象的训练样本对象;使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件。
即,在获得包含原始对象的训练对象之后,通过人工或其它方式对训练对象中的原始对象所在的区域进行标识,以获得与训练对象对应的监督信息,之后,将标注后的训练对象作为训练样本对象,训练获得目标对象检测模型,并在训练的过程中,通过该目标对象检测模型对应的损失函数(lossfunction)调整其参数,以使其预测误差达到预设的收敛条件。
以上,对本申请第一实施例中的目标对象检测模型进行了介绍,以下对如何使用该模型获得目标对象在待检测图像中的位置信息进行介绍。
所述将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息,包括:获取所述待检测图像的多尺度特征信息;根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息;根据预设的锚点信息,获取与所述前景像素的位置信息对应的至少一个目标锚点;根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
所述获取所述待检测图像的多尺度特征信息,包括:将所述待检测图像输入到所述目标对象检测模型中的特征金字塔网络子任务中,获取所述待检测图像的多尺度特征信息。由于现有技术中的基于锚点的一阶段目标对象检测方法在对待检测图像中的前景像素和背景像素进行分类时,会加剧前景和背景的不平衡问题,因此,本申请第一实施例提供的所述目标对象检测方法的分类分支子任务中采用无锚点定位方法从待检测图像中,获取与目标对象对应的前景像素,从而可以避免出现前景和背景的不平衡问题。
具体来讲,在本申请第一实施例提供的所述目标对象检测模型的分类分支子任务中,是通过无锚点定位方法获得目标对象对应的前景像素的位置信息的,具体可以是在获得待检测图像的多尺度特征信息之后,将该多尺度特征信息输入到分类分支子任务中的、用于进行像素分类的卷积层中,该卷积层通过对待检测图像的每一个像素邻近的多尺度特征信息进行分析,判断每一像素与其邻近像素的特征信息的距离,并根据该距离区分该像素为前景像素还是背景像素,即,所述根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息,包括:根据所述多尺度特征信息,通过对所述待检测图像进行逐像素的分析处理,获得与所述目标对象对应的前景像素的位置信息。
所述根据预设的锚点尺寸信息,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
其中,所述根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个原始待确定锚点,以及获取与所述至少一个原始待确定锚点对应的至少一个预测位置信息;根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,获取所述至少一个目标锚点。
即,在通过分类分支子任务,获得与目标对象对应的前景像素的位置信息之后,将该前景像素的位置信息以及与该前景像素对应的多尺度特征信息输入到锚点获得子任务中的、用于获取目标锚点的卷积层中,该卷积层根据预设的锚点信息,如,每一个前景像素对应的预设锚点的数量以及尺寸信息,以每一个前景像素的位置信息在所述待检测图像中的位置为中心点,获得与每一个前景像素的位置信息对应的至少一个目标锚点。例如,获取到4个前景像素的位置信息,并且预设的锚点信息为9个不同尺寸的锚点,则可以获取到4*9个目标锚点。当然,在具体实施时,预设的锚点信息可以根据需要进行设置,此处不做特殊限定。
为了减少计算量,在获取目标锚点时,可以先根据预设的锚点信息和所述前景像素的位置信息,获取至少一个原始待确定锚点,以及获取与所述至少一个原始待确定锚点对应的至少一个预测位置信息,之后,根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,获取所述至少一个目标锚点,即,所述根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个原始待确定锚点,以及获取与所述至少一个原始待确定锚点对应的至少一个预测位置信息;根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,获取所述至少一个目标锚点。
其中,所述根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,包括:对所述至少一个原始待确定锚点和所述至少一个预测位置信息进行交并比计算,获取与所述至少一个原始待确定锚点和所述至少一个预测位置信息对应的至少一个交并比重合度;根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点;根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
另外,所述根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:获取与所述至少一个待确定目标锚点对应的至少一个类别预测分值;根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点。
其中,所述类别预测分值,是在目标对象检测模型根据每一原始待确定锚点,预测目标对象的位置信息的同时,获得到的该原始待确定锚点中的目标对象的类别,以及获得的、用于表征该类别的正确程度的分值;因此,从原始待确定锚点中获得的每一待确定目标锚点也对应的一个类别预测分值。
所述根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:通过非极大值抑制方法对所述至少一个待确定目标锚点和所述至少一个类别预测分值进行处理,获取与所述前景像素的位置信息对应的至少一个目标锚点。
需要说明的是,所述根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点,包括:从所述至少一个交并比重合度中,分别获取与每一前景像素的位置信息对应的最大值的交并比重合度;根据与每一前景像素的位置信息对应的最大值的交并比重合度所对应的原始待确定锚点,确定所述待确定目标锚点。
例如,获取到4个前景像素的位置信息,并且预设的锚点信息为9个不同尺寸的锚点,则可以先获取到4*9个原始待确定锚点,同时,还可以获取与这4*9个原始待确定锚点分别对应的目标对象的预测位置信息和类别预测分值;之后,分别获取这4*9个原始待确定锚点与4*9个预测位置信息的交并比重合度(IOU,intersectionoverunion),并从获取到的4*9个交并比重合度中,分别获取与每1个前景像素的位置信息对应的最大值的交并比重合度,即,可以获取到分别与这4个前景像素的位置信息对应的4个最大值的交并比重合度;之后,将这4个最大值的交并比重合度对应的4个原始待确定锚点作为待确定目标锚点,即可以从4*9个原始待确定锚点中确定出4个待确定目标锚点;之后,再通过使用非极大值抑制(NMS,Non-maximumsuppression)方法对这4个待确定目标锚点和与其对应的类别预测分值进行处理,即可获得最终需要的目标锚点。其中,有关如何进行交并比计算获得交并比重合度,以及如何使用NMS方法获取最终的目标锚点因为现有技术中心有详细描述,此处不再赘述。
还需要说明的是,本申请第一实施例中所述预设的锚点信息包括不同尺寸的锚点信息。
所述根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息,包括:使用所述目标对象检测模型中的锚点回归子任务对所述至少一个目标锚点进行回归分析,获得所述目标对象在所述待检测图像中的位置信息。
具体来讲,在获取到与前景像素的位置信息对应的至少一个目标锚点之后,将该目标锚点输入到锚点回归子任务中的、用于根据获得的目标锚点进行回归预测(boundingboxregression),以获得目标对象在待检测图像中的位置信息的卷积层中,该卷积层可以根据目标锚点,获得用于表示目标对象在待检测图像中的位置信息的边界框。有关如何使用回归器对锚点进行回归获得用于表示目标对象在待检测图像中的位置信息的边界框的方法因为现有技术中有详细描述,此处不再赘述。
需要说明的是,在本申请第一实施例中,所述位置信息以(x,y,w,h)的形式标识,其中(x,y)为目标对象对应的边界框的左上坐标点,w为该边界框的宽度,h为该边界框的高度,当然,在具体实施时,也可以使用其它形式描述,此处不再赘述。
当所述方法应用于客户端时,所述方法还包括:获取服务端提供的所述目标对象在所述待检测图像中的位置信息;根据所述位置信息,对所述待检测图像中的所述目标对象进行标识;展示标识出所述目标对象的所述待检测图像。
另外,为了增加所述方法的可视效果,还可以在服务端获得目标锚点之后,将目标锚点提供给客户端;当客户端获得服务端提供的目标锚点之后,展示所述目标锚点。当然,为了不影响在待检测图像中展示被标识出的目标对象,目标锚点可以以闪烁的方式进行展示。
例如,当服务端将待检测图像输入到目标对象检测模型之后,目标对象检测模型在输出目标对象在待检测图像中的位置信息的同时,还可以输出目标锚点;之后,服务端将该位置信息和该目标锚点提供给客户端;客户端在获取该位置信息和该目标锚点之后,可以先通过闪烁的方式在待检测图像中展示该目标锚点,之后,再展示标识出目标对象的待检测图像。
当然,在具体实施时,也可以通过其它方法展示目标锚点,例如,还可以在待检测图像中以不同颜色的标识框标识目标锚点和目标对象,并同时展示目标锚点和目标对象,此处不再赘述。
此外,当所述目标对象为商品对象时,可以在商品交易平台对应的服务端中使用本申请第一实施例所述目标对象检测方法获取商品对象在待检测图像中的位置信息,并根据该位置信息获取商品对象的特征信息,之后,根据获取到的特征信息,获取与该商品对象对应的匹配商品对象的信息,并将该匹配商品对象的信息提供给客户端,由客户端根据该匹配商品对象的信息,展示所述匹配商品对象,从而可以降低搜索延迟,提升用户体验。也就是说,当本申请第一实施例所述目标对象检测方法应用于服务端,所述目标对象为商品对象时,所述方法还包括:根据所述商品对象在所述待检测图像中的位置信息,获取所述商品对象的特征信息;根据所述商品对象的特征信息,获取与所述商品对象对应的匹配商品对象的信息。
例如,用户通过客户端在商品交易平台的搜索框中上传了包含鞋对象“xx”的图像img001;之后,客户端将图像img001发送给服务端,服务端将img001输入到目标对象检测模型中,获取该鞋对象在图像img001中的位置信息,如,以图像img001左下角位置为初始原点,获取到的该鞋对象在图像img001中的位置信息分别为(2,4,10,100),即分别为该鞋对象所对应的边界框的左上点的坐标和该边界框的宽度和高度;之后,服务端提取所述位置区域内的该鞋对象的特征信息,并根据该特征信息,获取与该鞋对象对应的匹配鞋对象的信息,如匹配鞋对象分别为“yy”和“zz”;之后,将该匹配商品对象的信息提供给客户端,由客户端根据该匹配鞋对象的信息,展示所述匹配鞋对象,如展示匹配鞋对象的名称“yy”和“zz”以及其对应的商品图像。
需要说明的是,所述目标对象检测模型在获取目标对象在待检测图像中的位置信息的同时,还可以获取目标对象所属的类别信息,即,所述方法还包括:根据所述目标对象检测模型,获得所述目标对象所属的类别信息。例如,针对包含鞋对象的待检测图像,所述方法不仅可以获得该鞋对象在待检测图像中的位置信息,还可以获得该鞋对象的类别信息为“鞋”。
根据上述描述可知,所述方法在获取目标对象在待检测图像中的位置信息时,所使用的目标对象检测模型中的分类分支子任务、锚点获得子任务和锚点回归子任务可以并行执行,从而通过全卷积的方式实现高效的级联检测,可以增加检测速度以及检测准确率。
另外,在上述介绍中,是通过目标对象检测模型从待检测图像中获得与目标对象对应的前景像素的位置信息、获取与该前景像素的位置信息对应的目标锚点以及根据获得目标对象在待检测图像中的位置信息。但是,在具体实施时,也可以使用其它方法获得上述信息,例如,分别使用独立的模型获取上述信息,即,可以使用前景像素位置信息获得模型从待检测图像中获得与目标对象对应的前景像素的位置信息,使用目标锚点获得模型获取与该前景像素的位置信息对应的目标锚点,以及,使用目标位置信息获得模型获得目标对象在待检测图像中的位置信息。当然,随着技术的不断进步,也可以使用其它方法获取上述信息,此处不再赘述。
综上所述,本申请第一实施例提供的所述目标对象检测方法,包括:获取包含目标对象的待检测图像;将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。所述方法在将待检测图像输入到目标对象检测模型中之后,通过无锚点定位方法从待检测图像中获取与目标对象对应的前景像素的位置信息,可以减轻待检测图像中的前景和背景的不平衡问题;同时,通过获取与前景像素的位置信息对应的目标锚点,获得目标对象在待检测图像中的位置信息,又可以增加检测结果的准确率。由此可知,所述方法既可以减轻待检测图像中的前景和背景的不平衡问题,又可以增加检测结果的准确率。
与本申请第一实施例提供的目标对象检测方法相对应,本申请第二实施例还提供一种目标对象检测模型的获得方法,请参看图4所示,其为本申请第二实施例提供的一种模型的获得方法的流程图,其中部分步骤在本申请第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的一种目标对象检测方法中的部分说明即可,下述描述的处理过程仅是示意性的。
步骤S401,获取包含原始对象的训练样本对象;
步骤S402,使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
与本申请第一实施例提供的一种目标对象检测方法相对应,本申请第四实施例还提供一种目标对象检测装置,请参看图5,其为本申请第三实施例提供的目标对象检测装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第三实施例提供的一种目标对象检测装置包括如下部分:
获取单元501,用于获取包含目标对象的待检测图像。
信息获得单元502,用于将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述信息获得单元,具体用于:获取所述待检测图像的多尺度特征信息;根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息;根据预设的锚点信息,获取与所述前景像素的位置信息对应的至少一个目标锚点;根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述获取所述待检测图像的多尺度特征信息,包括:将所述待检测图像输入到所述目标对象检测模型中的特征金字塔网络子任务中,获取所述待检测图像的多尺度特征信息。
可选的,所述根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息,包括:根据所述多尺度特征信息,通过对所述待检测图像进行逐像素的分析处理,获得与所述目标对象对应的前景像素的位置信息。
可选的,所述根据预设的锚点尺寸信息,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个原始待确定锚点,以及获取与所述至少一个原始待确定锚点对应的至少一个预测位置信息;根据原始待确定锚点和所述至少一个预测位置信息,获取所述至少一个目标锚点。
可选的,所述根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,包括:对所述至少一个原始待确定锚点和所述至少一个预测位置信息进行交并比计算,获取与所述至少一个原始待确定锚点和所述至少一个预测位置信息对应的至少一个交并比重合度;根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点;根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:获取与所述至少一个待确定目标锚点对应的至少一个类别预测分值;根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:通过非极大值抑制方法对所述至少一个待确定目标锚点和所述至少一个类别预测分值进行处理,获取与所述前景像素的位置信息对应的至少一个目标锚点。
可选的,所述根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点,包括:从所述至少一个交并比重合度中,分别获取与每一前景像素的位置信息对应的最大值的交并比重合度;根据与每一前景像素的位置信息对应的最大值的交并比重合度所对应的原始待确定锚点,确定所述待确定目标锚点。
可选的,所述根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息,包括:使用所述目标对象检测模型中的锚点回归子任务对所述至少一个目标锚点进行回归分析,获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述使用所述目标对象检测模型中的锚点回归子任务对所述至少一个目标锚点进行回归分析,获得所述目标对象在所述待检测图像中的位置信息,包括:使用所述目标对象检测模型中的锚点回归子任务对所述至少一个目标锚点进行回归分析,获得所述目标对象在所述待检测图像中的至少一个待确定位置信息;根据所述至少一个待确定位置信息,获得所述目标对象在所述待检测图像中的位置信息。
可选的,所述目标对象为商品对象。
可选的,所述装置,还包括:类别信息获取单元,用于根据所述目标对象检测模型,获得所述目标对象所属的类别信息。
与本申请第一实施例提供的一种目标对象检测方法相对应,本申请第四实施例还提供一种电子设备,请参看图6,其为本申请第四实施例提供的一种电子设备的示意图,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第四实施例提供的一种电子设备包括:
处理器601;
存储器602,用于存储用于目标对象检测方法的程序,该设备通电并通过所述处理器运行所述目标对象检测方法的程序后,执行下述步骤:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
与本申请第一实施例提供的一种目标对象检测方法相对应,本申请第五实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本申请第五实施例提供的一种存储设备,存储有目标对象检测方法的程序,该程序被处理器运行,执行下述步骤:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
与本申请第二实施例提供的一种目标对象检测模型的获得方法相对应,本申请第六实施例还提供一种目标对象检测模型的获得装置,请参看图7,其为本申请第六实施例提供的目标对象检测模型的获得装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第七实施例提供的一种目标对象检测模型的获得装置包括如下部分:
训练样本对象获取单元701,用于获取包含原始对象的训练样本对象。
训练单元702,用于使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
与本申请第二实施例提供的一种目标对象检测模型的获得方法相对应,本申请第七实施例还提供一种电子设备,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第七实施例提供的一种电子设备包括:
处理器;
存储器,用于存储用于目标对象检测模型的获得方法的程序,该设备通电并通过所述处理器运行所述目标对象检测模型的获得方法的程序后,执行下述步骤:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
与本申请第二实施例提供的一种目标对象检测模型的获得方法相对应,本申请第八实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本申请第八实施例提供的一种存储设备,存储有目标对象检测模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
与本申请第一实施例提供的目标对象检测方法相对应,本申请第九实施例还提供另一种目标对象检测方法,请参看图8所示,其为本申请第九实施例提供的另一种目标对象检测方法的流程图,其中部分步骤在本申请第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的目标对象检测方法中的部分说明即可,下述描述的处理过程仅是示意性的。
步骤S801,获取包含目标对象的待检测图像。
步骤S802,使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息。
步骤S803,获取与所述前景像素的位置信息对应的目标锚点。
步骤S804,根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
需要说明的是,为了增加所述方法的可视效果,当所述方法应用于服务端时,所述方法还包括:将所述目标锚点提供给客户端。另外,当所述方法应用于客户端时,所述方法还包括:获取服务端提供的所述目标锚点;展示所述目标锚点,其中,所述展示所述目标锚点,包括:通过闪烁的方式展示所述目标锚点。
即,当服务端获取到与前景像素的位置信息对应的目标锚点时,可以将该目标锚点提供给客户端;而客户端在获取到该目标锚点之后,可以通过闪烁的方式在待检测图像中展示该目标锚点。
例如,针对包含鞋对象“xx”的待检测图像img001,服务端在获取到img001之后,首先,使用无锚点定位方法从img001中获得与鞋对象“xx”对应的前景像素的位置信息;之后,服务端获取与该前景像素的位置信息对应的目标锚点,并可以将该目标锚点提供给客户端,客户端可以在待检索图像中通过闪烁的方式快速的展示一下该目标锚点,再之后,客户端还可以根据服务端提供的鞋对象“xx”在img001中的位置信息,在img001中通过标识框标识出该鞋对象,并展示标识出该鞋对象的img001。
当然,在具体实施时,也可以在服务端获得目标对象在待检测图像中的位置信息之后,同时将目标锚点和该位置信息提供给客户端;而客户端在获得该目标锚点和该位置信息之后,既可以先展示该目标锚点,再展示标识出目标对象的待检测图像,也可以以不同颜色的标识框标识目标锚点和目标对象,并同时展示目标锚点和目标对象,或者,也可以通过其它方法展示目标锚点,此处不再赘述。
与本申请第九实施例提供的目标对象检测方法相对应,本申请第十实施例还提供另一种目标对象检测装置,请参看图9,其为本申请第十实施例提供的目标对象检测装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第十实施例提供的一种目标对象检测装置包括如下部分:
图像获取单元901,用于获取包含目标对象的待检测图像。
前景像素位置信息获得单元902,用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息。
目标锚点获取单元903,用于获取与所述前景像素的位置信息对应的目标锚点。
目标对象位置信息获得单元904,用于根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
与本申请第九实施例提供的目标对象检测方法相对应,本申请第十一实施例还提供一种电子设备,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第十一实施例提供的一种电子设备包括:
处理器;
存储器,用于存储用于目标对象检测方法的程序,该设备通电并通过所述处理器运行所述目标对象检测方法的程序后,执行下述步骤:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
与本申请第九实施例提供的目标对象检测方法相对应,本申请第十二实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本申请第十二实施例提供的一种存储设备,存储有目标对象检测方法的程序,该程序被处理器运行,执行下述步骤:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (32)
1.一种目标对象检测方法,其特征在于,包括:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
2.根据权利要求1所述的目标对象检测方法,其特征在于,所述将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息,包括:
获取所述待检测图像的多尺度特征信息;
根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息;
根据预设的锚点信息,获取与所述前景像素的位置信息对应的至少一个目标锚点;
根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
3.根据权利要求2所述的目标对象检测方法,其特征在于,所述获取所述待检测图像的多尺度特征信息,包括:
将所述待检测图像输入到所述目标对象检测模型中的特征金字塔网络子任务中,获取所述待检测图像的多尺度特征信息。
4.根据权利要求2所述的目标对象检测方法,其特征在于,所述根据所述无锚点定位方法和所述待检测图像的多尺度特征信息,获得与所述目标对象对应的前景像素的位置信息,包括:
根据所述多尺度特征信息,通过对所述待检测图像进行逐像素的分析处理,获得与所述目标对象对应的前景像素的位置信息。
5.根据权利要求2所述的目标对象检测方法,其特征在于,所述根据预设的锚点尺寸信息,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
6.根据权利要求5所述的目标对象检测方法,其特征在于,所述根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
根据预设的锚点信息,以所述前景像素的位置信息为中心点,获取与所述前景像素的位置信息对应的至少一个原始待确定锚点,以及获取与所述至少一个原始待确定锚点对应的至少一个预测位置信息;
根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,获取所述至少一个目标锚点。
7.根据权利要求6所述的目标对象检测方法,其特征在于,所述根据所述至少一个原始待确定锚点和所述至少一个预测位置信息,包括:
对所述至少一个原始待确定锚点和所述至少一个预测位置信息进行交并比计算,获取与所述至少一个原始待确定锚点和所述至少一个预测位置信息对应的至少一个交并比重合度;
根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点;
根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点。
8.根据权利要求7所述的目标对象检测方法,其特征在于,所述根据所述至少一个待确定目标锚点,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
获取与所述至少一个待确定目标锚点对应的至少一个类别预测分值;
根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点。
9.根据权利要求8所述的目标对象检测方法,其特征在于,所述根据所述至少一个待确定目标锚点和所述至少一个类别预测分值,获取与所述前景像素的位置信息对应的至少一个目标锚点,包括:
通过非极大值抑制方法对所述至少一个待确定目标锚点和所述至少一个类别预测分值进行处理,获取与所述前景像素的位置信息对应的至少一个目标锚点。
10.根据权利要求7所述的目标对象检测方法,其特征在于,所述根据所述至少一个交并比重合度,从所述至少一个原始待确定锚点中,确定与所述前景像素的位置信息对应的至少一个待确定目标锚点,包括:
从所述至少一个交并比重合度中,分别获取与每一前景像素的位置信息对应的最大值的交并比重合度;
根据与每一前景像素的位置信息对应的最大值的交并比重合度所对应的原始待确定锚点,确定所述待确定目标锚点。
11.根据权利要求2所述的目标对象检测方法,其特征在于,所述根据所述至少一个目标锚点,获得所述目标对象在所述待检测图像中的位置信息,包括:
使用所述目标对象检测模型中的锚点回归子任务对所述至少一个目标锚点进行回归分析,获得所述目标对象在所述待检测图像中的位置信息。
12.根据权利要求1所述的目标对象检测方法,其特征在于,所述目标对象检测模型的获得方法,包括:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件。
13.根据权利要求1所述的目标对象检测方法,其特征在于,所述目标对象为商品对象。
14.根据权利要求13所述的目标对象检测方法,其特征在于,所述方法应用于服务端,所述方法还包括:
根据所述商品对象在所述待检测图像中的位置信息,获取所述商品对象的特征信息;
根据所述商品对象的特征信息,获取与所述商品对象对应的匹配商品对象的信息。
将所述匹配商品对象的信息提供给客户端。
15.根据权利要求1所述的目标对象检测方法,其特征在于,所述方法应用于客户端,所述方法还包括:
获取服务端提供的所述目标对象在所述待检测图像中的位置信息;
根据所述位置信息,对所述待检测图像中的所述目标对象进行标识;
展示标识出所述目标对象的所述待检测图像。
16.根据权利要求15所述的目标对象检测方法,其特征在于,还包括:
获取服务端提供的所述目标锚点;
展示所述目标锚点。
17.根据权利要求16所述的目标对象检测方法,其特征在于,所述展示所述目标锚点,包括:
通过闪烁的方式展示所述目标锚点。
18.根据权利要求1所述的目标对象检测方法,其特征在于,还包括:根据所述目标对象检测模型,获得所述目标对象所属的类别信息。
19.一种目标对象检测模型的获得方法,其特征在于,包括:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
20.一种目标对象检测装置,其特征在于,包括:
获取单元,用于获取包含目标对象的待检测图像;
信息获得单元,用于将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
21.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储目标对象检测方法的程序,该设备通电并通过所述处理器运行所述目标对象检测方法的程序后,执行下述步骤:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
22.一种存储设备,其特征在于,存储有目标对象检测方法的程序,该程序被处理器运行,执行下述步骤:
获取包含目标对象的待检测图像;
将所述待检测图像输入到目标对象检测模型中,获得所述目标对象在所述待检测图像中的位置信息;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述目标对象在所述待检测图像中的位置信息。
23.一种目标对象检测模型的获得装置,其特征在于,包括:
训练样本对象获取单元,用于获取包含原始对象的训练样本对象;
训练单元,用于使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
24.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储目标对象检测模型的获得方法的程序,该设备通电并通过所述处理器运行所述目标对象检测模型的获得方法的程序后,执行下述步骤:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
25.一种存储设备,其特征在于,存储有目标对象检测模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取包含原始对象的训练样本对象;
使用所述训练样本对象训练所述目标对象检测模型,并在训练所述目标对象检测模型的过程中,使用与所述目标对象检测模型对应的损失函数调整所述目标对象检测模型的参数,使所述目标对象检测模型的预测误差达到预设的收敛条件;
其中,所述目标对象检测模型用于使用无锚点定位方法从所述训练样本对象中获得与所述原始对象对应的前景像素的位置信息,获取与所述前景像素的位置信息对应的目标锚点,以及根据所述目标锚点获得所述原始对象在所述待检测图像中的位置信息。
26.一种目标对象检测方法,其特征在于,包括:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
27.根据权利要求26所述的目标对象检测方法,其特征在于,所述方法应用于服务端,所述方法还包括:
将所述目标锚点提供给客户端。
28.根据权利要求26所述的目标对象检测方法,其特征在于,所述方法应用于客户端,所述方法还包括:
获取服务端提供的所述目标锚点;
展示所述目标锚点。
29.根据权利要求28所述的目标对象检测方法,其特征在于,所述展示所述目标锚点,包括:
通过闪烁的方式展示所述目标锚点。
30.一种目标对象检测装置,其特征在于,包括:
图像获取单元,用于获取包含目标对象的待检测图像;
前景像素位置信息获得单元,用于使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
目标锚点获取单元,用于获取与所述前景像素的位置信息对应的目标锚点;
目标对象位置信息获得单元,用于根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
31.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储目标对象检测方法的程序,该设备通电并通过所述处理器运行所述目标对象检测方法的程序后,执行下述步骤:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
32.一种存储设备,其特征在于,存储有目标对象检测方法的程序,该程序被处理器运行,执行下述步骤:
获取包含目标对象的待检测图像;
使用无锚点定位方法从所述待检测图像中获得与所述目标对象对应的前景像素的位置信息;
获取与所述前景像素的位置信息对应的目标锚点;
根据所述目标锚点,获得所述目标对象在所述待检测图像中的位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010203469.0A CN113496513A (zh) | 2020-03-20 | 2020-03-20 | 一种目标对象检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010203469.0A CN113496513A (zh) | 2020-03-20 | 2020-03-20 | 一种目标对象检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113496513A true CN113496513A (zh) | 2021-10-12 |
Family
ID=77994510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010203469.0A Pending CN113496513A (zh) | 2020-03-20 | 2020-03-20 | 一种目标对象检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113496513A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114416263A (zh) * | 2022-01-21 | 2022-04-29 | 北京字跳网络技术有限公司 | 一种处理方法、装置、电子设备及介质 |
CN114998840A (zh) * | 2022-07-18 | 2022-09-02 | 成都东方天呈智能科技有限公司 | 一种基于深度级联有监督学习的老鼠目标检测方法 |
-
2020
- 2020-03-20 CN CN202010203469.0A patent/CN113496513A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114416263A (zh) * | 2022-01-21 | 2022-04-29 | 北京字跳网络技术有限公司 | 一种处理方法、装置、电子设备及介质 |
CN114416263B (zh) * | 2022-01-21 | 2023-09-15 | 北京字跳网络技术有限公司 | 一种处理方法、装置、电子设备及介质 |
CN114998840A (zh) * | 2022-07-18 | 2022-09-02 | 成都东方天呈智能科技有限公司 | 一种基于深度级联有监督学习的老鼠目标检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI773189B (zh) | 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體 | |
US11854283B2 (en) | Method and apparatus for visual question answering, computer device and medium | |
US9767363B2 (en) | System and method for automatic detection of spherical video content | |
US20200175062A1 (en) | Image retrieval method and apparatus, and electronic device | |
CN111091123A (zh) | 文本区域检测方法及设备 | |
JP2012243313A (ja) | 画像処理方法および画像処理装置 | |
US8442327B2 (en) | Application of classifiers to sub-sampled integral images for detecting faces in images | |
CN109376757B (zh) | 一种多标签分类方法及系统 | |
WO2021238548A1 (zh) | 区域识别方法、装置、设备及可读存储介质 | |
CN110660102B (zh) | 基于人工智能的说话人识别方法及装置、系统 | |
WO2019080702A1 (zh) | 图像处理方法和装置 | |
CN109815854B (zh) | 一种用于在用户设备上呈现图标的关联信息的方法与设备 | |
CN109743566B (zh) | 一种用于识别vr视频格式的方法与设备 | |
CN113766330A (zh) | 基于视频生成推荐信息的方法和装置 | |
CN113496513A (zh) | 一种目标对象检测方法及装置 | |
CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
CN111680546A (zh) | 注意力检测方法、装置、电子设备及存储介质 | |
CN110334768B (zh) | 一种冰柜陈列检测方法、系统及电子设备 | |
CN114387346A (zh) | 一种图像识别、预测模型处理方法、三维建模方法和装置 | |
CN114255377A (zh) | 一种智能货柜的差异商品检测分类方法 | |
WO2021196925A1 (zh) | 移动物体检测和跟踪方法以及装置 | |
CN111582012A (zh) | 一种检测小目标船只方法及装置 | |
CN111353330A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113468066A (zh) | 用户界面测试方法及装置 | |
CN113822871A (zh) | 基于动态检测头的目标检测方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |