检测目标对象方向的方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种检测目标对象方向的方法、装置、计算机设备和存储介质。
背景技术
目前,我国养殖业正向集中饲养方向发展,集中养殖除了必须为圈养的目标对象提供良好的养殖环境外,还要及时获取目标对象的进食、饮水、睡觉等行为进行分析,当发现异常情况时可以快速采取措施,避免造成更大的经济损失。分析目标对象行为的前提是实时准确地检测到目标对象,近年来计算机技术尤其是机器视觉技术的迅猛发展,为畜禽养殖业的实时监测提供了有力保障。
现有的目标对象检测方法通常是为了检测目标对象的位置,而不关注目标对象的方向。在很多场景中,目标对象的方向可以更准确地反映目标对象的行为,比如通过检测食槽周围的目标对象的方向,可以判断目标对象的采食意向,以及目标对象是否正在进食。
现有的目标对象检测方法只能检测到整个目标对象而不能检测目标对象的方向。即使可以检测到目标对象的方向,如基于关键点的检测方法,基于关键点的检测,检测过程复杂且低效。
发明内容
为了解决上述技术问题,本申请提供了一种检测目标对象方向的方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种检测目标对象方向的方法,包括:
输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;
根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;
根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
第二方面,本申请提供了一种检测目标对象方向的装置,包括:
检测模块,用于输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;
聚类模块,用于根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;
方向信息确定模块,用于根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;
根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;
根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;
根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;
根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
上述检测目标对象方向的方法、装置、计算机设备和存储介质,所述方法包括:输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。通过检测到目标对象的整体特征和特定部位(头部、尾部和肩部)的特征确定目标对象的方向,检测变得简单和高效。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中检测目标对象方向的方法的应用环境图;
图2为一个实施例中检测目标对象方向的方法的流程示意图;
图3为一个具体的实施例中检测目标对象方向的方法的流程示意图;
图4为一个实施例中检测目标对象方向的装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为一个实施例中检测目标对象方向的方法的应用环境图。参照图1,该检测目标对象方向的方法应用于检测目标对象方向的系统。该检测目标对象方向的系统包括拍摄设备110和计算机设备120。拍摄设备110和计算机设备120通过网络连接。计算设备120输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
上述目标对象的特征的位置检测、归类和方向信息确定过程也可以在拍摄设备110上执行。
拍摄设备110可以为常见的拍摄设备,如相机、移动终端上搭载的摄像头等,计算机设备120包括终端和服务器。终端具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,在一个实施例中,提供了一种检测目标对象方向的方法。本实施例主要以该方法应用于上述图1中的拍摄设备110(或计算机设备120)来举例说明。参照图2,该检测目标对象方向的方法具体包括如下步骤:
步骤S201,输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息。
在本具体实施例中,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征。
步骤S202,根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征。
步骤S203,根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
具体地,目标对象是指动物,目标对象包括但不限于猪、羊、牛等。待检测图像是指拍摄设备拍摄的图像,待检测图像中包含的目标对象可以为一个或多个。预设目标对象预测模型是一种根据携带了目标对象的目标预设特征的位置信息和类型信息的图像进行训练得到的模型。其中原始目标对象预测模型可以采用常见深度学习模型,如YOLO系列、FastRCNN系列和其他一阶段和二阶段目标检测模型等模型中的其中一个模型,或组合模型,其中组合模型可以是不同模型的叠加,也可以是模型中的部分计算层的替换等等。目标预设特征是指预先定义的特征类型,目标预设特征包括对象特征、头部特征、肩部特征和尾部特征。其中对象特征为整个对象的特征,头部特征、肩部特征和尾部特征为部位特征。目标预设特征的位置信息是指目标预设特征在待检测图像中的位置信息。位置信息可以采用区域边界坐标、区域中心点坐标、角点坐标和边长等表示。
根据各个目标预设特征的位置信息对目标预设特征进行归类,即对对象特征、头部特征、肩部特征和尾部特征进行归类,判断哪些预设目标预设特征属于一个整体。由于一个目标对象肯定是一个完整的对象,故各个目标预设特征之间的位置差相差不会太大,可以以其中一个目标预设特征作为固定特征,判断在固定特征周围的其它目标预设特征与固定特征之间的位置关系。其中固定特征可以为对象特征、尾部特征、肩部特征和头部特征中的任意一种。位置关系可以采用中心点之间的位置关系、区域边框的交集、并集和交并比等等确定。
根据各个目标对象的部位特征确定目标对象的朝向,即目标对象的方向信息。朝向通常是指目标对象的头部或尾部所指向的方向。在确定了头部和尾部的位置后,可以根据头部和尾部或肩部和尾部的位置确定目标对象的朝向。通过检测目标对象的头部、肩部和尾部特征直接确定目标对象的朝向,使得目标对象的方向检测变得简单和高效。检测目标对象的方向可以对目标对象的行为进行分析,如分析进食意向,根据进食意向确定是否执行投喂等等操作。
上述检测目标对象方向的方法,包括:输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。通过检测到目标对象的整体特征和特定部位(头部、尾部和肩部)的特征确定目标对象的方向,检测变得更为方便和高效。
在一个实施例中,步骤S202,包括:检测待检测图像中的各个初始预设特征、对应的位置信息和置信度;根据置信度从初始预设特征中筛选出中间预设特征;根据各个中间预设特征和各个类型的标准特征的相似度确定各个中间预设特征的作为各个类型的概率,标准特征为预设目标对象方向预测模型中存储的特征;根据概率从中间预设特征筛选出各个类型的标准预设特征;根据各个中间预设特征的位置信息与各个类型的标准预设特征的位置信息之间的交并比确定各个类型的目标预设特征,由各个类型的目标预设特征组成目标预设特征。
具体地,初始预设特征是指从待检测图像中检测到的特征。置信度是指各个初始预设特征作为特征的分值,选择分值大于预设分值的初始预设特征作为中间预设特征。标准特征是指预设目标对象预测模型中存储的特征,不同类型的特征采用不同的特征向量表示,如头部的标准特征用头部特征向量表示。计算各个中间预设特征与标准特征的相似度,根据相似度确定各个中间预设特征作为各个类型的特征的概率,选取其中各个类型的特征中概率最大的中间预设特征作为对应的类型的标准预设特征,计算各个类型的标准预设特征所在的区域与各个相同类型的中间预设特征所在区域的交并比,当交并比大于预设交并比时,舍弃该中间预设特征,保留交并比小于或等于预设交并比的中间预设特征,并标记该标准预设特征的类型。从保留中的中间预设特征选取概率最大的中间预设特征作为标准预设特征,重复上述过程交并比判断过程和标准预设特征筛选过程,直至标准预设特征对应的概率为保留的中间预设特征中的最小概率时,将各个类型的标准预设特征作为对应的类型的目标预设特征。由各个类型的目标预设特征组成目标预设特征。
在一个实施例中,根据各个对象特征的位置信息,与各个部位特征的位置信息之间位置关系,建立各个对象特征与各个部位特征的对应关系,每个对象特征对应一个目标对象,部位特征包括头部特征、肩部特征和尾部特征。采用作为固定特征,根据对象特征与各个部位特征的位置关系对目标预设特征进行归类,得到各个目标对象对应的对象特征和部位特征。其中目标对象的部位特征可以包括头部特征、肩部特征或头部特征中的至少两个。
在一个实施例中,建立各个对象特征与各个部位特征的对应关系,包括:根据各个对象特征的位置信息和各个部位特征的位置信息,计算各个对象特征与各个部位特征的交集的面积,得到第一面积;计算部位特征对应的第一面积与部位特征的面积的比值;当比值大于预设比值时,建立部位特征与对象特征的对应关系。
具体地,第一面积是指对象特征所在区域和预设范围内的部位特征所在区域的交集的图像面积。部位特征的面积是指部位特征所在区域的图像面积,计算第一面积和第二面积的比值,判断该比值是否大于预设比值,若大于该预设比值,表示重合区域较大,且部位特征所在区域大部分位于对象特征所在区域,属于同一个目标对象的概率大,构建对象特征和部位特征的对应关系,也可以是构建目标对象、对象特征和部位特征的对应关系。
在一个实施例中,步骤S203,包括:当目标对象包括头部特征时,根据目标对象的头部特征和尾部特征确定目标对象的方向信息;当目标对象未包括头部特征时,根据目标对象的肩部特征和尾部特征确定目标对象的方向信息。
具体地,在实际检测过程中,由于目标对象的头部存在被遮挡的情况,故在确定目标对象的朝向时可以根据头部特征和/或肩部特征与尾部特征之间的位置关系确定。即目标对象存在头部特征时,根据同一目标对象的头部特征和尾部特征的位置信息计算目标对象的朝向。当不存在头部特征时,根据肩部特征和对应的尾部特征的位置信息计算目标对象的朝向。其中重新可以采用头部特征或肩部特征所在区域的区域中心的坐标与尾部特征所在区域的区域中心的坐标计算得到方向信息。
在一个实施例中,根据各个目标对应的头部特征和或肩部特征所在区域的位置信息判断目标对象是否位于预设朝向。
在一个实施例中,上述检测目标对象方向的方法,还包括:生成预设目标对象方向预测模型,其中生成预设目标对象方向预测模型,包括:获取多个待训练图像,待训练图像携带标签,标签包括标准位置信息和对应的标准类别;输入各个待训练图像至初始目标对象方向预测模型,输出各个待训练图像对应的预测位置信息和对应的预测类别;根据各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值,更新初始目标对象方向预测模型的模型参数,以使各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值小于预设差异值,得到预设目标对象方法预测模型。
具体地,待训练图像是指携带了对象特征、部位特征的标签的图像。其中标签包括特征类型和特征所在位置等,特征类型包括对象特征、头部特征、肩部特征和尾部特征四种。所在位置可以包括位置中心、区域位置等等。将各个待训练图像输入初始目标对象方向预测模型,得到各个待训练图像中的各个目标对象对应的预测位置信息和预测类别。根据各个待训练图像中的各个目标对象对应的预测位置信息和标准位置信息的差异度,和各个待训练图像中的各个目标对象对应的预测类别和标准类型之间的差异度,更新初始目标对象方向预测模型的模型参数。更新模型参数时可以采用常见机器学习模型和深度学习模型的参数更新方法,如梯度下降法等。初始目标对象方向预测模型的损失函数可以自定义,也可以采用常见的机器学习模型的损失函数。如以使各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值小于预设差异值时,得到预设目标对象方法预测模型。
在一个具体的实施例中,如图3所示,检测目标对象方向的方法,包括:
步骤S301,数据输入。将图像和打标的标签(位置框和类别信息)输入MobileNet-YOLOv2网络。
步骤S302,图像分割。采用MobileNet-YOLOv2中的MobileNet卷积网络将图片分成13x13个网格。其中MobileNet-YOLOv2是指采用MobileNet替换YOLOv2中的Darknet-19。
步骤S303,判断对象是否落入网格。根据各个对象的中心判断各个对象是否落入网格。是执行步骤S304,否执行步骤S309。
步骤S304,边界框预测。每个网格有5个不同尺寸的先验框,负责预测不同形状大小的对象,每个先验框负责预测一个边界框,即每个网格会预测5个边界框。
步骤S305,计算边界框的中心坐标和宽高。
步骤S306,每个边界宽预测4个类别的概率边界框。预设每个边界宽属于各个类别的概率。
步骤S307,计算边界框与标签框的IOU(Intersection over Union,IOU交并比)。
步骤S308,IOU是否大于阈值。判断各个边界框与各个标签框的IOU是否大于预设的阈值,当大于时,表示两个框的属于同样的框,保留预测得到的边界框,进入步骤S309,反之,则进入步骤S310。
步骤S309,得到边界框置信度和属于各个类型的概率。根据步骤S306和步骤S308得到的边界框,确定输出的各个边界框属于各个类别的概率和置信度。
步骤S310,计算损失值。根据损失函数计算损失值。损失函数可以自定义或采用常规的模型训练的损失函数。
步骤S311,最小化损失值。回传梯度,不断更新模型的模型参数,直至损失值最小化,得到训练好的模型,即预设目标对象方向检测模型。
将实际图像输入步骤S311中训练得到预设目标对象方向检测模型,可输出目标对象头部、目标对象肩部、目标对象尾部和目标对象的边界框信息和类别信息。然后用规则确属于同一目标对象的头部框和尾部框,或肩部框和尾部框。通过计算目标对象头部框和当前目标对象的框相交部分面积与目标对象头部框面积的比例确定属于当前目标对象的头部框。若该比例大于一定阈值时,则认为该目标对象头部框属于当前目标对象,肩部和尾部同理。最后,通过目标对象头部和尾部,或肩部和尾部所在边界框位置确定目标对象方向。
上述方法使用MobileNet-YOLOv2检测头部、肩部、尾部和目标对象,通过检测到的头部和尾部、或肩部和尾部确定目标对象的方向,检测到的目标对象的方向误差小、实时性高。MobileNet替换YOLOv2中的Darknet-19,可以在保证精确度的同时提升网络运算速度。
图2和3为一个实施例中检测目标对象方向的方法的流程示意图。应该理解的是,虽然图2和3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种检测目标对象方向的装置200,包括:
检测模块201,用于输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征。
聚类模块202,用于根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征。
方向信息确定模块203,用于根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
在一个实施例中,检测模块201具体用于检测待检测图像中的各个初始预设特征、对应的位置信息和置信度;根据置信度从初始预设特征中筛选出中间预设特征;根据各个中间预设特征和各个类型的标准特征的相似度确定各个中间预设特征的作为各个类型的概率,标准特征为预设目标对象方向预测模型中存储的特征;根据概率从中间预设特征筛选出各个类型的标准预设特征;根据各个中间预设特征的位置信息与各个类型的标准预设特征的位置信息之间的交并比确定各个类型的目标预设特征,由各个类型的目标预设特征组成目标预设特征。
在一个实施例中,聚类模块202具体用于根据各个对象特征的位置信息,与各个部位特征的位置信息之间位置关系,建立各个对象特征与各个部位特征的对应关系,每个对象特征对应一个目标对象,部位特征包括头部特征、肩部特征和尾部特征。
在一个实施例中,聚类模块202具体用于根据各个对象特征的位置信息和各个部位特征的位置信息,计算各个对象特征与各个部位特征的交集的面积,得到第一面积;计算部位特征对应的第一面积与部位特征的面积的比值;当比值大于预设比值时,建立部位特征与对象特征的对应关系。
在一个实施例中,方向信息确定模块203具体用于当目标对象包括头部特征时,根据目标对象的头部特征和尾部特征确定目标对象的方向信息;当目标对象未包括头部特征时,根据目标对象的肩部特征和尾部特征确定目标对象的方向信息。
在一个实施例中,上述检测目标对象方向的装置200,还包括:
模型生成模块,用于生成预设目标对象方向预测模型。
模型生成模块,包括:
训练数据获取单元,用于获取多个待训练图像,待训练图像携带标签,标签包括标准位置信息和对应的标准类别。
预测单元,用于输入各个待训练图像至初始目标对象方向预测模型,输出各个待训练图像对应的预测位置信息和对应的预测类别。
模型确定单元,用于根据各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值,更新初始目标对象方向预测模型的模型参数,以使各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值小于预设差异值,得到预设目标对象方法预测模型。
图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的拍摄设备110(或计算机设备120)。如图5所示,该计算机设备通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现检测目标对象方向的方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行检测目标对象方向的方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的检测目标对象方向的装置可以实现为一种计算机程序的形式,计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成该检测目标对象方向的装置的各个程序模块,比如,图4所示的检测模块201、聚类模块202和方向信息确定模块203。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的检测目标对象方向的方法中的步骤。
例如,图5所示的计算机设备可以通过如图4所示的检测目标对象方向的装置中的检测模块201执行输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征。计算机设备可以通过聚类模块202执行根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征。计算机设备可以通过方向信息确定模块203执行根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
在一个实施例中,检测待检测图像中的各个目标预设特征的位置信息,包括:检测待检测图像中的各个初始预设特征、对应的位置信息和置信度;根据置信度从初始预设特征中筛选出中间预设特征;根据各个中间预设特征和各个类型的标准特征的相似度确定各个中间预设特征的作为各个类型的概率,标准特征为预设目标对象方向预测模型中存储的特征;根据概率从中间预设特征筛选出各个类型的标准预设特征;根据各个中间预设特征的位置信息与各个类型的标准预设特征的位置信息之间的交并比确定各个类型的目标预设特征,由各个类型的目标预设特征组成目标预设特征。
在一个实施例中,根据目标预设特征的位置信息,对预设特征进行归类,得到各个目标对象对应的预设特征,包括:根据各个对象特征的位置信息,与各个部位特征的位置信息之间位置关系,建立各个对象特征与各个部位特征的对应关系,每个对象特征对应一个目标对象,部位特征包括头部特征、肩部特征和尾部特征。
在一个实施例中,根据各个对象特征的位置信息,与各个部位特征的位置信息之间位置关系,建立各个对象特征与各个部位特征的对应关系,包括:根据各个对象特征的位置信息和各个部位特征的位置信息,计算各个对象特征与各个部位特征的交集的面积,得到第一面积;计算部位特征对应的第一面积与部位特征的面积的比值;当比值大于预设比值时,建立部位特征与对象特征的对应关系。
在一个实施例中,根据各个目标对象的目标预设特征的位置信息输出对应的目标对象的方向信息,包括:当目标对象包括头部特征时,根据目标对象的头部特征和尾部特征确定目标对象的方向信息;当目标对象未包括头部特征时,根据目标对象的肩部特征和尾部特征确定目标对象的方向信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:生成预设目标对象方向预测模型,包括:获取多个待训练图像,待训练图像携带标签,标签包括标准位置信息和对应的标准类别;输入各个待训练图像至初始目标对象方向预测模型,输出各个待训练图像对应的预测位置信息和对应的预测类别;根据各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值,更新初始目标对象方向预测模型的模型参数,以使各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值小于预设差异值,得到预设目标对象方法预测模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:输入包含至少一个目标对象的待检测图像至预设目标对象方向预测模型,检测待检测图像中的各个目标预设特征的位置信息,目标预设特征包括对象特征、头部特征、尾部特征和肩部特征;根据各个目标预设特征的位置信息,对目标预设特征进行归类,得到各个目标对象对应的目标预设特征;根据各个目标对象的目标预设特征的位置信息,输出对应的目标对象的方向信息。
在一个实施例中,检测待检测图像中的各个目标预设特征的位置信息,包括:检测待检测图像中的各个初始预设特征、对应的位置信息和置信度;根据置信度从初始预设特征中筛选出中间预设特征;根据各个中间预设特征和各个类型的标准特征的相似度确定各个中间预设特征的作为各个类型的概率,标准特征为预设目标对象方向预测模型中存储的特征;根据概率从中间预设特征筛选出各个类型的标准预设特征;根据各个中间预设特征的位置信息与各个类型的标准预设特征的位置信息之间的交并比确定各个类型的目标预设特征,由各个类型的目标预设特征组成目标预设特征。
在一个实施例中,根据目标预设特征的位置信息,对预设特征进行归类,得到各个目标对象对应的预设特征,包括:根据各个对象特征的位置信息,与各个部位特征的位置信息之间位置关系,建立各个对象特征与各个部位特征的对应关系,每个对象特征对应一个目标对象,部位特征包括头部特征、肩部特征和尾部特征。
在一个实施例中,根据各个对象特征的位置信息,与各个部位特征的位置信息之间位置关系,建立各个对象特征与各个部位特征的对应关系,包括:根据各个对象特征的位置信息和各个部位特征的位置信息,计算各个对象特征与各个部位特征的交集的面积,得到第一面积;计算部位特征对应的第一面积与部位特征的面积的比值;当比值大于预设比值时,建立部位特征与对象特征的对应关系。
在一个实施例中,根据各个目标对象的目标预设特征的位置信息输出对应的目标对象的方向信息,包括:当目标对象包括头部特征时,根据目标对象的头部特征和尾部特征确定目标对象的方向信息;当目标对象未包括头部特征时,根据目标对象的肩部特征和尾部特征确定目标对象的方向信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:生成预设目标对象方向预测模型,包括:获取多个待训练图像,待训练图像携带标签,标签包括标准位置信息和对应的标准类别;输入各个待训练图像至初始目标对象方向预测模型,输出各个待训练图像对应的预测位置信息和对应的预测类别;根据各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值,更新初始目标对象方向预测模型的模型参数,以使各个待训练图像对应的预测位置信息和标准位置信息的差异信息、预设类别和对应的标准类别之间的差异值小于预设差异值,得到预设目标对象方法预测模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。