发明内容
本申请实施例提供一种目标物体的检测方法、装置、网络设备及存储介质,可以在保证检测准确度的情况下,提高图片的检测速度。
第一方面,本申请实施例提供了一种目标物体的检测方法,包括:
获取待检测图片;
将所述待检测图片压缩至预置分辨率大小,得到压缩后图片;
从所述压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,所述备选物体包括目标物体;
在所述待检测图片中确定与所述第一待检测区域对应的第二待检测区域;
在所述第二待检测区域中确定所述目标物体。
在一些实施方式中,所述从所述压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,包括:
基于物体检测网络模型中的第一卷积层,对所述压缩后图片进行特征提取,得到N种不同尺寸的特征图,所述N为大于1的整数;
基于所述物体检测网络模型中的第一回归层,对所述N种不同尺寸的特征图进行回归处理,得到所述第一待检测区域。
在一些实施方式中,所述基于物体检测网络模型中的第一回归层,对所述N种不同尺寸的特征图进行回归处理,得到所述第一待检测区域,包括:
基于所述第一回归层,分别获取所述N种不同尺寸的特征图中所述备选物体的置信度;
根据所述置信度在所述压缩后图片中确定所述第一待检测区域。
在一些实施方式中,所述第一卷积层包括Dense-44模型或ResDen-34模型;
所述Dense-44模型包括5个稠密块Dense-Block,每个所述Dense-Block包括第一部分和第二部分,所述第一部分包括3个3*3卷积,所述第二部分包括一个瓶颈Bottle-Neck结构;
所述ResDen-34模型包括两个残差块Res-Block以及3个Dense-Block。
在一些实施方式中,所述在所述待检测图片中确定与所述第一待检测区域对应的第二待检测区域,包括:
提取所述第一待检测区域在所述压缩后图片中的坐标信息;
根据所述坐标信息在所述待检测图片中确定所述第二待检测区域。
在一些实施方式中,所述在所述第二待检测区域中确定目标物体,包括:
基于所述物体检测网络模型中的第二卷积层,对所述第二待检测区域进行特征提取,得到M种不同尺寸的特征图,所述M为大于1的整数;
基于所述物体检测网络模型中的第二回归层,对所述M种不同尺寸的特征图进行回归处理,以确定所述目标物体。
在一些实施方式中,所述基于所述物体检测网络模型中的第二回归层,对所述M种不同尺寸的特征图进行回归处理,以确定所述目标物体,包括:
在所述第二回归层中根据所述M种不同尺寸的特征图确定目标区域,所述目标区域为所述目标物体对应的位置区域;
基于物体检测网络模型中的分类器,分别确定所述目标区域中各个备选物体的置信度;
将所述置信度最大的备选物体确定为所述目标物体。
在一些实施方式中,所述基于所述物体检测网络模型中的第二回归层,对所述M种不同尺寸的特征图进行回归处理,以确定所述目标物体,包括:
基于所述第二回归层,确定所述M种不同尺寸的特征图中各个备选物体的置信度;
将所述置信度最大的备选物体确定为所述目标物体。
在一些实施方式中,所述第二卷积层包括Dense-44模型或ResDen-34模型;
所述Dense-44模型由5个稠密块Dense-Block构成,每个所述Dense-Block包括第一部分和第二部分,所述第一部分包括3个3*3卷积,所述第二部分包括一个瓶颈Bottle-Neck结构;
所述ResDen-34模型由两个残差块Res-Block以及3个Dense-Block构成。
第二方面,本申请实施例还提供了一种目标物体的检测装置,包括:
获取单元,用于获取待检测图片;
压缩单元,用于将所述待检测图片压缩至预置分辨率大小,得到压缩后图片;
提取单元,用于从所述压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,所述备选物体包括目标物体;
第一确定单元,用于在所述待检测图片中确定与所述第一待检测区域对应的第二待检测区域;
第二确定单元,用于在所述第二待检测区域中确定所述目标物体。
在一些实施方式中,所述提取单元包括:
第一提取子单元,用于基于物体检测网络模型中的第一卷积层,对所述压缩后图片进行特征提取,得到N种不同尺寸的特征图,所述N为大于1的整数;
第一回归子单元,用于基于所述物体检测网络模型中的第一回归层,对所述N种不同尺寸的特征图进行回归处理,得到所述第一待检测区域。
在一些实施方式中,所述第一回归子单元具体用于:
基于所述第一回归层,分别获取所述N种不同尺寸的特征图中所述备选物体的置信度;
根据所述置信度在所述压缩后图片中确定所述第一待检测区域。
在一些实施方式中,所述第一卷积层包括Dense-44模型或ResDen-34模型;
所述Dense-44模型包括5个稠密块Dense-Block,每个所述Dense-Block包括第一部分和第二部分,所述第一部分包括3个3*3卷积,所述第二部分包括一个瓶颈Bottle-Neck结构;
所述ResDen-34模型包括两个残差块Res-Block以及3个Dense-Block。
在一些实施方式中,所述第一确定单元具体用于:
提取所述第一待检测区域在所述压缩后图片中的坐标信息;
根据所述坐标信息在所述待检测图片中确定所述第二待检测区域。
在一些实施方式中,所述第二确定单元包括:
第二提取子单元,用于基于所述物体检测网络模型中的第二卷积层,对所述第二待检测区域进行特征提取,得到M种不同尺寸的特征图,所述M为大于1的整数;
第二回归子单元,用于基于所述物体检测网络模型中的第二回归层,对所述M种不同尺寸的特征图进行回归处理,以确定所述目标物体。
在一些实施方式中,所述第二回归子单元具体用于:
在所述第二回归层中根据所述M种不同尺寸的特征图确定目标区域,所述目标区域为所述目标物体对应的位置区域;
基于物体检测网络模型中的分类器,分别确定所述目标区域中各个备选物体的置信度;
将所述置信度最大的备选物体确定为所述目标物体。
在一些实施方式中,所述第二回归子单元还具体用于:
基于所述第二回归层,确定所述M种不同尺寸的特征图中各个备选物体的置信度;
将所述置信度最大的备选物体确定为所述目标物体。
在一些实施方式中,所述第二卷积层包括Dense-44模型或ResDen-34模型;
所述Dense-44模型由5个稠密块Dense-Block构成,每个所述Dense-Block包括第一部分和第二部分,所述第一部分包括3个3*3卷积,所述第二部分包括一个瓶颈Bottle-Neck结构;
所述ResDen-34模型由两个残差块Res-Block以及3个Dense-Block构成。
第三方面,本申请实施例还提供了一种网络设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种目标物体的检测方法中的步骤。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例提供的任一种目标物体的检测方法中的步骤。
本申请实施例中,目标物体的检测装置获取待检测图片;然后将所述待检测图片压缩至预置分辨率大小,得到压缩后图片;再从所述压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,所述备选物体包括目标物体;在所述待检测图片中确定与所述第一待检测区域对应的第二待检测区域;最后在所述第二待检测区域中确定所述目标物体。本方案会将获取到的图片压缩至预置分辨率大小,从较小分辨率的图片中确定待检测区域,再将该待检测区域映射回原图(待检测图片),可以在分辨率不变的情况下在更小的区域中进行图片检测,从而可以在保证检测准确度的情况下,提高图片的检测速度。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本发明的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境,其中包括了任何的上述系统或装置。
本发明中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。
请参阅图1,图1是本申请一实施例提供的目标物体的检测方法的流程示意图。该目标物体的检测方法的执行主体可以是本申请实施例提供的目标物体的检测装置,或者集成了该目标物体的检测装置的网络设备,其中,该目标物体的检测装置可以采用硬件或者软件的方式实现,该网络设备可以是终端或服务器等设备。该目标物体的检测方法可以包括:
101、获取待检测图片。
具体地,本步骤包括:获取待检测视频,将该待检测视频分成多帧待检测图片,从而获取本实施例中的待检测图片,其中,本申请中的待检测视频可以为从摄像头中实时获取得到的高清视频,也可以为从数据库中获取的高清视频,该数据库可以为目标物体的检测装置的本地数据库,也可以是别的装置的数据库,例如,视频存储数据库,需要说明的是,本申请获取到的待检测图片为高像素图片。
其中,本申请中的摄像头包括行车记录仪中的高清摄像头,高速公路监控高清摄像头等,具体此处不做限定。
102、将该待检测图片压缩至预置分辨率大小,得到压缩后图片。
在一些实施例中,当目标物体的检测装置获取到获取待检测图片之后,会将该待检测图片压缩至预置分辨率大小,得到压缩后图片,然后再将该压缩后图片输入物体检测网络模型中,其中,本申请中的物体检测网络模型为训练后的物体检测网络模型。
其中,本申请中将待检测图片压缩至预置分辨率大小即,将待检测图片的分辨率缩小到预置分辨率大小。
在一些实施例中,本实施例中的待检测图片的分辨率大小可以为2048*2048,预置分辨率的大小可以为512*512,两者的具体数值此处不做限定,但待检测图片的分辨率大小须大于预置分辨率的大小。
103、从该压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域。
本实施例中,当降低了待检测图片的分辨率,得到压缩后图片之后,将会从该压缩后图片中提取第一待检测区域,其中,该备选物体包括目标物体,该第一待检测区域为存在备选物体的概率大于预置概率的区域,该第一待检测区域的区域面积小于该压缩后图片的总面积,且大于备选物体在该压缩后图片中的所占面积。
在一些实施例中,当本实施例是对交通标志的检测时,该备选物体包括:双向交通标志、注意行人标志、注意儿童标志、注意信号灯标志、向左急弯路标志、向右急弯路标志和上陡坡标志等等,其中,目标物体为备选物体中的至少一个标志类型。
具体地,在一些实施例中,从该压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域包括:基于物体检测网络模型中的第一卷积层,对该压缩后图片进行特征提取,得到N种不同尺寸的特征图,该N为大于1的整数;基于该物体检测网络模型中的第一回归层,对该N种不同尺寸的特征图进行回归处理,得到该第一待检测区域。
其中,本实施例中的N可以为2,也可以为3,具体此处不做限定,例如,当N为3时,在一些实施例中,第一卷积层可以从压缩后图片中提取到256*256、128*128和64*64三个尺寸的特征图,提取多个尺寸的特征图,可以增加检测精度,用于对压缩后图片中各个尺寸的目标物体进行检测。
在一些实施例中,基于该物体检测网络模型中的第一回归层,对该N种不同尺寸的特征图进行回归处理,具体可以包括:基于该第一回归层,分别获取该N种不同尺寸的特征图中备选物体的置信度;根据该置信度在该压缩后图片中确定该第一待检测区域,例如,将置信度位于前30的备选物体的位置进行聚类,确定聚类中心,并根据该聚类中心在压缩后图片中划分出第一待检测区域,其中,该第一待检测区域可以有多个。
本申请中的第一卷积层可以为Dense-44模型或ResDen-34模型,其中:
该Dense-44模型包括5个稠密块Dense-Block,每个该Dense-Block包括第一部分和第二部分,该第一部分包括3个3*3卷积,该第二部分包括一个瓶颈Bottle-Neck结构;其中第一部分中是3个普通的卷积操作,第二部分的Bottle-Neck结构包括3*3卷积、1*1卷积、3*3卷积和3*3卷积,其中,在一些实施例中,为了进一步提升检测的速度,可以将所有的普通的3*3卷积替换成可分离卷积操作。
该ResDen-34模型包括两个残差块Res-Block以及3个Dense-Block,该模型可以更好地提取到小目标特征,该模块建立通路连接前两个Res-Block以及后面的Dense-Block,使得浅层提取到的小目标特征能很好地传递到模型深处,提高模型的检测性能。
104、在该待检测图片中确定与该第一待检测区域对应的第二待检测区域。
具体地,在一些实施例中,可以提取该第一待检测区域在该压缩后图片中的坐标信息;然后根据该坐标信息在该待检测图片中确定该第二待检测区域,其中,该坐标信息为第一待检测区域边框的坐标信息,第一待检测区域可以为圆形,也可以为矩形,具体形状此处不做限定,若为矩形,则该坐标信息可以为该矩形四个顶角的坐标,若为圆形,则可以为该圆形的圆心,其区域由圆心坐标以及预置半径构成。其中,本申请可以以该待检测图片的左下角为坐标原点,并以该待检测图片的左纵边为y轴,左横边为x轴建立坐标轴。
在本实施例中,可以将压缩后图片的第一待检测区域映射到待检测图片中,得到第二待检测区域,其中,本申请第一待检测区域在压缩后图片中的位置与第二待检测区域在待检测图片中的位置相同,且第一待检测区域分辨率较低,第二待检测区域分辨率较高,本实施例在较低分辨率的图片上检测第一待检测区域,可以提高第一待检测区域的检测速度。
其中,第二待检测区域为第二待检测区域中可能存在备选物体的区域,例如,可能存在交通标志的区域。
105、在该第二待检测区域中确定目标物体。
当在待检测图片中确定了第二待检测区域之后,将会在该第二待检测区域中确定是否存在备选物体,以及备选物体的类型,其中,若在第二待检测区域中确定不存在备选物体中的任一种类型的物体,则输出该帧图片不包含备选物体的结果,若包含有备选物体,则输出该帧图片中备选物体的具体类型(目标物体)。
其中,若该待检测图片中存在多个类型的目标物体,则此时可以确定多个目标物体。
在一些实施例中,具体地,可以基于该物体检测网络模型中的第二卷积层,对该第二待检测区域进行特征提取,得到M种不同尺寸的特征图(例如64*64以及32*32两个尺寸),该M为大于1的整数;然后基于该物体检测网络模型中的第二回归层,对该M种不同尺寸的特征图进行回归处理,以确定该目标物体(此时理论上能检测到12*12px大小的物体)。
在一些实施例中,还可以在第二回归层中采用软重叠度(Soft-IOU)方法进行回归。
在一些实施例中,为了减少模型参数数量,方便移动端移植,第二卷积层可以复用第一卷积层。
在一些实施例中,具体地,基于该物体检测网络模型中的第二回归层,对该M种不同尺寸的特征图进行回归处理,以确定该目标物体,包括:在该第二回归层中根据该M种不同尺寸的特征图确定目标区域,该目标区域为该目标物体对应的位置区域;基于物体检测网络模型中的分类器,分别确定该目标区域中各个备选物体的置信度;将该置信度最大的备选物体确定为该目标物体。即本实施例中,通过第二回归层确定存在目标物体的小区域(此时将所有备选物体都归为一类),然后将该小区域输入分类器中进一步确定各个备选物体的置信度,将置信度最高的备选物体确定为目标物体。
在另一些实施例中,具体地,该基于该物体检测网络模型中的第二回归层,对该M种不同尺寸的特征图进行回归处理,以确定该目标物体,包括:基于该第二回归层,确定该M种不同尺寸的特征图中各个备选物体的置信度;将该置信度最大的备选物体确定为该目标物体。即本实施例中,可以在第二回归层确定每种备选物体的置信度,并将置信度最高的备选物体确定为目标物体。
在一些实施例中,除了确定待检测图片中的目标物体之外,还需要确定该目标物体的位置(x,y,w,h)。
本申请中的第二卷积层可以为Dense-44模型或ResDen-34模型,其中:
该Dense-44模型包括5个稠密块Dense-Block,每个该Dense-Block包括第一部分和第二部分,该第一部分包括3个3*3卷积,该第二部分包括一个瓶颈Bottle-Neck结构;其中第一部分中是3个普通的卷积操作,第二部分的Bottle-Neck结构包括3*3卷积、1*1卷积、3*3卷积和3*3卷积,其中,在一些实施例中,为了进一步提升检测的速度,可以将所有的普通的3*3卷积替换成可分离卷积操作。
该ResDen-34模型包括两个残差块Res-Block以及3个Dense-Block,该模型可以更好地提取到小目标特征,该模块建立通路连接前两个Res-Block以及后面的Dense-Block,使得浅层提取到的小目标特征能很好地传递到模型深处,提高模型的检测性能。
本申请实施例中,目标物体的检测装置获取待检测图片;然后将该待检测图片压缩至预置分辨率大小,得到压缩后图片;再从该压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,该备选物体包括目标物体;在该待检测图片中确定与该第一待检测区域对应的第二待检测区域;最后在该第二待检测区域中确定该目标物体。本方案会将获取到的图片压缩至预置分辨率大小,从较小分辨率的图片中确定待检测区域,再将该待检测区域映射回原图(待检测图片),可以在分辨率不变的情况下在更小的区域中进行图片检测,从而可以在保证检测准确度的情况下,提高图片的检测速度。
根据上述实施例所描述的目标物体的检测方法,以下将作进一步详细说明。
需要说明的是,在应用物体检测网络模型执行本申请中提及的目标物体的检测方法之前,首先需要对本申请实施例中的物体检测网络模型进行训练,得到训练后的物体检测网络模型,具体地,可以按照一定比例(如1:2)选取正样本和负样本进行训练,并使用最小均方差作为模型的损失函数分别进行计算,直到模型收敛,得到训练后的物体检测网络模型。
请参阅图2,图2为本申请实施例提供的物体检测网络模型的一个结构示意图,该结构中,第二卷积层复用第一卷积层的参数;请参阅图3,图3为本申请实施例提供的物体检测网络模型的另一个结构示意图,该结构第一卷积层与第二卷积层分开,且一般情况下,第二卷积层的检测精度高于第一卷积层的精度。
请参照图4,图4为本申请实施例提供的目标物体的检测方法的另一流程示意图。该目标物体的检测方法的执行主体可以为网络设备,在本实施例中,以检测交通标志为例进行具体说明,如图4所示,该目标物体的检测方法的流程可以如下:
401、网络设备获取待检测视频。
其中,本申请中的待检测视频可以为从摄像头中实时获取得到的高清视频,也可以为从数据库中获取的高清视频,该数据库可以为目标物体的网络设备的本地数据库,也可以是别的设备的数据库。
其中,本申请中的摄像头包括行车记录仪中的高清摄像头,高速公路监控高清摄像头等,具体此处不做限定。
402、网络设备从待检测视频中提取待检测图片。
具体地,可以将待检测视频分成多帧待检测图片,从而获取本实施例中的待检测图片,其中,本申请获取到的待检测图片为高像素图片,待检测图片中可能包含有交通标志。
403、网络设备将该待检测图片压缩至预置分辨率大小,得到压缩后图片。
在一些实施例中,当网络设备获取到获取待检测图片之后,会将该待检测图片压缩至预置分辨率大小,得到压缩后图片,然后再将该压缩后图片输入物体检测网络模型中,其中,本申请中的物体检测网络模型为训练后的物体检测网络模型。
其中,本申请中将待检测图片压缩至预置分辨率大小即,将待检测图片的分辨率缩小到预置分辨率大小。
在一些实施例中,本实施例中的待检测图片的分辨率大小可以为2048*2048,预置分辨率的大小可以为512*512,两者的具体数值此处不做限定,但待检测图片的分辨率大小须大于预置分辨率的大小。
404、网络设备基于物体检测网络模型中的第一卷积层,对该压缩后图片进行特征提取,得到N种不同尺寸的特征图。
其中,该N为大于1的整数,例如2,也可以是3,具体此处不做限定。例如,当N为3时,在一些实施例中,第一卷积层可以从压缩后图片中提取到256*256、128*128和64*64三个尺寸的特征图,提取多个尺寸的特征图,可以增加检测精度,用于对压缩后图片中各个尺寸的目标物体进行检测。本申请中的第一卷积层可以为Dense-44模型或ResDen-34模型,其中:
该Dense-44模型包括5个稠密块Dense-Block,每个该Dense-Block包括第一部分和第二部分,该第一部分包括3个3*3卷积,该第二部分包括一个瓶颈Bottle-Neck结构;其中第一部分中是3个普通的卷积操作,第二部分的Bottle-Neck结构包括3*3卷积、1*1卷积、3*3卷积和3*3卷积,其中,在一些实施例中,为了进一步提升检测的速度,可以将所有的普通的3*3卷积替换成可分离卷积操作。
405、网络设备基于该第一回归层,分别获取该N种不同尺寸的特征图中各种交通标志的置信度。
其中,本申请实施例中的交通标志包括:双向交通标志、注意行人标志、注意儿童标志、注意信号灯标志、向左急弯路标志、向右急弯路标志和上陡坡标志等等,具体此处不做限定。
本实施例中,需要获取每种尺寸的特征图中各种交通标志的置信度,其中,该置信度对应相应的交通标志以及该交通标志对应的位置。
406、网络设备根据该置信度在该压缩后图片中确定第一待检测区域。
具体地,在一些实施例中,可以将置信度位于前30的交通标志的位置进行聚类,确定聚类中心,并根据该聚类中心在压缩后图片中划分出第一待检测区域,其中,该第一待检测区域可以有多个。
407、网络设备在该待检测图片中确定与该第一待检测区域对应的第二待检测区域。
具体地,在一些实施例中,可以提取该第一待检测区域在该压缩后图片中的坐标信息;然后根据该坐标信息在该待检测图片中确定该第二待检测区域,其中,该坐标信息为第一待检测区域边框的坐标信息,第一待检测区域可以为圆形,也可以为矩形,具体形状此处不做限定,若为矩形,则该坐标信息可以为该矩形四个顶角的坐标,若为圆形,则可以为该圆形的圆心,其区域由圆心坐标以及预置半径构成。
在本实施例中,可以将压缩后图片的第一待检测区域映射到待检测图片中,得到第二待检测区域,其中,本申请第一待检测区域在压缩后图片中的位置与第二待检测区域在待检测图片中的位置相同,且第一待检测区域分辨率较低,第二待检测区域分辨率较高,本实施例在较低分辨率的图片上检测第一待检测区域,可以提高第一待检测区域的检测速度。
其中,第二待检测区域为第二待检测区域中可能存在交通标志的区域。
408、网络设备基于该物体检测网络模型中的第二卷积层,对该第二待检测区域进行特征提取,得到M种不同尺寸的特征图。
其中,该M为大于1的整数,例如2或3,具体数目此处不做限定。
在一些实施例中,为了减少模型参数数量,方便移动端移植,第二卷积层可以复用第一卷积层(如图2),也可以提高第二卷积层的检测精度,不复用第一卷积层(如图3)。
在一些实施例中,具体地,可以基于该物体检测网络模型中的第二卷积层,对该第二待检测区域进行特征提取,得到M种不同尺寸的特征图(例如64*64以及32*32两个尺寸),该M为大于1的整数。
在一些实施例中,还可以在第二回归层中采用软重叠度(Soft-IOU)方法进行回归。
本申请中的第二卷积层可以为Dense-44模型或ResDen-34模型,其中:
该Dense-44模型包括5个稠密块Dense-Block,每个该Dense-Block包括第一部分和第二部分,该第一部分包括3个3*3卷积,该第二部分包括一个瓶颈Bottle-Neck结构;其中第一部分中是3个普通的卷积操作,第二部分的Bottle-Neck结构包括3*3卷积、1*1卷积、3*3卷积和3*3卷积,其中,在一些实施例中,为了进一步提升检测的速度,可以将所有的普通的3*3卷积替换成可分离卷积操作。
该ResDen-34模型包括两个残差块Res-Block以及3个Dense-Block,该模型可以更好地提取到小目标特征,该模块建立通路连接前两个Res-Block以及后面的Dense-Block,使得浅层提取到的小目标特征能很好地传递到模型深处,提高模型的检测性能。
409、网络设备基于该物体检测网络模型中的第二回归层,对该M种不同尺寸的特征图进行回归处理,以确定该目标物体。
在一些实施例中,具体地,基于该物体检测网络模型中的第二回归层,对该M种不同尺寸的特征图进行回归处理,以确定该目标物体,包括:在该第二回归层中根据该M种不同尺寸的特征图确定目标区域,该目标区域为存在目标物体的位置区域;基于物体检测网络模型中的分类器,分别确定该目标区域中各个交通标志的置信度;将该置信度最大的交通标志确定为该目标物体。即本实施例中,通过第二回归层确定存在目标物体的小区域(此时将所有交通标志都归为一类),然后将该小区域输入分类器中进一步确定各个交通标志的置信度,将置信度最高的交通标志确定为目标物体(即确定交通标志的具体类型)。
在另一些实施例中,具体地,该基于该物体检测网络模型中的第二回归层,对该M种不同尺寸的特征图进行回归处理,以确定该目标物体,包括:基于该第二回归层,确定该M种不同尺寸的特征图中各个交通标志的置信度;将该置信度最大的交通标志确定为该目标物体。即本实施例中,可以在第二回归层确定每种交通标志的置信度,并将置信度最高的交通标志确定为目标物体。
在一些实施例中,除了确定待检测图片中的目标物体之外,还需要确定该目标物体的位置(x,y,w,h)。
本申请实施例中,网络设备获取待检测图片;然后将该待检测图片压缩至预置分辨率大小,得到压缩后图片;再从该压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,该备选物体包括目标物体;在该待检测图片中确定与该第一待检测区域对应的第二待检测区域;最后在该第二待检测区域中确定该目标物体。本方案会将获取到的图片压缩至预置分辨率大小,从较小分辨率的图片中确定待检测区域,再将该待检测区域映射回原图,可以在分辨率不变的情况下在更小的区域中进行图片检测,从而可以在保证检测准确度的情况下,提高图片的检测速度。
为便于更好的实施本申请实施例提供的目标物体的检测方法,本申请实施例还提供一种基于上述目标物体的检测方法的装置。其中名词的含义与上述目标物体的检测方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图5,图5为本申请实施例提供的目标物体的检测装置的结构示意图,其中该目标物体的检测装置500可以包括获取单元501、压缩单元502、提取单元503、第一确定单元504及第二确定单元505等,其中:
获取单元501,用于获取待检测图片;
压缩单元502,用于将所述待检测图片压缩至预置分辨率大小,得到压缩后图片;
提取单元503,用于从所述压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,所述备选物体包括目标物体;
第一确定单元504,用于在所述待检测图片中确定与所述第一待检测区域对应的第二待检测区域;
第二确定单元505,用于在所述第二待检测区域中确定所述目标物体。
请参阅图6,在一些实施方式中,所述提取单元503包括:
第一提取子单元5031,用于基于物体检测网络模型中的第一卷积层,对所述压缩后图片进行特征提取,得到N种不同尺寸的特征图,所述N为大于1的整数;
第一回归子单元5032,用于基于所述物体检测网络模型中的第一回归层,对所述N种不同尺寸的特征图进行回归处理,得到所述第一待检测区域。
在一些实施方式中,所述第一回归子单元5032具体用于:
基于所述第一回归层,分别获取所述N种不同尺寸的特征图中所述备选物体的置信度;
根据所述置信度在所述压缩后图片中确定所述第一待检测区域。
在一些实施方式中,所述第一卷积层包括Dense-44模型或ResDen-34模型;
所述Dense-44模型包括5个稠密块Dense-Block,每个所述Dense-Block包括第一部分和第二部分,所述第一部分包括3个3*3卷积,所述第二部分包括一个瓶颈Bottle-Neck结构;
所述ResDen-34模型包括两个残差块Res-Block以及3个Dense-Block。
在一些实施方式中,所述第一确定单元504具体用于:
提取所述第一待检测区域在所述压缩后图片中的坐标信息;
根据所述坐标信息在所述待检测图片中确定所述第二待检测区域。
在一些实施方式中,所述第二确定单元505包括:
第二提取子单元5051,用于基于所述物体检测网络模型中的第二卷积层,对所述第二待检测区域进行特征提取,得到M种不同尺寸的特征图,所述M为大于1的整数;
第二回归子单元5052,用于基于所述物体检测网络模型中的第二回归层,对所述M种不同尺寸的特征图进行回归处理,以确定所述目标物体。
在一些实施方式中,所述第二回归子单元5052具体用于:
在所述第二回归层中根据所述M种不同尺寸的特征图确定目标区域,所述目标区域为所述目标物体对应的位置区域;
基于物体检测网络模型中的分类器,分别确定所述目标区域中各个备选物体的置信度;
将所述置信度最大的备选物体确定为所述目标物体。
在一些实施方式中,所述第二回归子单元5052还具体用于:
基于所述第二回归层,确定所述M种不同尺寸的特征图中各个备选物体的置信度;
将所述置信度最大的备选物体确定为所述目标物体。
在一些实施方式中,所述第二卷积层包括Dense-44模型或ResDen-34模型;
所述Dense-44模型由5个稠密块Dense-Block构成,每个所述Dense-Block包括第一部分和第二部分,所述第一部分包括3个3*3卷积,所述第二部分包括一个瓶颈Bottle-Neck结构;
所述ResDen-34模型由两个残差块Res-Block以及3个Dense-Block构成。
本申请实施例中,获取单元501获取待检测图片;然后压缩单元502将该待检测图片压缩至预置分辨率大小,得到压缩后图片;提取单元503再从该压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,该备选物体包括目标物体;第一确定单元504在该待检测图片中确定与该第一待检测区域对应的第二待检测区域;最后第二确定单元505在该第二待检测区域中确定该目标物体。本方案会将获取到的图片压缩至预置分辨率大小,从较小分辨率的图片中确定待检测区域,再将该待检测区域映射回原图,可以在分辨率不变的情况下在更小的区域中进行图片检测,从而可以在保证检测准确度的情况下,提高图片的检测速度。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
参考图7,本申请实施例提供了一种网络设备700,可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、射频(RadioFrequen cy,RF)电路703、电源704、输入单元705、以及显示单元706等部件。本领域技术人员可以理解,图7中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器701是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器702内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器701可包括一个或多个处理核心;优选的,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的软件程序以及模块,从而执行各种功能应用以及数据处理。
RF电路703可用于收发信息过程中,信号的接收和发送。
网络设备还包括给各个部件供电的电源704(比如电池),优选的,电源可以通过电源管理系统与处理器701逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
该网络设备还可包括输入单元705,该输入单元705可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该网络设备还可包括显示单元706,该显示单元706可用于显示由用户输入的信息或提供给用户的信息以及网络设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。具体在本实施例中,网络设备中的处理器701会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中,并由处理器701来运行存储在存储器702中的应用程序,从而实现各种功能,如下:
获取待检测图片;
将所述待检测图片压缩至预置分辨率大小,得到压缩后图片;
从所述压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,所述备选物体包括目标物体;
在所述待检测图片中确定与所述第一待检测区域对应的第二待检测区域;
在所述第二待检测区域中确定所述目标物体。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对目标物体的检测方法的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种目标物体的检测方法中的步骤。例如,该指令可以执行如下步骤:
获取待检测图片;
将所述待检测图片压缩至预置分辨率大小,得到压缩后图片;
从所述压缩后图片中提取存在备选物体的概率大于预置概率的区域,得到第一待检测区域,所述备选物体包括目标物体;
在所述待检测图片中确定与所述第一待检测区域对应的第二待检测区域;
在所述第二待检测区域中确定所述目标物体。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种目标物体的检测方法中的步骤,因此,可以实现本申请实施例所提供的任一种目标物体的检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种目标物体的检测方法、装置、网络设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。