CN112215123B - 一种目标检测方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种目标检测方法、装置及存储介质，该方法包括：获取待检测目标图像；对待检测目标图像进行目标标注，得到标注区域图像；对标注区域图像进行特征提取，得到待检测目标图像对应的特征提取结果；基于固定长宽比的搜索框对特征提取结果进行局部特征检测，得到待检测目标图像对应的多个候选区域图像；对多个候选区域图像进行合并，得到待检测目标图像的目标检测结果。本发明能够降低目标检测的计算量，使其可以适用于一些计算力严重受限的设备，同时适用于长宽比变化较大但由重复形状堆叠而成的目标。

Description

一种目标检测方法、装置及存储介质

技术领域

本发明属于计算机技术领域，具体涉及一种目标检测方法、装置及存储介质。

背景技术

随着检测精度的提升，目标检测在各行各业得到了广泛的应用，检测算法的部署也需要面对越来越复杂的目标和设备环境。

现有技术一般采用多个长宽比的矩形框来搜索目标，并进行回归。但在一些计算能力严重受限的场景下，基于多个长宽比的搜索所带来的计算量也会超出计算能力受限设备的负荷，影响了目标检测在这些受限条件下的应用；此外，对于一些长宽比变化较大但由重复形状堆叠而成的目标(比如，斑马线、物理隔离带)，仅通过多个长宽比的矩形框难以对该其进行精准检测。

发明内容

为了降低目标检测的计算量，使其可以适用于一些计算力严重受限的设备，同时适用于长宽比变化较大但由重复形状堆叠而成的目标，本发明提出了一种目标检测方法、装置及存储介质。

一方面，本发明提出了一种目标检测方法，所述方法包括：

获取待检测目标图像；

对所述待检测目标图像进行目标标注，得到标注区域图像；

对所述标注区域图像进行特征提取，得到所述待检测目标图像对应的特征提取结果；

基于固定长宽比的搜索框对所述特征提取结果进行局部特征检测，得到所述待检测目标图像对应的多个候选区域图像；

对所述多个候选区域图像进行合并，得到所述待检测目标图像的目标检测结果。

另一方面，本发明实施例提供了一种目标检测装置，所述装置包括：

确定模块，用于获取待检测目标图像；

标注模块，用于对所述待检测目标图像进行目标标注，得到标注区域图像；

提取模块，用于对所述标注区域图像进行特征提取，得到所述待检测目标图像对应的特征提取结果；

检测模块，用于基于固定长宽比的搜索框对所述特征提取结果进行局部特征检测，得到所述待检测目标图像对应的多个候选区域图像；

合并模块，用于对所述多个候选区域图像进行合并，得到所述待检测目标图像的目标检测结果。

另一方面，本发明提出了一种目标检测的电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的目标检测方法。

另一方面，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的目标检测方法。

本发明实施例提出的目标检测方法、装置及存储介质，基于固定长宽比的搜索框对待检测目标图像对应的特征提取结果进行局部特征检测，得到多个候选区域图像，接着对多个候选区域图像进行合并，得到待检测目标图像的目标检测结果。即通过将局部数据组合得到全局数据，规避了长宽比无规律变化的问题，使其可以进一步用于一些长宽比变化较大但由重复形状堆叠而成的目标(比如斑马线、物理隔离带)，不仅提高了目标检测的准确率，还拓展目标检测算法的应用范围；此外，基于固定长宽比的搜索框对从待检测图像中获取到的特征提取结果进行局部特征检测，得到待检测目标图像对应的多个候选区域图像，由于长宽比是固定的，减少了候选区域图像的数量，从而减少了搜索计算量，进而加快了目标检测算法的运行速度，使其可以适用于计算力受限的设备。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种目标检测方法的实施环境示意图。

图2是本发明实施例提供的一种目标检测方法的模块示意图。

图3是本发明实施例提供的对斑马线所在的待检测目标图像进行标注后得到的一种示意图。

图4是本发明实施例提供的对标注区域图像进行分割，得到标注区域图像对应的多个分割区域图像的一种流程示意图。

图5是本发明实施例提供的为对标注区域图像进行分割的一种示意图。

图6是本发明实施例提供的基于固定长宽比的搜索框对特征提取结果进行局部特征检测，得到待检测目标图像对应的多个候选区域图像的一种流程示意图。

图7是本发明实施例提供的基于第二神经网络对特征提取结果进行局部特征检测，得到的多个候选区域图像的一种示意图。

图8是本发明实施例提供的从多个候选区域图像中确定出目标候选区域图像的一种流程示意图。

图9是本发明实施例提供的将图7中的虚线框过滤后得到的目标候选区域图像的一种示意图。

图10是本发明实施例提供的对多个目标候选区域图像进行合并，得到待检测目标图像的目标检测结果的一种流程示意图。

图11是本发明实施例提供的多个目标候选区域图像的最小外接矩形的一种示意图。

图12是本发明实施例提供的区块链系统的一个可选的结构示意图。

图13是本发明实施例提供的区块结构一个可选的示意图。

图14是本发明实施例提供的一种目标检测装置的结构示意图。

图15是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

随着人工智能(Artificial Intelligence,AI)的研究和进步，AI在多个领域展开研究和应用。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、自动驾驶等几大方向。

具体地，本发明实施提供的方案涉及自动驾驶技术和机器学习技术。自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景。机器学是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

具体地，本发明实施例中涉及自动驾驶中的高精地图技术以及机器学习中的深度学习技术。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的目标，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本发明实施例提供的一种目标检测方法的实施环境示意图。如图1所示，该实施环境至少可以包括终端01和服务器02，终端01和服务器02可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。比如，终端01通过有线或无线通信方式向服务器02上传待检测目标图像等，服务器02通过有线或无线通信方式向终端01反馈目标检测结果等。

具体地，终端01可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端01以及服务器02可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。

需要说明的是，图1仅仅是一种示例。

图2是本发明实施例提供的一种目标检测方法的流程示意图。该方法可以用于图1中的实施环境中。本说明书提供了如实施例或模块图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

S101.获取待检测目标图像。

本发明实施例中的待检测目标图像为检测目标所在的图像。该待检测目标可以包括长宽比变化较大但由重复形状堆叠而成的目标，比如，斑马线、物理隔离带等。

以检测目标为地图图像场景下的斑马线为例，在地图图像场景中，斑马线存在纵向斑马线、横向斑马线、远处斑马线、道路铺满斑马线等，这些斑马线的长宽比变化几乎没有规律，但是又是由重复形状堆叠而成的。

当需要对斑马线进行目标检测时，可以获取该斑马线所在待检测目标图像。

S103.对待检测目标图像进行目标标注，得到标注区域图像。

具体地，S103可以包括：基于可变角度的标注框对待检测目标图像进行目标标注，得到带倾斜角度的标注区域图像。

本发明实施例中，可以使用可变角度的标注框对待检测目标图像中的检测目标进行标注，从而得到标注区域图像。

该可变角度的标注框为一种可以对矩形框进行旋转的标注工具，通过该标注工具得到的标注区域图像为带倾斜角度的图像。其中，带倾斜角度的图像指的是矩形框的四个角可以任意改变，而并非仅仅是90°。图3所示为对斑马线所在的待检测目标图像进行标注后得到的一种示意图，如图3所示，对斑马线标注后，得到的标注区域图像的两条边之间的夹角为α，α的取值可以为0-180°。

在实际应用中，许多检测目标存在倾斜角度，例如，对于倾斜角度为45°的检测目标，如果使用长方形矩形框对其进行标注，那么标注得到的区域将会占用过多的面积，从而降低目标检测的准确率和效率。而本发明实施例使用可变角度的矩形框对检测目标进行标注，可以根据实际检测目标的真实状况和实际的应用场景进行调整，使标注得到的区域与检测目标充分贴合，降低标注区域所占用的面积，从而提高目标检测的准确率和效率。

S105.对标注区域图像进行特征提取，得到待检测目标图像对应的特征提取结果。

本发明实施例中，在得到标注区域图像之后，可以对该标注区域图像进行特性提取，得到相应的特征提取结果。

该特征提取所提取的特征包括但不限于：颜色特征、纹理特征、形状特征、局部特征等。相应地，该特征提取结果包括但不限于：颜色特征提取结果、纹理特征提取结果、形状特征提取结果、局部特征提取结果。该特征提取结果可以为深度特征图。

由于从图像的数据矩阵中，获取不到该图像的关键信息，因此可以采用特征提取方法从该标注区域图像中提取出图像关键信息，从而提高后续目标检测结果确定的准确率。

在一个可行的实施例中，在S105之前，该方法还可以包括：

S104.对标注区域图像进行分割，得到标注区域图像对应的多个分割区域图像。

具体地，如图4所示，S104可以包括：

S10401.将标注区域图像的左上角作为起点，以固定矩形框为窗口，从标注区域图像中得到第一分割区域图像；固定矩形框为正方形，其边长与标注区域图像的短边相等。

S10403.以固定长度为移动参数，沿着标注区域图像的长度方向移动第一分割区域图像，得到第二分割区域图像。

S10405.将第二分割区域图像重新作为第一分割区域图像。

S10407.重复以固定长度为移动参数，沿着标注区域图像的长度方向移动第一分割区域图像，得到第二分割区域图像的步骤，直至标注区域图像被分割完。

S10409.将标注区域图像被分割过程中得到的分割区域图像，作为多个分割区域图像。

在一个可行的实施例中，为了进一步提高后续目标检测结果的准确率，在对标注区域进行特征提取之前，还可以将该标注区域分割进行正方形分割，得到多个分割区域，使得相邻两个分割区域之间的重叠面积不超过50％。

图5所示为对标注区域图像进行分割的一种示意图。如图5所述，该标注区域图像为带倾斜角的矩形框，该标注区域图像的短边为Height，长边为Width，则可以使用一个边长为Height的正方形(即固定矩形框)，从该标注区域的左上角的点开始对该正方形进行滑窗操作，每次滑动时沿着标注区域的长边方向移动固定长度的距离。当该正方形移动到该标注区域的最右边时，表明该标注区域被分割完，即可结束滑窗操作。在滑动过程中记录内次滑动后的正方形的坐标，这样就可以得到多个分割区域图像。

需要说明的是，该固定长度可以根据实际情况而设置，其只要确保相邻两个分割区域之间的重叠面积不超50％即可。本发明实施例对该固定长度的大小不做限定，例如，该固定长度可以为0.6*Height。

本发明实施例中，一方面，由于相邻的两个分割区域之间相互重叠，在特征提取的过程中，利用分割区域图像的重叠方式，使得每个分割区域图中提取出的特征与其相邻的分割区域图像有更多的关联性，从而有助于从标注区域中提取出内在的稳定特征，即提取出鲁棒性较高的特征提取结果，进而提高后续目标检测结果确定的准确率和鲁棒性；另一方面，在对相邻两个分割区域图像进行特征提取的时候，可能会重复的部分进行提取，如果相邻两个分割区域图像之间重叠的面积过大，则会增加特征提取的计算量，进而增加系统负担，因此，设置相邻两个分割区域之间的重叠面积不超50％，可以使每个分割区域图像之间尽量间隔开，减少框与框之间的相互干扰，降低特征提取过程中对相邻两个分割区域图像的特征重复提取率，从而减少计算量，降低系统负担，提高特征提取以及后续目标检测结果确定的效率。

在一个可行的实施例中，在得到分割区域图像之后，S105还可以包括：

基于第一神经网络的特征提取层，对标注区域图像对应的多个分割区域图像分别进行特征提取，得到多个分割区域图像各自对应的特征提取结果。

基于第一神经网络的融合层，对多个分割区域图像各自对应的特征提取结果进行融合，得到待检测目标图像对应的特征提取结果。

该第一神经网络可以为卷积神经网络(Convolutional Neural Networks，CNN)，为了提高特征提取结果确定的准确率和效率，可以基于CNN对各个分割区域图像分别进行特征提取，接着再对各个分割区域各自对应的特征提取结果进行融合，得到最终的特征提取结果。

S107.基于固定长宽比的搜索框对特征提取结果进行局部特征检测，得到待检测目标图像对应的多个候选区域图像。

本发明实施例中，可以使用固定长宽比的搜索框对特征提取结果(比如深度特征图)进行局部特征检测，提取出待检测目标图像中的感兴趣目标的中心点，然后对该感兴趣的目标的中心点进行边界回归，得到较为准确的多个候选区域图像。

在一个可行的实施例中，该固定长宽比可以为1:1。

在一个可行的实施例中，如图6所示，该S107可以包括：

S10701.基于第二神经网络中的固定长宽比的搜索框，对特征提取结果进行局部特征检测，得到待检测目标图像对应的多个中心点。

S10703.对多个中心点分别进行边框回归，得到多个中心点各自对应的边框的左上角点和右下角点。

S10705.基于多个中心点各自对应的边框左上角点和边框右下角点，确定多个中心点各自对应的边框图像。

S10707.将多个中心点各自对应的边框图像，作为待检测目标图像对应的多个候选区域图像。

该第二神经网络可以为目标检测网络(You Only Look Once，YOLO)，该YOLO可包括YOLO1、YOLO2、YOLO3。

以下，以该第二神经网络为YOLO3，检测目标为长宽比变化较大但由重复形状堆叠而成的目标为例，对S10701-S10707进行说明：

在YOLO3中，可以使用固定长宽比为1:1的搜索框(anchor box)，该anchorbox可以由边框的纵横比和边框的面积(尺度)来定义，相当于一系列预设边框的生成规则，根据该anchor box，可以在图像的任意位置，生成后一系列的边框。

具体地，可以使用该YOLO3中的固定长宽比的anchor box对特征提取结果(比如深度特征图)进行局部特征检测，该局部特征检测是该深度特征图的局部表达，其能够稳定出现并且具有良好的可区分性，可以反映该深度特征图的局部特殊性。该局部特征包括但不限于斑点、角点等，其中，斑点通常是指与周围有着颜色和灰度差别的区域，而角点则是图像中物体的拐角或者线条之间的交叉部分。由于深度特征图是对该标注区域图像进行特征提取得到的，通过YOLO3对深度特征图进行局部特征检测，可以得到该待检测目标图像的中心点。

对于斑马线、物理隔离带等检测目标，由于其连续分布、长宽比变化较大且由重复形状堆叠而成，其局部纹理特征较为相似，则在进行局部特征检测的时候，可以确定出多个中心点。

在得到待检测目标图像的中心点之后，可以对每个中心点进行边框回归，得到每个中心点各自对应的边框左上角点和边框右下角点，接着根据每个中心点各自对应的边框左上角点和边框右下角点，确定每个中心点各自的边框，从而得到该待检测目标图像对应的多个候选区域图像。图7所示为基于第二神经网络对特征提取结果进行局部特征检测，得到的多个候选区域图像的一种示意图，如图7所示，该多个候选区域图像之间存在相互重叠部分。

本实施例中先对特征提取结果进行局部特征检测，从而预测出待检测目标的中心点位置，然后再预测该目标中心点对应的左上角点和右下角点，最后根据中心点位置、左上角点和右下角点就能够预测候选框，即用三个中心点来预测候选框，相对于直接通过左上角点和右下角点这两个关键点来预测候选框相比，不需要判断角点是否属于同一个框，且能够有效提高候选区域图像(即候选框)确定的准确率。此外，由于基于固定长宽比的搜索框对从待检测图像中获取到的特征提取结果进行局部特征检测，由于长宽比是固定的，有效限制了搜索框的长宽比，减少了候选区域图像的数量，从而减少了搜索计算量，进而加快了目标检测算法的运行速度，使其可以适用于计算力受限的设备。

需要说明的是，S107不仅得到待检测目标图像对应的多个候选区域图像，还可以得到多个候选区域图像各自对应的置信度；该置信度表征候选区域图像包含该待检测目标图像的概率。

S109.对多个候选区域图像进行合并，得到待检测目标图像的目标检测结果。

由于图7中的多个候选区域图像之间存在相互重叠部分，该相互重叠部分会影响目标检测结果确定的准确率。基于此，在对多个候选区域进行合并之前，还可以通过非极大值抑制算法过滤多个候选区域图像，即在S109之前，该方法还可以包括：S108.从多个候选区域图像中确定出目标候选区域图像。

具体地，如图8所示，该S108可以包括：

S10801.将多个候选区域图像按照相应的置信度进行降序排序，得到候选序列。

S10803.将候选序列中排序最前的候选区域图像，作为当前候选区域图像，并将当前候选区域图像从候选序列中迁移至候选集合中。

S10805.计算当前候选区域图像与其他候选区域图像的交并比，其他候选区域图像为候选序列中，除当前候选区域图像之外的候选区域图像。

S10807.过滤候选序列中与当前候选区域图像的交并比大于预设阈值的其他候选区域图像；重复步骤：将候选序列中排序最前的候选区域图像，作为当前候选区域图像，并将当前候选区域图像从候选序列中迁移至候选集合中。

S10809.在候选序列为空时，将候选集合中的候选区域图像作为目标候选区域图像。

在通过非极大值抑制算法过滤多个候选区域图像的过程中，如S10801所述，可以先对多个候选区域图像按照相应的置信度进行降序排序，得到候选序列。如S10803所述，将置信度最高的候选区域图像作为当前候选区域图像，并将该当前候选区域图像从该候选序列中去除，并迁移至候选集合中。如S10805所述，逐个计算当前候选区域图像与该候选序列中的其他候选区域图像的交并比(Intersection-over-Union，IOU)。如S10807所示，若其他候选区域图像与当前候选区域图像的IOU大于预设阈值(例如10％)，则将该其他候选区域图像过滤(即抛弃该其他区域图像)，并重复步骤S10803-S10807，直至该候选序列为空。如S10809所述，在该候选序列为空时，将候选集合中的所有候选区域图像作为目标候选区域图像。继续如图7所示，图7中的虚线框即为需要过滤的候选区域图像。图9所示为将图7中的虚线框过滤后得到的目标候选区域图像的一种示意图，如图9所示，通过非极大值抑制算法之后，可以有效去除多个候选区域图像中重叠的部分。

具体地，IOU为两边界框相交部分面积与相并部分面积之比，计算公式如下：

由于目标检测过程中得到的多个候选区域图像之间可能会产生很大的重叠，从而影响目标检测结果确定的准确率，而通过上述非极大值抑制算法可以有效去除多个候选区域图像中重叠的部分，从而寻找到最佳的目标边界，进而提高后续目标检测结果确定的准确率。

在一个可行的实施例中，该目标候选区域图像为多个，则S109可以包括：对多个目标候选区域图像进行合并，得到待检测目标图像的目标检测结果。

具体地，如图10所示，该S109可以包括：

S10901.计算多个目标候选区域图像各自对应的中心点。

S10903.将多个目标候选区域图像各自对应的中心点进行拟合，得到目标拟合曲线。

S10905.将多个目标候选区域图像各自对应的中心点平移至目标拟合曲线。

S10907.确定中心点平移后的多个目标候选区域图像的最小外接矩形。

S10909.将最小外接矩形作为待检测目标图像的目标检测结果。

本发明实施例中，在得到多个目标候选区域图像之后，可以对该多个目标候选区域图像的中心点通过最小二乘法进行直线拟合，得到拟合曲线，接着将多个目标候选区域图像各自对应的中心点平移至目标拟合曲线上，最后计算平移后的多个目标候选区域图像的最小外接矩形，该最小外接矩形即为该待检测目标图像的目标检测结果，该多个目标候选区域图像的最小外接矩形的一种示意图可以如图11所示。

由于最小二乘法能够通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以简便地获取未知的数据，并使得这些未知的数据与实际数据之间误差的平方和为最小，从而提高目标检测结果确定的准确率。

需要说明的是，本发明实施例中的目标检测方法除了适应于长宽比变化较大但由重复形状堆叠而成的目标(比如，斑马线、物理隔离带等)外，在一些场景中，还可以适用于长宽比变化较小或者并非由重复形状堆叠而成的目标。

在一个可行的实施例中，S103中的注区域图像、S105中的特征提取结果、S107中的候选区域图像、S109中的目标检测结果中的至少在一个可以存储于区块链系统中。参见图12，图12所示是本发明实施例提供的区块链系统的一个可选的结构示意图，多个节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在区块链系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。

参见图12示出的区块链系统中各节点的功能，涉及的功能包括：

1)路由，节点具有的基本功能，用于支持节点之间的通信。

节点除具有路由功能外，还可以具有以下功能：

2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。

3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。

参见图13，图13为本发明实施例提供的区块结构(Block Structure)一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块。

本发明实施例提供的一种目标检测方法，基于固定长宽比的搜索框对待检测目标图像对应的特征提取结果进行局部特征检测，得到多个候选区域图像，接着对多个候选区域图像进行合并，得到待检测目标图像的目标检测结果。即通过将局部数据组合得到全局数据，规避了长宽比无规律变化的问题，使其可以进一步适用于地图图像场景下某些长宽比变化较大但由重复形状堆叠而成的目标(比如斑马线、物理隔离带)，不仅提高了目标检测的准确率，还拓展目标检测算法的应用范围；此外，基于固定长宽比的搜索框对从待检测图像中获取到的特征提取结果进行局部特征检测，得到待检测目标图像对应的多个候选区域图像，由于长宽比是固定的，减少了候选区域图像的数量，从而减少了搜索计算量，进而加快了目标检测算法的运行速度，使其可以适用于计算力受限的设备，从而达到使用小模型取得近似大模型的效果。

如图14所示，本发明实施例还提供了一种目标检测装置，该装置可以至少包括：

确定模块201，可以用于获取待检测目标图像。

标注模块203，可以用于对待检测目标图像进行目标标注，得到标注区域图像。

提取模块205，可以用于对标注区域图像进行特征提取，得到待检测目标图像对应的特征提取结果。

检测模块207，可以用于基于固定长宽比的搜索框对特征提取结果进行局部特征检测，得到待检测目标图像对应的多个候选区域图像。

合并模块209，可以用于对多个候选区域图像进行合并，得到待检测目标图像的目标检测结果。

具体地，该装置还可以包括：分割模块，可以用于对标注区域图像进行分割，得到标注区域图像对应的多个分割区域图像。

进一步地，该分割模块可以包括：

第一分割区域图像确定单元，可以用于将标注区域图像的左上角作为起点，以固定矩形框为窗口，从标注区域图像中得到第一分割区域图像；固定矩形框为正方形，其边长与标注区域图像的短边相等。

移动单元，用于以固定长度为移动参数，沿着标注区域图像的长度方向移动第一分割区域图像，得到第二分割区域图像。

重新确定单元，可以用于将第二分割区域图像重新作为第一分割区域图像。

重复单元，可以用于重复以固定长度为移动参数，沿着标注区域图像的长度方向移动第一分割区域图像，得到第二分割区域图像的步骤，直至标注区域图像被分割完。

分割区域图像确定单元，可以用于将标注区域图像被分割过程中得到的分割区域图像，作为多个分割区域图像。

具体地，提取模块205还可以包括：

特征提取单元，可以用于基于第一神经网络的特征提取层，对标注区域图像对应的多个分割区域图像分别进行特征提取，得到多个分割区域图像各自对应的特征提取结果。

特征融合单元，可以用于基于第一神经网络的融合层，对多个分割区域图像各自对应的特征提取结果进行融合，得到待检测目标图像对应的特征提取结果。

具体地，该检测模块207可以包括：

中心点确定单元，可以用于基于第二神经网络中的固定长宽比的搜索框，对特征提取结果进行局部特征检测，得到待检测目标图像对应的多个中心点。

角点确定单元，可以用于对多个中心点分别进行边框回归，得到多个中心点各自对应的边框左上角点和边框右下角点。

边框图像确定单元，可以用于基于多个中心点各自对应的边框左上角点和边框右下角点，确定多个中心点各自对应的边框图像。

候选区域图像确定单元，可以用于将多个中心点各自对应的边框图像，作为待检测目标图像对应的多个候选区域图像。

本发明实施例中，该检测模块207还可以包括：置信度确定单元，可以用于基于固定长宽比的搜索框对特征提取结果进行局部特征检测，得到多个候选区域图像各自对应的置信度；置信度表征候选区域图像包含待检测目标图像的概率。

具体地，该装置还可以包括：对多个候选区域图像进行过滤的过滤模块，该过滤模块可以包括：

排序单元，可以用于将多个候选区域图像按照相应的置信度进行降序排序，得到候选序列；

当前候选区域图像确定单元，可以用于将候选序列中排序最前的候选区域图像，作为当前候选区域图像，并将当前候选区域图像从候选序列中迁移至候选集合中。

交并比计算单元，可以用于计算当前候选区域图像与其他候选区域图像的交并比，其他候选区域图像为候选序列中，除当前候选区域图像之外的候选区域图像。

过滤单元，可以用于过滤候选序列中与当前候选区域图像的交并比大于预设阈值的其他候选区域图像；重复步骤：将候选序列中排序最前的候选区域图像，作为当前候选区域图像，并将当前候选区域图像从候选序列中迁移至候选集合中。

目标候选区域图像确定单元，可以用于在候选序列为空时，将候选集合中的候选区域图像作为目标候选区域图像。

具体地，该目标候选区域图像为多个，则合并模块209可以进一步用于：对多个目标候选区域图像进行合并，得到待检测目标图像的目标检测结果。

具体地，合并模块209可以包括：

计算单元，可以用于计算多个目标候选区域图像各自对应的中心点。

拟合单元，可以用于将多个目标候选区域图像各自对应的中心点进行拟合，得到目标拟合曲线。

平移单元，可以用于将多个目标候选区域图像各自对应的中心点平移至目标拟合曲线。

最小外接矩形确定单元，可以用于确定中心点平移后的多个目标候选区域图像的最小外接矩形。

目标检测结果确定单元，可以用于将最小外接矩形作为待检测目标图像的目标检测结果。

需要说明的是，本发明实施例提供的装置实施例与上述方法实施例基于相同的发明构思。

本发明实施例还提供了一种目标检测的电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的标检测方法。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可设置于终端之中以保存用于实现方法实施例中一种目标检测方法相关的至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的标检测方法。

可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书实施例存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用程序以及目标检测。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法实施例提供的目标检测方法。

本发明实施例所提供的目标检测方法实施例可以在终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图15是本发明实施例提供的一种目标检测方法的服务器的硬件结构框图。如图15所示，该服务器300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)310(处理器310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器330，一个或一个以上存储应用程序323或数据322的存储介质320(例如一个或一个以上海量存储设备)。其中，存储器330和存储介质320可以是短暂存储或持久存储。存储在存储介质320的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器310可以设置为与存储介质320通信，在服务器300上执行存储介质320中的一系列指令操作。服务器300还可以包括一个或一个以上电源360，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口340，和/或，一个或一个以上操作系统321，例如Windows Server^TM，Mac OS X^TM，Unix^TM，Linux^TM，FreeBSD^TM等等。

输入输出接口340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器300的通信供应商提供的无线网络。在一个实例中，输入输出接口340包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口340可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图15所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器300还可包括比图15中所示更多或者更少的组件，或者具有与图15所示不同的配置。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：

获取待检测目标图像；

基于可变角度的标注框对所述待检测目标图像进行目标标注，得到带倾斜角度的标注区域图像；

对所述标注区域图像进行特征提取，得到所述待检测目标图像对应的特征提取结果；

基于固定长宽比的搜索框对所述特征提取结果进行局部特征检测，得到所述待检测目标图像对应的多个候选区域图像；

基于非极大值抑制算法对所述多个候选区域图像进行筛选，对筛选结果进行合并得到所述待检测目标图像的目标检测结果。

2.根据权利要求1所述的方法，其特征在于，在所述对所述标注区域图像进行特征提取，得到所述待检测目标图像对应的特征提取结果之前，所述方法还包括：

对所述标注区域图像进行分割，得到所述标注区域图像对应的多个分割区域图像；

相应地，所述对所述标注区域图像进行特征提取，得到所述待检测目标图像对应的特征提取结果，包括：

基于第一神经网络的特征提取层，对所述标注区域图像对应的多个分割区域图像分别进行特征提取，得到所述多个分割区域图像各自对应的特征提取结果；

基于所述第一神经网络的融合层，对所述多个分割区域图像各自对应的特征提取结果进行融合，得到所述待检测目标图像对应的特征提取结果。

3.根据权利要求2所述的方法，其特征在于，所述对所述标注区域图像进行分割，得到所述标注区域图像对应的多个分割区域图像，包括：

将所述标注区域图像的左上角作为起点，以固定矩形框为窗口，从所述标注区域图像中得到第一分割区域图像；所述固定矩形框为正方形，其边长与所述标注区域图像的短边相等；

以固定长度为移动参数，沿着所述标注区域图像的长度方向移动所述第一分割区域图像，得到第二分割区域图像；

将所述第二分割区域图像重新作为所述第一分割区域图像；

重复以固定长度为移动参数，沿着所述标注区域图像的长度方向移动所述第一分割区域图像，得到第二分割区域图像的步骤，直至所述标注区域图像被分割完；

将所述标注区域图像被分割过程中得到的分割区域图像，作为所述多个分割区域图像。

4.根据权利要求1所述的方法，其特征在于，所述基于固定长宽比的搜索框对所述特征提取结果进行局部特征检测，得到所述待检测目标图像对应的多个候选区域图像，包括：

基于第二神经网络中的固定长宽比的搜索框，对所述特征提取结果进行局部特征检测，得到所述待检测目标图像对应的多个中心点；

对所述多个中心点分别进行边框回归，得到所述多个中心点各自对应的边框左上角点和边框右下角点；

基于所述多个中心点各自对应的边框左上角点和边框右下角点，确定所述多个中心点各自对应的边框图像；

将所述多个中心点各自对应的边框图像，作为所述待检测目标图像对应的多个候选区域图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于固定长宽比的搜索框对所述特征提取结果进行局部特征检测，得到所述多个候选区域图像各自对应的置信度；所述置信度表征候选区域图像包含所述待检测目标图像的概率。

6.根据权利要求5所述的方法，其特征在于，所述基于非极大值抑制法对所述多个候选区域图像进行筛选，包括：

将所述多个候选区域图像按照相应的置信度进行降序排序，得到候选序列；

将所述候选序列中排序最前的候选区域图像，作为当前候选区域图像，并将所述当前候选区域图像从所述候选序列中迁移至候选集合中；

计算所述当前候选区域图像与其他候选区域图像的交并比，所述其他候选区域图像为所述候选序列中，除所述当前候选区域图像之外的候选区域图像；

过滤所述候选序列中与所述当前候选区域图像的交并比大于预设阈值的其他候选区域图像；重复步骤：将所述候选序列中排序最前的候选区域图像，作为当前候选区域图像，并将所述当前候选区域图像从所述候选序列中迁移至候选集合中；

在所述候选序列为空时，将所述候选集合中的候选区域图像作为目标候选区域图像；

相应地，所述目标候选区域图像为多个，则所述对筛选结果进行合并得到所述待检测目标图像的目标检测结果，包括：

对多个目标候选区域图像进行合并，得到所述待检测目标图像的目标检测结果。

7.根据权利要求6所述的方法，其特征在于，所述对多个目标候选区域图像进行合并，得到所述待检测目标图像的目标检测结果，包括：

计算所述多个目标候选区域图像各自对应的中心点；

将所述多个目标候选区域图像各自对应的中心点进行拟合，得到目标拟合曲线；

将所述多个目标候选区域图像各自对应的中心点平移至所述目标拟合曲线；

确定中心点平移后的所述多个目标候选区域图像的最小外接矩形；

将所述最小外接矩形作为所述待检测目标图像的目标检测结果。

8.一种目标检测装置，其特征在于，所述装置包括：

确定模块，用于获取待检测目标图像；

标注模块，用于基于可变角度的标注框对所述待检测目标图像进行目标标注，得到带倾斜角度的标注区域图像；

提取模块，用于对所述标注区域图像进行特征提取，得到所述待检测目标图像对应的特征提取结果；

检测模块，用于基于固定长宽比的搜索框对所述特征提取结果进行局部特征检测，得到所述待检测目标图像对应的多个候选区域图像；

合并模块，用于基于非极大值抑制算法对所述多个候选区域图像进行筛选，对筛选结果进行合并得到所述待检测目标图像的目标检测结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的目标检测方法。

10.一种目标检测的电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的目标检测方法。

Images