CN114612875A - 目标检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种目标检测方法、装置、存储介质及电子设备，用以有效的检测出模糊或者有遮挡的目标，提高目标检测精度。该目标检测方法包括：获取基于同一场景生成的至少两张目标的视图；获取每张所述视图的特征图；选取一张所述特征图作为基准图，并将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图；将所述基准图与所有所述投影特征图进行融合，获得总特征图；基于所述总特征图检测所述目标。

Description

目标检测方法、装置、存储介质及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种目标检测方法、装置、存储介质及电子设备。

背景技术

目标检测是较多场景中都会涉及到的技术，是从图像中检测出物体的类别和精确位置，例如在智能驾驶场景中，为了保证车辆的正常行驶，需要精确的检测出前方一定距离范围内的机动车辆、行人、非机动车辆等目标，以便智能地做出决策。

目前，流行的目标检测方法有FasterRCNN，SSD和YOLO等，但这些方法通常是基于单目图像进行目标检测，该检测方法无法有效的检测出模糊或者有遮挡的目标，检测精度不高。

发明内容

有鉴于此，本发明提供一种目标检测方法、装置、存储介质及电子设备，用以有效的检测出模糊或者有遮挡的目标，提高目标检测精度。

具体地，本发明是通过如下技术方案实现的：

根据本发明的第一方面，提供一种目标检测方法，所述方法包括：

获取基于同一场景生成的至少两张目标的视图；

获取每张所述视图的特征图；

选取一张所述特征图作为基准图，并将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图；

将所述基准图与所有所述投影特征图进行融合，获得总特征图；

基于所述总特征图检测所述目标。

在一可能的实现方式中，所述将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图，包括：

对于其他的特征图中的任意一张，根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，并将所述特征图中的像素点的特征值赋给所述虚拟空间中对应的网格顶点；所述虚拟空间的中心为世界坐标系的坐标原点；

根据所述基准图对应的拍摄装置的内外参数，将所述虚拟空间中网格顶点投影到所述基准图对应的像素坐标系下，并将所述虚拟空间中网格顶点的值赋给对应的投影点，得到所述特征图对应的投影特征图。

在一可能的实现方式中，所述根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，包括：

采用线性插值法在所述特征图中进行采样，得到采样点；

根据所述特征图对应的拍摄装置的内外参数，将所述采样点投影到所述虚拟空间，并将所述采样点的特征值赋给所述虚拟空间中对应的网格顶点。

在一可能的实现方式中，所述将所述基准图与所有所述投影特征图进行融合，获得总特征图，包括：

将所述基准图与所有所述投影特征图中对应像素的值相加，得到总特征图。

根据本发明的第二方面，提供一种目标检测装置，所述装置包括用于执行第一方面或第一方面的任意可能的实现方式中的目标检测方法的模块。

根据本发明的第三方面，提供一种一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面或第一方面的任意可能的实现方式中的目标检测方法的步骤。

根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面的任意可能的实现方式中的目标检测方法的步骤。

在一可能的实现方式中，所述电子设备为列车接近防护预警装置或拍摄装置。

本发明提供的技术方案至少带来以下有益效果：

本发明提供的技术方案先获取基于同一场景生成的至少两张目标的视图，再获取每张所述视图的特征图，然后选取一张所述特征图作为基准图，并将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图，之后将所述基准图与所有所述投影特征图进行融合，获得总特征图，并基于所述总特征图检测所述目标，也就是说，本发明通过将多目视角的特征图进行融合，从而对特征进行增强，因此，可以有效的检测出模糊或者有遮挡的目标，提高目标检测精度。

附图说明

图1为本发明实施例提供的一种目标检测方法的流程示意图；

图2为本发明实施例提供的另一种目标检测方法的流程示意图；

图3为本发明实施例提供的一种目标检测装置的结构示意图；

图4为本发明实施例提供的目标检测装置中图像处理模块的结构示意图；

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参见图1，本发明实施例提供了一种目标检测方法，该方法可以应用于具有图像处理功能的电子设备，例如无人驾驶的汽车、自动飞行的无人机、多摄像头的手机等设备，该方法可以包括如下步骤：

S101、获取基于同一场景生成的至少两张目标的视图；

其中，至少两张目标的视图是至少两个具有不同视角的拍摄装置(例如视觉传感器)在同一时刻拍摄的至少两张图片，例如，两个具有不同视角的拍摄装置(例如双目摄像头)在同一时刻拍摄的两张图片。

S102、获取每张所述视图的特征图；

在一些实施例中，步骤S102中获取每张所述视图的特征图，包括：

对于每一所述视图，将该视图输入已训练的卷积神经网络，得到所述卷积神经网络输出的该视图的特征图。

本发明实施例中，卷积神经网络例如可以为Darknet53网络。

例如，拍摄装置采集的视图大小为(960,512,3)，经过卷积神经网络，下采样4倍，得到大小为(240,128,256)的特征图。

S103、选取一张所述特征图作为基准图，并将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图；

在一些实施例中，步骤S103中将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图，包括：

对于其他的特征图中的任意一张，根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，并将所述特征图中的像素点的特征值赋给所述虚拟空间中对应的网格顶点；所述虚拟空间的中心为世界坐标系的坐标原点；

根据所述基准图对应的拍摄装置的内外参数，将所述虚拟空间中网格顶点投影到所述基准图对应的像素坐标系下，并将所述虚拟空间中网格顶点的值赋给对应的投影点，得到所述特征图对应的投影特征图。

本发明实施例中，虚拟空间G代表待检测区域，虚拟空间G包含目标出现的区域，根据目标的出现情况，例如可以定义虚拟空间G的长a＝10米，宽b＝10米，高c＝10米，虚拟空间G处于世界坐标系下，可以定义世界坐标系的坐标原点为虚拟空间G的中心。

在一些实施例中，可以定义虚拟空间G中每个网格之间间隔50mm，每个网格顶点的值可以初始化为0。

在一些实施例中，上述根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，包括：

采用线性插值法在所述特征图中进行采样，得到采样点；

根据所述特征图对应的拍摄装置的内外参数，将所述采样点投影到所述虚拟空间，并将所述采样点的特征值赋给所述虚拟空间中对应的网格顶点。

S104、将所述基准图与所有所述投影特征图进行融合，获得总特征图；

在一些实施例中，步骤S104中将所述基准图与所有所述投影特征图进行融合，获得总特征图，包括：

将所述基准图与所有所述投影特征图中对应像素的值相加，得到总特征图。

例如，可以是将基准图与所有投影特征图中对应像素的值直接相加，得到总特征图，也可以是将基准图与所有投影特征图中对应像素的值加权相加，得到总特征图，本发明实施例对此并不进行限定。

当然，也可以采用其他的方式将基准图与所有投影特征图进行融合，从而获得总特征图，本发明实施例对此并不进行限定。

S105、基于所述总特征图检测所述目标。

在一些实施例中，可以通过RPN(Region Proposal Networks，区域候选网络)在总特征图上检测目标。

下面已双目检测为例，说明本发明实施例提供的目标检测方法的流程，如图2所示。

S201、获取基于同一场景生成的两张目标的视图P1和P2；

其中，P1为第一摄像头采集的图像，P2为第二摄像头采集的图像。

S202、通过Darknet53网络分别获取P1的特征图F1，以及P2的特征图F2；

S203、选取F1作为基准图，根据F2对应的第二摄像头的内外参数，将F2中的像素点投影到世界坐标系下预定义的网格化虚拟空间G，并将F2中的像素点的特征值赋给虚拟空间G中对应的网格顶点(即F2中的像素点的投影点)，虚拟空间G的中心为世界坐标系的坐标原点；

S204、根据F1对应的第一摄像头的内外参数，将虚拟空间G中网格顶点投影到F1对应的像素坐标系下，并将虚拟空间G中网格顶点的值赋给对应的投影点，得到F2对应的投影特征图f21；

S205、将F1和f21中对应像素的值相加，得到总特征图F；

S206、通过RPN在总特征图F上检测目标。

基于同一发明构思，参见图3，本发明实施例提供的一种目标检测装置，包括：视图获取模块11、特征图获取模块12、图像处理模块13、图像融合模块14和目标检测模块15。

视图获取模块11，被配置为获取基于同一场景生成的至少两张目标的视图；

特征图获取模块12，被配置为获取每张所述视图的特征图；

图像处理模块13，被配置为选取一张所述特征图作为基准图，并将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图；

图像融合模块14，被配置为将所述基准图与所有所述投影特征图进行融合，获得总特征图；

目标检测模块15，被配置为基于所述总特征图检测所述目标。

在一些实施例中，如图4所示，图像处理模块13包括：

第一图像处理子模块131，被配置为对于其他的特征图中的任意一张，根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，并将所述特征图中的像素点的特征值赋给所述虚拟空间中对应的网格顶点；所述虚拟空间的中心为世界坐标系的坐标原点；

第二图像处理子模块132，被配置为根据所述基准图对应的拍摄装置的内外参数，将所述虚拟空间中网格顶点投影到所述基准图对应的像素坐标系下，并将所述虚拟空间中网格顶点的值赋给对应的投影点，得到所述特征图对应的投影特征图。

在一些实施例中，第一图像处理子模块131被配置为：

采用线性插值法在所述特征图中进行采样，得到采样点；

根据所述特征图对应的拍摄装置的内外参数，将所述采样点投影到所述虚拟空间，并将所述采样点的特征值赋给所述虚拟空间中对应的网格顶点。

在一些实施例中，特征图获取模块12被配置为：

对于每一所述视图，将该视图输入已训练的卷积神经网络，得到所述卷积神经网络输出的该视图的特征图。

在一些实施例中，图像融合模块14被配置为：

将所述基准图与所有所述投影特征图中对应像素的值相加，得到总特征图。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

基于同一发明构思，本发明实施例还提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意可能的实现方式中的目标检测方法的步骤。

可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

基于同一发明构思，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现上述任意可能的实现方式中的目标检测方法的步骤。

基于同一发明构思，参见图5，本发明实施例还提供了一种电子设备，包括存储器71(例如非易失性存储器)、处理器72及存储在存储器71上并可在处理器72上运行的计算机程序，处理器72执行所述程序时实现上述任意可能的实现方式中的目标检测方法的步骤，可相当于如前所述的目标检测装置，当然，该处理器还可以用来处理其他数据或运算。

该电子设备可以是拍摄装置，如相机、带相机的云台或无人机。所述无人机可包括至少双目视觉传感器。该电子设备可以是列车接近防护预警装置，该列车接近防护预警装置可以装配到列车上。此外，该电子设备还可以是例如无人驾驶的汽车、多摄像头的移动终端，如双摄像头的手机等设备。

如图5所示，该电子设备一般还可以包括：内存73、网络接口74、以及内部总线75。除了这些部件外，还可以包括其他硬件，对此不再赘述。

需要指出的是，上述目标检测装置可以通过软件实现，其作为一个逻辑意义上的装置，是通过其所在的电子设备的处理器72将非易失性存储器中存储的计算机程序指令读取到内存73中运行形成的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种目标检测方法，其特征在于，所述方法包括：

获取基于同一场景生成的至少两张目标的视图；

获取每张所述视图的特征图；

选取一张所述特征图作为基准图，并将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图；

将所述基准图与所有所述投影特征图进行融合，获得总特征图；

基于所述总特征图检测所述目标。

2.根据权利要求1所述的方法，其特征在于，所述将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图，包括：

对于其他的特征图中的任意一张，根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，并将所述特征图中的像素点的特征值赋给所述虚拟空间中对应的网格顶点；所述虚拟空间的中心为世界坐标系的坐标原点；

根据所述基准图对应的拍摄装置的内外参数，将所述虚拟空间中网格顶点投影到所述基准图对应的像素坐标系下，并将所述虚拟空间中网格顶点的值赋给对应的投影点，得到所述特征图对应的投影特征图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，包括：

采用线性插值法在所述特征图中进行采样，得到采样点；

根据所述特征图对应的拍摄装置的内外参数，将所述采样点投影到所述虚拟空间，并将所述采样点的特征值赋给所述虚拟空间中对应的网格顶点。

4.根据权利要求1所述的方法，其特征在于，所述将所述基准图与所有所述投影特征图进行融合，获得总特征图，包括：

将所述基准图与所有所述投影特征图中对应像素的值相加，得到总特征图。

5.一种目标检测装置，其特征在于，所述装置包括：

视图获取模块，被配置为获取基于同一场景生成的至少两张目标的视图；

特征图获取模块，被配置为获取每张所述视图的特征图；

图像处理模块，被配置为选取一张所述特征图作为基准图，并将其他的特征图通过网格化处理分别转换到所述基准图对应的像素坐标系下，得到各个投影特征图；

图像融合模块，被配置为将所述基准图与所有所述投影特征图进行融合，获得总特征图；

目标检测模块，被配置为基于所述总特征图检测所述目标。

6.根据权利要求5所述的装置，其特征在于，所述图像处理模块包括：

第一图像处理子模块，被配置为对于其他的特征图中的任意一张，根据所述特征图对应的拍摄装置的内外参数，将所述特征图中的像素点投影到世界坐标系下预定义的网格化虚拟空间，并将所述特征图中的像素点的特征值赋给所述虚拟空间中对应的网格顶点；所述虚拟空间的中心为世界坐标系的坐标原点；

第二图像处理子模块，被配置为根据所述基准图对应的拍摄装置的内外参数，将所述虚拟空间中网格顶点投影到所述基准图对应的像素坐标系下，并将所述虚拟空间中网格顶点的值赋给对应的投影点，得到所述特征图对应的投影特征图。

7.根据权利要求6所述的装置，其特征在于，所述第一图像处理子模块被配置为：

采用线性插值法在所述特征图中进行采样，得到采样点；

根据所述特征图对应的拍摄装置的内外参数，将所述采样点投影到所述虚拟空间，并将所述采样点的特征值赋给所述虚拟空间中对应的网格顶点。

8.根据权利要求5所述的装置，其特征在于，所述图像融合模块被配置为：

将所述基准图与所有所述投影特征图中对应像素的值相加，得到总特征图。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-4任一项所述方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-4任一项所述方法的步骤。

11.根据权利要求10所述的电子设备，其特征在于，所述电子设备为列车接近防护预警装置或拍摄装置。

Images