CN115690396A - 图像获取方法、目标检测方法、设备、车辆和介质 - Google Patents

Abstract

本发明提供了一种图像获取方法、目标检测方法、设备、车辆和介质，包括分别对待筛选图像和预设图像模板进行特征提取得到第一图像特征和第二图像特征；获取第一图像特征和第二图像特征的相似度矩阵；将相似度矩阵输入第一目标检测模型，得到待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度；根据每个置信度对待筛选图像进行筛选，得到选用图像。这样，在启动训练后，会针对待筛选图像与预设图像模板之间的关系分配更多的注意力，而不是只对待筛选图像的图像内容分配注意力，避免了对训练数据过拟合，降低神经网络拟合特征的压力，实现实时对待筛选图像进行筛选，同时，针对未训练过的场景仍可以得到比较准确的检测结果，具有一定泛化性。

Description

图像获取方法、目标检测方法、设备、车辆和介质

技术领域

本发明涉及自动驾驶技术领域，具体提供一种图像获取方法、目标检测方法、设备、车辆和介质。

背景技术

自动驾驶中的视觉感知任务常需要大量高质量的标注数据来进行模型的训练，因此如何从海量数据中快速准确地挖掘出感兴趣目标以启动训练是一个十分重要的问题。

由人工检索的方式来进行数据收集、标注，其成本昂贵且会耗费大量的时间，相关技术中，可以基于Faster R-CNN结构，先在待筛选图像中初步找到可能存在目标的地方，用矩形框标记，再提取这些矩形框内的特征，与预设图像模板的特征融合，最后基于融合后的特征判断出矩形框内的物体为待查找物体后，将待筛选图像作为训练样本，以启动训练。

然而，在识别待查找目标时利用了待筛选图像的特征，训练时会对待筛选图像的特征分配更多的训练注意力，造成对训练数据过拟合，神经网络拟合特征的压力较大，需要使用复杂的模型结构才能得到较准确的结果，过重的模型导致无法实时对待筛选图像进行筛选，且容易造成神经网络倾向于去记忆见过的特征，使得只有训练过的场景对应的检测结果比较准确，而未训练过的场景对应的检测结果误差较大。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决在识别待查找目标时利用了待筛选图像的特征数据，训练时会对待筛选图像的特征数据分配更多的训练注意力，造成对训练数据过拟合，最终导致神经网络倾向于去记忆见过的特征数据，使得只有训练过的场景对应的检测结果比较准确，而未训练过的场景对应的检测结果误差较大的技术问题的图像获取方法、目标检测方法、设备、车辆和介质。

在第一方面，本发明提供一种图像获取方法，包括：

分别对待筛选图像和预设图像模板进行特征提取得到第一图像特征和第二图像特征；其中，所述预设图像模板包含感兴趣目标；

获取所述第一图像特征和第二图像特征的相似度矩阵；

将所述相似度矩阵输入第一目标检测模型，得到所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度；

根据每个所述置信度对所述待筛选图像进行筛选，得到选用图像。

进一步地，上述所述的图像获取方法中，所述预设图像模板为K个，其中K大于或等于1；

对预设图像模板进行特征提取得到第二图像特征，包括：

对K个预设图像模板进行特征提取得到K个第二图像特征；

获取所述第一图像特征和第二图像特征的相似度矩阵，包括：

获取所述第一图像特征分别和K个第二图像特征的相似度矩阵；

将所述相似度矩阵输入目标检测模型，得到所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度，包括：

将K个相似度矩阵分别输入所述目标检测模型，得到所述待筛选图像中每个已识别目标相对于每个预设图像模板中所述感兴趣目标的置信度；

根据每个所述置信度对所述待筛选图像进行筛选得到选用图像，包括：

若存在大于预设置信度的置信度，确定所述待筛选图像至少击中一个预设图像模板，并将所述待筛选图像作为所述选用图像。

进一步地，上述所述的图像获取方法中，将所述待筛选图像作为所述选用图像，包括：

若击中预设图像模板的个数大于预设个数阈值，则将所述待筛选图像作为所述选用图像；或者

若击中预设图像模板的占比大于预设比例阈值，则将所述待筛选图像作为所述选用图像。

进一步地，上述所述的图像获取方法，还包括：

由所述第一目标检测模型在所述选用图像上标注检测出的置信度大于预设置信度的已识别目标的目标框。

进一步地，上述所述的图像获取方法中，还包括：

响应于创建请求指令并上传已标注的图像，生成预设图像模板存储在模板库中；其中，所述创建请求指令包括已标注的图像的内容和已标注的图像所包括的感兴趣目标的类别；

响应于选择请求指令，从所述模板库中选择筛选所对应的预设图像模板。

进一步地，上述所述的图像获取方法中，所述响应于选择请求指令，从所述模板库中选择筛选所对应的预设图像模板，包括：

若所述待筛选图像中包括多个待查找目标，从所述模板库中根据所述感兴趣目标的类别选择针对多个所述待查找目标的多个预设图像模板。

在第二方面，本发明提供一种目标检测方法，其特征在于，包括：

获取待检测图像；

将所述待检测图像输入第二目标检测模型中，识别出所述待检测图像中的目标对象；

其中，所述第二目标检测模型基于训练样本进行训练得到；

所述训练样本包含根据如上任一项所述图像获取方法得到的选用图像

在第三方面，提供一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的图像获取方法，或者，执行上述所述的目标检测方法。

在第四方面，提供一种车辆，包括上述所述的电子设备。

在第五方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述任一项所述的图像获取方法，或者，执行上述所述的目标检测方法。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明的技术方案中，在分别对待筛选图像和预设图像模板进行特征提取得到第一图像特征和第二图像特征后，获取所述第一图像特征和第二图像特征的相似度矩阵；并将所述相似度矩阵输入第一目标检测模型，得到所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度，以便根据每个所述置信度对所述待筛选图像进行筛选，得到选用图像。这样，选用图像对应的图像特征包含了待筛选图像与预设图像模板之间的关系，在启动训练后，会针对待筛选图像与预设图像模板之间的关系分配更多的注意力，而不是只对待筛选图像的图像内容分配注意力，从而可以避免对训练数据过拟合，降低神经网络拟合特征的压力，可以使用简洁的网络结构实现实时对待筛选图像进行筛选，同时，针对未训练过的场景仍可以得到比较准确的检测结果，具有一定泛化性。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是根据本发明的一个实施例的图像获取方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的目标检测方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的电子设备的主要结构框图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

相关技术中，在识别待查找目标时利用了待筛选图像的特征，训练时会对待筛选图像的特征分配更多的训练注意力，造成对训练数据过拟合，神经网络拟合特征的压力较大，需要使用复杂的模型结构才能得到较准确的结果，过重的模型导致无法实时对待筛选图像进行筛选，且容易造成神经网络倾向于去记忆见过的特征，使得只有训练过的场景对应的检测结果比较准确，而未训练过的场景对应的检测结果误差较大。

因此，为了解决上述技术问题，本发明提供了以下技术方案。

参阅附图1，图1是根据本发明的一个实施例的图像获取方法的主要步骤流程示意图。如图1所示，本发明实施例中的图像获取方法主要包括下列步骤101-步骤104。

步骤101、分别对待筛选图像和预设图像模板进行特征提取得到第一图像特征和第二图像特征；

在一个具体实现过程中，所述预设图像模板包含感兴趣目标，所述感兴趣目标为针对某一图像中已经进行标注的已知对象，如车辆、行人、车道线、交通灯等。

在一个具体实现过程中，预设图像模板可以根据实际需求设置，以实现利用任意数目的预设图像模板，同时筛选包含不同类别的待查找目标的待筛选图像。具体地，可以响应于创建请求指令并上传已标注的图像，生成预设图像模板存储在模板库中，并响应于用户输入的选择请求指令，从所述模板库中选择筛选所对应的预设图像模板，从而实现利用任意个数的预设图像模板对待筛选图像进行筛选。其中，所述创建请求指令可以包括已标注的图像的内容和已标注的图像所包括的感兴趣目标的类别，这样，可以实现根据实际需求对预设图像模板进行编辑。

在一个具体实现过程中，在执行从所述模板库中选择筛选所对应的预设图像模板的操作时，若所述待筛选图像中包括多个待查找目标，从所述模板库中根据所述感兴趣目标的类别选择针对多个所述待查找目标的多个预设图像模板。也就是说，待筛选图像中包括多个待查找目标时，可以从模板库中选择与多个待查找目标的类型相同的感兴趣目标对应的预设图像模板，而不是选择模板库中所有的预设图像模板，提高了后续对所述待筛选图像进行筛选的效率。

在一个具体实现过程中，所述预设图像模板可以为K个，其中K大于或等于1，这样，则可以对K个预设图像模板进行特征提取得到K个第二图像特征。

在一个具体实现过程中，第一图像特征和第二图像特征均可以包含颜色、边缘、纹理等视觉信息，也均可以包含目标类别等语义信息。

步骤102、获取所述第一图像特征和第二图像特征的相似度矩阵；

在一个具体实现过程中，可以利用欧式距离等相关计算方法，计算出所述第一图像特征和第二图像特征的相似度矩阵，详细计算过程可以参考现有相关技术的内容，在此不再赘述。其中，若预设图像模板为K个，则可以得到K个相似度矩阵。

步骤103、将所述相似度矩阵输入第一目标检测模型，得到所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度；

在一个具体实现过程中，将所述相似度矩阵输入第一目标检测模型后，第一目标检测模型可以利用其分类分支进行预测打分，得到的分数值可以作为所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度。第一目标检测模型可以包括但不限制于yolov3、yolov5等目标检测模型。

步骤104、根据每个所述置信度对所述待筛选图像进行筛选，得到选用图像。

在一个具体实现过程中，若只有一个预设图像模板，可以在比较每个已识别目标相对于所述感兴趣目标的置信度与预设置信度的大小后，直接根据比较结果确定是否将所述待筛选图像作为选用图像，以便利用该选用图像进行后续第二目标检测模型的训练。例如，预设置信度可以为0.6，若至少一个已识别目标的置信度为0.8，则可确定将所述待筛选图像作为选用图像，若所有已识别目标的置信度为0.4，则可确定不将所述待筛选图像作为选用图像。

若所述预设图像模板为K个，其中K大于1，可以对K个预设图像模板进行特征提取得到K个第二图像特征，然后获取所述第一图像特征分别和K个第二图像特征的相似度矩阵，并将K个相似度矩阵分别输入所述目标检测模型，得到所述待筛选图像中每个已识别目标相对于每个预设图像模板中所述感兴趣目标的置信度。

在一个具体实现过程中，若存在大于预设置信度的置信度，则可以确定所述待筛选图像至少击中一个预设图像模板，这样可以将所述待筛选图像作为所述选用图像。例如，可以包括2个已识别对象，其中1个已识别对象相对于第一个预设图像模板的感兴趣目标的置信度大于预设置信度，则说明待筛选图像击中了第一个预设图像模板，此时，可以确定所述待筛选图像至少击中一个预设图像模板，并将所述待筛选图像作为所述选用图像。

但是，如果击中的预设图像模板的数目较少，召回待筛选图像的可信度相对较低，因此，在确定待筛选图像至少击中一个预设图像模板后，可以进一步检测击中的预设图像模板的个数是否大于预设个数阈值，若击中的预设图像模板的个数大于预设个数阈值，则将所述待筛选图像作为所述选用图像。或者，可以进一步检测击中的预设图像模板的占比是否大于预设比例阈值，若击中的预设图像模板的占比大于预设比例阈值，则将所述待筛选图像作为所述选用图像。从而可以过滤掉击中较少预设图像模板的待筛选图像，减少误检率，提高召回待筛选图像的可信度。

例如，预设个数比例阈值可以为6个，若击中的预设图像模板的个数为8个，则可以将所述待筛选图像作为所述选用图像，若击中预设图像模板的个数为5个，则可以不将所述待筛选图像作为所述选用图像。预设比例阈值为60％，若击中的预设图像模板的占比为80％，则可以将所述待筛选图像作为所述选用图像，若击中的预设图像模板的占比为50％，则可以不将所述待筛选图像作为所述选用图像。

本实施例的图像获取方法，在分别对待筛选图像和预设图像模板进行特征提取得到第一图像特征和第二图像特征后，获取所述第一图像特征和第二图像特征的相似度矩阵；并将所述相似度矩阵输入第一目标检测模型，得到所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度，以便根据每个所述置信度对所述待筛选图像进行筛选，得到选用图像。这样，选用图像对应的图像特征包含了待筛选图像与预设图像模板之间的关系，在启动训练后，会针对待筛选图像与预设图像模板之间的关系分配更多的注意力，而不是只对待筛选图像的图像内容分配注意力，从而可以避免对训练数据过拟合，降低神经网络拟合特征的压力，可以使用简洁的网络结构实现实时对待筛选图像进行筛选，同时，针对未训练过的场景仍可以得到比较准确的检测结果，具有一定的泛化性。

在一个具体实现过程中，将所述相似度矩阵输入第一目标检测模型后，第一目标检测模型还可以利用其回归分支，对待筛选图像进行标注，并对标注进行去冗余后处理得到最终的标注结果，这样，在将所述待筛选图像作为选用图像后，相当于第一目标检测模型在所述选用图像上标注检测出的置信度大于预设置信度的已识别目标的目标框，这样，实现了对选用图像的自动标注。

需要说明的是，选用图像上的目标框可以经过人工微调或直接作为标注供后续感知任务训练模型的训练样本进行使用。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

进一步，本发明还提供了一种目标检测模型的方法。

该目标检测模型的方法可以基于预先获取的训练样本，对预先构建的神经网络模型进行训练，得到该目标检测模型。

其中，该训练样本可以包含基于上述实施例的图像获取方法获得的选用图像。具体地，可以将基于上述实施例的图像获取方法获得的选用图像直接作为训练样本，也可以将基于上述实施例的图像获取方法获得的选用图像对训练样本进行数据补充。本实施例不做具体限制。

进一步，本发明还提供了一种目标检测方法。

参阅附图2，图2是根据本发明的一个实施例的目标检测方法的主要步骤流程示意图。如图2所示，本发明实施例中的目标检测方法主要包括下列步骤201-步骤202。

步骤201、获取待检测图像；

步骤202、将所述待检测图像输入第二目标检测模型中，识别出所述待检测图像中的目标对象；

在一个具体实现过程中，可以基于上述实施例的图像获取方法得到选用图像，利用包含该选用图像的训练样本进行模型训练得到第二目标检测模型。这样，在得到待检测图像后，将待检测图像输入第二目标检测模型中，即可识别出所述待检测图像中的目标对象。其中，第二目标检测模型可以包括但不限制于yolov3、yolov5等目标检测模型。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。

需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种电子设备。

图3是根据本发明的一个实施例的电子设备的主要结构框图。如图3所示，该电子设备可以包括处理器30和存储装置31，所述存储装置31适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器30加载并运行以执行上述实施例的图像获取方法，或者，执行上述实施例的目标检测方法。

为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该电子设备可以是包括各种电子器件形成的控制设备。

进一步，本发明还提供了一种车辆，该车辆可以包括上述实施例的电子设备。该车辆可以为无人驾驶车辆。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例图像获取方法，或者，执行上述实施例的目标检测方法的程序，该程序可以由处理器加载并运行以实现上述图像获取方法，或者，执行上述实施例的目标检测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子器件形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种图像获取方法，其特征在于，包括：

分别对待筛选图像和预设图像模板进行特征提取得到第一图像特征和第二图像特征；其中，所述预设图像模板包含感兴趣目标；

获取所述第一图像特征和第二图像特征的相似度矩阵；

将所述相似度矩阵输入第一目标检测模型，得到所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度；

根据每个所述置信度对所述待筛选图像进行筛选，得到选用图像。

2.根据权利要求1所述的图像获取方法，其特征在于，所述预设图像模板为K个，其中K大于或等于1；

对预设图像模板进行特征提取得到第二图像特征，包括：

对K个预设图像模板进行特征提取得到K个第二图像特征；

获取所述第一图像特征和第二图像特征的相似度矩阵，包括：

获取所述第一图像特征分别和K个第二图像特征的相似度矩阵；

将所述相似度矩阵输入目标检测模型，得到所述待筛选图像中每个已识别目标相对于所述感兴趣目标的置信度，包括：

将K个相似度矩阵分别输入所述目标检测模型，得到所述待筛选图像中每个已识别目标相对于每个预设图像模板中所述感兴趣目标的置信度；

根据每个所述置信度对所述待筛选图像进行筛选得到选用图像，包括：

若存在大于预设置信度的置信度，确定所述待筛选图像至少击中一个预设图像模板，并将所述待筛选图像作为所述选用图像。

3.根据权利要求2所述的图像获取方法，其特征在于，将所述待筛选图像作为所述选用图像，包括：

若击中预设图像模板的个数大于预设个数阈值，则将所述待筛选图像作为所述选用图像；或者

若击中预设图像模板的占比大于预设比例阈值，则将所述待筛选图像作为所述选用图像。

4.根据权利要求1-3中任一项所述的图像获取方法，其特征在于，还包括：

由所述第一目标检测模型在所述选用图像上标注检测出的置信度大于预设置信度的已识别目标的目标框。

5.根据权利要求1所述的图像获取方法，其特征在于，还包括：

响应于创建请求指令并上传已标注的图像，生成预设图像模板存储在模板库中；其中，所述创建请求指令包括已标注的图像的内容和已标注的图像所包括的感兴趣目标的类别；

响应于选择请求指令，从所述模板库中选择筛选所对应的预设图像模板。

6.根据权利要求5所述的图像获取方法，其特征在于，所述响应于选择请求指令，从所述模板库中选择筛选所对应的预设图像模板，包括：

若所述待筛选图像中包括多个待查找目标，从所述模板库中根据所述感兴趣目标的类别选择针对多个所述待查找目标的多个预设图像模板。

7.一种目标检测方法，其特征在于，包括：

获取待检测图像；

将所述待检测图像输入第二目标检测模型中，识别出所述待检测图像中的目标对象；

其中，所述第二目标检测模型基于训练样本进行训练得到；

所述训练样本包含根据权利要求1-6任一项所述图像获取方法得到的选用图像。

8.一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的图像获取方法，或者，执行权利要求7所述的目标检测方法。

9.一种车辆，其特征在于，包括如权利要求8所述的电子设备。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中中任一项所述的图像获取方法，或者，执行权利要求7所述的目标检测方法。

Images