CN112749602A - 目标查询方法、装置、设备及存储介质 - Google Patents

目标查询方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112749602A
CN112749602A CN201911063316.4A CN201911063316A CN112749602A CN 112749602 A CN112749602 A CN 112749602A CN 201911063316 A CN201911063316 A CN 201911063316A CN 112749602 A CN112749602 A CN 112749602A
Authority
CN
China
Prior art keywords
image
different scales
feature
target
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911063316.4A
Other languages
English (en)
Inventor
吕书畅
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911063316.4A priority Critical patent/CN112749602A/zh
Priority to KR1020217020811A priority patent/KR20210098515A/ko
Priority to JP2021539414A priority patent/JP2022535473A/ja
Priority to PCT/CN2020/123918 priority patent/WO2021083126A1/zh
Publication of CN112749602A publication Critical patent/CN112749602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标查询方法、装置、设备及存储介质，该方法包括：获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息；分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标。本申请能够将第一图像和第二图像表达为多个不同尺度的特征，提高第一图像和第二图像的特征表达能力，进而提高目标查询的精准度。

Description

目标查询方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种目标查询方法、装置、设备及存储介质。
背景技术
目标查询可以通过图像语义分割的方式查询图像中包含的目标。图像语义分割包括单样本图像语义分割。单样本图像语义分割旨在对于某一类别的物体仅仅使用单一样本训练，就能使得分割模型具备识别该物体所有像素的能力。传统图像语义分割要求对所有类别的物体都有大量的训练图像来保证模型性能，因此带来了极高的标注成本。单样本语义分割问题的提出和解决方案对于降低标注成本有重大的意义。
其中，单样本图像语义分割的深度学习模型是对查询集图像和支持集图像分别进行特征提取，其中，查询集图像为需要进行目标查询的图像，支持集图像中包含待查询的目标。支持集图像中待查询的目标预先经过标注得到标签信息。结合标签信息，通过支持集图像的特征和查询集图像的特征之间的相似性，确定查询集图像中的目标。
发明内容
本申请实施例提供一种目标查询方法、装置、设备及存储介质，以解决目前目标查询的精度低的问题。
第一方面，本申请实施例提供一种目标查询方法，包括：
获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息；
分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；
根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标。
在一种可能的实施方式中，根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标，包括：
根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图；一个尺度的相似度图表征该尺度的第一特征图和第二特征图的相似性；
将多个不同尺度的相似度图整合，得到整合后的相似度图；
根据整合后的相似度图，确定所述第一图像中的待查询目标。
在一种可能的实施方式中，根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图，包括：
根据多个不同尺度的第二特征图和所述第二图像的标签信息，确定多个不同尺度的第二特征向量；
将所述多个不同尺度的第二特征向量与相应尺度的所述第一特征图逐元素相乘，得到多个不同尺度的相似度图。
在一种可能的实施方式中，将多个不同尺度的相似度图整合，得到整合后的相似度图，包括：
对多个不同尺度的相似度图进行上采样，得到多个尺度相同的相似度图；
对多个尺度相同的相似度图相加，得到整合后的相似度图。
在一种可能的实施方式中，将多个不同尺度的相似度图整合，得到整合后的相似度图，包括：
所述多个不同尺度的相似度图构成相似度图集合；
对所述相似度图集合中尺度最小的相似度图进行上采样，得到与尺度第二小的相似度图相同尺度的相似度图；
将得到的相似度图与尺度第二小的相似度图相加，得到新的相似度图；
将所述相似度图集合中未经过上采样处理或者相加处理的相似度图与新的相似度图构成新的相似度图集合，重复执行上采样的步骤和相加的步骤，直至得到最后一个相似度图，所得到的最后一个相似度图为整合后的相似度图。
在一种可能的实施方式中，根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图之后，将多个不同尺度的相似度图整合，得到整合后的相似度图之前，所述方法还包括：
将多个不同尺度的相似度图和相应尺度的第三特征图逐元素相乘，得到处理后的多个不同尺度的相似度图；其中，所述第三特征图根据所述第一图像确定，且同一尺度的第一特征图和第三特征图不同；
将多个不同尺度的相似度图整合，得到整合后的相似度图，包括：
将处理后的多个不同尺度的相似度图整合，得到整合后的相似度图。
在一种可能的实施方式中，分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图，包括：
分别对第一图像和第二图像进行特征提取，得到第一特征图和第二特征图；
分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。
在一种可能的实施方式中，所述分别对所述第一特征图和所述第二特征图进行多次尺度变换，包括：
对所述第一特征图和所述第二特征图分别进行至少两次降采样。
在一种可能的实施方式中，所述目标查询方法由神经网络执行，所述神经网络采用以下步骤训练得到：
分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象；
根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果；
根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。
在一种可能的实施方式中，在所述神经网络训练完成后，所述方法还包括对训练完成的神经网络进行测试；
采用以下步骤对训练完成的神经网络进行测试：
分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；
其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象；
根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。
第二方面，本申请实施例提供一种智能行驶方法，包括：
采集道路图像；
采用如上第一方面以及第一方面各种可能的实施方式所述的方法，根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；
根据查询结果对采集道路图像的智能行驶设备进行控制。
第三方面，本申请实施例提供一种目标查询装置，包括：
获取模块，用于获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息；
提取模块，用于分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；
处理模块，用于根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标。
在一种可能的实施方式中，所述处理模块，具体用于：
根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图；一个尺度的相似度图表征该尺度的第一特征图和第二特征图的相似性；
将多个不同尺度的相似度图整合，得到整合后的相似度图；
根据整合后的相似度图，确定所述第一图像中的待查询目标。
在一种可能的实施方式中，在根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图方面，所述处理模块，具体用于：
根据多个不同尺度的第二特征图和所述第二图像的标签信息，确定多个不同尺度的第二特征向量；
将所述多个不同尺度的第二特征向量与相应尺度的所述第一特征图逐元素相乘，得到多个不同尺度的相似度图。
在一种可能的实施方式中，在将多个不同尺度的相似度图整合，得到整合后的相似度图方面，所述处理模块，具体用于：
对多个不同尺度的相似度图进行上采样，得到多个尺度相同的相似度图；
对多个尺度相同的相似度图相加，得到整合后的相似度图。
在一种可能的实施方式中，在将多个不同尺度的相似度图整合，得到整合后的相似度图方面，所述处理模块，具体用于：
所述多个不同尺度的相似度图构成相似度图集合；
对所述相似度图集合中尺度最小的相似度图进行上采样，得到与尺度第二小的相似度图相同尺度的相似度图；
将得到的相似度图与尺度第二小的相似度图相加，得到新的相似度图；
将所述相似度图集合中未经过上采样处理或者相加处理的相似度图与新的相似度图构成新的相似度图集合，重复执行上采样的步骤和相加的步骤，直至得到最后一个相似度图，所得到的最后一个相似度图为整合后的相似度图。
在一种可能的实施方式中，所述提取模块还用于：
在根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图之后，将多个不同尺度的相似度图整合，得到整合后的相似度图之前，将多个不同尺度的相似度图和相应尺度的第三特征图逐元素相乘，得到处理后的多个不同尺度的相似度图；其中，所述第三特征图根据所述第一图像确定，且同一尺度的第一特征图和第三特征图不同；
在将多个不同尺度的相似度图整合，得到整合后的相似度图方面，所述处理模块，具体用于：
将处理后的多个不同尺度的相似度图整合，得到整合后的相似度图。
在一种可能的实施方式中，所述提取模块，具体用于：
分别对第一图像和第二图像进行特征提取，得到第一特征图和第二特征图；
分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。
在一种可能的实施方式中，在所述分别对所述第一特征图和所述第二特征图进行多次尺度变换方面，所述提取模块，具体用于：
对所述第一特征图和所述第二特征图分别进行至少两次降采样。
在一种可能的实施方式中，所述目标查询装置由神经网络实现，所述目标查询装置还包括训练模块，所述训练模块用于：
分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象；
根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果；
根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。
在一种可能的实施方式中，所述目标查询装置还包括测试模块，所述测试模块用于：
分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；
其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象；
根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。
第四方面，本申请实施例提供一种智能行驶装置，包括：
采集模块，用于采集道路图像；
查询模块，用于通过如上第一方面以及第一方面各种可能的实施方式所述的方法，根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；
控制模块，用于根据查询结果对采集道路图像的智能行驶设备进行控制。
第五方面，本申请实施例提供一种目标查询设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的实施方式所述的目标查询方法。
第六方面，本申请实施例提供一种智能行驶设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第二方面所述的智能行驶方法。
第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的实施方式所述的目标查询方法。
第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第二方面所述的智能行驶方法。
本实施例提供的目标查询方法、装置、设备及存储介质，通过获取第一图像、第二图像及第二图像的标签信息，其中，第二图像为包含待查询目标的图像，标签信息为预先在第二图像中标注的待查询目标的信息；分别对第一图像和第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据多个不同尺度的第二特征图和第二图像的标签信息，以及相应尺度的第一特征图，确定第一图像中的待查询目标，由于对第一图像和第二图像进行多个不同尺度的特征提取，因此可以将第一图像和第二图像表达为多个不同尺度的特征，提高第一图像和第二图像的特征表达能力，从而能够获取到更多的判断第一图像和第二图像之间的相似性的信息，进而提高目标查询的精准度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的目标查询方法的流程示意图；
图2为本申请实施例提供的对称级联结构的示意图；
图3为本申请又一实施例提供的目标查询方法的流程示意图；
图4为本申请另一实施例提供的目标查询方法的流程示意图；
图5为本申请再一实施例提供的目标查询方法的流程示意图；
图6为本申请还一实施例提供的目标查询方法的流程示意图；
图7为本申请实施例提供的目标查询过程的示意图；
图8为本申请实施例提供的生成模块和聚合模块的示意图；
图9为本申请实施例提供的目标查询方法中相似性特征提取方式与相关技术中提取方式的对比示意图；
图10为本申请下一实施例提供的智能行驶方法的流程示意图；
图11为本申请一实施例提供的目标查询装置的结构示意图；
图12为本申请又一实施例提供的目标查询装置的结构示意图；
图13为本申请一实施例提供的目标查询设备的硬件结构示意图；
图14为本申请又一实施例提供的目标查询设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，单样本图像语义分割的深度学习模型是对查询集图像和支持集图像分别进行特征提取，其中，查询集图像为需要进行目标查询的图像，支持集图像中包含待查询的目标。支持集图像中待查询的目标预先经过标注得到标签信息。结合标签信息，通过支持集图像的特征和查询集图像的特征之间的相似性，确定查询集图像中的目标。
然而现有技术中，深度学习模型将支持集图像表达为单一的特征向量，对于支持集图像的特征表达能力有限，进而导致模型描述支持集图像特征与查询图像像素特征之间的相似性能力不足，导致目标查询的精度低。
本申请实施例中，第一图像可以是上述的查询集图像，第二图像可以是上述的支持集图像，通过对第一图像和第二图像进行多个不同尺度的特征提取，将第一图像和第二图像表达为多个不同尺度的特征，提高第一图像和第二图像的特征表达能力，从而能够获取到更多的判断第一图像和第二图像之间的相似性的信息，进而提高目标查询的精准度。
图1为本申请一实施例提供的目标查询方法的流程示意图。如图1所示，该方法包括：
S101、获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息。
本实施例中，第一图像为需要进行目标查询的图像，通过目标查询可以检测出第一图像中包含的待查询目标所在的像素区域。其中，待查询目标可以根据实际进行确定，例如，可以为动物、植物、人物、车辆等等，在此不作限定。标签信息可以是第二图像中待查询目标的轮廓信息、像素信息等，在此不作限定。可选地，标签信息可以为二值化标签，在二值化标签中目标所在的像素点区域与图像中其他区域的像素值不同。
S102、分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图。
本实施例中，可以通过特征提取算法对第一图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图；对第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第二特征图。其中，特征提取算法可以为CNN(Convolutional Neural Networks，卷积神经网络)算法、LBP(Local Binary Pattern，局部二值模式)算法、SIFT(Scale-invariant feature transform，尺度不变特征变换)算法、HOG(Histogram of OrientedGradient，方向梯度直方图)算法等，在此不作限定。
例如，可以预先指定多个不同尺度，针对每个尺度，分别对第一图像和第二图像进行该尺度的特征提取，得到该尺度的第一特征图和第二特征图。
可选地，S102可以包括：
分别对第一图像和第二图像进行特征提取，得到第一特征图和第二特征图；
分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。
本实施例中，可以通过神经网络对第一图像和第二图像进行特征提取，其中，对第一图像进行特征提取的神经网络和对第二图像进行特征提取的神经网络的网络结构和参数是相同的。然后通过对特征提取到的第一特征图和第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。其中，对所述第一特征图和所述第二特征图进行多次尺度变换，可以是对第一特征图和第二特征图分别进行至少两次降采样。通过至少两次将采样可以得到至少三个尺度的第一特征图和第二特征图。
例如，采用第一采样率对第一特征图进行降采样，得到比第一图像降采样第一倍数的第一特征图；紧接着采用第二采样率继续对比第一图像降采样第一倍数的第一特征图进行降采样，得到比第一图像降采样第二倍数的第一特征图，其中，第二倍数大于第一倍数。同样地，对于第二特征图，也是采用第一采样率对第二特征图进行降采样，得到比第二图像降采样第一倍数的第二特征图；紧接着采用第二采样率继续对比第二图像降采样第二倍数的第二特征图进行降采样，得到比第二图像降采样第二倍数的第二特征图。分别采用第三采样率对比第一图像降采样第二倍数的第一特征图和比第二图像降采样第二倍数的第二特征图进行降采样，得到比第一图像降采样第三倍数的第一特征图和比第二图像降采样第三倍数的第二特征图，第三倍数大于第二倍数。可选的，第一倍数、第二倍数和第三倍数分别为8倍、16倍和32倍。
在一个可选的示例中，可以通过对称级联结构进行降采样处理。如图2所示，对称级联结构包括相互对称设置的两个级联结构，其中，每个级联结构分别包括依次连接的三个采样单元。为了方便理解，以下将两个级联结构分别称之为第一级联结构21和第二级联结构22，第一级联结构包括的三个采样单元分别称之为第一采样单元、第二采样单元和第三采样单元；第二级联结构包括的三个采样单元分别称之为第四采样单元、第五采样单元和第六采样单元。其中，第一采样单元和第四采样单元的采样率相同，第二采样单元和第五采样单元的采样率相同，第三采样单元和第六采样单元的采样率相同。例如，第一采样单元和第四采样单元分别采用第一采样率对第一特征图和第二特征图进行采样，从而输出相比第一图像和第二图像来说，降采样8倍的第一特征图和第二特征图；第二采样单元和第五采样单元分别采用第二采样率对第一采样单元和第四采样单元输出的结果继续进行采样，从而输出相比第一图像和第二图像来说，降采样16倍的第一特征图和第二特征图；第三采样单元和第六采样单元分别采用第三采样率对第二采样单元和第五采样单元输出的结果继续进行采样，从而输出相比第一图像和第二图像来说，降采样32倍的第一特征图和第二特征图。
本实施例可以采用如图2所示的对称级联结构分别对第一特征图和第二特征图进行多次尺度转换。例如，采用第一级联结构21对第一特征图进行不同尺度的转换时，将第一特征图分别且依次输入第一采样单元、第二采样单元和第三采样单元中，以分别通过第一采样单元、第二采样单元和第三采样单元进行不同采样率的降采样，从而输出相比第一图像的尺寸来说，降采样8倍、16倍和32倍的第一特征图。同样地，采用第二级联结构22对第二特征图进行不同尺度的转换时，将第二特征图分别且依次输入第四采样单元、第五采样单元和第六采样单元中，以分别通过第四采样单元、第五采样单元和第六采样单元进行不同采样率的降采样，从而输出相比第二图像的尺寸来说，降采样8倍、16倍和32倍的第二特征图。
应当理解的是，上述第一级联结构21和第二级联结构22还可以是两级级联结构，例如，第一级联结构21和第二级联结构22各自包括依次连接的两个采样单元。
S103、根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标。
本实施例中，针对每个尺度的第二特征图、第一特征图，可以结合第二图像的标签信息，得到表征该尺度的第一特征图和第二特征图的相似性的相似度图。然后通过整合不同尺度的相似度图，可以确定第一图像中的待查询目标。
本申请实施例通过获取第一图像、第二图像及第二图像的标签信息，其中，第二图像为包含与待查询目标为同一类目标的图像，标签信息为预先在第二图像中标注的与待查询目标为同一类目标的信息；分别对第一图像和第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据多个不同尺度的第二特征图和第二图像的标签信息，以及相应尺度的第一特征图，确定第一图像中的待查询目标，能够通过对第一图像和第二图像进行多个不同尺度的特征提取，将第一图像和第二图像表达为多个不同尺度的特征，提高第一图像和第二图像的特征表达能力，从而能够获取到更多的判断第一图像和第二图像之间的相似性的信息，进而提高目标查询的精准度。
也就是说，如果第二图像中与包含待查询的目标为同一类的目标，那么第二图像中包含的与包含待查询的目标为同一类的目标的姿态、纹理、颜色等信息可以与第一图像中包含的与包含待查询的目标为同一类的目标的姿态、纹理、颜色等信息不同。例如，待查询的目标为红绿灯，第二图像中包含的红绿灯为竖向排列，第一图像中如果包含红绿灯的话，第一图像中的红绿灯可以是横向排列，并且红绿灯在第一图像和第二图像中的状态可以不一致。图3为本申请又一实施例提供的目标查询方法的流程示意图。本实施例对根据多个不同尺度的第二特征图和第二图像的标签信息，以及相应尺度的第一特征图，确定第一图像中的待查询目标的具体实现过程进行了详细说明。如图3所示，该方法包括：
S301、获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息。
本实施例中，S301与图1实施例中的S101类似，此处不再赘述。
S302、分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图。
本实施例中，S301与图1实施例中的S102类似，此处不再赘述。
S303、根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图；一个尺度的相似度图表征该尺度的第一特征图和第二特征图的相似性。
本实施例中，每个尺度的相似度图中包含该尺度的第一特征图和第二特征图之间的特征的相似性信息。
可选地，S303可以包括：
根据多个不同尺度的第二特征图和所述第二图像的标签信息，确定多个不同尺度的第二特征向量；
将所述多个不同尺度的第二特征向量与相应尺度的所述第一特征图逐元素相乘，得到多个不同尺度的相似度图。
本实施例中，针对每个尺度的第二特征图，可以将该尺度的第二特征图和第二图像的标签信息进行相乘操作，得到该尺度的第二特征向量。然后将该尺度的第二特征向量与该尺度的第一特征图进行逐元素相乘，得到该尺度的相似度图。在该尺度的相似度图中，每个像素位置上通过一个向量来表达第二特征向量和第一特征图在该位置上的相似性。
在相关技术中，通常使用内积或余弦距离将两个特征图之间的相似度表达为单通道的相似度图，然后通过单通道的相似度图进行语义分割，从而实现目标查询。以内积为例，将两个特征图上的位于同一位置的两个特征向量求内积，得到每个像素位置对应的数值，由于最终得到的相似度图上每个像素位置仅对应一个数值，仅能表征单通道的特征信息，单通道的特征信息不能充分表达支持集图像的特征，导致描述特征图之间的相似性能力严重不足，进而导致目标查询的精度较低。
本实施例通过将多个不同尺度的第二特征向量与相应尺度的第一特征图逐元素相乘的方式生成不同尺度的相似度图，通过逐元素相乘的方式代替传统的内积或余弦距离方式，能够使每个尺度的相似度图中包含多通道的相似性信息，使相似性特征表达更为充分，进而提高目标查询的精准度。
S304、将多个不同尺度的相似度图整合，得到整合后的相似度图。
本实施例中，可以通过上采样将不同尺度的相似度图转换为相同尺度的相似度图，然后进行整合，得到整合后的相似度图。具体可以由以下两种实现方式中的任一种来实现，下面分别进行说明。
第一种实现方式中，S304可以包括：
对多个不同尺度的相似度图进行上采样，得到多个尺度相同的相似度图；
对多个尺度相同的相似度图相加，得到整合后的相似度图。
本实施例中，可以分别将多个不同尺度的相似度图上采样成为同一尺度，然后进行相加，从而得到整合后的相似度。例如，假设共有三个相似度图：A，B，C，三者的尺度依次为m1，m2，m3，其中，m1>m2>m3。则可以分别对B和C进行上采样，将B和C的尺度都提升为m1，然后将A与上采样后的B，C三者进行相加，得到整合后的相似度图，此时整合后的相似度图的尺度为m1。或者，指定一个尺度m4，m4>m1，分别对A，B，C进行上采样，将A，B，C的尺度都提升为m4，然后将上采样后的A，B，C进行相加，得到整合后的相似度图，该相似度图的尺度为m4。
第二种实现方式中，S304可以包括：
所述多个不同尺度的相似度图构成相似度图集合；
对所述相似度图集合中尺度最小的相似度图进行上采样，得到与尺度第二小的相似度图相同尺度的相似度图；
将得到的相似度图与尺度第二小的相似度图相加，得到新的相似度图；
将所述相似度图集合中未经过上采样处理或者相加处理的相似度图与新的相似度图构成新的相似度图集合，重复执行上采样的步骤和相加的步骤，直至得到最后一个相似度图，所得到的最后一个相似度图为整合后的相似度图。
以三个相似度图为例对该实现方式进行说明。假设共有三个相似度图：A，B，C，三者的尺度依次为m1，m2，m3，其中，m1>m2>m3。可以首先对C进行上采样，将C的尺度提升为m2，然后将B与上采样后的C进行相加，得到新的相似度图D，D的尺度为m2。然后对D进行上采样，将D的尺度提升为m1，将A与上采样后的D进行相加，得到最终整合的相似度图。
S305、根据整合后的相似度图，确定所述第一图像中的待查询目标。
本实施例中，S305与图1实施例中的S103类似，此处不再赘述。
本实施例通过根据多个不同尺度的第二特征图、第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图，然后将多个不同尺度的相似度图整合，得到整合后的相似度图，再根据整合后的相似度图，确定第一图像中的待查询目标，能够通过对多个不同尺度的相似度整合，使整合得到的相似度中包含多尺度的特征信息，从而提高目标查询的精准度。
图4为本申请另一实施例提供的目标查询方法的流程示意图。本实施例与图3实施例的区别在于，在S303确定多个不同尺度的相似度图之后，S304将多个不同尺度的相似度图整合之前，还将多个不同尺度的相似度与相应尺度的第三特征图进行逐元素相乘，得到处理后的多个不同尺度的相似度图。如图4所示，该方法包括：
S401、获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息。
本实施例中，S401与图1实施例中的S101类似，此处不再赘述。
S402、分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图。
本实施例中，S402与图1实施例中的S102类似，此处不再赘述。
S403、根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图；一个尺度的相似度图表征该尺度的第一特征图和第二特征图的相似性。
本实施例中，S403与图3实施例中的S303类似，此处不再赘述。
S404、将多个不同尺度的相似度图和相应尺度的第三特征图逐元素相乘，得到处理后的多个不同尺度的相似度图；其中，所述第三特征图根据所述第一图像确定，且同一尺度的第一特征图和第三特征图不同。
S405、将处理后的多个不同尺度的相似度图整合，得到整合后的相似度图。
本实施例中，S405与图3实施例中的S305类似，此处不再赘述。
本实施例中，在对第一图像进行特征提取，不仅提取得到多个不同尺度的第一特征图，还提取得到多个不同尺度的第三特征图。对于每个尺度，可以对第一图像采用不同的特征提取方式，如采用两个具有不同的网络参数的神经网络等，分别得到该尺度的第一特征图和第三特征图。
在将根据多个不同尺度的第二特征图、第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图之后，针对每个尺度的相似度图，将该尺度的相似度图与该尺度的第三特征图进行逐元素相乘，得到处理后的该尺度的相似度图。然后将处理后的多个不同尺度的相似度图整合，得到整合后的相似度图。
S406、根据整合后的相似度图，确定所述第一图像中的待查询目标。
本实施例通过将根据多个不同尺度的第二特征图、第二图像的标签信息和对应尺度的第一特征图确定出的多个不同尺度的相似度图，对第一图像的第三特征图进行逐元素相乘，能够使用多个不同尺度的相似度图指导第一图像进行分割，从而提高目标查询的准确度。
图5为本申请再一实施例提供的目标查询方法的流程示意图。本实施例中目标查询方法由神经网络执行，本实施例对该神经网络的训练方式进行了详细说明。如图5所示，该方法还可以包括：
S501、分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象。
S502、根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果。
S503、根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。
本实施例中，通过神经网络实现上述的目标查询方式，在进行目标查询之前，可以首先对该神经网络进行训练。具体的，可以将从包含多个样本图像的训练集中，获取包含同一类别对象的第一样本图像和第二样本图像，该对象即此次训练过程中待查询的目标。其中，训练集中可以包括多个子集，每个子集中的样本图像均包含同一类别的对象。例如，类别可以包括车辆、行人，交通指示灯(即红绿灯)等，获取的第一样本图像和第二样本图像可以均包含交通指示灯。将交通指示灯作为该次训练过程中待查询的目标。对第一样本图像中的交通指示灯进行标注从而得到第一样本图像的标签。对第二样本图像中的交通指示灯进行标注从而得到第二样本图像的标签。
图6为本申请还一实施例提供的目标查询方法的流程示意图。本实施例中对图5实施例中训练完成的神经网络的测试方式进行了详细说明。如图6所示，该方法还可以包括：
S601、分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象。
S602、根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。
本实施例中，可以预先将包括同一类别的对象的测试图像组成一个测试图像集，将多个测试图像集组成一个总的测试集。在对神经网络进行测试时，从一个测试图像集中选取出第一测试图像和第二测试图像，通过第一测试图像和第二测试图像对神经网络进行测试。例如，可以通过包含路灯的第一测试图像和第二测试图像对神经网络进行测试。
这样，可以能够避免传统的随机选取的测试对导致的类别选取不均匀的问题，同时也解决了由于支持样本质量不同带来评测指标浮动的问题。可选的，在测试时，可以是训练100次之后，再进行一次测试，也可以是训练120次之后，再进行一次测试。本领域技术人员可以根据实际需求进行相应调整，本实施例对此不做具体限定。
图7为本申请实施例提供的目标查询过程的示意图。第一图像输入到第一卷积神经网络得到第一图像的多个不同尺度的第一特征图，第二图像输入到第二卷积神经网络得到第二图像的多个不同尺度的第二特征图。第一图像的第一特征图、第二图像的第二特征图以及第二图像的标签信息输入到生成模块，得到多个尺度的相似度图。多个尺度的相似度图输入到聚合模块，得到整合后的相似度图。将整合后的相似度图输入到第三卷积神经网络，得到第一图像的语义分割图，从而实现对第一图像的目标查询。
图8为本申请实施例提供的生成模块和聚合模块的示意图。图中，conv表示卷积层，pool表示池化处理。第一图像的特征图输入到生成模块81的第一卷积通道得到多个不同尺度的第一特征图。第二图像的特征图输入到生成模块81的第二卷积通道得到多个不同尺度的第二特征图，然后分别与第二图像的标签信息进行相乘处理和池化处理得到第二图像的多个不同尺度的特征向量。第一图像的多个不同尺度的特征图分别与对应尺度的特征向量进行逐元素相乘，得到多个不同尺度的相似度图。生成模块81输出多个不同尺度的相似度图到聚合模块82，聚合模块82对多个不同尺度的相似度图进行整合，输出整合后的相似度图。
图9为本申请实施例提供的目标查询方法中相似性特征提取方式与现有提取方式的对比示意图。图中左侧部分为现有的通过内积和余弦距离提取相似性特征的示意图。图中右侧部分为本实施例提供的通过对应像素位置的向量相乘提取相似性特征的示意图。本申请实施例提出的方法通过逐元素相乘的方法取代内积和余弦距离，使得输出的相似度图由单通道变为多通道，这样能够保留相似性信息的通道信息，同时还能够结合后续的卷积和非线性操作进一步合理表达相似性特征，从而目标查询的精准度。
图10为本申请下一实施例提供的智能行驶方法的流程示意图。如图10所示，该方法还可以包括：
S1001、采集道路图像。
S1002、采用如上所述的目标查询方法，根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果。
S1003、根据查询结果对采集道路图像的智能行驶设备进行控制。
本实施例中，智能行驶设备可以包括自动驾驶车辆、装有高级驾驶辅助系统(Advanced Driving Assistant System，ADAS)的车辆、机器人等。可以获取智能行驶设备在行驶时或者停止时采集的道路图像，然后采用上述目标查询方法对道路图像进行目标查询。在采用上述目标查询方式时，道路图像作为上述的第一图像，支持图像作为上述的第二图像。然后根据查询结果对智能行驶设备进行控制。例如，可以直接控制自动驾驶车辆或者机器人等智能行驶设备进行减速、刹车、转向等操作，或者向装有ADAS的车辆的驾驶员发送减速、刹车、转向等指令。例如，若查询结果显示到智能行驶设备前方的交通指示灯为红灯，则控制智能行驶设备减速停车。若查询结果显示到智能行驶设备前方出现行人，则控制智能行驶设备刹车。
图11为本申请一实施例提供的目标查询装置的结构示意图。如图11所示，该目标查询装置110包括：获取模块1101、提取模块1102、处理模块1103。
获取模块1101，用于获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息；
提取模块1102，用于分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；
处理模块1103，用于根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标。
本实施例通过获取第一图像、第二图像及第二图像的标签信息，其中，第二图像为包含待查询目标的图像，标签信息为预先在第二图像中标注的待查询目标的信息；分别对第一图像和第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据多个不同尺度的第二特征图和第二图像的标签信息，以及相应尺度的第一特征图，确定第一图像中的待查询目标，能够通过对第一图像和第二图像进行多个不同尺度的特征提取，将第一图像和第二图像表达为多个不同尺度的特征，提高第一图像和第二图像的特征表达能力，从而能够获取到更多的判断第一图像和第二图像之间的相似性的信息，进而提高目标查询的精准度。
图12为本申请又一实施例提供的目标查询装置的结构示意图。如图12所示，本实施例提供的目标查询装置110在图11所示实施例提供的目标查询装置的基础上，还可以包括：训练模块1104、测试模块1105。
可选地，所述处理模块1103，具体用于：
根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图；一个尺度的相似度图表征该尺度的第一特征图和第二特征图的相似性；
将多个不同尺度的相似度图整合，得到整合后的相似度图；
根据整合后的相似度图，确定所述第一图像中的待查询目标。
可选地，在根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图方面，所述处理模块1103，具体用于：
根据多个不同尺度的第二特征图和所述第二图像的标签信息，确定多个不同尺度的第二特征向量；
将所述多个不同尺度的第二特征向量与相应尺度的所述第一特征图逐元素相乘，得到多个不同尺度的相似度图。
可选地，在将多个不同尺度的相似度图整合，得到整合后的相似度图方面，所述处理模块1103，具体用于：
对多个不同尺度的相似度图进行上采样，得到多个尺度相同的相似度图；
对多个尺度相同的相似度图相加，得到整合后的相似度图。
可选地，在将多个不同尺度的相似度图整合，得到整合后的相似度图方面，所述处理模块1103，具体用于：
所述多个不同尺度的相似度图构成相似度图集合；
对所述相似度图集合中尺度最小的相似度图进行上采样，得到与尺度第二小的相似度图相同尺度的相似度图；
将得到的相似度图与尺度第二小的相似度图相加，得到新的相似度图；
将所述相似度图集合中未经过上采样处理或者相加处理的相似度图与新的相似度图构成新的相似度图集合，重复执行上采样的步骤和相加的步骤，直至得到最后一个相似度图，所得到的最后一个相似度图为整合后的相似度图。
可选地，所述提取模块1102还用于：
在根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图之后，将多个不同尺度的相似度图整合，得到整合后的相似度图之前，将多个不同尺度的相似度图和相应尺度的第三特征图逐元素相乘，得到处理后的多个不同尺度的相似度图；其中，所述第三特征图根据所述第一图像确定，且同一尺度的第一特征图和第三特征图不同；
在将多个不同尺度的相似度图整合，得到整合后的相似度图方面，所述处理模块1103，具体用于：
将处理后的多个不同尺度的相似度图整合，得到整合后的相似度图。
可选地，所述提取模块1102，具体用于：
分别对第一图像和第二图像进行特征提取，得到第一特征图和第二特征图；
分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。
可选地，在所述分别对所述第一特征图和所述第二特征图进行多次尺度变换方面，所述提取模块1102，具体用于：
对所述第一特征图和所述第二特征图分别进行至少两次降采样。
可选地，所述目标查询装置由神经网络实现，所述训练模块1104用于：
分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象；
根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果；
根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。
可选地，所述测试模块1105用于：
分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；
其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象；
根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。
本申请实施例提供的目标查询装置，可用于执行上述的方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
本申请实施例还提供一种智能行驶装置，包括：
采集模块，用于采集道路图像；
查询模块，用于采用本申请实施例提供的目标查询的方法，根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；
控制模块，用于根据查询结果对采集道路图像的智能行驶设备进行控制。
本申请实施例提供的智能行驶装置的实施可以参考前述的智能行驶方法，其实现原理和技术效果类似，本实施例此处不再赘述。
图13为本申请一实施例提供的目标查询设备的硬件结构示意图。如图13所示，本实施例提供的目标查询设备130包括：至少一个处理器1301和存储器1302。该目标查询设备130还包括通信部件1303。其中，处理器1301、存储器1302以及通信部件1303通过总线1304连接。
在具体实现过程中，至少一个处理器1301执行所述存储器1302存储的计算机执行指令，使得至少一个处理器1301执行如上的目标查询方法。
处理器1301的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图13所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
图14为本申请又一实施例提供的智能行驶设备的硬件结构示意图。如图14所示，本实施例提供的智能行驶设备140包括：至少一个处理器1401和存储器1402。该智能行驶设备140还包括通信部件1403。其中，处理器1401、存储器1402以及通信部件1403通过总线1404连接。
在具体实现过程中，至少一个处理器1401执行所述存储器1402存储的计算机执行指令，使得至少一个处理器1401执行如上的智能行驶方法。
处理器1401的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图14所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上的目标查询方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上的智能行驶方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种目标查询方法，其特征在于，包括：
获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息；
分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；
根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标。
2.根据权利要求1所述的方法，其特征在于，根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标，包括：
根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图；一个尺度的相似度图表征该尺度的第一特征图和第二特征图的相似性；
将多个不同尺度的相似度图整合，得到整合后的相似度图；
根据整合后的相似度图，确定所述第一图像中的待查询目标。
3.根据权利要求2所述的方法，其特征在于，根据多个不同尺度的所述第二特征图、所述第二图像的标签信息和对应尺度的第一特征图确定多个不同尺度的相似度图，包括：
根据多个不同尺度的第二特征图和所述第二图像的标签信息，确定多个不同尺度的第二特征向量；
将所述多个不同尺度的第二特征向量与相应尺度的所述第一特征图逐元素相乘，得到多个不同尺度的相似度图。
4.一种智能行驶方法，其特征在于，包括：
采集道路图像；
采用如权利要求1-3任一项所述的方法，根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；
根据查询结果对采集道路图像的智能行驶设备进行控制。
5.一种目标查询装置，其特征在于，包括：
获取模块，用于获取第一图像、第二图像及所述第二图像的标签信息，其中，所述第二图像为包含待查询目标的图像，所述标签信息为预先在所述第二图像中标注的待查询目标的信息；
提取模块，用于分别对所述第一图像和所述第二图像进行多个不同尺度的特征提取，生成多个不同尺度的第一特征图和多个不同尺度的第二特征图；
处理模块，用于根据所述多个不同尺度的第二特征图和所述第二图像的标签信息，以及相应尺度的第一特征图，确定所述第一图像中的待查询目标。
6.一种智能行驶装置，其特征在于，包括：
采集模块，用于采集道路图像；
查询模块，用于采用如权利要求1-3任一项所述的方法，根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；
控制模块，用于根据查询结果对采集道路图像的智能行驶设备进行控制。
7.一种目标查询设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-3任一项所述的目标查询方法。
8.一种智能行驶设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求4所述的智能行驶方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-3任一项所述的目标查询方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求4所述的智能行驶方法。
CN201911063316.4A 2019-10-31 2019-10-31 目标查询方法、装置、设备及存储介质 Pending CN112749602A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911063316.4A CN112749602A (zh) 2019-10-31 2019-10-31 目标查询方法、装置、设备及存储介质
KR1020217020811A KR20210098515A (ko) 2019-10-31 2020-10-27 표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체
JP2021539414A JP2022535473A (ja) 2019-10-31 2020-10-27 ターゲット検出、インテリジェント走行方法、装置、機器及び記憶媒体
PCT/CN2020/123918 WO2021083126A1 (zh) 2019-10-31 2020-10-27 目标检测、智能行驶方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911063316.4A CN112749602A (zh) 2019-10-31 2019-10-31 目标查询方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112749602A true CN112749602A (zh) 2021-05-04

Family

ID=75645316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911063316.4A Pending CN112749602A (zh) 2019-10-31 2019-10-31 目标查询方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112749602A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455227A (zh) * 2022-09-20 2022-12-09 上海弘玑信息技术有限公司 图形界面的元素搜索方法及电子设备、存储介质
WO2024022060A1 (zh) * 2022-07-28 2024-02-01 杭州堃博生物科技有限公司 一种图像配准方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268562A (zh) * 2014-09-15 2015-01-07 武汉大学 一种有效多尺度纹理识别方法
CN108563767A (zh) * 2018-04-19 2018-09-21 深圳市商汤科技有限公司 图像检索方法及装置
CN109711441A (zh) * 2018-12-13 2019-05-03 泰康保险集团股份有限公司 图像分类方法、装置、存储介质及电子设备
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN110188753A (zh) * 2019-05-21 2019-08-30 北京以萨技术股份有限公司 一种基于稠密连接卷积神经网络目标跟踪算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268562A (zh) * 2014-09-15 2015-01-07 武汉大学 一种有效多尺度纹理识别方法
CN108563767A (zh) * 2018-04-19 2018-09-21 深圳市商汤科技有限公司 图像检索方法及装置
CN109711441A (zh) * 2018-12-13 2019-05-03 泰康保险集团股份有限公司 图像分类方法、装置、存储介质及电子设备
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN110188753A (zh) * 2019-05-21 2019-08-30 北京以萨技术股份有限公司 一种基于稠密连接卷积神经网络目标跟踪算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GREGORY KOCH等: "Siamese Neural Networks for One-shot Image Recognition", 《PROCEEDINGS OF THE 32 ND INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024022060A1 (zh) * 2022-07-28 2024-02-01 杭州堃博生物科技有限公司 一种图像配准方法、装置及存储介质
CN115455227A (zh) * 2022-09-20 2022-12-09 上海弘玑信息技术有限公司 图形界面的元素搜索方法及电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
KR20200095335A (ko) 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN109492640A (zh) 车牌识别方法、装置及计算机可读存储介质
WO2022104254A1 (en) Efficient three-dimensional object detection from point clouds
Al Mamun et al. Lane marking detection using simple encode decode deep learning technique: SegNet
CN112749602A (zh) 目标查询方法、装置、设备及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
WO2021083126A1 (zh) 目标检测、智能行驶方法、装置、设备及存储介质
WO2024002014A1 (zh) 交通标线的识别方法、装置、计算机设备和存储介质
CN115376089A (zh) 一种基于深度学习的车道线检测方法
JP2021532449A (ja) 車線属性検出
CN117218622A (zh) 路况检测方法、电子设备及存储介质
CN114495060A (zh) 一种道路交通标线识别方法及装置
CN114332808A (zh) 一种预测转向意图的方法及装置
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
Molina-Cabello et al. Vehicle type detection by convolutional neural networks
CN112132031B (zh) 车款识别方法、装置、电子设备及存储介质
Malarvizhi et al. Autonomous Traffic Sign Detection and Recognition in Real Time
CN114463772A (zh) 基于深度学习的交通标志检测与识别方法及系统
CN112749710A (zh) 目标检测、智能行驶方法、装置、设备及存储介质
CN114881096A (zh) 多标签的类均衡方法及其装置
Sreeja et al. Traffic Sign Detection using Transfer learning and a Comparison Between Different Techniques
Alam et al. Faster RCNN based robust vehicle detection algorithm for identifying and classifying vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210504

RJ01 Rejection of invention patent application after publication