CN113837270B - 一种目标识别方法、装置、设备及存储介质 - Google Patents

一种目标识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113837270B
CN113837270B CN202111113242.8A CN202111113242A CN113837270B CN 113837270 B CN113837270 B CN 113837270B CN 202111113242 A CN202111113242 A CN 202111113242A CN 113837270 B CN113837270 B CN 113837270B
Authority
CN
China
Prior art keywords
image
feature
images
target
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111113242.8A
Other languages
English (en)
Other versions
CN113837270A (zh
Inventor
詹恒泽
蒿杰
孙亚强
历宁
周怡
梁俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xintiao Technology Guangzhou Co ltd
Institute of Automation of Chinese Academy of Science
Guangdong Institute of Artificial Intelligence and Advanced Computing
Original Assignee
Xintiao Technology Guangzhou Co ltd
Institute of Automation of Chinese Academy of Science
Guangdong Institute of Artificial Intelligence and Advanced Computing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xintiao Technology Guangzhou Co ltd, Institute of Automation of Chinese Academy of Science, Guangdong Institute of Artificial Intelligence and Advanced Computing filed Critical Xintiao Technology Guangzhou Co ltd
Priority to CN202111113242.8A priority Critical patent/CN113837270B/zh
Publication of CN113837270A publication Critical patent/CN113837270A/zh
Application granted granted Critical
Publication of CN113837270B publication Critical patent/CN113837270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标识别方法、装置、设备及存储介质。通过计算拼接图像中的待识别目标的特征向量与表征支持数据集的支持向量的相似度来判定待识别目标是否与支持数据集中的目标是否属于同一类，在对特征提取网络进行训练时，仅需少量训练样本对特征提取网络进行训练，避免了由于作为训练样本的拼接图像较少，导致识别模型识别准确度较低的问题，使用少量的训练样本就能达到85％以上的识别准确率。

Description

一种目标识别方法、装置、设备及存储介质
技术领域
本发明实施例涉及目标识别技术领域，尤其涉及一种目标识别方法、装置、设备及存储介质。
背景技术
无人设备(例如无人机、无人车)通过搭载的传感器对其周围环境进行感知，采集环境信息。通过控制装置(即，车载智能大脑)对环境信息进行精准的计算分析，并最终通过向ECU(Electronic Control Unit，电子控制单元)发出指令来分别控制无人设备中的不同的机构，从而实现设备的全自动运行，达到无人驾驶或飞行的目的。
随着无人设备技术的不断发展，无人设备在图像拍摄方面的要求越来越高，以往无人设备一般搭载单一的相机进行拍摄，然而单一的相机视场角有限，只能拍摄到很局部的信息，无法完全满足无人设备的识别以及避障等任务的要求。因此，出现了搭载多目相机的无人设备，通过将多目相机同一时刻采集的多张不同视角的图像进行拼接，得到拼接图像。
现有的目标识别方式通常为将待识别的图像输入预先训练好的识别模型中处理，由模型进行分类和回归处理，输出待识别的图像中的目标的位置，以及目标所属的类别。现有的目标识别方式中识别模型需要采集大量的标注图像进行训练，而对于拼接图像的识别来说，可以作为训练样本的拼接图像较少，导致识别模型识别准确度较低。
发明内容
本发明提供一种目标识别方法、装置、设备及存储介质，以实现使用少量的训练样本就能达到较高识别准确率的目的。
第一方面，本发明实施例提供了一种目标识别方法，包括：
获取无人设备搭载的多目相机在同一时刻采集的多张图像；
将多张图像拼接为一张图像，得到拼接图像；
将所述拼接图像输入预先训练好的特征提取网络中进行处理，得到表征所述待识别目标的通用属性的特征向量；
将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量，所述支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标；
计算所述特征向量与支持向量的相似度；
基于所述相似度确定识别结果。
第二方面，本发明实施例还提供了一种目标识别装置，包括：
图像获取模块，用于获取无人设备搭载的多目相机在同一时刻采集的多张图像；
拼接模块，用于将多张图像拼接为一张图像，得到拼接图像；
第一特征提取模块，用于将所述拼接图像输入预先训练好的特征提取网络中进行处理，得到表征所述待识别目标的通用属性的特征向量；
第二特征提取模块，用于将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量，所述支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标；
相似度计算模块，用于计算所述特征向量与支持向量的相似度；
识别结果确定模块，用于基于所述相似度确定识别结果。
第三方面，本发明实施例还提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的目标识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的目标识别方法。
本发明实施例提供的目标识别方法，通过计算拼接图像中的待识别目标的特征向量与表征支持数据集的支持向量的相似度来判定待识别目标是否与支持数据集中的目标是否属于同一类，在对特征提取网络进行训练时，仅需少量训练样本对特征提取网络进行训练，避免了由于作为训练样本的拼接图像较少，导致识别模型识别准确度较低的问题，使用少量的训练样本就能达到85％以上的识别准确率。
附图说明
图1为本发明实施例提供的无人设备的结构示意图；
图2为本发明实施例一提供的一种目标识别方法的流程图；
图3是本发明实施例二提供的一种目标识别方法的流程图；
图4为本发明实施例三提供的一种目标识别装置的结构示意图；
图5为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的无人设备的结构示意图，如图1所示，无人设备可以包括控制设备101，总线102，ECU(Electronic Control Unit，电子控制单元)103，传感器104和执行器件105。无人设备可以是无人机、无人车等，本发明实施例在此不做限定。
其中。控制设备101负责整个无人设备的总体智能控制。控制设备101可以是单独设置的控制器，例如可编程逻辑控制器(Programmable LogicController，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有无人设备控制类应用的计算机设备。控制设备101可以对从总线102上接收到的ECU 103发来的数据和/或传感器104发来的数据进行分析处理，作出相应的决策，并将决策对应的指令发送到总线102。
总线102可以是用于连接控制设备101，ECU 103、传感器104以及无人设备的其他未示出的设备的总线。由于CAN(Controller AreaNetwork，控制器局域网络)总线的高性能和可靠性已被广泛认同，因此，目前无人设备中常用的总线为CAN总线。当然，可以理解的是总线102也可以是其他类型的总线。
总线102可以将控制设备101发出的指令发送给ECU 103，ECU 103将上述指令进行分析处理后发给相应的执行器件105执行。对于无人车来说，执行器件105可以包括方向盘、制动踏板、加速踏板等。
上述传感器104包括但不限于激光雷达、相机、GPS(Global PositioningSystem)，等等。
需要说明的是，本发明实施例所提供的目标识别方法可以由控制设备101执行，相应地，目标识别装置一般设置于控制设备101中。
应该理解，图1中的控制设备101、总线102、ECU 103、传感器104和执行器件105的数目仅仅是示意性的。根据实现需要，可以具有任意数目的控制设备101、总线102、ECU103、传感器104和执行器件105，本发明实施例在此不做限定。
实施例一
图2为本发明实施例一提供的一种目标识别方法的流程图，本实施例可适用于多目相机的拼接图像的目标识别，该方法可以由本发明实施例提供的一种目标识别装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图2所示，该方法具体包括如下步骤：
S201、获取无人设备搭载的多目相机在同一时刻采集的多张图像。
具体的，在本发明实施例中，无人设备搭载有多目相机，多目相机具有多个摄像头，分别采集不同视角范围的图像。多目相机由特定的同步器触发多个摄像头同时采集图像，相邻的两个摄像头采集的相邻的两张图像具有一定的重叠区域，以便后续进行拼接。
S202、将多张图像拼接为一张图像，得到拼接图像。
如前文所述，相邻的两个摄像头采集的相邻的两张图像具有一定的重叠区域，图像的拼接就是将相邻的两张图像中重叠的区域进行叠加，多张图像重复上述叠加过程，得到一张拼接图像。
S203、将拼接图像输入预先训练好的特征提取网络中进行处理，得到表征待识别目标的通用属性的特征向量。
在本发明实施例中，可以预先采用少量训练样本对特征提取网络进行训练，选取每一类别的少量训练样本(例如10张训练图像)，以便特征提取网络能够学习到每一类别的通用属性。通用属性是表示目标所属的大类都具有的属性。具体的，训练样本携带有表示目标所属的列表的标签，可以对训练样本进行预处理(例如，缩放、裁剪、标准化和归一化等)，然后将预处理后的训练样本输入特征提取网络，特征提取网络输出训练样本的特征向量，接着，将特征向量映射至标记空间，并进行归一化处理，得到表示目标属于各类别的概率。接着，基于概率和训练样本的标签计算损失值，根据损失值更新特征提取网络的参数，并重新输入新的训练样本。重复上述训练过程，直至损失值小于预设的损失阈值。
将拼接图像输入训练好的特征提取网络中进行处理，得到表征待识别目标的通用属性的特征向量。
S204、将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征支持数据集的支持向量。
具体的，支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标。例如，支持数据集包括10张支持图像，10张支持图像均包括属于同一类别的目标。将支持数据集输入预先训练好的特征提取网络中进行处理，提取表征支持数据集的支持向量。
S205、计算特征向量与支持向量的相似度。
计算特征向量与支持向量的相似度，示例性的，该相似度可以是余弦相似度。余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量，余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。当然在本发明的其他实施例中，也可以采用欧几里得距离来表示相似度，本发明实施例在此不做赘述。
S206、基于相似度确定识别结果。
在本发明实施例中，基于相似度确定识别结果。示例性的，在相似度大于或等于预设的相似度阈值时，则认为拼接图像中的待识别目标与支持数据集中的目标属于同一类别。在相似度小于预设的相似度阈值时，则认为拼接图像中的待识别目标与支持数据集中的目标不属于同一类别。
本发明实施例提供的目标识别方法，通过计算拼接图像中的待识别目标的特征向量与表征支持数据集的支持向量的相似度来判定待识别目标是否与支持数据集中的目标是否属于同一类，在对特征提取网络进行训练时，仅需少量训练样本对特征提取网络进行训练，避免了由于作为训练样本的拼接图像较少，导致识别模型识别准确度较低的问题，使用少量的训练样本就能达到85％以上的识别准确率。
实施例二
图3是本发明实施例二提供的一种目标识别方法的流程图，本实施例在上述实施例一的基础上进行细化，详细描述了图像拼接的过程，如图3所示，该方法包括：
S301、获取无人设备搭载的多目相机在同一时刻采集的多张图像。
如前文所述，在本发明实施例中，无人设备搭载有多目相机，多目相机具有多个摄像头，分别采集不同视角范围的图像。多目相机由特定的同步器触发多个摄像头同时采集图像，相邻的两个摄像头采集的相邻的两张图像具有一定的重叠区域，以便后续进行拼接。
S302、从多目相机采集的图像中提取特征点。
特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。
在本发明实施例中，可以采用Surf、Harris、Orb或Sift等特征点检测算法从多目相机采集的图像中提取特征点，本发明实施例在此不做限定。
S303、将相邻的两张图像的特征点进行匹配，得到相邻的两张图像中的匹配特征点对。
特征点匹配是为了找到相邻的两张图像中相同的物体对应的相同的特征点，得到匹配特征点对。
具体的，上述提取的特征点包括用于描述特征点的描述向量，特征点匹配的具体过程如下：
1、遍历相邻的两张图像中第一图像中的特征点，计算第一图像中的特征点的描述向量与第二图像中各特征点的描述向量的第一距离。
具体的，将相邻的两张图像分别命名为第一图像和第二图像，遍历其中一张图像(例如第一图像)中的所有特征点，针对第一图像中的每一特征点(后文中称之为目标特征点)，计算目标特征点的描述向量与第二图像中各特征点的描述向量的第一距离，第一距离可以是欧几里得距离，得到多个第一距离。
2、将多个第一距离按照升序排列，取前K个第一距离对应的第二图像中的K个特征点作为目标点。
将上述得到的多个第一距离按照升序排列，取排序靠前的K个第一距离对应的K个特征点作为目标点，即在第二图像中选取K与第一图像中目标特征点最相似的K个特征点作为目标点，通常K的值为2。
3、计算K个目标点的描述向量之间的第二距离。
计算K个目标点的描述向量之间的第二距离，第二距离可以是欧几里得距离。
4、在第二距离均大于预设的距离阈值时，将K个目标点中与第一图像中的特征点的第一距离最小的目标点作为第一图像中的特征点的匹配点。
在K个目标点的描述向量相互之间的第二距离均大于预设的距离阈值时(说明这K个目标点之间的区别足够大)，将K个目标点中与第一图像中的目标特征点的第一距离最小的目标点作为第一图像中的目标特征点的匹配点，从而得到匹配特征点对。
通过遍历第一图像中的所有特征点，并重复上述过程，在第二图像中找到与第一图像中的所有特征点匹配的匹配点，得到匹配特征点对的集合。例如，例如，匹配特征点集合(Ai，A’i)，其中，Ai为第一图像中的特征点，A’i为第二图像中与Ai匹配的特征点。
当然，需要说明的是，第一图像中并非所有特征点在第二图像中都有与之匹配的特征点，在完成特征点匹配后，可以将第一图像和第二图像中未能匹配的特征点删除。
S304、将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像。
由于多目相机中多个摄像头拍摄所拍摄的图像不在同一坐标系下，因此，在进行图像拼接时，需要将带拼接的图像映射至同一坐标系下，具体过程如下：
1、基于匹配特征点对、多目相机的内部参数、多目相机的外部参数计算相邻的两张图像之间的单应性矩阵。
具体的，相机的外部参数是相机在世界坐标系的参数，包括相机在世界坐标系的位置、旋转方向和偏移方向等，该外部参数可以用旋转矩阵R和平移向量t表示：
Figure BDA0003270595700000101
Figure BDA0003270595700000102
相机的内部参数包括相机的焦距、成像的像素尺寸等，内部参数可以用矩阵K表示：
Figure BDA0003270595700000103
假设单应性矩阵为H，则有：
siAi＝HA′i＝K′[Rt]KA′i
其中，si为图像的尺度因子，K、K′分别为两个摄像头的内部参数。
则单应性矩阵H＝K′[Rt]K。
2、根据单应性矩阵将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像。
具体的，根据上述得到的单应性矩阵，将相邻的两张图像中的第一图像中所有像素点的像素坐标乘以单应性矩阵，从而将第一图像映射至第二图像的坐标系下，得到第三图像。
S305、将第二图像和第三图像按照匹配特征点对进行拼接，得到拼接图像。
具体的，将第二图像和第三图像中相同的部分按照匹配特征点对进行拼接，得到拼接图像，拼接过程如下：
1、将第二图像和第三图像按照匹配特征点堆叠，得到堆叠后的图像。
具体的，新建一个新的图层，将第二图像和第三图像拷贝到该图层中去，在拷贝过程中将第二图像和第三图像按照匹配特征点堆叠，例如，特征点Ai与特征点A’i重叠，从而使得第二图像与第三图像中相同的部分重叠。
2、对堆叠后的图像中第二图像和第三图像重叠的重叠区域的像素值加权处理，得到拼接图像。
由于不同的图像的拍摄角度、摄像头的感光参数不同，可能导致不同的图像中相同的部分存在灰度差异，如果只是进行拼接的话就会出现一条很明显的拼接缝隙。为了消除拼接缝隙，本发明实施例对第二图像和第三图像重叠的重叠区域的像素值加权处理，然后再进行叠加，使得拼接处的灰度平滑过渡。
重复上述拼接过程，将多目相机拍摄的多张图像拼接为一张图像，得到拼接图像。
S306、将拼接图像输入预先训练好的特征提取网络中进行处理，得到表征待识别目标的通用属性的特征向量。
在本发明实施例中，可以预先采用少量训练样本对特征提取网络进行训练，选取每一类别的少量训练样本(例如10张训练图像)，以便特征提取网络能够学习到每一类别的通用属性。
将拼接图像输入训练好的特征提取网络中进行处理，得到表征待识别目标的通用属性的特征向量。
S307、将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量。
具体的，支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标。例如，支持数据集包括10张支持图像，10张支持图像均包括属于同一类别的目标。将支持数据集输入预先训练好的特征提取网络中进行处理，提取表征支持数据集的支持向量。
在该实施例中，每一支持图像经特征提取网络处理后输出一对应的特征向量，计算多个支持图像对应的特征向量的平均值，得到支持向量。
S308、计算特征向量与支持向量的相似度。
计算特征向量与支持向量的相似度，示例性的，该相似度可以是余弦相似度。余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量，余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。当然在本发明的其他实施例中，也可以采用欧几里得距离来表示相似度，本发明实施例在此不做赘述。
S309、基于相似度确定识别结果。
在本发明实施例中，基于相似度确定识别结果。示例性的，在相似度大于或等于预设的相似度阈值时，则认为拼接图像中的待识别目标与支持数据集中的目标属于同一类别。在相似度小于预设的相似度阈值时，则认为拼接图像中的待识别目标与支持数据集中的目标不属于同一类别。
本发明实施例提供的目标识别方法，通过计算拼接图像中的待识别目标的特征向量与表征支持数据集的支持向量的相似度来判定待识别目标是否与支持数据集中的目标是否属于同一类，在对特征提取网络进行训练时，仅需少量训练样本对特征提取网络进行训练，避免了由于作为训练样本的拼接图像较少，导致识别模型识别准确度较低的问题，使用少量的训练样本就能达到85％以上的识别准确率。
实施例三
图4为本发明实施例三提供的一种目标识别装置的结构示意图，如图4所示，该装置包括：
图像获取模块401，用于获取无人设备搭载的多目相机在同一时刻采集的多张图像；
拼接模块402，用于将多张图像拼接为一张图像，得到拼接图像；
第一特征提取模块403，用于将所述拼接图像输入预先训练好的特征提取网络中进行处理，得到表征所述待识别目标的通用属性的特征向量；
第二特征提取模块404，用于将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量，所述支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标；
相似度计算模块405，用于计算所述特征向量与支持向量的相似度；
识别结果确定模块406，用于基于所述相似度确定识别结果。
在本发明的一些实施例中，拼接模块402包括：
特征点提取子模块，用于从所述多目相机采集的图像中提取特征点；
特征点匹配子模块，用于将相邻的两张图像的特征点进行匹配，得到相邻的两张图像中的匹配特征点对；
坐标变换子模块，用于将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像；
拼接子模块，用于将所述第二图像和所述第三图像按照所述匹配特征点对进行拼接，得到拼接图像。
在本发明的一些实施例中，所述特征点包括用于描述所述特征点的描述向量，特征点匹配子模块包括：
第一距离计算单元，用于遍历相邻的两张图像中第一图像中的特征点，计算所述第一图像中的特征点的描述向量与第二图像中各特征点的描述向量的第一距离；
目标点确定单元，用于将多个所述第一距离按照升序排列，取前K个第一距离对应的所述第二图像中的K个特征点作为目标点；
第二距离计算单元，用于计算K个所述目标点的描述向量之间的第二距离；
匹配点确定单元，用于在所述第二距离均大于预设的距离阈值时，将K个目标点中与所述第一图像中的特征点的第一距离最小的目标点作为所述第一图像中的特征点的匹配点。
在本发明的一些实施例中，坐标变换子模块包括：
单应性矩阵计算单元，用于基于所述匹配特征点对、多目相机的内部参数、多目相机的外部参数计算相邻的两张图像之间的单应性矩阵；
坐标变换单元，用于根据所述单应性矩阵将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像。
在本发明的一些实施例中，拼接子模块包括：
堆叠单元，用于将所述第二图像和所述第三图像按照所述匹配特征点堆叠，得到堆叠后的图像；
加权处理单元，用于对所述堆叠后的图像中所述第二图像和所述第三图像重叠的重叠区域的像素值加权处理，得到拼接图像。
在本发明的一些实施例中，第二特征提取模块包括：
特征提取单元，用于将多张所述支持图像分别输入所述特征提取网络中进行处理，得到各所述支持图像对应的特征向量；
平均值计算单元，用于计算多个所述支持图像对应的特征向量的平均值，得到支持向量。
在本发明的一些实施例中，识别结果确定模块用于：
在所述相似度大于或等于预设的相似度阈值时，判定所述待识别目标与所述支持数据集中的目标属于同一类别；
在所述相似度小于预设的相似度阈值时，判定所述待识别目标与所述支持数据集中的目标不属于同一类别。
上述目标识别装置可执行本发明任意实施例所提供的目标识别方法，具备执行方法相应的功能模块和有益效果。
实施例四
本发明实施例四提供了一种计算机设备，图5为本发明实施例四提供的一种计算机设备的结构示意图，如图5所示，该计算机设备包括处理器501、存储器502、通信模块503、输入装置504和输出装置505；计算机设备中处理器501的数量可以是一个或多个，图5中以一个处理器501为例；计算机设备中的处理器501、存储器502、通信模块503、输入装置504和输出装置505可以通过总线或其他方式连接，图5中以通过总线连接为例。上述处理器501、存储器502、通信模块503、输入装置504和输出装置505可以集成在计算机设备的控制主板上。
存储器502作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的目标识别方法对应的模块。处理器501通过运行存储在存储器502中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述实施例提供的目标识别方法。
存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器502可进一步包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块503，用于与外界设备(例如智能终端)建立连接，并实现与外界设备的数据交互。输入装置504可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种计算机设备，可执行本发明上述任意实施例提供的目标识别方法，具体相应的功能和有益效果。
实施例五
本发明实施例五提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任意实施例提供的目标识别方法，该方法包括：
获取无人设备搭载的多目相机在同一时刻采集的多张图像；
将多张图像拼接为一张图像，得到拼接图像；
将所述拼接图像输入预先训练好的特征提取网络中进行处理，得到表征所述待识别目标的通用属性的特征向量；
将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量，所述支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标；
计算所述特征向量与支持向量的相似度；
基于所述相似度确定识别结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明实施例所提供的目标识别方法中的相关操作。
需要说明的是，对于装置、设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的目标识别方法。
值得注意的是，上述装置中，所包括的各个模块、子模块、单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种目标识别方法，其特征在于，包括：
获取无人设备搭载的多目相机在同一时刻采集的多张图像；
将多张图像拼接为一张图像，得到拼接图像；
将所述拼接图像输入预先训练好的特征提取网络中进行处理，得到表征待识别目标的通用属性的特征向量；
将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量，所述支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标；
计算所述特征向量与支持向量的相似度；
基于所述相似度确定识别结果；
所述将多张图像拼接为一张图像，得到拼接图像，包括：
从所述多目相机采集的图像中提取特征点；
将相邻的两张图像的特征点进行匹配，得到相邻的两张图像中的匹配特征点对；
将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像；
将所述第二图像和所述第三图像按照所述匹配特征点对进行拼接，得到拼接图像；
所述特征点包括用于描述所述特征点的描述向量，将相邻的两张图像的特征点进行匹配，得到相邻的两张图像中的匹配特征点对，包括：
遍历相邻的两张图像中第一图像中的特征点，计算所述第一图像中的特征点的描述向量与第二图像中各特征点的描述向量的第一距离；
将多个所述第一距离按照升序排列，取前K个第一距离对应的所述第二图像中的K个特征点作为目标点；
计算K个所述目标点的描述向量之间的第二距离；
在所述第二距离均大于预设的距离阈值时，将K个目标点中与所述第一图像中的特征点的第一距离最小的目标点作为所述第一图像中的特征点的匹配点；
所述将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像，包括：
基于所述匹配特征点对、多目相机的内部参数、多目相机的外部参数计算相邻的两张图像之间的单应性矩阵；
根据所述单应性矩阵将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像；
所述将所述第二图像和所述第三图像按照所述匹配特征点对进行拼接，得到拼接图像，包括：
将所述第二图像和所述第三图像按照所述匹配特征点堆叠，得到堆叠后的图像；
对所述堆叠后的图像中所述第二图像和所述第三图像重叠的重叠区域的像素值加权处理，得到拼接图像。
2.根据权利要求1的目标识别方法，其特征在于，将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量，包括：
将多张所述支持图像分别输入所述特征提取网络中进行处理，得到各所述支持图像对应的特征向量；
计算多个所述支持图像对应的特征向量的平均值，得到支持向量。
3.根据权利要求1的目标识别方法，其特征在于，基于所述相似度确定识别结果，包括：
在所述相似度大于或等于预设的相似度阈值时，判定所述待识别目标与所述支持数据集中的目标属于同一类别；
在所述相似度小于预设的相似度阈值时，判定所述待识别目标与所述支持数据集中的目标不属于同一类别。
4.一种目标识别装置，其特征在于，包括：
图像获取模块，用于获取无人设备搭载的多目相机在同一时刻采集的多张图像；
拼接模块，用于将多张图像拼接为一张图像，得到拼接图像；
第一特征提取模块，用于将所述拼接图像输入预先训练好的特征提取网络中进行处理，得到表征待识别目标的通用属性的特征向量；
第二特征提取模块，用于将支持数据集输入预先训练好的特征提取网络中进行处理，得到表征所述支持数据集的支持向量，所述支持数据集包括多张支持图像，多张支持图像包括属于同一类别的目标；
相似度计算模块，用于计算所述特征向量与支持向量的相似度；
识别结果确定模块，用于基于所述相似度确定识别结果；
拼接模块包括：
特征点提取子模块，用于从所述多目相机采集的图像中提取特征点；
特征点匹配子模块，用于将相邻的两张图像的特征点进行匹配，得到相邻的两张图像中的匹配特征点对；
坐标变换子模块，用于将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像；
拼接子模块，用于将所述第二图像和所述第三图像按照所述匹配特征点对进行拼接，得到拼接图像；
所述特征点包括用于描述所述特征点的描述向量，特征点匹配子模块包括：
第一距离计算单元，用于遍历相邻的两张图像中第一图像中的特征点，计算所述第一图像中的特征点的描述向量与第二图像中各特征点的描述向量的第一距离；
目标点确定单元，用于将多个所述第一距离按照升序排列，取前K个第一距离对应的所述第二图像中的K个特征点作为目标点；
第二距离计算单元，用于计算K个所述目标点的描述向量之间的第二距离；
匹配点确定单元，用于在所述第二距离均大于预设的距离阈值时，将K个目标点中与所述第一图像中的特征点的第一距离最小的目标点作为所述第一图像中的特征点的匹配点；
坐标变换子模块包括：
单应性矩阵计算单元，用于基于所述匹配特征点对、多目相机的内部参数、多目相机的外部参数计算相邻的两张图像之间的单应性矩阵；
坐标变换单元，用于根据所述单应性矩阵将相邻的两张图像中的第一图像映射至第二图像的坐标系下，得到第三图像；拼接子模块包括：
堆叠单元，用于将所述第二图像和所述第三图像按照所述匹配特征点堆叠，得到堆叠后的图像；
加权处理单元，用于对所述堆叠后的图像中所述第二图像和所述第三图像重叠的重叠区域的像素值加权处理，得到拼接图像。
5.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的目标识别方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的目标识别方法。
CN202111113242.8A 2021-09-18 2021-09-18 一种目标识别方法、装置、设备及存储介质 Active CN113837270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111113242.8A CN113837270B (zh) 2021-09-18 2021-09-18 一种目标识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111113242.8A CN113837270B (zh) 2021-09-18 2021-09-18 一种目标识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113837270A CN113837270A (zh) 2021-12-24
CN113837270B true CN113837270B (zh) 2022-08-30

Family

ID=78969129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111113242.8A Active CN113837270B (zh) 2021-09-18 2021-09-18 一种目标识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113837270B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819835A (zh) * 2012-07-26 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种图像拼接中筛选特征点匹配对的方法
CN106447601A (zh) * 2016-08-31 2017-02-22 中国科学院遥感与数字地球研究所 一种基于投影‑相似变换的无人机遥感影像拼接方法
CN106557740A (zh) * 2016-10-19 2017-04-05 华中科技大学 一种遥感图像中油库目标的识别方法
CN109241868A (zh) * 2018-08-16 2019-01-18 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111881839A (zh) * 2020-07-30 2020-11-03 中国电子科技集团公司第五十四研究所 一种基于度量学习的小样本遥感影像目标识别方法
CN112085106A (zh) * 2020-09-10 2020-12-15 江苏提米智能科技有限公司 一种应用于多图像融合的图像识别方法、装置、电子设备及存储介质
CN112101300A (zh) * 2020-11-02 2020-12-18 北京妙医佳健康科技集团有限公司 药材识别方法、装置及电子设备
CN112949414A (zh) * 2021-02-04 2021-06-11 中国水利水电科学研究院 一种宽视域高分六号卫星影像地表水体智能制图方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308113A (zh) * 2020-09-23 2021-02-02 济南浪潮高新科技投资发展有限公司 一种基于半监督的目标识别方法、设备及介质
CN113408570A (zh) * 2021-05-08 2021-09-17 浙江智慧视频安防创新中心有限公司 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819835A (zh) * 2012-07-26 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种图像拼接中筛选特征点匹配对的方法
CN106447601A (zh) * 2016-08-31 2017-02-22 中国科学院遥感与数字地球研究所 一种基于投影‑相似变换的无人机遥感影像拼接方法
CN106557740A (zh) * 2016-10-19 2017-04-05 华中科技大学 一种遥感图像中油库目标的识别方法
CN109241868A (zh) * 2018-08-16 2019-01-18 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111881839A (zh) * 2020-07-30 2020-11-03 中国电子科技集团公司第五十四研究所 一种基于度量学习的小样本遥感影像目标识别方法
CN112085106A (zh) * 2020-09-10 2020-12-15 江苏提米智能科技有限公司 一种应用于多图像融合的图像识别方法、装置、电子设备及存储介质
CN112101300A (zh) * 2020-11-02 2020-12-18 北京妙医佳健康科技集团有限公司 药材识别方法、装置及电子设备
CN112949414A (zh) * 2021-02-04 2021-06-11 中国水利水电科学研究院 一种宽视域高分六号卫星影像地表水体智能制图方法

Also Published As

Publication number Publication date
CN113837270A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
US10867189B2 (en) Systems and methods for lane-marker detection
US9984280B2 (en) Object recognition system using left and right images and method
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
KR101834778B1 (ko) 교통 표지판 인식장치 및 방법
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN111639663A (zh) 多传感器数据融合的方法
CN115049700A (zh) 一种目标检测方法及装置
CN111553242B (zh) 用于预测驾驶行为的生成对抗网络的训练方法和电子设备
CN115327568B (zh) 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法
CN112395962A (zh) 数据增广方法及装置、物体识别方法及系统
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN117115414B (zh) 基于深度学习的无gps无人机定位方法及装置
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质
CN116740145A (zh) 一种多目标跟踪方法、装置、车辆及存储介质
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
CN113793371B (zh) 目标分割追踪方法、装置、电子设备和存储介质
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
Alonso et al. Footprint-based classification of road moving objects using occupancy grids
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置
CN116681884B (zh) 一种对象检测方法和相关装置
CN115063594B (zh) 一种基于自动驾驶的特征提取方法及装置
US20220139071A1 (en) Information processing device, information processing method, information processing program, and information processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant