CN111340092B - 一种目标关联处理方法及装置 - Google Patents

一种目标关联处理方法及装置 Download PDF

Info

Publication number
CN111340092B
CN111340092B CN202010108227.3A CN202010108227A CN111340092B CN 111340092 B CN111340092 B CN 111340092B CN 202010108227 A CN202010108227 A CN 202010108227A CN 111340092 B CN111340092 B CN 111340092B
Authority
CN
China
Prior art keywords
target
images
suggestion
frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010108227.3A
Other languages
English (en)
Other versions
CN111340092A (zh
Inventor
胡来丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010108227.3A priority Critical patent/CN111340092B/zh
Publication of CN111340092A publication Critical patent/CN111340092A/zh
Application granted granted Critical
Publication of CN111340092B publication Critical patent/CN111340092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标关联处理方法及装置，其中，该方法包括：获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框,确定所述多个图像的特征向量；通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像进中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象，可以解决相关技术中基于车辆小图来进行特征提取并匹配，匹配准确度低的问题，支持目标检测与目标的关联，提高目标关联的准确性。

Description

一种目标关联处理方法及装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种目标关联处理方法及装置。
背景技术
目前前端抓拍的违章图片序列中，后端的违章审核需要在图片序列中关联到违法的目标车辆，目标车辆中有的可以依据车牌信息确定，车牌不能确定的需要计算车辆的特征，求得最相似(特征距离最小)的目标车辆。
相关技术中，在基于全图车辆检测后，对检测的车辆图像(小图)，生成全局分支、BN分支、属性分支和局部区域四个分支特征进行融合得到车辆的特征向量，并与其余的车辆特征求得最相似的车辆。基于车辆小图来进行特征提取并匹配，其受前面检测效果影响，且样本量有限、丢失场景、位置信息。
针对相关技术中基于车辆小图来进行特征提取并匹配，匹配准确度低的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种目标关联处理方法及装置，以至少解决相关技术中基于车辆小图来进行特征提取并匹配，匹配准确度低的问题。
根据本发明的一个实施例，提供了一种目标关联处理方法，包括：
获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
确定所述多个图像的特征向量；
通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象。
可选地，根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像进中确定与所述目标框关联的目标建议框包括：
对分类后的所述建议框与所述多个图像的特征向量进行位置敏感的候选区池化处理，得到所述多个图像的建议框的分类置信度、位置信息、特征向量；
从所述多个图像中获取所述分类置信度大于第一预设阈值的第一目标建议框；
获取所述第一目标建议框在所述多个图像中对应的第一目标图像的第一特征向量，其中，所述第一目标图像框包括一个或多个图像；
从所述多个图像中确定与所述目标框的交并比IoU大于第二预设阈值的第二目标建议框；
获取所述第二目标建议框在所述多个图像中对应的第二目标图像的特征向量，将所述第二目标图像的特征向量进行归一化处理，得到第二特征向量，其中，所述第二目标图像包括一个或多个图像；
根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框。
可选地，根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框包括：
将所述第一特征向量与所述第二特征向量的任意两个特征向量确定为特征向量对，得到多个特征向量对；
分别计算所述多个特征向量对的欧式距离，并将所述多个特征向量对分配到对应的目标图像中；
将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框。
可选地，在将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框之后，所述方法还包括：
根据所述目标建议框的位置信息确定所述目标建议框在所述目标图像中的位置。
可选地，确定所述多个图像的特征向量包括：
将所述多个图像输入预先训练好的目标神经网络模型，得到所述目标神经网络模型输出的所述多个图像对应的特征向量。
可选地，在获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框之前，所述方法还包括：
获取预定数量的图像、以及所述图像对应的特征向量；
使用所述预定数量的图像以及所述图像对应的特征向量对原始神经网络模型进行训练，得到所述目标神经网络模型，其中，所述预定数量的图像为所述原始神经网络模型的输入，训练好的所述目标神经网络模型输出的所述图像的特征向量与所述图像实际对应的特征向量满足预定目标函数。
根据本发明的另一个实施例，还提供了一种目标关联处理装置，包括：
第一获取模块，用于获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
第一确定模块，用于确定所述多个图像的特征向量；
第二确定模块，用于通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
第三确定模块，用于根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象。
可选地，所述第三确定模块包括：
处理子模块，用于对分类后的所述建议框与所述多个图像的特征向量进行位置敏感的候选区池化处理，得到所述多个图像的建议框的分类置信度、位置信息、特征向量；
第一获取子模块，用于从所述多个图像中获取所述分类置信度大于第一预设阈值的第一目标建议框；
第二获取子模块，用于获取所述第一目标建议框在所述多个图像中对应的第一目标图像的第一特征向量，其中，所述第一目标图像框包括一个或多个图像；
第一确定子模块，用于从所述多个图像中确定与所述目标框的交并比IoU大于第二预设阈值的第二目标建议框；
第三获取子模块，用于获取所述第二目标建议框在所述多个图像中对应的第二目标图像的特征向量，将所述第二目标图像的特征向量进行归一化处理，得到第二特征向量，其中，所述第二目标图像包括一个或多个图像；
第三确定子模块，用于根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框。
可选地，所述第三确定子模块包括：
第一确定单元，用于将所述第一特征向量与所述第二特征向量的任意两个特征向量确定为特征向量对，得到多个特征向量对；
分配单元，用于分别计算所述多个特征向量对的欧式距离，并将所述多个特征向量对分配到对应的目标图像中；
第二确定单元，用于将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框。
可选地，所述装置还包括：
第三确定单元，用于根据所述目标建议框的位置信息确定所述目标建议框在所述目标图像中的位置。
可选地，所述第一确定模块，还用于
将所述多个图像输入预先训练好的目标神经网络模型，得到所述目标神经网络模型输出的所述多个图像对应的特征向量。
可选地，所述装置还包括：
第二获取模块，用于获取预定数量的图像、以及所述图像对应的特征向量；
训练模块，用于使用所述预定数量的图像以及所述图像对应的特征向量对原始神经网络模型进行训练，得到所述目标神经网络模型，其中，所述预定数量的图像为所述原始神经网络模型的输入，训练好的所述目标神经网络模型输出的所述图像的特征向量与所述图像实际对应的特征向量满足预定目标函数。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框,确定所述多个图像的特征向量；通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像进中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象，可以解决相关技术中基于车辆小图来进行特征提取并匹配，匹配准确度低的问题，支持目标检测与目标的关联，提高目标关联的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的目标关联处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的目标关联处理方法的流程图；
图3是根据本发明实施例的基于场景信息的目标关联方法的流程图；
图4是根据本发明实施例的目标关联处理装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的目标关联处理方法的移动终端的硬件结构框图，如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的报文接收方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的目标关联处理方法，图2是根据本发明实施例的目标关联处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
步骤S204，确定所述多个图像的特征向量；进一步的，将所述多个图像输入预先训练好的目标神经网络模型，得到所述目标神经网络模型输出的所述多个图像对应的特征向量。
步骤S206，通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
步骤S208，根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象。
通过上述步骤S202至S208，获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框,确定所述多个图像的特征向量；通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像进中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象，可以解决相关技术中基于车辆小图来进行特征提取并匹配，匹配准确度低的问题，支持目标检测与目标的关联，提高目标关联的准确性。
本发明实施例中，上述步骤S208具体可以包括：
S2081，对分类后的所述建议框与所述多个图像的特征向量进行位置敏感的候选区池化处理，得到所述多个图像的建议框的分类置信度、位置信息、特征向量；
S2082，从所述多个图像中获取所述分类置信度大于第一预设阈值的第一目标建议框；
S2083，获取所述第一目标建议框在所述多个图像中对应的第一目标图像的第一特征向量，其中，所述第一目标图像框包括一个或多个图像；
S2084，从所述多个图像中确定与所述目标框的交并比IoU大于第二预设阈值的第二目标建议框；
S2085，获取所述第二目标建议框在所述多个图像中对应的第二目标图像的特征向量，将所述第二目标图像的特征向量进行归一化处理，得到第二特征向量，其中，所述第二目标图像包括一个或多个图像；
S2086，根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框。
进一步的，上述步骤S2086具体可以包括：
将所述第一特征向量与所述第二特征向量的任意两个特征向量确定为特征向量对，得到多个特征向量对；
分别计算所述多个特征向量对的欧式距离，并将所述多个特征向量对分配到对应的目标图像中；
将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框。
在一可选的实施例中，在将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框之后，根据所述目标建议框的位置信息确定所述目标建议框在所述目标图像中的位置，从而便可以清楚准确的确定多个图像中与目标对象关联的关联对象及与目标框关联的关联建议框。
本发明实施例中，在获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框之前，获取预定数量的图像、以及所述图像对应的特征向量；使用所述预定数量的图像以及所述图像对应的特征向量对原始神经网络模型进行训练，得到所述目标神经网络模型，其中，所述预定数量的图像为所述原始神经网络模型的输入，训练好的所述目标神经网络模型输出的所述图像的特征向量与所述图像实际对应的特征向量满足预定目标函数。
下面对本发明实施例进行详细说明。
图3是根据本发明实施例的基于场景信息的目标关联方法的流程图，如图3所示，包括：
步骤S301，获取多个图像及多个图像中的一个图像包含目标对象的目标框，其中，多个图像包括图像序列Fi(i＝1,2,…,S)，图片序列Fi中某个图像序列中的一个目标框，例如，可以是车辆违章图像序列4-6张；
步骤S302，将该多个图像输入主干网络中，得到该多个图像的特征向量，其中，主干网络可以是如下网络结构：ResNet50、VGG16、ResNext34等；
步骤S303，该多个图像的特征向量通过区域生成网络确定所述多个图像的建议框，其中，该区域生成网络为RPN1初步生成一些建议框，区分背景与目标(或对象、物体)；
步骤S304，对所述多个图像的建议框进行分类RPN2，级联区域生成网络为RPN2，区分并排序关联目标与其他非关联同一类目标；
步骤S305，该多个图像的特征向量通过分支网络对特征向量进行精细化处理，得到处理后的该多个图像的特征向量；
步骤S306，将分类后的建议框、输入的目标框以及该多个图像的特征向量输入到PSRoi中，得到该多个图像的建议框的分类(通过分类置信度体现)、框回归(通过上述位置信息实现)、匹配对，即RFCN中的位置敏感候选区域池化(PSRoipooling)，池化成三个分支，分类置信度、位置信息、特征向量；
其中，框回归，通过位置信息进行，包括中心位置偏移、尺度偏移回归(offset)；
分类置信度，具体为softmax分类，分成三类：背景(除目标之外)，关联目标，其他非关联目标，如车辆，需要关联的车辆，其他车辆和不是车辆三类，以及对应的置信度；
步骤S307，得到与目标框关联的关联图像及关联建议框，根据分类后的建议框与该多个图像的特征向量从该多个图像中确定与该目标框关联的目标建议框，具体包括：
从该多个图像序列中获取该分类置信度大于第一预设阈值的第一目标建议框；对该第一目标建议框在该多个图像序列中对应的第一目标图像序列进行池化，得到该第一目标图像序列的第一特征向量；从该多个图像序列中确定与该目标框的交并比IoU大于第二预设阈值的第二目标建议框；对该第二目标建议框在该多个图像序列中对应的第二目标图像序列进行池化，之后进行归一化处理，得到该第二目标图像序列的第二特征向量；将该第一特征向量与该第二特征向量的任意两个特征向量确定为Pairs对(对应上述的特征向量对)，分别计算该Pairs对的欧式距离；将最大该欧式距离的Pairs对对应的目标图像序列确定为该目标对象的关联图像序列，还可以确定与目标框关联的目标建议框，具体可以根据该关联图像序列中建议框的位置信息确定该关联图像序列中与该目标对象关联的目标关联框的位置。
Pairs对，输入的目标框以及与其交并比IOU在IOU_THRESH(阈值)以上的区域框在图片序列(Fi)经过特征分支池化，得到M*N的特征(M为特征个数，N为特征维数)，再做平均和归一化，得到FG＝1*N维特征向量，在其他图片序列(Fj,j≠i)上经过RPN2得到的区域建议框池化得到分类置信度，特征以及框回归，选取关联目标类置信度大于THRESH_S(阈值)的区域建议框以及对应的池化特征FP＝T*N(T为建议框个数)，FG与FP两两组队，即区域建议框匹配对(Pair-Roi)，组成T对的Pair((FGi,FPj),i＝1,j＜T)；T对的Pair对对应的特征求欧式距离并将Pair对分配到其所在的图片序列中Pair1,Pair2,…PairS，并得到Min(E_dis(Pairi))，其中，1＜i＜s，E_dis为欧式距离，其对应的区域建议框与框回归(offset)通过计算得到最后的目标关联框。
本发明实施例将目标检测结合重识别，支持目标检测与目标的关联，较传统的以图搜图，能利用更多的场景位置信息，目标检测与重识别能互相促进影响并提高，其目标特征包含真实框与其附近周围的框特征较传统的特征包含更多信息，以及训练中正负样本更多样化平衡化，特别对一些遮挡、截断、夜晚模糊、难目标的关联效果提高更明显。在特征提取上更加鲁棒性，相比于滑窗，应用了级联区域建议框，在性能以及不同尺度的支持下效果更优。
实施例2
根据本发明的另一个实施例，还提供了一种目标关联处理装置，图4是根据本发明实施例的目标关联处理装置的框图，如图4所示，包括：
第一获取模块42，用于获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
第一确定模块44，用于确定所述多个图像的特征向量；
第二确定模块46，用于通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
第三确定模块48，用于根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象。
可选地，所述第三确定模块48包括：
处理子模块，用于对分类后的所述建议框与所述多个图像的特征向量进行位置敏感的候选区池化处理，得到所述多个图像的建议框的分类置信度、位置信息、特征向量；
第一获取子模块，用于从所述多个图像中获取所述分类置信度大于第一预设阈值的第一目标建议框；
第二获取子模块，用于获取所述第一目标建议框在所述多个图像中对应的第一目标图像的第一特征向量，其中，所述第一目标图像框包括一个或多个图像；
第一确定子模块，用于从所述多个图像中确定与所述目标框的交并比IoU大于第二预设阈值的第二目标建议框；
第三获取子模块，用于获取所述第二目标建议框在所述多个图像中对应的第二目标图像的特征向量，将所述第二目标图像的特征向量进行归一化处理，得到第二特征向量，其中，所述第二目标图像包括一个或多个图像；
第三确定子模块，用于根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框。
可选地，所述第三确定子模块包括：
第一确定单元，用于将所述第一特征向量与所述第二特征向量的任意两个特征向量确定为特征向量对，得到多个特征向量对；
分配单元，用于分别计算所述多个特征向量对的欧式距离，并将所述多个特征向量对分配到对应的目标图像中；
第二确定单元，用于将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框。
可选地，所述装置还包括：
第三确定单元，用于根据所述目标建议框的位置信息确定所述目标建议框在所述目标图像中的位置。
可选地，所述第一确定模块44，还用于
将所述多个图像输入预先训练好的目标神经网络模型，得到所述目标神经网络模型输出的所述多个图像对应的特征向量。
可选地，所述装置还包括：
第二获取模块，用于获取预定数量的图像、以及所述图像对应的特征向量；
训练模块，用于使用所述预定数量的图像以及所述图像对应的特征向量对原始神经网络模型进行训练，得到所述目标神经网络模型，其中，所述预定数量的图像为所述原始神经网络模型的输入，训练好的所述目标神经网络模型输出的所述图像的特征向量与所述图像实际对应的特征向量满足预定目标函数。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
S2，确定所述多个图像的特征向量；
S3，通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
S4，根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
S2，确定所述多个图像的特征向量；
S3，通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
S4，根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种目标关联处理方法，其特征在于，包括：
获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
确定所述多个图像的特征向量；
通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象；
其中，根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像进中确定与所述目标框关联的目标建议框包括：对分类后的所述建议框与所述多个图像的特征向量进行位置敏感的候选区池化处理，得到所述多个图像的建议框的分类置信度、位置信息、特征向量；从所述多个图像中获取所述分类置信度大于第一预设阈值的第一目标建议框；获取所述第一目标建议框在所述多个图像中对应的第一目标图像的第一特征向量，其中，所述第一目标图像包括一个或多个图像；从所述多个图像中确定与所述目标框的交并比IoU大于第二预设阈值的第二目标建议框；获取所述第二目标建议框在所述多个图像中对应的第二目标图像的特征向量，将所述第二目标图像的特征向量进行归一化处理，得到第二特征向量，其中，所述第二目标图像包括一个或多个图像；根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框。
2.根据权利要求1所述的方法，其特征在于，根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框包括：
将所述第一特征向量与所述第二特征向量的任意两个特征向量确定为特征向量对，得到多个特征向量对；
分别计算所述多个特征向量对的欧式距离，并将所述多个特征向量对分配到对应的目标图像中；
将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框。
3.根据权利要求2所述的方法，其特征在于，在将所述目标图像中最小所述欧式距离的特征向量对对应的建议框确定为所述目标图像中与所述目标框关联的关联建议框之后，所述方法还包括：
根据所述目标建议框的位置信息确定所述目标建议框在所述目标图像中的位置。
4.根据权利要求1至3中任一项所述的方法，其特征在于，确定所述多个图像的特征向量包括：
将所述多个图像输入预先训练好的目标神经网络模型，得到所述目标神经网络模型输出的所述多个图像对应的特征向量。
5.根据权利要求4所述的方法，其特征在于，在获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框之前，所述方法还包括：
获取预定数量的图像、以及所述图像对应的特征向量；
使用所述预定数量的图像以及所述图像对应的特征向量对原始神经网络模型进行训练，得到所述目标神经网络模型，其中，所述预定数量的图像为所述原始神经网络模型的输入，训练好的所述目标神经网络模型输出的所述图像的特征向量与所述图像实际对应的特征向量满足预定目标函数。
6.一种目标关联处理装置，其特征在于，包括：
第一获取模块，用于获取多个图像以及所述多个图像中的一个图像包含目标对象的目标框；
第一确定模块，用于确定所述多个图像的特征向量；
第二确定模块，用于通过区域生成网络确定所述多个图像的建议框，并对所述多个图像的建议框进行分类，其中，所述建议框用于区分背景与对象；
第三确定模块，用于根据分类后的所述建议框与所述多个图像的特征向量从所述多个图像中确定与所述目标框关联的目标建议框，其中，所述目标建议框中的对象为所述目标对象的关联对象；
所述第三确定模块包括：
处理子模块，用于对分类后的所述建议框与所述多个图像的特征向量进行位置敏感的候选区池化处理，得到所述多个图像的建议框的分类置信度、位置信息、特征向量；
第一获取子模块，用于从所述多个图像中获取所述分类置信度大于第一预设阈值的第一目标建议框；
第二获取子模块，用于获取所述第一目标建议框在所述多个图像中对应的第一目标图像的第一特征向量，其中，所述第一目标图像包括一个或多个图像；
第一确定子模块，用于从所述多个图像中确定与所述目标框的交并比IoU大于第二预设阈值的第二目标建议框；
第三获取子模块，用于获取所述第二目标建议框在所述多个图像中对应的第二目标图像的特征向量，将所述第二目标图像的特征向量进行归一化处理，得到第二特征向量，其中，所述第二目标图像包括一个或多个图像；
第三确定子模块，用于根据所述第一特征向量与所述第二特征向量从所述多个图像中确定与所述目标框关联的目标建议框。
7.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器运行时执行所述权利要求1至5任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202010108227.3A 2020-02-21 2020-02-21 一种目标关联处理方法及装置 Active CN111340092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010108227.3A CN111340092B (zh) 2020-02-21 2020-02-21 一种目标关联处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010108227.3A CN111340092B (zh) 2020-02-21 2020-02-21 一种目标关联处理方法及装置

Publications (2)

Publication Number Publication Date
CN111340092A CN111340092A (zh) 2020-06-26
CN111340092B true CN111340092B (zh) 2023-09-22

Family

ID=71181743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010108227.3A Active CN111340092B (zh) 2020-02-21 2020-02-21 一种目标关联处理方法及装置

Country Status (1)

Country Link
CN (1) CN111340092B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN109255352A (zh) * 2018-09-07 2019-01-22 北京旷视科技有限公司 目标检测方法、装置及系统
CN109543662A (zh) * 2018-12-28 2019-03-29 广州海昇计算机科技有限公司 基于区域提议的目标检测方法、系统、装置和存储介质
WO2019095596A1 (zh) * 2017-11-15 2019-05-23 深圳光启合众科技有限公司 对象检测方法、装置、存储介质及处理器
CN109886998A (zh) * 2019-01-23 2019-06-14 平安科技（深圳）有限公司 多目标跟踪方法、装置、计算机装置及计算机存储介质
CN110084139A (zh) * 2019-04-04 2019-08-02 长沙千视通智能科技有限公司 一种基于多分支深度学习的车辆重识别方法
CN110298410A (zh) * 2019-07-04 2019-10-01 北京维联众诚科技有限公司 基于深度学习的低对比度图像中弱目标检测方法及装置
CN110414574A (zh) * 2019-07-10 2019-11-05 厦门美图之家科技有限公司 一种目标检测方法、计算设备及存储介质
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110598698A (zh) * 2019-08-29 2019-12-20 华中科技大学 基于自适应区域建议网络的自然场景文本检测方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6402653B2 (ja) * 2015-03-05 2018-10-10 オムロン株式会社 物体認識装置、物体認識方法、およびプログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
WO2019095596A1 (zh) * 2017-11-15 2019-05-23 深圳光启合众科技有限公司 对象检测方法、装置、存储介质及处理器
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109255352A (zh) * 2018-09-07 2019-01-22 北京旷视科技有限公司 目标检测方法、装置及系统
CN109543662A (zh) * 2018-12-28 2019-03-29 广州海昇计算机科技有限公司 基于区域提议的目标检测方法、系统、装置和存储介质
CN109886998A (zh) * 2019-01-23 2019-06-14 平安科技（深圳）有限公司 多目标跟踪方法、装置、计算机装置及计算机存储介质
CN110084139A (zh) * 2019-04-04 2019-08-02 长沙千视通智能科技有限公司 一种基于多分支深度学习的车辆重识别方法
CN110298410A (zh) * 2019-07-04 2019-10-01 北京维联众诚科技有限公司 基于深度学习的低对比度图像中弱目标检测方法及装置
CN110414574A (zh) * 2019-07-10 2019-11-05 厦门美图之家科技有限公司 一种目标检测方法、计算设备及存储介质
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110598698A (zh) * 2019-08-29 2019-12-20 华中科技大学 基于自适应区域建议网络的自然场景文本检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的目标检测与识别;王高峰;徐子同;卢玮;王翠翠;高涛;;计算机与数字工程(02);全文 *

Also Published As

Publication number Publication date
CN111340092A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN109740573B (zh) 视频分析方法、装置、设备及服务器
CN111723226B (zh) 基于大数据和互联网的信息管理方法及人工智能云服务器
US10853829B2 (en) Association method, and non-transitory computer-readable storage medium
CN115170893B (zh) 共视档位分类网络的训练方法、图像排序方法及相关设备
CN111062400A (zh) 目标匹配方法及装置
CN111091106A (zh) 图像聚类方法及装置、存储介质、电子装置
CN112101156A (zh) 一种目标识别的方法、装置和电子设备
CN110659631B (zh) 车牌识别方法和终端设备
CN116821777B (zh) 一种新型基础测绘数据整合方法及系统
CN111340092B (zh) 一种目标关联处理方法及装置
CN113505720A (zh) 图像处理方法及装置、存储介质、电子装置
CN115100541B (zh) 一种卫星遥感数据的处理方法、系统及云平台
CN115984786A (zh) 车辆损伤检测方法及装置、终端、存储介质
CN112446428B (zh) 一种图像数据处理方法及装置
CN113947154A (zh) 一种目标检测方法、系统、电子设备及存储介质
CN111368784B (zh) 一种目标识别方法、装置、计算机设备和存储介质
CN113793295A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN113420801A (zh) 一种网络模型的生成方法、装置、终端和存储介质
CN112669346A (zh) 一种路面突发状况确定方法及装置
CN112214639A (zh) 视频筛选方法、视频筛选装置及终端设备
CN112333182A (zh) 档案处理方法、装置、服务器及存储介质
EP2857989A1 (en) Image search system and image search method
CN115100244B (zh) 一种目标跟踪方法、装置、存储介质及电子装置
CN114611623A (zh) 一种人像聚类方法、装置、设备及介质
Ma et al. Fast, accurate vehicle detection and distance estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant