CN108062562A - 一种物体重识别方法及装置 - Google Patents

一种物体重识别方法及装置 Download PDF

Info

Publication number
CN108062562A
CN108062562A CN201711313905.4A CN201711313905A CN108062562A CN 108062562 A CN108062562 A CN 108062562A CN 201711313905 A CN201711313905 A CN 201711313905A CN 108062562 A CN108062562 A CN 108062562A
Authority
CN
China
Prior art keywords
pair
feature
value
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711313905.4A
Other languages
English (en)
Other versions
CN108062562B (zh
Inventor
王乃岩
张健夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Future Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd filed Critical Beijing Tusimple Future Technology Co Ltd
Priority to CN201711313905.4A priority Critical patent/CN108062562B/zh
Publication of CN108062562A publication Critical patent/CN108062562A/zh
Priority to US16/273,835 priority patent/US11093789B2/en
Application granted granted Critical
Publication of CN108062562B publication Critical patent/CN108062562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种物体重识别方法及装置，以解决多帧图像的物体重识别效率低、准确性低的技术问题。针对每个物体对，方法包括：从物体对的两个物体各自对应的图像集中分别选取一张图像，构成物体对的当前图像对；将当前图像对输入预置的特征提取网络，得到当前图像对的特征信息；利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；在判断结果为是同一物体或不是同一物体时，输出判断结果；在判断结果为不确定是否是同一物体时，将所述当前图像对作为所述物体对的历史图像对，并重复前述步骤。本发明方案，能够提高物体重识别速度和效率。

Description

一种物体重识别方法及装置
技术领域
本发明涉及计算机视觉领域，特别涉及一种物体重识别方法和一种物体重识别装置。
背景技术
行人重识别(Person re-identification)也称行人再识别，是利用计算机视觉技术判断图像对或者序列图像对中的行人是否为同一行人。检索跨不同摄像设备的同一行人的图像，旨在弥补目前摄像设备的视觉局限。行人重识别可广泛应用于智能视频监控、智能安保、智能驾驶等领域。
由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，易受穿着、尺度、遮挡、姿态和视角等影响，使得行人重识别成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的技术。
随着深度学习在计算机视觉领域的广泛应用，单帧图像的行人重识别在近几年获得了突破性进展，但是多帧图像的行人重识别仍然是一个难题。
目前，多帧图像行人重识别主要通过池化方法将深度神经网络特征整合来进行比较识别。例如在Liang Zheng发表的论文“Scalable Person Re-identification:ABenchmark”中提出，通过卷积神经网络提取信息，再使用平均池化来整合多帧特，实现行人重识别。还例如在Niall McLaughlin发表的论文“Recurrent Convolutional Network forVideo-Based Person Re-identification”中提出，将图像和光流信息通过卷积神经网络和递归神经网络提取特征，使用时序池化整合时序信息，实现行人重识别。
但是现有的多帧图像行人重识别的方式，针对每一对行人对，均需要使用该行人对中的两个行人对应的所有图像来整合识别，该种方式存在以下两个技术问题：
技术问题1、摄像设备拍摄图像的频率较高(例如30帧/秒)，拍摄得到的连续多帧图像的内容往往差别不大，图像存在大量冗余，若使用行人对对应的全部图像进行整合识别，数据量大、效率较低；
技术问题2、使用的图像中部分图像质量较差，例如存在遮挡、模糊等情况，若将该部分质量较差的图像也参与整体识别，会整体降低行人重识别的准确率。
发明内容
鉴于上述问题，本发明提供一种物体重识别方法及装置，以解决现有技术中多帧图像的物体重识别效率低、准确性低的技术问题。本发明技术方案适用的场景较为广泛，本申请对于使用场景不做严格限定，例如可以用于行人重识别、车辆重识别、自行车重识别等。
本发明实施例，一方面，提供一种物体重识别方法，针对每个物体对，所述方法包括：
从物体对的两个物体各自对应的图像集中分别选取一张图像，构成所述物体对的当前图像对；
将当前图像对输入预置的特征提取网络，得到当前图像对的特征信息；
利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；
在判断结果为是同一物体或不是同一物体时，输出判断结果；在判断结果为不确定是否是同一物体时，将所述当前图像对作为所述物体对的历史图像对，并重复前述步骤。
本发明实施例，另一方面，提供一种物体重识别装置，该装置包括选取单元、特征提取单元、判断单元、处理单元，针对每个物体对，其中：
选取单元，用于从物体对的两个物体各自对应的图像集中分别选取一张图像，构成所述物体对的当前图像对；
特征提取单元，用于将当前图像对输入预置的特征提取网络，得到当前图像对的特征信息；
判断单元，用于利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；
处理单元，用于在判断结果为是同一物体或不是同一物体时输出判断结果；以及，在判断结果为不确定是否是同一物体时，将所述当前图像对作为所述物体对的历史图像对，并触发所述选取单元。
本发明技术方案，对一个物体对进行识别时，从物体对的两个物体各自对应的图像集中分别选取一张图像构成当前图像对；若根据当前图像对能够明确判断该物体对为同一物体或不为同一物体时直接输出判断结果，并不再继续对该物体对的其他图像进行判断，从而提高重识别的速度和效率；若根据当前图像对无法明确确定物体对是否为同一物体时，重新选取一对图像对继续进行判断，从而能够实现在选取的图像对中存在例如包含遮挡或模糊等情况的低质量图像时，能够智能的重新选取高质量图像对继续进行判断，从而降低低质量图像对重识别的准确性的影响，整体提高物体重识别的准确性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中构建的每个行人分别对应的图像集的示意图；
图2为本发明实施例中物体重识别方法的流程图；
图3为本发明实施例中物体重识别的网络结构示意图之一；
图4为本发明实施例中物体重识别的网络结构示意图之二；
图5为本发明实施例中重识别网络的结构示意图；
图6A为本发明实施例中简单样本的行人重识别示意图；
图6B为本发明实施例中复杂样本的行人重识别示意图；
图7为本发明实施例中物体重识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明实施例中的物体重识别方法及装置，可以适用于非常广泛的应用场景，可以用于行人重识别、车辆重识别等，可以应用于安防领域，也可以应用自动驾驶领域，本申请不做严格限定。
本发明实施例中，整体原理，可包括以下几个部分：
首先，将对多个摄像设备拍摄的图像进行物体检测和追踪(可以是行人、车辆等感兴趣的物体)，得到每个物体对应的图像集。物体检测和追踪可以通过人工标定实现也可以通过预置的算法实现，本申请不做严格限定。如图1所示为4个行人分别对应的图像集，每个图像集包含多帧图像。
最后，依次对每个物体对，采用本发明实施例提供的物体重识别方法判断该物体对中的两个物体是否为同一物体。
实施例一
参见图2，为本发明实施例中物体重识别方法的流程图，针对每个物体对，方法包括：
步骤101、从物体对的两个物体各自对应的图像集中分别选取一张图像，构成所述物体对的当前图像对。
本发明实施例中，可以通过随机选取方式从图像集中选取一张图像，也可以按照时序从图像集中选取一张图像，本申请不做严格限定。
步骤102、将当前图像对输入预置的特征提取网络，得到当前图像对的特征信息。
步骤103、利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；若判断结果是同一物体或不是同一物体则执行步骤104，若判断结果为不确定是否是同一物体则执行步骤105。
步骤104、输出判断结果，结束流程。
步骤105、将所述当前图像对作为所述物体对的历史图像对，并执行所述步骤101。
优选地，前述步骤103中，利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体，具体可通过以下步骤A1～步骤A2实现：
步骤A1、根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息。
步骤A2、将所述输入信息输入到所述重识别网络，得到所述物体对是否为同一物体的判断结果。
优选地，前述步骤A2具体实现可如下：将所述输入信息输入重识别网络；通过重识别网络计算得到所述物体对分别为以下三个结果的评估值：是同一物体、不是同一物体、不确定是否是同一物体，并将评估值最大的结果作为判断结果。本发明实施例中，结果为是同一物体的评估值用Qs表示，结果为不是同一物体的评估值用Qd表示，结果为不确定是否是同一物体的评估值用Qu表示。
优选地，为避免极端情况(例如连续判断结果均为“不确定是否是同一物体”)导致图1所示的方法流程无限循环而无法停止的问题，本发明实施例中可预先设置终止条件，例如，终止条件可以设置为“判断结果连续为“不确定是否是同一物体”的次数达到预置数量阈值时，停止循环”，或者，终止条件可以设置为“物体对对应的两个物体的图像集中的所有图像对均已参与计算时，停止循环”。此时，前述步骤103具体实现可如下：
步骤103、利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；若判断结果是同一物体或不是同一物体则执行步骤104，若判断结果为不确定是否是同一物体则执行以下步骤：判断是否满足预置的终止条件，若不满足则执行步骤105，若满足则：比较本次计算得到的“是同一物体”的评估值和“不是同一物体”的评估值，选取取值较大的评估值对应的判断结果作为最终的判断结果，例如，若Qs大于Qd则确定物体对是同一物体，若Qs小于Qd则确定物体对为不是同一物体。
前述步骤A1，具体可通过但不仅限于以下方式1～方式7中的任意一种方式实现。
下面对构成方式1～方式7的多个步骤(步骤A、步骤B和步骤C)进行介绍。
步骤A、计算当前图像对中两张图像的特征的差值，得到当前图像对的特征差值向量。
步骤B、计算历史图像对的特征差值向量的加权平均值，得到历史特征差值向量。
步骤C、将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征。
其中，前述步骤C中的匹配值的类型可以是距离值，也可以是点积值，还可以是距离值和点积值，对于不同类型的匹配值其对应的距离特征不同，具体如下：
情况1、当所述匹配值为距离值时，步骤C中计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体实现如下：计算各重组图像对的两张图像的特征的距离值；从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；将所述最大距离值、最小距离值和平均距离值确定为距离特征。
本发明实施例中，前述距离值可以是欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、余弦距离或马氏距离，本申请不做严格限定。
情况2、当所述匹配值为点积值时，步骤C中计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体实现如下：计算各重组图像对的两张图像的特征的点积值；从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；将所述最大点积值、最小点积值和平均点积值确定为距离特征。
情况3、当所述匹配值为距离值和点积值时，步骤C中计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体实现如下：计算各重组图像对的两张图像的特征的距离值；从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；计算各重组图像对的两张图像的特征的点积值；从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；将所述最大距离值、最小距离值、平均距离值、最大点积值、最小点积值和平均点积值确定为距离特征。
方式1、执行步骤A，将步骤A得到的当前图像对的特征差值向量作为重识别网络的输入信息。
方式2、执行步骤B，将步骤B得到的历史特征差值向量作为重识别网络的输入信息。
方式3、执行步骤C，将步骤C得到的距离特征作为重识别网络的输入信息。
方式4、执行步骤A、步骤B，将步骤A得到的当前图像对的特征差值向量和步骤B得到的历史特征差值向量作为重识别网络的输入信息。
方式5、执行步骤A、步骤C，将步骤A得到的当前图像对的特征差值向量和步骤C得到的距离特征作为重识别网络的输入信息。
方式6、执行步骤B、步骤C，将步骤B得到的历史特征差值向量和步骤C得到的距离特征作为重识别网络的输入信息。
方式7、执行步骤A、步骤B、步骤C，将步骤A得到的当前图像对的特征差值向量、步骤B得到的历史特征差值向量和步骤C得到的距离特征作为重识别网络的输入信息。
为便于本领域技术人员进一步理解本发明技术方案，下面以具体的实例来对本发明实施例中的当前图像对的特征差值向量、历史特征差值向量、距离特征的计算方式进行详细的描述。
假设当前图像对为物体对的第t对图像对(当前图像对包括图像At和图像Bt，用At&Bt表示)，该物体对的历史物体对包括t-1对，其中图像At的特征信息为X＝{X1，X2，...,Xn}，图像Bt的特征信息为Y＝{Y1，Y2，...,Yn}，用O1、O2、…、Ot-1表示各历史图像对的特征差值向量，用Ot表示当前图像对的特征差值向量，则计算当前图像对的特征差值向量和历史特征差值向量的方式可参见以下式(1)和式(2)：
计算得到图像对At&Bt的特征差值向量如下式(1)所示：
Ot＝{(X1-Y1)，(X2-Y2)，...,(Xn-Yn)} 式(1)
计算历史图像对的特征差值向量的加权平均值如下式(2)所示：
式(2)中，ht为计算得到的历史特征差值向量，wi为第i对历史图像对的权值，Oi为第i对历史图像对的特征差值向量。
其中，优选地，本发明实施例可按照下式(3)设置各历史图像对的权值：
式(3)中，wi为第i对历史图像对的权值，Qs、Qd、Qu分别为重识别网络确定第i对历史图像对“是同一物体”的评估值、“不是同一物体”的评估值、“不确定是否是同一物体”的评估值。
采用式(3)所述的权值设置方式，可以使Qu较高的图像对具有较低的权值，使Qu较低的图像对具有较高的权值。
当然，本领域技术人员还可根据实际情况采取不同的权值设置方式，例如直接将所有历史图像对的权值设置为1，本申请不做严格限定。
假设物体对的当前图像对为第二个图像对，即t＝2，该物体对的历史图像对为第一图像对，第一图像对包含图像A1和图像B1(用A1&B1表示)，该物体对的当前图像对为第二图像对，第二图像对包含图像A2和图像B2(用A2&B2表示)，当前图像对的特征差值向量为O2，历史特征差值向量为h2，则计算距离特征可如下：
首先，对当前图像对和历史图像对的图像进行重新配对，得到4个重组图像对，依次为A1&B1、A1&B2、A2&B1、A2&B2；Ai&Bj表示图像Ai和图像Bj构成的重组图像对，其中Ai的特征信息为Xi＝{Xi1,Xi2,...,Xin}，Bj的特征信息为Yj＝{Yj1,Yj2,...,Yjn}；
其次，根据下式(4)计算各重组图像对的两张图像的特征的距离值分别为d11、d12、d21和d22，以及根据下式(5)计算各重组图像对的两张图像的特征的点积值分别为DJ11、DJ12、DJ21和DJ22：
式(4)、式(5)中，dij表示重组图像对Ai&Bj的距离值，DJij表示重组图像对Ai&Bj的点积值。
再其次，根据所有重组图像对的距离值确定最大距离值、最小距离值和平均距离值依次为：dmax＝max{d11,d12,d21,d22}、dmin＝min{d11,d12,d21,d22}、dave＝(d11+d12+d21+d22)/4。
然后，根据所有重组图像对的点积值确定最大点积值、最小点积值和平均点积值依次为：DJmax＝max{DJ11,DJ12,DJ21,DJ22}、DJmin＝min{DJ11,DJ12,DJ21,DJ22}、DJave＝(DJ11+DJ12+DJ21+DJ22)/4。
最后，将dmax、dmin、daverage作为距离特征，或者将DJmax、DJmin和DJave作为距离特征，或者将dmax、dmin、daverage、DJmax、DJmin和DJave作为距离特征。
图3为输入给重识别网络的输入信息为基于前述方式4得到的当前图像对的特征差值向量、历史特征差值向量的示意图。图4为输入给重识别网络的输入信息为基于前述方式7得到的当前图像对的特征差值向量、历史特征差值向量、距离特征的示意图。
本发明实施例中，特征提取网络可以采用现有技术中已经公开的任意一种能够实现图像特征提取的神经网络为模型，经过训练该模型得到本发明实施例所要的特征提取网络。
本发明实施例中，重识别网络的一个示例性结构如下：依次包括输入层、两层全连接层和输出层，如图5所示，例如，全连接层可以为128维，输出层为3维。本领域技术人员可以根据实际需求灵活设置重识别网络的具体结构，本申请不对重识别网络的具体结构作严格限定。
为便于本领域技术人员进一步理解，下面对本发明实施例中物体重识别所使用的特征提取网络和重识别网络如何训练得到进行简单的描述。
首先，通过人工筛选方式或物体跟踪算法，构建训练样本集。该训练样本集包括一定数量的样本物体分别对应的图像集。例如，在行人重识别应用场景中，N个样本行人则构建N个图像集；在车辆重识别应用场景中，M个样本车辆则构建M个图像集。
其次，将样本物体进行两两配对得到相应数量的物体对，并标注各物体对是否为同一物体的标注结果，其中标注结果即为真实结果。
再次，构建初始特征提取网络和初始重识别网络。
本发明实施例中，可以构建初始特征提取网络的结构、构建初始重识别网络的结构。也可以选取现有技术已有的具有特征提取功能的卷积神经网络作为初始特征提取网络。
最后，基于构建的训练样本集和标注结果，对初始特征提取网络、初始重识别网络进行迭代训练，直到满足预置的迭代停止条件，将停止迭代训练时的特征提取网络和重识别网络作为最终的网络模型。
本发明实施例中，迭代停止条件可以为以下任意一种：迭代训练的次数达到预置数量阈值，重识别网络的识别准确率达到预置准确率阈值，重识别网络满足预置的收敛条件。迭代训练的方式可以采用现有技术的迭代训练方式，例如梯度下降方式，本申请不做严格限定。
在一个示例中，迭代训练特征提取网络和重识别网络，更具体地：首先，从当前物体对各自对应的图像集中分别随机选取一张图像构成当前图像对；其次，通过特征提取网络提取当前图像对的特征信息；然后，根据当前图像对的特征信息、当前物体对的历史图像对的特征信息，计算得到重识别网络的输入信息；最后，通过深度Q-学习网络来训练重识别网络学习决策行为，决策行为可设置为以下三种：“是同一物体”、“不是同一物体”和“不确定是否是同一物体”；当重识别网络的决策行为为“是同一物体”或“不是同一物体”时，识别结束；当重识别网络的决策行为为“不确定是否是同一物体”时，则将当前图像能作为当前物体对的历史图像对，并从当前物体对各自对应的图像集中分别随机选取一张图像构成当前图像对重复前述步骤。
优选地，在一个示例中，在应用强化学习深度Q学习网络来训练重识别网络之前，可以预先训练特征提取网络，再通过构建的样本训练集和标注结果综合训练特征提取网络和重识别网络。
在训练特征提取网络时，假设当前物体对对应的图像集中的图像序列为(X，Y)＝({x1，...，xn}，{y1，...，yn})，其中xi代表X中的一张图像，定义f(xi)为特征提取网络；选择训练一个卷积神经网络来得到特征提取网络f(·)，使用卷积神经网络最后一层的平均池化并l2标准化的结果，将图像投影到高维特征空间中，通过度量学习维护不同样本之间相对的距离关系。通过同时优化分类误差、校验误差以及三元组校验误差，可以使不同的样本之间的特征在特征空间中保持一定的距离。
在应用强化学习深度Q学习网络来训练重识别网络时，假设当前识别任务为第t对图像对，该第t次输入重识别网络的输入信息用状态st表示，重识别网络的决策行为用动作at表示，用状态-动作组(st,at)表示；重识别网络每输出一个决策行为则会返回一个相应的奖励值r(r为正数表示奖励，r为负数时表示惩罚)，为了能使得每次识别任务的累积奖励最大，重识别网络需要通过反复的试错来得到不同的奖励和惩罚，从而摸索出最佳的决策行为。
若重识别网络选择“是同一物体”，则识别任务结束，重识别网络确定当前物体对为同一物体；若重识别网络选择“不是同一物体”，则识别任务结束，重识别网络确定当前物体对不是同一个物体；若重识别网络选择“不确定是否是同一物体”，则识别任务继续，从当前物体对的各自图像集中分别随机选取一张图像构成当前图像对，继续进行识别。若重识别网络的决策行为与标注结果相同，则返回+1的奖励；若重识别网络的决策行为与标注结果不相同，则返回-1的惩罚；若重识别网络的决策行为“不确定是否是同一物体”，则返回+0.2的奖励。当然前述奖励值仅仅是一个示例，本领域技术人员可以根据实际需求灵活设置奖励值的取值。
对于任意状态-动作组(st,at)，定义为重识别网络在该状态-动作组(st,at)所能获得的衰减累积奖励：
其中γ是小于1的实数，本发明实施例可以设置为0.9。
如图6A、图6B为行人重识别的应用场景下，采用本发明实施例一提供的物体重识别方法识别的示意图。对于简单样本(easy samples)如图6A所示(图像比较清晰，不包含遮挡、模糊等情况)，只需要一对图像对即可明确判断出是否为同一行人；对于复杂样本(hardsamples)(图像不清晰，包含遮挡或模糊等情况)，如图6B第一行图像对为包含遮挡(Occlusion)，图6B第二行图像对包含模糊(Blur)，通过识别三对图像对即可明确判断出是否为同一行人。图6A和图6B中，叉号表示判断结果为“不是同一物体”，勾号表示判断结果为“是同一物体”，问号表示判断结果为“不确定是否是同一物体”。
本发明技术方案，在多帧物体识别集中进行验证，其中包括一些大规模数据集，均取得了优异的效果，实验数据显示，采用本发明提供的物体重识别方法仅适用原有3％～6％的图像数据量即可获得较高的识别准确率，提高了重识别速度和效率。
实施例二
基于前述实施例一提供的物体重识别方法的相同构思，本发明实施例二提供一种物体重识别装置，该装置的结构如图7所示，包括选取单元1、特征提取单元2、判断单元3、处理单元4，针对每个物体对，其中：
选取单元1，用于从物体对的两个物体各自对应的图像集中分别选取一张图像，构成所述物体对的当前图像对；
特征提取单元2，用于将当前图像对输入预置的特征提取网络，得到当前图像对的特征信息；
判断单元3，用于利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；
处理单元4，用于在判断结果为是同一物体或不是同一物体时输出判断结果；以及，在判断结果为不确定是否是同一物体时，将所述当前图像对作为所述物体对的历史图像对，并触发所述选取单元1。
优选地，所述判断单元3具体包括：
计算子单元，用于根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息；
判断子单元，用于将所述输入信息输入到所述重识别网络，得到所述物体对是否为同一物体的判断结果。
优选地，所述判断子单元，具体用于：将所述输入信息输入重识别网络；通过重识别网络计算得到所述物体对分别为以下三个结果的评估值：是同一物体、不是同一物体、不确定是否是同一物体，并将评估值最大的结果作为所述物体对是否为同一物体对的判断结果。本发明实施例中，结果为是同一物体的评估值用Qs表示，结果为不是同一物体的评估值用Qd表示，结果为不确定是否是同一物体的评估值用Qu表示。
优选地，为避免极端情况(例如连续判断结果均为“不确定是否是同一物体”)导致无限循环而无法停止的问题，本发明实施例中可预先设置终止条件，例如，终止条件可以设置为“判断结果连续为“不确定是否是同一物体”的次数达到预置数量阈值时，停止循环”，或者，终止条件可以设置为“物体对对应的两个物体的图像集中的所有图像对均参与计算时，停止循环”。此时，判断子单元，具体用于：将所述输入信息输入到所述重识别网络，得到所述物体对是否为同一物体的判断结果；若判断结果为是同一物体或不是同一物体时，将判断结果输出给处理单元4；若判断结果为不确定是否是同一物体，则判断是否满足预置的终止条件，若不满足则将判断结果输出给处理单元4，若满足则：比较本次计算得到的“是同一物体”的评估值和“不是同一物体”的评估值，选取取值较大的评估值对应的判断结果作为最终的判断结果并输出给处理单元4，例如，若Qs大于Qd则确定物体对为同一物体，若Qs小于Qd则确定物体对为不是同一物体。
在示例1中，所述计算子单元，具体用于：计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量，并将所述当前图像对的特征差值向量确定为所述输入信息。
在示例2中，所述计算子单元，具体用于：计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量，并将所述历史特征差值向量确定为所述输入信息。
在示例3中，所述计算子单元，具体用于：计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量，以及计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量，并将所述当前图像对的特征差值向量和所述历史特征差值向量确定为所述输入信息。
在示例4中，所述计算子单元，具体用于：将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，将距离特征确定为所述输入信息。
在示例5中，所述计算子单元，具体用于：计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量；将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；将所述特征差值向量和所述距离特征确定为输入信息
在示例6中，所述计算子单元，具体用于：计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量；将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；将所述历史特征差值向量和所述距离特征确定为输入信息。
在示例7中，所述计算子单元，具体用于：计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量；计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量；将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；将所述特征差值向量、所述历史特征差值向量和所述距离特征确定为输入信息。
优选地，前述示例4～示例7中，所述匹配值的类型可以是距离值，也可以是点积值，还可以是距离值和点积值，对于不同类型，所述计算子单元计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征的方式具体可如下：
情况1、所述匹配值为距离值，计算子单元具体用于：计算各重组图像对的两张图像的特征的距离值；从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；将所述最大距离值、最小距离值和平均距离值确定为距离特征。
情况2、所述匹配值为点积值，计算子单元具体用于：计算各重组图像对的两张图像的特征的点积值；从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；将所述最大点积值、最小点积值和平均点积值确定为距离特征。
情况3、所述匹配值包括距离值和点积值，所述计算子单元具体用于：计算各重组图像对的两张图像的特征的距离值；从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；计算各重组图像对的两张图像的特征的点积值；从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；将所述最大距离值、最小距离值、平均距离值、最大点积值、最小点积值和平均点积值确定为距离特征。
前述示例中，计算子单元计算当前图像对的特征差值向量和历史特征差值向量的方式，可参见实施例一中相关的内容，在此不再赘述。
前述示例中，计算子单元确定距离特征的方式，可参见实施例一中相关内容，在此不再赘述。
优选地，所述重识别网络的一个示例性结构如下：依次包括输入层、两个全连接层和输出层。例如，全连接层可以为128维，输出层为3维。本领域技术人员可以根据实际需求灵活设置重识别网络的结构，本申请不对重识别网络的具体结构作严格限定。
本发明实施例中，特征提取网络、重识别网络的训练方式可参见实施例一中相关内容，在此不再赘述。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

1.一种物体重识别方法，其特征在于，针对每个物体对，包括：
从物体对的两个物体各自对应的图像集中分别选取一张图像，构成所述物体对的当前图像对；
将当前图像对输入预置的特征提取网络，得到当前图像对的特征信息；
利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；
在判断结果为是同一物体或不是同一物体时，输出判断结果；在判断结果为不确定是否是同一物体时，将所述当前图像对作为所述物体对的历史图像对，并重复前述步骤。
2.根据权利要求1所述的方法，其特征在于，利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体，具体包括：
根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息；
将所述输入信息输入到所述重识别网络，得到所述物体对是否为同一物体的判断结果。
3.根据权利要求2所述的方法，其特征在于，根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息，具体包括：
计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量，并将所述当前图像对的特征差值向量确定为所述输入信息；
或者，计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量，并将所述历史特征差值向量确定为所述输入信息；
或者，计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量，以及计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量，并将所述当前图像对的特征差值向量和所述历史特征差值向量确定为所述输入信息。
4.根据权利要求2所述的方法，其特征在于，根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息，具体包括：
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；
计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，将距离特征确定为所述输入信息。
5.根据权利要2所述的方法，其特征在于，根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息，具体包括：
计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量；
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；
将所述特征差值向量和所述距离特征确定为输入信息。
6.根据权利要求2所述的方法，其特征在于，根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息，具体包括：
计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量；
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；
将所述历史特征差值向量和所述距离特征确定为输入信息。
7.根据权利要求2所述的方法，其特征在于，根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息，具体包括：
计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量；
计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量；
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；
将所述特征差值向量、所述历史特征差值向量和所述距离特征确定为输入信息。
8.根据权利要求4～7任一项所述的方法，其特征在于，所述匹配值为距离值，计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体包括：
计算各重组图像对的两张图像的特征的距离值；
从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；
将所述最大距离值、最小距离值和平均距离值确定为距离特征。
9.根据权利要求4～7任一项所述的方法，其特征在于，所述匹配值为点积值，计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体包括：
计算各重组图像对的两张图像的特征的点积值；
从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；
将所述最大点积值、最小点积值和平均点积值确定为距离特征。
10.根据权利要求4～7任一项所述的方法，其特征在于，所述匹配值包括距离值和点积值，计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体包括：
计算各重组图像对的两张图像的特征的距离值；从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；
计算各重组图像对的两张图像的特征的点积值；从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；
将所述最大距离值、最小距离值、平均距离值、最大点积值、最小点积值和平均点积值确定为距离特征。
11.根据权利要求2所述的方法，其特征在于，将所述输入信息输入到所述重识别网络，得到所述物体对是否为同一物体的判断结果，具体包括：
将所述输入信息输入重识别网络；
通过重识别网络计算得到所述物体对分别为以下三个结果的评估值：是同一物体、不是同一物体、不确定是否是同一物体，并将评估值最大的结果作为判断结果。
12.根据权利要求1所述的方法，其特征在于，所述重识别网络的结构依次包括输入层、两个全连接层和输出层。
13.一种物体重识别装置，其特征在于，所述装置包括选取单元、特征提取单元、判断单元、处理单元，针对每个物体对，其中：
选取单元，用于从物体对的两个物体各自对应的图像集中分别选取一张图像，构成所述物体对的当前图像对；
特征提取单元，用于将当前图像对输入预置的特征提取网络，得到当前图像对的特征信息；
判断单元，用于利用预置的重识别网络根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，判断所述物体对是否为同一物体；
处理单元，用于在判断结果为是同一物体或不是同一物体时输出判断结果；以及，在判断结果为不确定是否是同一物体时，将所述当前图像对作为所述物体对的历史图像对，并触发所述选取单元。
14.根据权利要求13所述的装置，其特征在于，所述判断单元具体包括：
计算子单元，用于根据所述物体对的当前图像对的特征信息、历史图像对的特征信息，计算得到所述重识别网络的输入信息；
判断子单元，用于将所述输入信息输入到所述重识别网络，得到所述物体对是否为同一物体的判断结果。
15.根据权利要求14所述的装置，其特征在于，所述计算子单元，具体用于：
计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量，并将所述当前图像对的特征差值向量确定为所述输入信息；
或者，计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量，并将所述历史特征差值向量确定为所述输入信息；
或者，计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量，以及计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量，并将所述当前图像对的特征差值向量和所述历史特征差值向量确定为所述输入信息。
16.根据权利要求14所述的装置，其特征在于，所述计算子单元，具体用于：
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；
计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，将距离特征确定为所述输入信息。
17.根据权利要求14所述的装置，其特征在于，所述计算子单元，具体用于：
计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量；
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；
将所述特征差值向量和所述距离特征确定为输入信息。
18.根据权利要求14所述的装置，其特征在于，所述计算子单元，具体用于：
计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量；
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；
将所述历史特征差值向量和所述距离特征确定为输入信息。
19.根据权利要求14所述的装置，其特征在于，所述计算子单元，具体用于：
计算当前图像对中两张图像的特征的差值得到当前图像对的特征差值向量；
计算所述物体对的历史图像对的特征差值向量的加权平均值得到历史特征差值向量；
将所述物体对的当前图像对和历史图像对中的图像按照所属物体划分为两个图像集合，并将两个图像集合中的图像之间进行两两配对得到多个重组图像对；计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征；
将所述特征差值向量、所述历史特征差值向量和所述距离特征确定为输入信息。
20.根据权利要求16～19任一项所述的装置，其特征在于，所述匹配值为距离值，所述计算子单元计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体用于：
计算各重组图像对的两张图像的特征的距离值；
从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；
将所述最大距离值、最小距离值和平均距离值确定为距离特征。
21.根据权利要求16～19任一项所述的装置，其特征在于，所述匹配值为点积值，所述计算子单元计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体用于：
计算各重组图像对的两张图像的特征的点积值；
从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；
将所述最大点积值、最小点积值和平均点积值确定为距离特征。
22.根据权利要求16～19任一项所述的装置，其特征在于，所述匹配值包括距离值和点积值，所述计算子单元计算各重组图像对的两张图像的特征的匹配值，根据所有重组图像对的匹配值确定距离特征，具体用于：
计算各重组图像对的两张图像的特征的距离值；从所有重组图像对的距离值中选取最大距离值和最小距离值，以及计算所有重组图像对的距离值的平均值得到平均距离值；
计算各重组图像对的两张图像的特征的点积值；从所有重组图像对的点积值中选取最大点积值和最小点积值，以及计算所有重组图像对的点积值的平均值得到平均点积值；
将所述最大距离值、最小距离值、平均距离值、最大点积值、最小点积值和平均点积值确定为距离特征。
23.根据权利要求14所述的装置，其特征在于，所述判断子单元，具体用于：
将所述输入信息输入重识别网络；
通过重识别网络计算得到所述物体对分别为以下三个结果的评估值：是同一物体、不是同一物体、不确定是否是同一物体，并将评估值最大的结果作为所述物体对是否为同一物体对的判断结果。
24.根据权利要求13所述的装置，其特征在于，所述重识别网络的结构依次包括输入层、两个全连接层和输出层。
CN201711313905.4A 2017-12-12 2017-12-12 一种物体重识别方法及装置 Active CN108062562B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711313905.4A CN108062562B (zh) 2017-12-12 2017-12-12 一种物体重识别方法及装置
US16/273,835 US11093789B2 (en) 2017-12-12 2019-02-12 Method and apparatus for object re-identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711313905.4A CN108062562B (zh) 2017-12-12 2017-12-12 一种物体重识别方法及装置

Publications (2)

Publication Number Publication Date
CN108062562A true CN108062562A (zh) 2018-05-22
CN108062562B CN108062562B (zh) 2020-03-10

Family

ID=62138159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711313905.4A Active CN108062562B (zh) 2017-12-12 2017-12-12 一种物体重识别方法及装置

Country Status (2)

Country Link
US (1) US11093789B2 (zh)
CN (1) CN108062562B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389177A (zh) * 2018-10-25 2019-02-26 长安大学 一种基于协同级联森林的隧道车辆再识别方法
CN109697457A (zh) * 2018-11-26 2019-04-30 上海图森未来人工智能科技有限公司 物体重识别系统的训练方法、物体重识别方法及相关设备
CN111145212A (zh) * 2019-12-03 2020-05-12 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
CN112364791A (zh) * 2020-11-17 2021-02-12 中南民族大学 一种基于生成对抗网络的行人重识别方法和系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062562B (zh) * 2017-12-12 2020-03-10 北京图森未来科技有限公司 一种物体重识别方法及装置
US10522038B2 (en) 2018-04-19 2019-12-31 Micron Technology, Inc. Systems and methods for automatically warning nearby vehicles of potential hazards
US11373466B2 (en) 2019-01-31 2022-06-28 Micron Technology, Inc. Data recorders of autonomous vehicles
JP7171520B2 (ja) * 2019-07-09 2022-11-15 株式会社日立製作所 機械学習システム
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
WO2021033875A1 (en) * 2019-08-20 2021-02-25 Samsung Electronics Co., Ltd. Electronic device for improving graphic performace of application program and operating method thereof
US11755884B2 (en) 2019-08-20 2023-09-12 Micron Technology, Inc. Distributed machine learning with privacy protection
WO2021051230A1 (en) * 2019-09-16 2021-03-25 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for object detection
FR3104291B1 (fr) * 2019-12-04 2022-03-04 Psa Automobiles Sa Procédé et système de configuration d’un dispositif d’imagerie d’un véhicule automobile comportant N capteurs et N réseaux de neurones encodeurs dédiés
CN111126223B (zh) * 2019-12-16 2023-04-18 山西大学 基于光流引导特征的视频行人再识别方法
CN111814845B (zh) * 2020-03-26 2022-09-20 同济大学 一种基于多支流融合模型的行人重识别方法
CN112016687B (zh) * 2020-08-20 2022-05-10 浙江大学 一种基于互补伪标签的跨域行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
US9117147B2 (en) * 2011-04-29 2015-08-25 Siemens Aktiengesellschaft Marginal space learning for multi-person tracking over mega pixel imagery
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN105574505A (zh) * 2015-12-16 2016-05-11 深圳大学 一种多摄像机间人体目标再识别的方法及系统
CN106096568A (zh) * 2016-06-21 2016-11-09 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
CN106971178A (zh) * 2017-05-11 2017-07-21 北京旷视科技有限公司 行人检测和再识别的方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711146B2 (en) * 2006-03-09 2010-05-04 General Electric Company Method and system for performing image re-identification
US9396412B2 (en) * 2012-06-21 2016-07-19 Siemens Aktiengesellschaft Machine-learnt person re-identification
US9633263B2 (en) * 2012-10-09 2017-04-25 International Business Machines Corporation Appearance modeling for object re-identification using weighted brightness transfer functions
US20140184803A1 (en) * 2012-12-31 2014-07-03 Microsoft Corporation Secure and Private Tracking Across Multiple Cameras
US9449258B1 (en) * 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
GB2545900B (en) * 2015-12-21 2020-08-12 Canon Kk Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras
US10311332B2 (en) * 2016-01-26 2019-06-04 Huawei Technologies Co., Ltd. Orientation-based subject-matching in images
US11176382B2 (en) * 2017-03-06 2021-11-16 Conduent Business Services, Llc System and method for person re-identification using overhead view images
US11055538B2 (en) * 2017-03-31 2021-07-06 Disney Enterprises, Inc. Object re-identification with temporal context
US10671083B2 (en) * 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
CN108062562B (zh) * 2017-12-12 2020-03-10 北京图森未来科技有限公司 一种物体重识别方法及装置
US10778412B2 (en) * 2017-12-28 2020-09-15 Intel Corporation Multi-domain convolutional neural network
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
US11455807B2 (en) * 2018-09-20 2022-09-27 Nvidia Corporation Training neural networks for vehicle re-identification
US10922581B2 (en) * 2018-12-10 2021-02-16 Canon Kabushiki Kaisha Method, system and apparatus for performing re-identification in images captured by at least two camera pairs operating with different environmental factors
US11138469B2 (en) * 2019-01-15 2021-10-05 Naver Corporation Training and using a convolutional neural network for person re-identification
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
US20200302176A1 (en) * 2019-03-18 2020-09-24 Nvidia Corporation Image identification using neural networks
TWI772627B (zh) * 2019-03-19 2022-08-01 財團法人工業技術研究院 人物重識別方法、人物重識別系統及影像篩選方法
CN110175527B (zh) * 2019-04-29 2022-03-25 北京百度网讯科技有限公司 行人再识别方法及装置、计算机设备及可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117147B2 (en) * 2011-04-29 2015-08-25 Siemens Aktiengesellschaft Marginal space learning for multi-person tracking over mega pixel imagery
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN105574505A (zh) * 2015-12-16 2016-05-11 深圳大学 一种多摄像机间人体目标再识别的方法及系统
CN106096568A (zh) * 2016-06-21 2016-11-09 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
CN106971178A (zh) * 2017-05-11 2017-07-21 北京旷视科技有限公司 行人检测和再识别的方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EJAZ AHMED 等: "An improved deep learning architecture for person re-identification", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
FURQAN M. KHAN 等: "Multi-shot Person Re-Identification Using Part Appearance Mixture", 《2017 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
M.FARENZENA 等: "Person Re-identification by Symmetry-Driven Accumulation of Local Feature", 《2010 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION（CVPR）》 *
宋婉茹 等: "行人重识别研究综述", 《智能系统学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389177A (zh) * 2018-10-25 2019-02-26 长安大学 一种基于协同级联森林的隧道车辆再识别方法
CN109389177B (zh) * 2018-10-25 2021-08-10 长安大学 一种基于协同级联森林的隧道车辆再识别方法
CN109697457A (zh) * 2018-11-26 2019-04-30 上海图森未来人工智能科技有限公司 物体重识别系统的训练方法、物体重识别方法及相关设备
CN111145212A (zh) * 2019-12-03 2020-05-12 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
CN111145212B (zh) * 2019-12-03 2023-10-03 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
CN112364791A (zh) * 2020-11-17 2021-02-12 中南民族大学 一种基于生成对抗网络的行人重识别方法和系统
CN112364791B (zh) * 2020-11-17 2021-06-15 中南民族大学 一种基于生成对抗网络的行人重识别方法和系统

Also Published As

Publication number Publication date
CN108062562B (zh) 2020-03-10
US11093789B2 (en) 2021-08-17
US20190279028A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN108062562A (zh) 一种物体重识别方法及装置
Yuan et al. Temporal action localization by structured maximal sums
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
Huang et al. Adversarial attacks on neural network policies
Fu et al. Fast crowd density estimation with convolutional neural networks
CN109583322B (zh) 一种人脸识别深度网络训练方法和系统
Bouchard et al. Semantic segmentation of motion capture using laban movement analysis
Koutník et al. Evolving deep unsupervised convolutional networks for vision-based reinforcement learning
KR102224253B1 (ko) 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법
CN106778796B (zh) 基于混合式协同训练的人体动作识别方法及系统
CN103020986B (zh) 一种运动目标跟踪方法
Fernando et al. Going deeper: Autonomous steering with neural memory networks
CN106599789A (zh) 视频类别识别方法和装置、数据处理装置和电子设备
US20120219213A1 (en) Embedded Optical Flow Features
CN111191667B (zh) 基于多尺度生成对抗网络的人群计数方法
CN104281853A (zh) 一种基于3d卷积神经网络的行为识别方法
US20220076117A1 (en) Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
CN104850818A (zh) 人脸检测器训练方法、人脸检测方法及装置
KR20170038622A (ko) 영상으로부터 객체를 분할하는 방법 및 장치
CN111881731A (zh) 基于人体骨架的行为识别方法、系统、装置及介质
CN106709528A (zh) 基于多目标函数深度学习的车辆重识别方法及装置
CN106650617A (zh) 一种基于概率潜在语义分析的行人异常识别方法
CN112818755B (zh) 一种基于主动学习的步态识别方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN109255339A (zh) 基于自适应深度森林人体步态能量图的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant