CN108509963B - 基于深度学习的目标差异性检测方法和目标差异性检测设备 - Google Patents

基于深度学习的目标差异性检测方法和目标差异性检测设备 Download PDF

Info

Publication number
CN108509963B
CN108509963B CN201710111731.7A CN201710111731A CN108509963B CN 108509963 B CN108509963 B CN 108509963B CN 201710111731 A CN201710111731 A CN 201710111731A CN 108509963 B CN108509963 B CN 108509963B
Authority
CN
China
Prior art keywords
vector
target image
difference
network model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710111731.7A
Other languages
English (en)
Other versions
CN108509963A (zh
Inventor
韩颖婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to CN201710111731.7A priority Critical patent/CN108509963B/zh
Publication of CN108509963A publication Critical patent/CN108509963A/zh
Application granted granted Critical
Publication of CN108509963B publication Critical patent/CN108509963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的目标差异性检测方法和目标差异性检测设备。该方法包括：通过训练好的网络模型，对第一目标图像进行第一前向传播以计算第一特征向量并记录网络模型的第一状态值，对第二目标图像进行第二前向传播以计算第二特征向量并记录网络模型的第二状态值；根据第一和第二特征向量，判断第一目标图像与第二目标图像是否相似；当判断两者相似时，根据第一和第二特征向量，计算差异向量；以及将差异向量作为梯度，通过具有第一状态值的网络模型进行第一反向传播以获得第一差异热力图，通过具有第二状态值的网络模型进行第二反向传播以获得第二差异热力图。通过采用本发明，能够有效地检测出相似目标之间的差异性。

Description

基于深度学习的目标差异性检测方法和目标差异性检测设备
技术领域
本发明涉及深度学习以及视频监控领域，尤其涉及一种基于深度学习的目标差异性检测方法和目标差异性检测设备。
背景技术
在视频监控领域，很多时候需要在不同摄像头中找到同一个人，比如罪犯的行踪，在商场找到走丢的儿童或老人等。人脸识别是较为准确的一种视频识别技术，但它依赖于视频拍摄角度，只有正面人脸才能达到较高的识别率。然而，很多时候，无法在监控视频中看到人脸，可能只能看到人的背影或人的侧面，或人脸被帽子口罩遮档。不依赖于人脸识别技术，通过对人的整体特征来进行识别的技术被称为行人重识别技术(person reID)。但是因为行人重识别是对人的整体特征进行识别，不同摄像头采集到的行人的角度不同，识别难度大，因此识别准确率没有人脸识别高，该技术可以找到很多相似的人，可以用于跨摄像头视频检索的初选筛查。
深度学习利用大量样本来训练深度神经网络，进而进行特征提取，被广泛应用于计算机视觉领域，用于进行目标检测，人脸识别等。下面给出的专利文献1和非专利文献2公开了利用深度学习来进行行人重识别的技术。
专利文献1(公开号CN105354548A，公开日2016年2月24日)公开了一种基于ImageNet检索的监控视频行人重识别方法。该方法利用imageNet深度学习网络来更好地适应光照、视角、姿态和尺度的变化，有效提升了跨摄像头环境下行人重识别结果的精度和鲁棒性。
非专利文献2(W.Li、R.Zhao、T.Xiao和X.Wang，IEEE International Conferenceon Computer Vision and Pattern Recognition(CVPR)，2014，“DeepReID Deep FilterPairing Neural Network for Person Re-Identification”)公开了通过设计DeepReID网络来提升跨摄像头环境下行人重识别结果的精度的技术方案。上述非专利文献2可以从以下网站获得：http://ieeexplore.ieee.org/document/6909421/？arnumber＝6909421。
上述专利文献1和非专利文献2都是研究如何提升跨摄像头环境下行人重识别结果的精度。
但是受限于跨摄像头环境，不同摄像头拍摄角度不同，清晰度不同，光线的不同，即使人眼观察，很多穿着相似的人也很难被区分开。从技术上，很难单纯利用行人重识别技术来实现高准确率的行人目标识别。
此外，有时同一个人在不同摄像头下拍摄到的状态可能不同。比如，脱掉了外套，或者购物后手里多了手提袋。如果单纯利用行人重识别技术来实现高准确率，很有可能会因为目标状态改变而发生漏检。
因此，本发明的目的并不是去提高行人重识别技术的准确率。本发明的目的是先通过行人重识别来找到相似行人，然后检测相似行人之间的差异性并显示出来。
发明内容
鉴于上述问题，本发明提出了一种基于深度学习的目标差异性检测方法和目标差异性检测设备。本发明的目标差异性检测方法和目标差异性检测设备，能够有效地检测出相似目标之间的差异性。
根据本发明的一个方面，提供了一种基于深度学习的目标差异性检测方法，所述检测方法包括以下步骤：
通过训练好的网络模型，对第一目标图像进行第一前向传播，以计算所述第一目标图像的第一特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第一前向传播中获得的第一状态值；
通过所述训练好的网络模型，对第二目标图像进行第二前向传播，以计算所述第二目标图像的第二特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第二前向传播中获得的第二状态值；
根据计算出的所述第一特征向量和所述第二特征向量，判断所述第一目标图像与所述第二目标图像是否相似；
当判断所述第一目标图像与所述第二目标图像相似时，根据计算出的所述第一特征向量和所述第二特征向量，来计算差异向量；
将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第一状态值的所述训练好的网络模型，进行第一反向传播，以获得所述第一目标图像的第一差异热力图；以及
将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第二状态值的所述训练好的网络模型，进行第二反向传播，以获得所述第二目标图像的第二差异热力图。
进一步地，在本发明的目标差异性检测方法中，根据计算出的所述第一特征向量和所述第二特征向量，判断所述第一目标图像与所述第二目标图像是否相似的步骤进一步包括以下步骤：
计算所述第一特征向量与所述第二特征向量之间的欧式距离；
将计算出的所述欧式距离与预定阈值进行比较；
当所述欧式距离小于所述预定阈值时，判断所述第一目标图像与所述第二目标图像相似；以及
当所述欧式距离大于等于所述预定阈值时，判断所述第一目标图像与所述第二目标图像不相似。
进一步地，在本发明的目标差异性检测方法中，根据计算出的所述第一特征向量和所述第二特征向量，来计算所述差异向量的步骤进一步包括以下步骤：
计算所述第一特征向量与所述第二特征向量之间的向量差；
对所述向量差进行归一化计算，以获得归一化向量差，并且对所述归一化向量差中的各个元素取绝对值，将所述归一化向量差中的绝对值小于1/n的元素的值设置为0，以及将所述归一化向量差中的绝对值大于等于1/n的元素的值设置为1，以获得处理后的归一化向量差，其中n为所述归一化向量差中包含的元素的总维数；以及
用所述处理后的归一化向量差对所述向量差进行加权计算，以获得所述差异向量。
进一步地，在本发明的检测方法中，采用包含拍摄所述第一目标图像的摄像头所拍摄的大量目标图像以及拍摄所述第二目标图像的摄像头所拍摄的大量目标图像的一组目标图像作为训练样本，来对预定网络模型进行训练，以获得所述训练好的网络模型。
进一步地，在本发明的目标差异性检测方法中，所述预定网络模型为卷积神经网络。
根据本发明的另一个方面，提供了一种基于深度学习的目标差异性检测设备，所述目标差异性检测设备包括相似性检测模块和差异性检测模块，其中：
所述相似性检测模块进一步包括：
第一前向传播装置，所述第一前向传播装置通过训练好的网络模型，对第一目标图像进行第一前向传播，以计算所述第一目标图像的第一特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第一前向传播中获得的第一状态值；
第二前向传播装置，所述第二前向传播装置通过所述训练好的网络模型，对第二目标图像进行第二前向传播，以计算所述第二目标图像的第二特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第二前向传播中获得的第二状态值；以及
相似性判断装置，所述相似性判断装置根据计算出的所述第一特征向量和所述第二特征向量，判断所述第一目标图像与所述第二目标图像是否相似；
所述差异性检测模块进一步包括：
差异向量计算装置，当所述相似性判断装置判断所述第一目标图像与所述第二目标图像相似时，所述差异向量计算单元根据计算出的所述第一特征向量和所述第二特征向量，来计算差异向量；
第一反向传播装置，所述第一反向传播装置将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第一状态值的所述训练好的网络模型，进行第一反向传播，以获得所述第一目标图像的第一差异热力图；以及
第二反向传播装置，所述第二反向传播装置将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第二状态值的所述训练好的网络模型，进行第二反向传播，以获得所述第二目标图像的第二差异热力图。
进一步地，在本发明的目标差异性检测设备中，所述相似性判断装置进一步包括：
欧式距离计算单元，所述欧式距离计算单元计算所述第一特征向量与所述第二特征向量之间的欧式距离；以及
比较和判断单元，所述比较和判断单元将计算出的所述欧式距离与预定阈值进行比较，当所述欧式距离小于所述预定阈值时，所述比较和判断单元判断所述第一目标图像与所述第二目标图像相似，当所述欧式距离大于等于所述预定阈值时，所述比较和判断单元判断所述第一目标图像与所述第二目标图像不相似。
进一步地，在本发明的目标差异性检测设备中，所述差异向量计算装置进一步包括：
向量差计算单元，所述归一化向量差计算单元计算所述第一特征向量与所述第二特征向量之间的向量差；
归一化向量处理单元，所述归一化向量处理单元对所述向量差进行归一化计算，以获得归一化向量差，并且对所述归一化向量差中的各个元素取绝对值，将所述归一化向量差中的绝对值小于1/n的元素的值设置为0，以及将所述归一化向量差中的绝对值大于等于1/n的元素的值设置为1，以获得处理后的归一化向量差，其中n为所述归一化向量差中包含的元素的总维数；以及
加权计算单元，所述加权计算单元用所述处理后的归一化向量差对所述向量差进行加权计算，以获得所述差异向量。
进一步地，在本发明的目标差异性检测设备中，所述目标差异性检测设备进一步包括网络训练模块，所述网络训练模块采用包含拍摄所述第一目标图像的摄像头所拍摄的大量目标图像以及拍摄所述第二目标图像的摄像头所拍摄的大量目标图像的一组目标图像作为训练样本，来对预定网络模型进行训练，以获得所述训练好的网络模型。
进一步地，在本发明的目标差异性检测设备中，所述预定网络模型为卷积神经网络。
通过采用本发明的目标差异性检测方法和目标差异性检测设备，能够有效地检测出诸如相似行人的相似目标之间的差异性(差异点)。而且，本发明的目标差异性检测方法和目标差异性检测设备可以用于跨摄像头的相似行人检测，不依赖于人脸信息，根据人的整体图像信息进行识别。
附图说明
图1显示根据本发明的第一实施例的目标差异性检测设备的结构示意图；
图2显示根据本发明的第一实施例的目标差异性检测方法的流程图；
图3显示根据本发明的第二实施例的目标差异性检测设备的结构示意图；
图4显示根据本发明的第二实施例的网络训练模块的操作流程图；以及
图5显示根据本发明的第二实施例的目标差异性检测方法的流程图。
具体实施方式
下面将参考附图描述根据本发明的各种实施例。
第一实施例
下面将结合图1和图2来说明根据本发明的第一实施例的目标差异性检测方法和目标差异性检测设备。
图1显示了根据本发明的第一实施例的目标差异性检测设备100的结构示意图。
如图1所示，本发明的目标差异性检测设备100包括存储模块110、相似性检测模块120和差异性检测模块130。
在存储模块110中，存储有训练好的网络模型。在本实施例中，存储模块110中存储的网络模型可以是任何现有的训练好的网络模型。
相似性检测模块120通过存储模块110中存储的训练好的网络模型来检测第一目标图像和第二目标图像之间的相似性。相似性检测模块120进一步包括第一前向传播装置121、第二前向传播装置122、和相似性判断装置123。
第一目标图像和第二目标图像可以是行人图像，也可以是任何其他的图像。当第一目标图像和第二目标图像为行人图像时，可以使用基于深度学习的行人检测方法来识别和定位视频图像中行人，并将行人图像截取出来，来获得第一目标图像和第二目标图像。具体的截取方法可以采用现有的Faster-RCNN或者SSD。
关于Faster–RCNN的具体技术方案，可以从非专利文献3(Shaoqing Ren、KaimingHe、Ross Girshick、和Jian Sun，“Towards Real-Time Object Detection with RegionProposal Networks”，https://arxiv.org/abs/1506.01497)中获知。
关于SSD的具体技术方案，可以从非专利文献4(Wei Liu、Dragomir Anguelov、Dumitru Erhan、Christian Szegedy、Scott Reed、Cheng-Yang Fu、Alexander C.Berg，“Single Shot MultiBox Detector”，https://arxiv.org/abs/1512.02325)中获知。
差异性检测模块130在相似性检测模块120检测到第一目标图像与第二目标图像相似的情况下，检测第一目标图像与第二目标图像之间的差异性。差异性检测模块130进一步包括差异向量计算装置131、第一反向传播装置132、和第二反向传播装置133。
下面将参考图2并结合图1所示的目标差异性检测装置100来说明根据本发明的第一实施例的目标差异性检测方法的处理过程。
图2显示了根据本发明的第一实施例的目标差异性检测方法的流程图。
如图2所示，在步骤S201中，第一前向传播装置121通过存储在存储模块110中的训练好的网络模型，对输入的第一目标图像进行第一前向传播，以计算第一目标图像的第一特征向量，并且记录训练好的网络模型的网络节点在第一前向传播中获得的第一状态值。
在步骤S202中，第二前向传播装置122通过存储在存储模块110中的训练好的网络模型，对输入的第二目标图像进行第二前向传播，以计算第二目标图像的第二特征向量，并且记录训练好的网络模型的每个网络节点在第二前向传播中获得的第二状态值。
接着，在步骤S203中，相似性判断装置123根据第一前向传播装置121计算出的第一特征向量和第二前向传播装置122计算出的第二特征向量，判断第一目标图像与第二目标图像是否相似。在本实施例中，相似性判断装置123可以采用任何现有的方法来根据第一特征向量和第二特征向量判断第一目标图像与第二目标图像是否相似。
当相似性判断装置123判断第一目标图像与第二目标图像不相似时(步骤S203中的“否”)，处理结束。
当相似性判断装置123判断第一目标图像与第二目标图像相似时(步骤S203中的“是”)，处理前进至步骤S204。
在步骤S204中，差异向量计算单元131根据第一前向传播装置121计算出的第一特征向量和第二前向传播装置122计算出的第二特征向量，来计算差异向量。在本实施例中，差异向量计算单元131可以采用任何现有的方法来根据第一特征向量和第二特征向量计算差异向量。
接着，在步骤S205中，第一反向传播装置132将差异向量计算单元131计算出的差异向量作为梯度，通过第一前向传播装置121中记录的每个网络节点具有第一状态值的训练好的网络模型，进行第一反向传播，以获得第一目标图像的第一差异热力图。
在步骤S206中，第二反向传播装置133将差异向量计算单元131计算出的差异向量作为梯度，通过第二前向传播装置122中记录的每个网络节点具有第二状态值的训练好的网络模型，进行第二反向传播，以获得第二目标图像的第二差异热力图。
第二实施例
下面将结合图3至图5来说明根据本发明的第二实施例的目标差异性检测方法和目标差异性检测设备。
图3显示了根据本发明的第二实施例的目标差异性检测设备的结构示意图。
如图3所示，本发明的目标差异性检测设备300包括存储模块310、相似性检测模块320、差异性检测模块330、和网络训练模块340。
网络训练模块340采用包含拍摄第一目标图像的摄像头所拍摄的大量目标图像以及拍摄第二目标图像的摄像头所拍摄的大量目标图像的一组目标图像作为训练样本，来对预定网络模型进行训练，以获得训练好的网络模型。网络训练模块340将训练好的网络模型存储到存储模块310中。预定网络模型可以采用任何深度神经网络，较佳地，可以采用卷积神经网络(CNN)。
图4显示了根据本发明的第二实施例的网络训练模块340的操作流程图。
如图4所示，在步骤S401中，网络训练模块340接收输入的训练样本。训练样本可以是从视频图像中截取出的目标图像(诸如，行人图像)。较佳地，训练样本可以包括从拍摄第一目标图像的摄像头所拍摄的视频图像中截取出的大量目标图像以及从拍摄第二目标图像的摄像头所拍摄的视频图像中截取出的大量目标图像。
接着，在步骤S402中，网络训练模块340通过卷积神经网络提取训练样本中的相似特征。
网络训练模块340中使用的卷积神经网络可以为AlexNet或者GoogleNet。AlexNet及GoogleNet为现有的公开的网络结构，其对应的前向传播计算方法和反向传播计算方法均在公开论文(非专利文献)中有描述。
例如，关于AlexNet的具体技术方案，可以从非专利文献5(“ImageNetClassification with Deep Convolutional Neural Networks”，https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf)中获知。
关于GoogleNet的具体技术方案，可以从非专利文献6(“Going deeper withconvolutions”，https://www.cs.unc.edu/～wliu/papers/GoogLeNet.pdf)中获知。
在训练初始时，网络训练模块340中使用的卷积神经网络的参数被设定有初始值。
接着，在步骤S403中，网络训练模块340根据选定的损失函数来计算损失函数值。损失函数用来衡量相似特征提取的好坏。损失函数使得相似目标提取的特征距离较近，并且使不相似目标提取的特征距离较远。
网络训练模块340中使用的损失函数可以为：现有的Contrastive损失函数或现有的Triplet损失函数。
Contrastive损失函数可以用以下公式(1)表示：
Figure BDA0001234481920000081
其中,d＝||fθ(a)-fθ(b)||2   (1)
当网络训练模块340使用Contrastive损失函数时，作为训练样本的目标图像两两一组组成训练图像对。在上述公式(1)中，L为计算出的函数损失值，a和b是2张输入的图像，θ是神经网络的参数矩阵，fθ(a)是指图像a提取的特征向量，图像a和图像b的特征向量之间的欧式距离为d，y是训练图像对的标签。如果图像a和图像b为同一目标，则y为1，否则y为0。
Triplet损失函数可以用以下公式(2)表示：
Figure BDA0001234481920000082
当网络训练模块340使用Triplet损失函数时，作为训练样本的目标图像三张为一组组成训练图像对。在上述公式(2)中，L为计算出的函数损失值，图像a为对象图像，图像p为正样本(与图像a为同一目标),图像n为负样本(与图像a为不同目标)，α是阈值，fθ(a)是指图像a提取的特征向量。
接着，在步骤S404中，网络训练模块340判断计算出的损失函数值是否小于预定阈值。当计算出的损失函数值大于等于预定阈值时(步骤S404中的否)，网络训练模块340调整卷积神经网络的参数并且返回到步骤S402继续进行训练。当计算出的损失函数值小于预定阈值时(步骤S404中的是)，训练结束，网络训练模块340将训练好的网络模型输出到存储模块。此时，卷积神经网络的参数即是训练好的网络模型的模型参数。
返回图3，相似性检测模块320通过存储模块310中存储的训练好的网络模型来检测第一目标图像和第二目标图像之间的相似性。相似性检测模块320进一步包括第一前向传播装置321、第二前向传播装置322、和相似性判断装置323。相似性判断装置323进一步包括欧式距离计算单元3231和比较和判断单元3232。
差异性检测模块330在相似性检测模块320检测到第一目标图像与第二目标图像相似的情况下，检测第一目标图像与第二目标图像之间的差异性。差异性检测模块330进一步包括差异向量计算装置331、第一反向传播装置332、和第二反向传播装置333。差异向量计算装置331进一步包括向量差计算单元3311、归一化向量处理单元3312、和加权计算单元3313。
下面将参考图5并结合图3所示的目标差异性检测装置300来说明根据本发明的第二实施例的目标差异性检测方法的处理过程。
图5显示了根据本发明的第二实施例的目标差异性检测方法的流程图。
如图5所示，在步骤S501中，第一前向传播装置321通过存储在存储模块310中的训练好的网络模型，对输入的第一目标图像进行第一前向传播，以计算第一目标图像的第一特征向量，并且记录训练好的网络模型的网络节点在第一前向传播中获得的第一状态值。
在步骤S502中，第二前向传播装置322通过存储在存储模块310中的训练好的网络模型，对输入的第二目标图像进行第二前向传播，以计算第二目标图像的第二特征向量，并且记录训练好的网络模型的每个网络节点在第二前向传播中获得的第二状态值。
接着，在步骤S503中，相似性判断装置323中的欧式距离计算单元3231计算第一特征向量与第二特征向量之间的欧式距离。
假设，第一前向传播装置321计算出的第一目标图像的第一特征向量为A，第二前向传播装置322计算出的第二目标图像的第二特征向量为B：
Figure BDA0001234481920000091
那么，第一特征向量A与第二特征向量B之间的欧式距离为：
Figure BDA0001234481920000092
接着，在步骤S504中，相似性判断装置323中的比较和判断单元3232将计算出的欧式距离与预定阈值进行比较。
当计算出的欧式距离小于预定阈值时(步骤S504中的是)，比较和判断单元3232判断第一目标图像与第二目标图像相似，处理前进至步骤S505。
当计算出的欧式距离大于等于预定阈值时(步骤S504中的否)，比较和判断单元3232判断第一目标图像与第二目标图像不相似，处理结束。
在步骤S505中，差异向量计算单元331中的向量差计算单元3311计算第一特征向量A与第二特征向量B之间的向量差D：
Figure BDA0001234481920000101
接着，在步骤S506中，差异向量计算单元331中的归一化向量处理单元3312首先对向量差D进行归一化计算，以获得归一化向量差σ。
Figure BDA0001234481920000102
然后，归一化向量处理单元3312对归一化向量差σ中的各个元素取绝对值，将归一化向量差中的绝对值小于1/n的元素的值设置为0，以及将归一化向量差σ中的绝对值大于等于1/n的元素的值设置为1，以获得处理后的归一化向量差σ′，其中n为归一化向量差σ中包含的元素的总维数。
Figure BDA0001234481920000103
接着，在步骤S507中，差异向量计算单元331中的加权计算单元3313用处理后的归一化向量差σ′对向量差D进行加权计算，以获得差异向量D’：
Figure BDA0001234481920000104
这里，符号
Figure BDA0001234481920000105
表示该符号左边的向量中的对应元素分别与该符号右边的向量中的对应元素相乘。
加权后得到的差异向量D’保留了第一目标图像与第二目标图像之间的显著差异维度的元素差，忽略了第一目标图像与第二目标图像之间的轻微差异维度的元素差。
接着，在步骤S508中，第一反向传播装置332将差异向量计算单元331计算出的差异向量D’作为梯度，通过第一前向传播装置321中记录的每个网络节点具有第一状态值的训练好的网络模型，进行第一反向传播，以获得由差异向量D’反馈的第一目标图像的第一差异热力图。
在步骤S509中，第二反向传播装置333将差异向量计算单元331计算出的差异向量D’作为梯度，通过第二前向传播装置322中记录的每个网络节点具有第二状态值的训练好的网络模型，进行第二反向传播，以获得由差异向量D’反馈的第二目标图像的第二差异热力图。
本发明利用传统深度学习方法中的反向传播梯度的原理来反向传播差异向量，但不改变网络参数的值，反向传播是为了计算网络节点的状态改变量，最终得到初始图像的状态改变量(也就是所说的热力图)。热力图可以从像素级别反映网络检测到的两个相似目标(相似行人)的显著差异点在哪里，为视频监控及分析但来有用的信息。
虽然经过对本发明结合具体实施例进行描述，对于本领域的技术技术人员而言，根据上文的叙述后作出的许多替代、修改与变化将是显而易见。因此，当这样的替代、修改和变化落入附后的权利要求的精神和范围之内时，应该被包括在本发明中。

Claims (10)

1.一种基于深度学习的目标差异性检测方法，其特征在于，所述检测方法包括以下步骤：
通过训练好的网络模型，对第一目标图像进行第一前向传播，以计算所述第一目标图像的第一特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第一前向传播中获得的第一状态值；
通过所述训练好的网络模型，对第二目标图像进行第二前向传播，以计算所述第二目标图像的第二特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第二前向传播中获得的第二状态值；
根据计算出的所述第一特征向量和所述第二特征向量，判断所述第一目标图像与所述第二目标图像是否相似；
当判断所述第一目标图像与所述第二目标图像相似时，根据计算出的所述第一特征向量和所述第二特征向量，来计算差异向量；
将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第一状态值的所述训练好的网络模型，进行第一反向传播，以获得所述第一目标图像的第一差异热力图；以及
将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第二状态值的所述训练好的网络模型，进行第二反向传播，以获得所述第二目标图像的第二差异热力图。
2.如权利要求1所述的目标差异性检测方法，其特征在于，根据计算出的所述第一特征向量和所述第二特征向量，判断所述第一目标图像与所述第二目标图像是否相似的步骤进一步包括以下步骤：
计算所述第一特征向量与所述第二特征向量之间的欧式距离；
将计算出的所述欧式距离与预定阈值进行比较；
当所述欧式距离小于所述预定阈值时，判断所述第一目标图像与所述第二目标图像相似；以及
当所述欧式距离大于等于所述预定阈值时，判断所述第一目标图像与所述第二目标图像不相似。
3.如权利要求1所述的目标差异性检测方法，其特征在于，根据计算出的所述第一特征向量和所述第二特征向量，来计算所述差异向量的步骤进一步包括以下步骤：
计算所述第一特征向量与所述第二特征向量之间的向量差；
对所述向量差进行归一化计算，以获得归一化向量差，并且对所述归一化向量差中的各个元素取绝对值，将所述归一化向量差中的绝对值小于1/n的元素的值设置为0，以及将所述归一化向量差中的绝对值大于等于1/n的元素的值设置为1，以获得处理后的归一化向量差，其中n为所述归一化向量差中包含的元素的总维数；以及
用所述处理后的归一化向量差对所述向量差进行加权计算，以获得所述差异向量。
4.如权利要求1-3中任一项所述的目标差异性检测方法，其特征在于，采用包含拍摄所述第一目标图像的摄像头所拍摄的大量图像以及拍摄所述第二目标图像的摄像头所拍摄的大量图像的一组图像作为训练样本，来对预定网络模型进行训练，以获得所述训练好的网络模型。
5.如权利要求4所述的目标差异性检测方法，其特征在于，所述预定网络模型为卷积神经网络。
6.一种基于深度学习的目标差异性检测设备，其特征在于，所述检测设备包括相似性检测模块和差异性检测模块，其中：
所述相似性检测模块进一步包括：
第一前向传播装置，所述第一前向传播装置通过训练好的网络模型，对第一目标图像进行第一前向传播，以计算所述第一目标图像的第一特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第一前向传播中获得的第一状态值；
第二前向传播装置，所述第二前向传播装置通过所述训练好的网络模型，对第二目标图像进行第二前向传播，以计算所述第二目标图像的第二特征向量，并且记录所述训练好的网络模型的每个网络节点在所述第二前向传播中获得的第二状态值；以及
相似性判断装置，所述相似性判断装置根据计算出的所述第一特征向量和所述第二特征向量，判断所述第一目标图像与所述第二目标图像是否相似；
所述差异性检测模块进一步包括：
差异向量计算装置，当所述相似性判断装置判断所述第一目标图像与所述第二目标图像相似时，所述差异向量计算单元根据计算出的所述第一特征向量和所述第二特征向量，来计算差异向量；
第一反向传播装置，所述第一反向传播装置将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第一状态值的所述训练好的网络模型，进行第一反向传播，以获得所述第一目标图像的第一差异热力图；以及
第二反向传播装置，所述第二反向传播装置将计算出的所述差异向量作为梯度，通过所述每个网络节点具有所述第二状态值的所述训练好的网络模型，进行第二反向传播，以获得所述第二目标图像的第二差异热力图。
7.如权利要求6所述的目标差异性检测设备，其特征在于，所述相似性判断装置进一步包括：
欧式距离计算单元，所述欧式距离计算单元计算所述第一特征向量与所述第二特征向量之间的欧式距离；以及
比较和判断单元，所述比较和判断单元将计算出的所述欧式距离与预定阈值进行比较，当所述欧式距离小于所述预定阈值时，所述比较和判断单元判断所述第一目标图像与所述第二目标图像相似，当所述欧式距离大于等于所述预定阈值时，所述比较和判断单元判断所述第一目标图像与所述第二目标图像不相似。
8.如权利要求6所述的目标差异性检测设备，其特征在于，所述差异向量计算装置进一步包括：
向量差计算单元，所述向量差计算单元计算所述第一特征向量与所述第二特征向量之间的向量差；
归一化向量处理单元，所述归一化向量处理单元对所述向量差进行归一化计算，以获得归一化向量差，并且对所述归一化向量差中的各个元素取绝对值，将所述归一化向量差中的绝对值小于1/n的元素的值设置为0，以及将所述归一化向量差中的绝对值大于等于1/n的元素的值设置为1，以获得处理后的归一化向量差，其中n为所述归一化向量差中包含的元素的总维数；以及
加权计算单元，所述加权计算单元用所述处理后的归一化向量差对所述向量差进行加权计算，以获得所述差异向量。
9.如权利要求6-8中任一项所述的目标差异性检测设备，其特征在于，所述目标差异性检测设备进一步包括网络训练模块，所述网络训练模块采用包含拍摄所述第一目标图像的摄像头所拍摄的大量目标图像以及拍摄所述第二目标图像的摄像头所拍摄的大量目标图像的一组目标图像作为训练样本，来对预定网络模型进行训练，以获得所述训练好的网络模型。
10.如权利要求9所述的目标差异性检测设备，其特征在于，所述预定网络模型为卷积神经网络。
CN201710111731.7A 2017-02-28 2017-02-28 基于深度学习的目标差异性检测方法和目标差异性检测设备 Active CN108509963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710111731.7A CN108509963B (zh) 2017-02-28 2017-02-28 基于深度学习的目标差异性检测方法和目标差异性检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710111731.7A CN108509963B (zh) 2017-02-28 2017-02-28 基于深度学习的目标差异性检测方法和目标差异性检测设备

Publications (2)

Publication Number Publication Date
CN108509963A CN108509963A (zh) 2018-09-07
CN108509963B true CN108509963B (zh) 2023-04-28

Family

ID=63373202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710111731.7A Active CN108509963B (zh) 2017-02-28 2017-02-28 基于深度学习的目标差异性检测方法和目标差异性检测设备

Country Status (1)

Country Link
CN (1) CN108509963B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324589A (zh) * 2019-08-06 2019-10-11 嘉应学院 一种旅游景区的监控系统与方法
CN111222558B (zh) * 2019-12-31 2024-01-30 富联裕展科技(河南)有限公司 图像处理方法及存储介质
CN113010752B (zh) * 2021-03-09 2023-10-27 北京百度网讯科技有限公司 召回内容的确定方法、装置、设备以及存储介质
CN114743665A (zh) * 2022-03-21 2022-07-12 平安科技（深圳）有限公司 患病风险估计网络的优化方法、装置、介质及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870828B (zh) * 2012-12-17 2018-06-15 富泰华工业（深圳）有限公司 图像相似度判断系统及方法
CN104185012B (zh) * 2014-09-16 2016-08-17 上海通途半导体科技有限公司 三维视频格式自动检测方法及装置
US20160321522A1 (en) * 2015-04-30 2016-11-03 Canon Kabushiki Kaisha Devices, systems, and methods for pairwise multi-task feature learning
CN104915643B (zh) * 2015-05-26 2018-06-22 中山大学 一种基于深度学习的行人再标识方法
US9792492B2 (en) * 2015-07-07 2017-10-17 Xerox Corporation Extracting gradient features from neural networks
CN105808732B (zh) * 2016-03-10 2019-05-17 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN105894046B (zh) * 2016-06-16 2019-07-02 北京市商汤科技开发有限公司 卷积神经网络训练及图像处理的方法和系统、计算机设备

Also Published As

Publication number Publication date
CN108509963A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
Vishnu et al. Human fall detection in surveillance videos using fall motion vector modeling
CN104217419B (zh) 人体检测装置及方法与人体计数装置及方法
CN109635686B (zh) 结合人脸与外观的两阶段行人搜索方法
Chavdarova et al. Deep multi-camera people detection
CN108509963B (zh) 基于深度学习的目标差异性检测方法和目标差异性检测设备
US9478039B1 (en) Background modeling and foreground extraction method based on depth image
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
JP4177826B2 (ja) 画像処理装置および画像処理方法
CN109784130B (zh) 行人重识别方法及其装置和设备
CN106952274B (zh) 基于立体视觉的行人检测与测距方法
WO2018099032A1 (zh) 一种目标跟踪方法及装置
WO2011121688A1 (ja) 顔認識装置及び顔認識方法
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
CN103778436B (zh) 一种基于图像处理的行人姿态检测方法
JP2016095808A (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
CN111639616A (zh) 一种基于深度学习的重身份识别方法
KR20170077366A (ko) 얼굴 인식 시스템 및 방법
JP2016058085A (ja) 対象の遮蔽を検出する方法と装置
Seddati et al. UMons at MediaEval 2015 Affective Impact of Movies Task including Violent Scenes Detection.
CN111598067A (zh) 视频中重识别训练方法、重识别方法及存储装置
WO2023015938A1 (zh) 三维点检测的方法、装置、电子设备及存储介质
JP5710940B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Gamage et al. Reinstating dlib correlation human trackers under occlusions in human detection based tracking
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
CN106406507B (zh) 图像处理方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant