CN106778464A - 一种基于深度学习的行人重识别方法和装置 - Google Patents

一种基于深度学习的行人重识别方法和装置 Download PDF

Info

Publication number
CN106778464A
CN106778464A CN201610988517.5A CN201610988517A CN106778464A CN 106778464 A CN106778464 A CN 106778464A CN 201610988517 A CN201610988517 A CN 201610988517A CN 106778464 A CN106778464 A CN 106778464A
Authority
CN
China
Prior art keywords
pedestrian
image
pedestrian image
target
video flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610988517.5A
Other languages
English (en)
Inventor
赵瑞
徐静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenzhen Horizon Technology Co Ltd
Original Assignee
Shenzhen Shenzhen Horizon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenzhen Horizon Technology Co Ltd filed Critical Shenzhen Shenzhen Horizon Technology Co Ltd
Priority to CN201610988517.5A priority Critical patent/CN106778464A/zh
Publication of CN106778464A publication Critical patent/CN106778464A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的行人重识别方法和装置,其中,该方法包括:分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,第一视频流和第二视频流为不同角度的摄像头在预设区域内摄取的视频;利用预先训练好的深度学习网络模型,提取目标行人图像的图像特征作为第一图像特征,以及提取参考行人图像的图像特征作为第二图像特征;计算第一图像特征与第二图像特征的特征相似度;若特征相似度符合预设要求,则确定目标行人图像中的目标行人和参考行人图像中的参考行人为同一个行人,其采用深度学习技术分别学习出目标行人图像和参考行人图像的隐含特征,克服了传统的行人重识别的方法采用成对行人图像存在的耦合问题,灵活度较好。

Description

一种基于深度学习的行人重识别方法和装置
技术领域
本发明涉及模式识别技术领域,具体而言,涉及一种基于深度学习的行人重识别方法和装置。
背景技术
行人重识别,即是指在照射区域无重叠的多摄像头画面下自动匹配同一行人对象的技术,用以快速准确地发现行人对象在多摄像头下的活动画面和轨迹。虽然行人重识别技术在视频控制、智能交通、多媒体检索等领域有着广泛的应用前景,但是由于行人重识别中的图片来源于不同的摄像头,而不同摄像头所处的角度、光照等环境的影响,同一个行人的不同图片中,外貌特征会有一定程度的变化;相反,由于行人姿势及摄像头角度的变化,在不同摄像头中,不同行人的外貌特征可能比同一个人的外貌特征更相似,因此,行人重识别依旧存在着巨大的应用挑战。
为了解决上述问题,相关技术提出了一种行人重识别的方法,该方法首先将来自于两个不同的摄像头的一对行人图像输入深度模型的网络结构,然后通过上述网络结构对上述一对图片进行特征提取和相似性比较,最终得到的是同一个人或者是不同人的似然概率。
发明人在研究中发现,现有技术中的行人重识别的方法基于成对的行人图像才能够通过深度模型进行提取特征和行人识别,由于上述成对的行人图像不能解耦合,导致方法的灵活度较差。
发明内容
有鉴于此,本发明的目的在于提供一种基于深度学习的行人重识别方法和装置,采用深度学习技术自动学习出单张行人图像的隐含特征,克服了传统的行人重识别的方法采用成对行人图像的耦合问题,灵活度较好。
第一方面,本发明实施例提供了一种基于深度学习的行人重识别方法,所述方法包括:
分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,所述第一视频流和所述第二视频流为不同角度的摄像头在预设区域内摄取的视频;
利用预先训练好的深度学习网络模型,提取所述目标行人图像的图像特征作为第一图像特征,以及提取所述参考行人图像的图像特征作为第二图像特征;
计算所述第一图像特征与所述第二图像特征的特征相似度;
若所述特征相似度符合预设要求,则确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,包括:
对所述第一视频流进行行人检测,得到对应的目标行人图像;对所述第二视频流进行行人检测,得到对应的参考行人图像。
结合第一方面或第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述深度学习网络模型通过以下步骤获得:
基于标签标记的监督学习方法,建立包含行人重识别范围内行人图像的标记图片;其中,同一行人的不同角度的行人图像使用同一个标签标记;
利用深度卷积神经网络对所述标记图片进行深度学习,得到对应于所述标记图片的所述行人图像的特征信息;
利用随机梯度下降方法对所述特征信息进行训练,得到对应于所述行人图像的深度学习网络模型。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人,包括:
查找所述特征相似度高于预设相似度阈值的参考行人图像;
将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人,包括:
按照所述特征相似度由高至低的排序顺序对所述参考行人图像进行排名,以生成相似度排名;
在所述相似度排名中查找排名超过预定名次的参考行人图像;
将排名超过预定名次的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
第二方面,本发明实施例还提供了一种基于深度学习的行人重识别装置,所述装置包括:
获取模块,用于分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,所述第一视频流和所述第二视频流为不同角度的摄像头在预设区域内摄取的视频;
提取模块,用于利用预先训练好的深度学习网络模型,提取所述目标行人图像的图像特征作为第一图像特征,以及提取所述参考行人图像的图像特征作为第二图像特征;
计算模块,用于计算所述第一图像特征与所述第二图像特征的特征相似度;
确定模块,用于在所述特征相似度符合预设要求时,确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述获取模块包括:
第一获取单元,用于对所述第一视频流进行行人检测,得到对应的目标行人图像;
第二获取单元,用于对所述第二视频流进行行人检测,得到对应的参考行人图像。
结合第二方面或第二方面的第一种可能的实施方式,本发明实施例提供了第二方面的第二种可能的实施方式,其中,还包括生成模块;所述生成模块包括:
建立单元,用于基于标签标记的监督学习方法,建立包含行人重识别范围内行人图像的标记图片;其中,同一行人的不同角度的行人图像使用同一个标签标记;
学习单元,用于利用深度卷积神经网络对所述标记图片进行深度学习,得到对应于所述标记图片的所述行人图像的特征信息;
生成单元,用于利用随机梯度下降方法对所述特征信息进行训练,得到对应于所述行人图像的深度学习网络模型。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,所述确定模块包括:
第一查找单元,用于查找所述特征相似度高于预设相似度阈值的参考行人图像;
第一确认单元,用于将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
结合第二方面,本发明实施例提供了第二方面的第四种可能的实施方式,其中,所述确定模块还包括:
排序单元,用于按照所述特征相似度由高至低的排序顺序对所述参考行人图像进行排名,以生成相似度排名;
第二查找单元,用于在所述相似度排名中查找排名超过预定名次的参考行人图像;
第二确认单元,用于将排名超过预定名次的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
本发明实施例提供的基于深度学习的行人重识别方法和装置,与现有技术中的行人重识别的方法由于基于成对的行人图像才能够通过深度模型进行提取特征和行人识别,导致灵活度较差相比,其首先通过不同角度的摄像头在预设区域内摄取的第一视频流中获取目标行人图像,以及从第二视频流中获取参考行人图像,接着利用深度学习网络模型分别从上述目标行人图像和参考行人图像中提取对应的第一图像特征和第二图像特征,然后计算第一图像特征和第二图像特征的特征相似度,并在特征相似度符合预设要求时,确定目标行人图像中的目标行人和参考行人图像中的参考行人为同一个行人,其采用深度学习技术分别学习出上述目标行人图像和参考行人图像的隐含特征,克服了传统的行人重识别的方法采用成对行人图像存在的耦合问题,灵活度较好。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种基于深度学习的行人重识别方法的流程图;
图2示出了本发明实施例所提供的另一种基于深度学习的行人重识别方法的流程图;
图3示出了本发明实施例所提供的另一种基于深度学习的行人重识别方法的流程图;
图4示出了本发明实施例所提供的另一种基于深度学习的行人重识别方法的流程图;
图5示出了本发明实施例所提供的一种基于深度学习的行人重识别装置的结构示意图;
图6示出了本发明实施例所提供的一种基于深度学习的行人重识别装置中生成模块的结构示意图;
图7示出了本发明实施例所提供的一种基于深度学习的行人重识别装置中确定模块的结构示意图。
主要元件符号说明:
11、获取模块;22、提取模块;33、计算模块;44、确定模块;55、生成模块;441、第一查找单元;442、第一确认单元;443、排序单元;444、第二查找单元;445、第二确认单元;551、建立单元;552、学习单元;553、生成单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到传统的行人重识别的方法基于成对的行人图像才能够通过深度模型进行提取特征和行人识别,由于上述成对的行人图像不能解耦合,导致方法的灵活度较差。基于此,本发明实施例提供了一种基于深度学习的行人重识别方法和装置,其采用深度学习技术自动学习出单张行人图像的隐含特征,克服了传统的行人重识别的方法采用成对行人图像的耦合问题,灵活度较好。
参见图1所示的本发明实施例提供的基于深度学习的行人重识别方法的流程图,所述方法具体包括如下步骤:
S101、分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,第一视频流和第二视频流为不同角度的摄像头在预设区域内摄取的视频;
具体的,考虑到本发明实施例所提供的基于深度学习的行人重识别方法的具体应用场景,本发明实施例中需要对目标行人图像和参考行人图像进行获取。上述目标行人图像和参考行人图像分别从不同角度的两个摄像头摄取到的第一视频流和第二视频流中进行获取。考虑到本发明实施例所提出的行人重(再)识别方法主要是应用在视频监控系统中,该视频监控系统设置有若干个摄像头。若一个行人沿着轨迹从左到右先后经过了拐角处的两个摄像头。这两个摄像头拍摄的范围没有交叉的部分,即经过一个摄像头后,中间有一段时间没有被任何摄像头拍摄到,然后再经过第二个摄像头,对于上述两个摄像头而言,利用现有的行人检测器对摄像头实时摄取的第一视频流和第二视频流进行行人检测,得到对应的目标行人图像和参考行人图像。
其中,本发明实施例所提供的基于深度学习的行人重识别方法能够通过背景差法、帧间差分法、光流法或基于统计学习的人体检测方法进行相应的行人检测。
另外,本发明实施例所提供的基于深度学习的行人重识别方法可以应用于图像检索中。对于图像检索系统而言,目标行人图像为用户输入的查询图像,参考行人图像为图像库内的所有图像。
通过上述S101的操作获取到目标行人图像和参考行人图像后,通过如下S102的操作来对目标行人图像和参考行人图像进行特征提取。
S102、利用预先训练好的深度学习网络模型,提取目标行人图像的图像特征作为第一图像特征,以及提取参考行人图像的图像特征作为第二图像特征;
具体的,随着大数据时代的到来,只有比较复杂的模型,或者说表达能力强的模型,才能充分发掘海量数据中蕴藏的丰富信息,所以,本发明实施例中的深度学习网络模型采用的是更强大的深度模型,以使得我们能够从大数据挖掘出更多有价值的信息和知识,且该深度学习网络模型学习的目标从验证两个人是否同一个人,变更为分类识别找出是N个人中的哪一个,后者目标更难,更难的目标能使模型学习的更好,进而可以提取更有效的特征。通过预先训练获取的上述深度学习网络模型分别对目标行人图像和参考行人图像进行特征提取得到对应的第一图像特征和第二图像特征。
其中,本发明实施例所提供的基于深度学习的行人重识别方法对于上述目标行人图像和参考行人图像能够分别使用训练好的深度学习网络模型进行特征提取,即该深度学习网络模型对每张行人图像是独立的,从而可以很好的应用于实时信息结构化的提取特征。则,对于上述不同的摄像头的视频能够独立的进行实时信息结构化,即在抓拍到单张的行人图像时,就可以实时基于深度学习网络模型进行特征提取,而不会依赖于成对出现的图像,从而极大的提高了后续识别的灵活度,又由于可以预先基于模型进行特征提取并将提取好的特征进行预先存储,从而进一步提高了识别的效率。
S103、计算第一图像特征与第二图像特征的特征相似度;
具体的,本发明实施例所提供的行人重识别方法对基于深度学习网络模型分别提取到的第一图像特征和第二图像特征进行相似度的计算,本发明实施例优选的采用余弦距离公式计算特征相似度。
S104、若特征相似度符合预设要求,则确定目标行人图像中的目标行人和参考行人图像中的参考行人为同一个行人。
具体的,在得到上述特征相似度的前提下,本发明实施例所提供的基于深度学习的行人重识别方法将对该特征相似度进行分析处理,从参考行人图像中寻找特征相似度符合要求的参考行人图像,并将找到的参考行人图像中的参考行人与对应的目标行人图像中的目标行人进行同一个行人的确定。
本发明实施例提供的基于深度学习的行人重识别方法,与现有技术中的行人重识别的方法由于基于成对的行人图像才能够通过深度模型进行提取特征和行人识别,导致灵活度较差相比,其首先通过不同角度的摄像头在预设区域内摄取的第一视频流中获取目标行人图像,以及从第二视频流中获取参考行人图像,接着利用深度学习网络模型分别从上述目标行人图像和参考行人图像中提取对应的第一图像特征和第二图像特征,然后计算第一图像特征和第二图像特征的特征相似度,并在特征相似度符合预设要求时,确定目标行人图像中的目标行人和参考行人图像中的参考行人为同一个行人,其采用深度学习技术分别学习出上述目标行人图像和参考行人图像的隐含特征,克服了传统的行人重识别的方法采用成对行人图像存在的耦合问题,灵活度较好。
为了更好的获取上述目标行人图像和参考行人图像,上述S101的获取过程具体通过如下步骤实现:
对第一视频流进行行人检测,得到对应的目标行人图像;对第二视频流进行行人检测,得到对应的参考行人图像。
具体的,对于两个不同的摄像头而言,利用现有的背景差法、帧间差分法、光流法或基于统计学习的人体检测方法对摄像头实时视频流对应的第一视频流和第二视频流进行行人检测,得到对应的目标行人图像和参考行人图像。
在对目标行人图像和参考行人图像进行特征信息提取时,首先需要获取预先训练好的深度学习网络模型以实现对上述目标行人图像和参考行人图像的特征训练,参见图2,上述深度学习网络模型的获取过程具体包括:
S201、基于标签标记的监督学习方法,建立包含行人重识别范围内行人图像的标记图片;其中,同一行人的不同角度的行人图像使用同一个标签标记;
S202、利用深度卷积神经网络对标记图片进行深度学习,得到对应于标记图片的行人图像的特征信息;
S203、利用随机梯度下降方法对特征信息进行训练,得到对应于行人图像的深度学习网络模型。
具体的,本发明实施例所提供的基于深度学习的行人重识别方法首先基于标签标记的监督学习方法,建立包含行人重识别范围内行人图像的标记图片,其中,同一行人的不同角度的行人图像使用同一个标签标记;再者利用深度卷积神经网络对标记图片进行深度学习,得到对应于标记图片的行人图像的特征信息;最后利用通用的随机梯度下降算法进行特征信息的训练,直至收敛或达到预先设定的最大训练迭代次数时,得到对应的深度学习网络模型。
其中,本发明实施例中的深度学习网络模型优选的采用全新的模型结构,包括通用的卷积层、池化层、全连接层,且具体包括依次相连的三层卷积层、一层池化层、三层卷积层、一层池化层、三层卷积层、一层池化层、二层全连接层和十一层激活函数层,即卷积层共计九层、池化层共计三层、全连接层共计二层和激活函数层共计十一层,且定义损失函数为总体训练样本的分类损失。
为了实现目标行人图像和参考行人图像中行人的再识别,上述行人识别过程,具体通过如下步骤实现,参见图3所示的流程图,所述方法还包括:
S301、查找特征相似度高于预设相似度阈值的参考行人图像;
S302、将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为目标行人图像中的目标行人。
具体的,在计算得到目标行人图像和参考行人图像的图像特征相似度后,首先从参考行人图像中查找高于预设相似度阈值的特征相似度所对应的参考行人图像,然后将查找得到的参考行人图像对应的参考行人确认为目标行人图像中的目标行人。
另外,本发明实施例所提供的基于深度学习的行人重识别方法还可以对特征相似度进行排名,根据排名结果进行上述目标行人图像中的目标行人和参考行人图像中的参考行人是否为同一个人的判断,参见图4所示的流程图,所述方法还包括:
S401、按照特征相似度由高至低的排序顺序对参考行人图像进行排名,以生成相似度排名;
S402、在相似度排名中查找排名超过预定名次的参考行人图像;
S403、将排名超过预定名次的参考行人图像所对应的参考行人确认为目标行人图像中的目标行人。
具体的,根据上述计算的特征相似度由高至低的排序顺序(即是目标行人图像与参考行人图像的相似程度)对参考行人图像进行排名,以生成相似度排名,然后在相似度排名中查找排名超过预定名次的参考行人图像,把排名超过预定名次的参考行人图像所对应的参考行人确认为目标行人图像中的目标行人,以保证能够根据相似度排名进行行人的再识别,识别的准确率较高。
本发明实施例提供的基于深度学习的行人重识别方法,与现有技术中的行人重识别的方法由于基于成对的行人图像才能够通过深度模型进行提取特征和行人识别,导致灵活度较差相比,其首先通过不同角度的摄像头在预设区域内摄取的第一视频流中获取目标行人图像,以及从第二视频流中获取参考行人图像,接着利用深度学习网络模型分别从上述目标行人图像和参考行人图像中提取对应的第一图像特征和第二图像特征,然后计算第一图像特征和第二图像特征的特征相似度,并在特征相似度符合预设要求时,确定目标行人图像中的目标行人和参考行人图像中的参考行人为同一个行人,其采用深度学习技术分别学习出上述目标行人图像和参考行人图像的隐含特征,克服了传统的行人重识别的方法采用成对行人图像存在的耦合问题,灵活度较好。
本发明实施例还提供了一种基于深度学习的行人重识别装置,所述装置用于执行上述基于深度学习的行人重识别方法,参见图5,所述装置包括:
获取模块11,用于分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,第一视频流和第二视频流为不同角度的摄像头在预设区域内摄取的视频;
提取模块22,用于利用预先训练好的深度学习网络模型,提取目标行人图像的图像特征作为第一图像特征,以及提取参考行人图像的图像特征作为第二图像特征;
计算模块33,用于计算第一图像特征与第二图像特征的特征相似度;
确定模块44,用于在特征相似度符合预设要求时,确定目标行人图像中的目标行人和参考行人图像中的参考行人为同一个行人。
为了更好的获取上述目标行人图像和参考行人图像,上述获取模块11包括第一获取单元和第二获取单元;其中:
第一获取单元,用于对第一视频流进行行人检测,得到对应的目标行人图像;
第二获取单元,用于对第二视频流进行行人检测,得到对应的参考行人图像。
在对目标行人图像和参考行人图像进行特征信息提取时,首先需要获取预先训练好的深度学习网络模型以实现对上述目标行人图像和参考行人图像的特征训练,参见图6,因此,本发明实施例提供的基于深度学习的行人重识别装置还包括生成深度学习网络模型的生成模块55,该生成模块55包括:建立单元551、学习单元552和生成单元553,其中:
建立单元551,用于基于标签标记的监督学习方法,建立包含行人重识别范围内行人图像的标记图片;其中,同一行人的不同角度的行人图像使用同一个标签标记;
学习单元552,用于利用深度卷积神经网络对标记图片进行深度学习,得到对应于标记图片的行人图像的特征信息;
生成单元553,用于利用随机梯度下降方法对特征信息进行训练,得到对应于行人图像的深度学习网络模型。
为了实现目标行人图像和参考行人图像中行人的再识别,参见图7,上述确定模块44包括第一查找单元441和第一确认单元442;其中:
第一查找单元441,用于查找特征相似度高于预设相似度阈值的参考行人图像;
第一确认单元442,用于将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为目标行人图像中的目标行人。
另外,本发明实施例所提供的基于深度学习的行人重识别装置还可以对特征相似度进行排名,根据排名结果进行上述目标行人图像中的目标行人和参考行人图像中的参考行人是否为同一个人的判断,参见图7,上述确定模块44还包括:
排序单元443,用于按照特征相似度由高至低的排序顺序对参考行人图像进行排名,以生成相似度排名;
第二查找单元444,用于在相似度排名中查找排名超过预定名次的参考行人图像;
第二确认单元445,用于将排名超过预定名次的参考行人图像所对应的参考行人确认为目标行人图像中的目标行人。
本发明实施例提供的基于深度学习的行人重识别装置,与现有技术中的行人重识别由于基于成对的行人图像才能够通过深度模型进行提取特征和行人识别,导致灵活度较差相比,其首先通过不同角度的摄像头在预设区域内摄取的第一视频流中获取目标行人图像,以及从第二视频流中获取参考行人图像,接着利用深度学习网络模型分别从上述目标行人图像和参考行人图像中提取对应的第一图像特征和第二图像特征,然后计算第一图像特征和第二图像特征的特征相似度,并在特征相似度符合预设要求时,确定目标行人图像中的目标行人和参考行人图像中的参考行人为同一个行人,其采用深度学习技术分别学习出上述目标行人图像和参考行人图像的隐含特征,克服了传统的行人重识别采用成对行人图像存在的耦合问题,灵活度较好。
本发明实施例所提供的进行基于深度学习的行人重识别方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
本发明实施例所提供的基于深度学习的行人重识别的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的行人重识别方法,其特征在于,包括:
分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,所述第一视频流和所述第二视频流为不同角度的摄像头在预设区域内摄取的视频;
利用预先训练好的深度学习网络模型,提取所述目标行人图像的图像特征作为第一图像特征,以及提取所述参考行人图像的图像特征作为第二图像特征;
计算所述第一图像特征与所述第二图像特征的特征相似度;
若所述特征相似度符合预设要求,则确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人。
2.根据权利要求1所述的方法,其特征在于,所述分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,包括:
对所述第一视频流进行行人检测,得到对应的目标行人图像;对所述第二视频流进行行人检测,得到对应的参考行人图像。
3.根据权利要求1或2所述的方法,其特征在于,所述深度学习网络模型通过以下步骤获得:
基于标签标记的监督学习方法,建立包含行人重识别范围内行人图像的标记图片;其中,同一行人的不同角度的行人图像使用同一个标签标记;
利用深度卷积神经网络对所述标记图片进行深度学习,得到对应于所述标记图片的所述行人图像的特征信息;
利用随机梯度下降方法对所述特征信息进行训练,得到对应于所述行人图像的深度学习网络模型。
4.根据权利要求1所述的方法,其特征在于,所述确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人,包括:
查找所述特征相似度高于预设相似度阈值的参考行人图像;
将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
5.根据权利要求1所述的方法,其特征在于,所述确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人,包括:
按照所述特征相似度由高至低的排序顺序对所述参考行人图像进行排名,以生成相似度排名;
在所述相似度排名中查找排名超过预定名次的参考行人图像;
将排名超过预定名次的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
6.一种基于深度学习的行人重识别装置,其特征在于,包括:
获取模块,用于分别从第一视频流和第二视频流中获取目标行人图像和参考行人图像,所述第一视频流和所述第二视频流为不同角度的摄像头在预设区域内摄取的视频;
提取模块,用于利用预先训练好的深度学习网络模型,提取所述目标行人图像的图像特征作为第一图像特征,以及提取所述参考行人图像的图像特征作为第二图像特征;
计算模块,用于计算所述第一图像特征与所述第二图像特征的特征相似度;
确定模块,用于在所述特征相似度符合预设要求时,确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人。
7.根据权利要求6所述的装置,其特征在于,所述获取模块包括:
第一获取单元,用于对所述第一视频流进行行人检测,得到对应的目标行人图像;
第二获取单元,用于对所述第二视频流进行行人检测,得到对应的参考行人图像。
8.根据权利要求6或7所述的装置,其特征在于,还包括生成模块;所述生成模块包括:
建立单元,用于基于标签标记的监督学习方法,建立包含行人重识别范围内行人图像的标记图片;其中,同一行人的不同角度的行人图像使用同一个标签标记;
学习单元,用于利用深度卷积神经网络对所述标记图片进行深度学习,得到对应于所述标记图片的所述行人图像的特征信息;
生成单元,用于利用随机梯度下降方法对所述特征信息进行训练,得到对应于所述行人图像的深度学习网络模型。
9.根据权利要求6所述的装置,其特征在于,所述确定模块包括:
第一查找单元,用于查找所述特征相似度高于预设相似度阈值的参考行人图像;
第一确认单元,用于将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
10.根据权利要求6所述的装置,其特征在于,所述确定模块还包括:
排序单元,用于按照所述特征相似度由高至低的排序顺序对所述参考行人图像进行排名,以生成相似度排名;
第二查找单元,用于在所述相似度排名中查找排名超过预定名次的参考行人图像;
第二确认单元,用于将排名超过预定名次的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。
CN201610988517.5A 2016-11-09 2016-11-09 一种基于深度学习的行人重识别方法和装置 Pending CN106778464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610988517.5A CN106778464A (zh) 2016-11-09 2016-11-09 一种基于深度学习的行人重识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610988517.5A CN106778464A (zh) 2016-11-09 2016-11-09 一种基于深度学习的行人重识别方法和装置

Publications (1)

Publication Number Publication Date
CN106778464A true CN106778464A (zh) 2017-05-31

Family

ID=58972774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610988517.5A Pending CN106778464A (zh) 2016-11-09 2016-11-09 一种基于深度学习的行人重识别方法和装置

Country Status (1)

Country Link
CN (1) CN106778464A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273836A (zh) * 2017-06-07 2017-10-20 深圳市深网视界科技有限公司 一种行人检测识别方法、装置、模型和介质
CN107330416A (zh) * 2017-07-10 2017-11-07 天津师范大学 一种基于判别结构测度学习的行人再识别方法
CN107563327A (zh) * 2017-08-31 2018-01-09 武汉大学 一种基于自步反馈的行人重识别方法及系统
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN107704890A (zh) * 2017-10-27 2018-02-16 北京旷视科技有限公司 一种四元组图像的生成方法和装置
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN108229289A (zh) * 2017-06-27 2018-06-29 北京市商汤科技开发有限公司 目标检索方法、装置和电子设备
CN108388851A (zh) * 2018-02-09 2018-08-10 北京京东金融科技控股有限公司 信息统计方法、装置、存储介质及电子设备
CN108769598A (zh) * 2018-06-08 2018-11-06 复旦大学 基于行人重识别的跨摄像头视频浓缩方法
CN108960331A (zh) * 2018-07-10 2018-12-07 重庆邮电大学 一种基于行人图像特征聚类的行人再识别方法
CN108985190A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 目标识别方法和装置、电子设备、存储介质、程序产品
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
CN109117888A (zh) * 2018-08-20 2019-01-01 北京旷视科技有限公司 目标对象识别方法及其神经网络生成方法以及装置
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109711267A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种行人重识别、行人运动轨迹生成方法及装置
CN109740480A (zh) * 2018-12-26 2019-05-10 浙江捷尚视觉科技股份有限公司 一种监控场景下的基于非机动车再识别的行人检索方法
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109784130A (zh) * 2017-11-15 2019-05-21 株式会社日立制作所 行人重识别方法及其装置和设备
CN110070075A (zh) * 2019-05-07 2019-07-30 中国科学院宁波材料技术与工程研究所 基于群对称理论的行人重识别方法
CN110084215A (zh) * 2019-05-05 2019-08-02 上海海事大学 一种二值化三元组孪生网络模型的行人重识别方法及系统
CN110245722A (zh) * 2019-06-26 2019-09-17 银河水滴科技(北京)有限公司 一种基于生物特征的图像识别方法及装置
CN110443174A (zh) * 2019-07-26 2019-11-12 浙江大学 一种基于解耦自适应判别性特征学习的行人重识别方法
CN110610475A (zh) * 2019-07-07 2019-12-24 河北工业大学 一种深度卷积神经网络的视觉缺陷检测方法
CN110705345A (zh) * 2019-08-21 2020-01-17 重庆特斯联智慧科技股份有限公司 一种基于深度学习的行人重识别方法及系统
CN111523351A (zh) * 2019-02-02 2020-08-11 北京地平线机器人技术研发有限公司 神经网络的训练方法、装置和电子设备
CN111611846A (zh) * 2020-03-31 2020-09-01 北京迈格威科技有限公司 行人再识别方法、装置、电子设备及存储介质
CN111737522A (zh) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 视频匹配方法、基于区块链的侵权存证方法和装置
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111967290A (zh) * 2019-05-20 2020-11-20 阿里巴巴集团控股有限公司 物体识别方法、装置及车辆
CN112101448A (zh) * 2020-09-10 2020-12-18 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN113221807A (zh) * 2021-05-26 2021-08-06 新疆爱华盈通信息技术有限公司 一种多摄像头的行人重识别方法及系统
CN114022806A (zh) * 2021-10-18 2022-02-08 北京贝思科技术有限公司 复杂环境中对捕获后丢失的人脸图像的再识别方法和装置、电子设备
CN115858846A (zh) * 2023-02-16 2023-03-28 云南派动科技有限公司 一种基于深度学习的滑雪者图像检索方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915643A (zh) * 2015-05-26 2015-09-16 中山大学 一种基于深度学习的行人再标识方法
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915643A (zh) * 2015-05-26 2015-09-16 中山大学 一种基于深度学习的行人再标识方法
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUANG WANG ET AL: "Deep Features for Person Re-identification", 《2015 11TH INTERNATIONAL CONFERENCE ON SEMANTICS, KNOWLEDGE AND GRIDS》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273836A (zh) * 2017-06-07 2017-10-20 深圳市深网视界科技有限公司 一种行人检测识别方法、装置、模型和介质
CN108229289A (zh) * 2017-06-27 2018-06-29 北京市商汤科技开发有限公司 目标检索方法、装置和电子设备
CN107330416A (zh) * 2017-07-10 2017-11-07 天津师范大学 一种基于判别结构测度学习的行人再识别方法
CN107330416B (zh) * 2017-07-10 2019-08-09 天津师范大学 一种基于判别结构测度学习的行人再识别方法
CN107563327A (zh) * 2017-08-31 2018-01-09 武汉大学 一种基于自步反馈的行人重识别方法及系统
CN107563327B (zh) * 2017-08-31 2021-07-20 武汉大学 一种基于自步反馈的行人重识别方法及系统
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN107704890A (zh) * 2017-10-27 2018-02-16 北京旷视科技有限公司 一种四元组图像的生成方法和装置
CN107704890B (zh) * 2017-10-27 2020-01-14 北京旷视科技有限公司 一种四元组图像的生成方法和装置
CN109784130A (zh) * 2017-11-15 2019-05-21 株式会社日立制作所 行人重识别方法及其装置和设备
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN108108662B (zh) * 2017-11-24 2021-05-25 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN108388851A (zh) * 2018-02-09 2018-08-10 北京京东金融科技控股有限公司 信息统计方法、装置、存储介质及电子设备
CN108769598A (zh) * 2018-06-08 2018-11-06 复旦大学 基于行人重识别的跨摄像头视频浓缩方法
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
CN108985190A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 目标识别方法和装置、电子设备、存储介质、程序产品
CN108960331A (zh) * 2018-07-10 2018-12-07 重庆邮电大学 一种基于行人图像特征聚类的行人再识别方法
CN109117888A (zh) * 2018-08-20 2019-01-01 北京旷视科技有限公司 目标对象识别方法及其神经网络生成方法以及装置
CN109711267A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种行人重识别、行人运动轨迹生成方法及装置
CN109753901B (zh) * 2018-12-21 2023-03-24 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109711316B (zh) * 2018-12-21 2022-10-21 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109740480A (zh) * 2018-12-26 2019-05-10 浙江捷尚视觉科技股份有限公司 一种监控场景下的基于非机动车再识别的行人检索方法
CN111523351A (zh) * 2019-02-02 2020-08-11 北京地平线机器人技术研发有限公司 神经网络的训练方法、装置和电子设备
CN110084215A (zh) * 2019-05-05 2019-08-02 上海海事大学 一种二值化三元组孪生网络模型的行人重识别方法及系统
CN110070075A (zh) * 2019-05-07 2019-07-30 中国科学院宁波材料技术与工程研究所 基于群对称理论的行人重识别方法
CN111967290A (zh) * 2019-05-20 2020-11-20 阿里巴巴集团控股有限公司 物体识别方法、装置及车辆
WO2020233414A1 (zh) * 2019-05-20 2020-11-26 阿里巴巴集团控股有限公司 物体识别方法、装置及车辆
CN111967290B (zh) * 2019-05-20 2024-06-14 浙江菜鸟供应链管理有限公司 物体识别方法、装置及车辆
CN110245722A (zh) * 2019-06-26 2019-09-17 银河水滴科技(北京)有限公司 一种基于生物特征的图像识别方法及装置
CN110610475A (zh) * 2019-07-07 2019-12-24 河北工业大学 一种深度卷积神经网络的视觉缺陷检测方法
CN110610475B (zh) * 2019-07-07 2021-09-03 河北工业大学 一种深度卷积神经网络的视觉缺陷检测方法
CN110443174A (zh) * 2019-07-26 2019-11-12 浙江大学 一种基于解耦自适应判别性特征学习的行人重识别方法
CN110705345A (zh) * 2019-08-21 2020-01-17 重庆特斯联智慧科技股份有限公司 一种基于深度学习的行人重识别方法及系统
CN111611846A (zh) * 2020-03-31 2020-09-01 北京迈格威科技有限公司 行人再识别方法、装置、电子设备及存储介质
WO2021196547A1 (zh) * 2020-03-31 2021-10-07 北京迈格威科技有限公司 行人再识别方法、装置、电子设备及存储介质
CN111783526B (zh) * 2020-05-21 2022-08-05 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111737522B (zh) * 2020-08-14 2021-03-02 支付宝(杭州)信息技术有限公司 视频匹配方法、基于区块链的侵权存证方法和装置
CN111737522A (zh) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 视频匹配方法、基于区块链的侵权存证方法和装置
US11954152B2 (en) 2020-08-14 2024-04-09 Alipay (Hangzhou) Information Technology Co., Ltd. Video matching methods and apparatuses, and blockchain-based infringement evidence storage methods and apparatuses
WO2022033252A1 (zh) * 2020-08-14 2022-02-17 支付宝(杭州)信息技术有限公司 视频匹配方法、基于区块链的侵权存证方法和装置
CN112101448A (zh) * 2020-09-10 2020-12-18 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN113221807A (zh) * 2021-05-26 2021-08-06 新疆爱华盈通信息技术有限公司 一种多摄像头的行人重识别方法及系统
CN114022806A (zh) * 2021-10-18 2022-02-08 北京贝思科技术有限公司 复杂环境中对捕获后丢失的人脸图像的再识别方法和装置、电子设备
CN115858846A (zh) * 2023-02-16 2023-03-28 云南派动科技有限公司 一种基于深度学习的滑雪者图像检索方法和系统
CN115858846B (zh) * 2023-02-16 2023-04-21 云南派动科技有限公司 一种基于深度学习的滑雪者图像检索方法和系统

Similar Documents

Publication Publication Date Title
CN106778464A (zh) 一种基于深度学习的行人重识别方法和装置
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN104881637B (zh) 基于传感信息及目标追踪的多模信息系统及其融合方法
CN107862300A (zh) 一种基于卷积神经网络的监控场景下行人属性识别方法
CN109271888A (zh) 基于步态的身份识别方法、装置、电子设备
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN108256439A (zh) 一种基于循环生成式对抗网络的行人图像生成方法及系统
CN111814661A (zh) 基于残差-循环神经网络的人体行为识别方法
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN109919245A (zh) 深度学习模型训练方法及装置、训练设备及存储介质
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN107423721A (zh) 人机交互动作检测方法、装置、存储介质及处理器
CN109784130A (zh) 行人重识别方法及其装置和设备
CN111027555B (zh) 一种车牌识别方法、装置及电子设备
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
CN110443174B (zh) 一种基于解耦自适应判别性特征学习的行人重识别方法
CN111753601B (zh) 一种图像处理的方法、装置以及存储介质
CN108875456A (zh) 目标检测方法、目标检测装置和计算机可读存储介质
CN110991278A (zh) 计算机视觉系统的视频中人体动作识别方法和装置
CN110322472A (zh) 一种多目标跟踪方法以及终端设备
Fei et al. Flow-pose Net: An effective two-stream network for fall detection
Yu Emotion monitoring for preschool children based on face recognition and emotion recognition algorithms
Zhang et al. Two-stream RGB-D human detection algorithm based on RFB network
Xu et al. Representative feature alignment for adaptive object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531