CN109902658A - 行人特征识别方法、装置、计算机设备和存储介质 - Google Patents
行人特征识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109902658A CN109902658A CN201910199195.XA CN201910199195A CN109902658A CN 109902658 A CN109902658 A CN 109902658A CN 201910199195 A CN201910199195 A CN 201910199195A CN 109902658 A CN109902658 A CN 109902658A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- feature
- image
- vector
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本申请提出一种行人特征识别方法、装置、计算机设备和存储介质,其中,方法包括:对包含行人的图像进行特征提取,确定行人对应的底层特征;对底层特征进行全局特征识别处理,确定行人对应的全局特征向量;对底层特征进行局部特征识别处理,确定行人对应的局部特征向量;根据行人对应的全局特征向量及局部特征向量,确定行人对应的特征向量。该方法最终得到的行人对应的特征向量能覆盖到行人的整体信息和细节信息,从而提高了行人特征向量的准确性和可靠性。
Description
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种行人特征识别方法、装置、计算机设备和存储介质。
背景技术
随着深度学习技术的不断发展,基于深度学习的行人再识别也称行人重识别(Person re-identification,Re-ID)技术已被广泛应用于行人检测、跟踪领域。目前,常用的RE-ID方法,主要为基于局部特征的RE-ID,通过将提取的各局部特征向量作为行人的特征向量。但是这种识别方式,极易受到行人姿态和遮挡的影响,从而导致最终得到行人特征向量的准确性和可靠性较差。
发明内容
本申请提出一种行人特征识别方法、装置、计算机设备和存储介质,用于解决相关技术中行人特征识别方法,得到行人特征向量的准确性和可靠性较差的问题。
本申请一方面实施例提出了一种行人特征识别方法,包括:
对包含行人的图像进行特征提取,确定所述行人对应的底层特征;
对所述底层特征进行全局特征识别处理,确定所述行人对应的全局特征向量;
对所述底层特征进行局部特征识别处理,确定所述行人对应的局部特征向量;
根据所述行人对应的全局特征向量及局部特征向量,确定所述行人对应的特征向量。
本申请实施例的行人特征识别方法,通过将提取的底层特征分别进行全局特征识别处理和局部特征识别处理,得到图像中行人对应的全局特征向量和局部特征特征向量,根据全局特征向量和局部特征特征向量,确定行人对应的特征向量,使得最终得到的行人对应的特征向量能覆盖到行人的整体信息和细节信息,从而提高了行人特征向量的准确性和可靠性。
本申请另一方面实施例提出了一种行人特征识别装置,包括:
第一确定模块,用于对包含行人的图像进行特征提取,确定所述行人对应的底层特征;
第二确定模块,用于对所述底层特征进行全局特征识别处理,确定所述行人对应的全局特征向量;
第三确定模块,用于对所述底层特征进行局部特征识别处理,确定所述行人对应的局部特征向量;
第四确定模块,用于根据所述行人对应的全局特征向量及局部特征向量,确定所述行人对应的特征向量。
本申请实施例的行人特征识别装置,通过将提取的底层特征分别进行全局特征识别处理和局部特征识别处理,得到图像中行人对应的全局特征向量和局部特征特征向量,根据全局特征向量和局部特征特征向量,确定行人对应的特征向量,使得最终得到的行人对应的特征向量能覆盖到行人的整体信息和细节信息,从而提高了行人特征向量的准确性和可靠性。
本申请另一方面实施例提出了一种计算机设备,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上述一方面实施例所述的行人特征识别方法。
本申请另一方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述一方面实施例所述的行人特征识别方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的一种行人特征识别方法的流程示意图;
图2为本申请实施例提供的另一种行人特征识别方法的流程示意图;
图3为本申请实施例提供的又一种行人特征识别方法的流程示意图;
图4为本申请实施例提供的再一种行人特征识别方法的流程示意图;
图5为本申请实施例提供的一种利用预设的网络模型进行行人特征识别的过程示意图;
图6为本申请实施例提供的还一种行人特征识别方法的流程示意图;
图7本申请实施例提供的一种行人特征识别装置的结构示意图;
图8示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的行人特征识别方法、装置、计算机设备和存储介质。
目前,常用的RE-ID方法,主要为基于局部特征的RE-ID,其通过将包括行人的人体图片划分成不同部位分别提取特征,进而将各区域提取的特征进行拼接,得到行人的特征向量。但是这种识别方式,极易受到行人姿态和遮挡的影响,从而导致最终得到行人特征向量的准确性和可靠性较差。
本申请实施例针对相关技术中,基于局部特征的RE-ID识别方法,最终得到的行人特征向量的准确性和可靠性较差的问题,提出一种行人特征识别方法。
图1为本申请实施例提供的一种行人特征识别方法的流程示意图。
本申请实施例的行人特征识别方法,可由本申请实施例提供的行人特征识别装置执行,该装置可配置于计算机设备中,以实现提取得到包含行人整体信息和细节信息的行人特征向量,提高行人特征向量的准确性和可靠性。
如图1所示,该行人特征识别方法包括:
步骤101,对包含行人的图像进行特征提取,确定行人对应的底层特征。
作为一种应用场景,在智能零售店中布置有多个摄像组件,如摄像头,多个摄像组件可采集其采集范围内的图像,以对店内的行人进行识别和跟踪。
在获取摄像组采集的图像后,对图像进行人体检测,判断是否包含行人。当包含行人时,对包含行人的图像进行特征提取,确定行人对应的底层特征。其中,底层特征包括但不限于颜色特征、形状特征、纹理特征、人脸特征、指纹特征、虹膜特征等等。
步骤102,对底层特征进行全局特征识别处理,确定行人对应的全局特征向量。
在获取底层特征后,可通过神经网络模型对底层特征进行全局特征识别处理,得到行人的对应的全局特征向量。
其中,行人对应的全局特征包括颜色特征、形状特征、纹理特征等。其中,颜色特征描述了图像中行人的表面属性,通常是基于像素点的特征,颜色特征包括颜色直方图和分布特征(主要指图像的颜色和灰度分布);形状特征是比较容易用于描述图像中的行人,可通过图像的二值图像获取行人的形状图特征;纹理特征是一种不依赖于颜色特征的反映图像中同质物体的底层特征,可在包含多个像素点的区域中进行统计计算,行人对应的纹理特征包含图像中行人表面的结构组织排列和与周围环境的关系。
本实施例中,在获取底层特征后,可通过神经网络对底层特征进行全局特征识别处理,获取行人对应的全局特征向量,行人对应的全局特征向量用于表示行人的整体信息。
步骤103,对底层特征进行局部特征识别处理,确定行人对应的局部特征向量。
在对底层特征进行全局特征识别处理的同时,也可通过相应的神经网络对底层特征进行局部特征的识别处理,确定行人对应的局部特征向量。其中,局部特征是基于图像的某个区域提取的图像描述符,如尺度不变特征(Scale Invariant Feature Transform,SIFT),局部特征的区分力强。
在具体实现时,可将包含行人的图像分割为不同的区域,按照分割方式对底层特征进行局部特征识别处理,得到行人对应的多个局部子特征向量。例如,将图像中的行人按照水平方向分割为5部分,那么对底层特征进行识别处理后,可得到行人对应的5个局部子特征向量,5个局部子特征向量进行拼接,得到行人对应的局部特征向量。
本实施例中,通过对底层特征进行局部特征识别处理,可以得到行人对应的局部特征向量,即获取图像中行人的细节信息。
步骤104,根据行人对应的全局特征向量及局部特征向量,确定行人对应的特征向量。
本实施例中,对底层特征分别进行全局特征识别处理和局部特征识别处理,得到行人对应的全局特征向量和局部特征向量,将行人对应的全局特征向量和局部特征向量进行拼接,拼接后的向量作为行人对应的特征向量。
本申请实施例的行人特征识别方法,通过将提取的底层特征分别进行全局特征识别处理和局部特征识别处理,得到图像中行人对应的全局特征向量和局部特征特征向量,根据全局特征向量和局部特征特征向量,确定行人对应的特征向量,使得最终得到的行人对应的特征向量能覆盖到行人的整体信息和细节信息,从而提高了行人特征向量的准确性和可靠性。
在本申请的一个实施例中,在根据底层特征确定行人对应的局部特征向量时,可通过如图2所示的方法获取。图2为本申请实施例提供的另一种行人特征识别方法的流程示意图。
如图2所示,上述对底层特征进行局部特征识别处理,确定行人对应的局部特征向量,包括:
步骤201,采用预设的分割模式,对底层特征进行局部特征识别处理,确定行人对应的N个局部子特征向量。
本实施例中,可采用预设的分割模式,对底层特征进行局部特征识别处理。其中,预设的分割模式是指对图像进行分割的方式,例如,在行方向上将图像等为N个子图像,或者在列方向上将图像等为N个子图像。若将图像分为N个子图像,那么对底层特征进行局部特征识别处理,可以得到每个子图像对应的局部子特征向量,即获取N个局部子特征向量。
步骤202,将N个局部子特征向量进行拼接处理,确定行人对应的局部特征向量。
在获取N个局部子特征向量后,将N个局部子特征向量进行拼接,拼接后的向量作为行人对应的局部特征向量。
通过上述方式获取行人对应的局部特征向量后,将行人对应的全局特征向量和局部特征向量进行拼接,得到图像中行人对应的特征向量。
本申请实施例中,在获取行人对应的局部特征向量时,通过预设的分割模式对图像进行分割,可以获取与分割后的子图像数量相同的局部子特征向量,由此,可以通过灵活设定分割模式,得到行人对应的局部特征向量。
在本申请的一个实施例中,可以采用多种分割模式对图像进行分割,得到多种分割模式对应的局部特征向量,进而得到行人对应的多个特征向量。图3为本申请实施例提供的又一种行人特征识别方法的流程示意图。
如图3所示,行人特征识别方法包括:
步骤301,对包含行人的图像进行特征提取,确定行人对应的底层特征。
步骤302,对底层特征进行全局特征识别处理,确定行人对应的全局特征向量。
本实施例中,步骤301-步骤302,与上述步骤101-步骤102类似,故在此不再赘述。
步骤303,采用至少两种分割模式,对底层特征进行局部特征识别处理,确定行人对应的至少两个局部特征向量。
本实施例中,可预设至少两种分割模式,利用至少两种分割模式对图像进行分割,然后分别利用每种分割模式,对底层特征进行局部识别处理,得到每种分割模式下行人对应的局部特征向量。
步骤304,根据行人对应的至少两个局部特征向量及行人对应的全局特征向量,确定行人对应的至少两个特征向量。
本实施例中,将至少两个局部特征向量中的每个局部特征向量,与行人对应的全局特征向量进行拼接,得到行人对应的至少两个特征向量。
例如,图像的分割模式包括对图像进行5等分和6等分两种,那么根据两种分割模式可得到两种局部特征向量,其中,一个局部特征向量由5个局部子特征向量拼接得到,另一个局部特征向量由6个局部子特征向量拼接得到。然后,将两种局部特征向量分别与全局特征向量进行拼接,可确定行人对应的两个特征向量。
本申请实施例的行人特征识别方法,通过将底层特征分别进行全局特征识别处理和局部特征识别处理,在局部特征识别处理时,通过多种分割模式得到多个局部特征向量,进而得到行人对应的多个特征向量,由此,采用两分支结合多种分割方式,可以自由分割为若干部分并进行组合,扩展性好,同时,可根据实际应用场景计算量的约束,可以适当增减分割模式的数量,达到计算量与准确性之间的平衡。
在实际应用中,在确定行人对应的特征向量之后,可通过行人对应的特性向量,判断该行人第一次出现还是再次出现,从而确定行人的轨迹,实现对行人进行跟踪的目的。
具体而言,预先设置一特征库,特征库可用于存储行人对应的特征向量,例如,对某智能零售商品,特征库中可存储进店的人员的特征向量。在确定图像中行人对应的特征向量后,可将行人对应的特征向量与特征库中的特征向量进行比较,以判断行人对应的特征向量是否与特征库中任一特征向量匹配。
若行人对应的特征向量与特征库中某一特征向量匹配,说明行人是再次出现,那么可根据采集图像的摄像头的位置,确定行人的位置所属的区域,然后记录采集图像的时间和行人出现的区域,或者确定行人的位置,记录采集图像的时间和行人的位置。这里的区域是指布置有摄像头的地理区域,例如商店的各类商品区域等。
可以理解的是,若行人对应至少两个特征向量,当行人对应的任一特征向量与特征库中一特征向量匹配时,更新行人的轨迹;或者当行人对应的每个特征向量在特征库中均具有匹配的特征向量时,更新行人的轨迹,实现对行人的跟踪。
例如,在某智能零售商店,行人A当前的轨迹为12:01分进入店、12点05分出现在水果区域,12点20出现在蔬菜区域,若通过12点30分米粮区域一摄像头采集图像中人的特征向量,确定图像中该人的特征向量与特征库中行人A的特征向量匹配,则行人A的轨迹更新为12:01分进入店、12点05分出现在水果区域、12点20出现在蔬菜区域、12点30出现在米粮区域。
若图像中行人对应的特征向量与特征库中全部特征向量均未匹配,说明该行人是首次出现,可将行人对应的特征向量加入特征库中,并启动对行人的跟踪线程,以对行人进行跟踪。
在实际应用中,摄像头采集的图像中可包括多个行人,为了识别图像中每个行人的特征向量,在对包含行人的图像进行特征提取之前,对摄像头采集的图像进行处理。下面结合图4进行说明,图4为本申请实施例提供的再一种行人特征识别方法的流程示意图。
如图4所示,该行人特征识别方法包括:
步骤401,对摄像组件采集的初始图像进行行人识别,以确定初始图像中各行人所在位置。
当摄像组件采集到初始图像后,利用人体检测方法检测对初始图像中是否存在行人,若存在,则确定图像中各行人在图像中的位置。
步骤402,根据每个行人所在的位置,将初始图像进行分割处理,以获取每个行人所在的局部图像。
本实施例中,根据每个行人在图像中所在的位置,确定每个行人在图像中所在的区域,然后根据每个行人在图像中所在区域,将初始图像进行分割处理,得到每个行人所在的局部图像。
例如,经过识别确定初始图像中有两个人,则根据这两个人在初始图像中的位置,对初始图像进行分割,得到两张分别包含两人的局部图像。
步骤403,对每个行人所在的局部图像进行特征提取。
在对初始图像进行分割后,针对每张局部图像,对局部图像进行特征提取,得到每个行人对应的底层特征。然后,对每个行人对应的底层特征,分别进行全局特征识别处理和局部特征识别处理,得到每个行人对应的全局特征向量和局部特征向量,进而得到初始图像中每个行人对应的特征向量。
在实际应用中,可通过预设的网络模型实现上述行人特征识别方法。下面结合图5进行说明,图5为本申请实施例提供的一种利用预设的网络模型进行行人特征识别的过程示意图。
如图5所示,预设的网络模型包括特征提取层、全局特征识别子网络、局部特征识别子网络。其中,特征提取层分别与全局特征识别子网络及局部特征识别子网络连接,特征提取层可以为通用的识别网络ResNet50,其中,ResNet为残差神经网络。
在识别时,将包含行人的图像输入至预设的网络模型中,首先由预设的网络模型的特征提取层对图像进行特征提取,得到行人对应的底层特征。之后,将底层特征分别输入至全局特征识别子网络和局部特征识别子网络,由全局识别子网络对底层特征进行处理,得到行人对应的全局特征向量,由局部特征识别子网络对底层特征进行处理,得到行人对应的局部特征。
图5中,全局特征识别子网络和局部特征识别子网络由两个卷积层(如Res conv4x和Res conv5x,其中,conv4x表示卷积层有4个卷积核,conv5x表示卷积层有5个卷积核)、全局池化层、1*1的卷积层构成;局部特征识别子网络为3个。具体而言,由特征提取层对图像进行提取得到底层特征,底层特征经过全局特征识别子网络,得到行人对应的全局特征向量;同时,采用3种分割模式,使底层特征分别经过3个局部特征识别子网络,得到3种局部特征向量,也就是,每种分割模式对应一个局部特征识别子网络。然后,将行人对应的3个局部特征向量分别与行人对应的全局特征向量进行拼接,得到行人对应的3个特征向量。
本实施例中,对包含行人的图像在进行分割时,可以水平划分,也可垂直划分,也可扩展到其他角度的划分方式。采用多种分割模式,可以很好的解决零售场景下,摄像组件过近(如2m左右)造成的人体在画面中出现的角度倾斜的问题。
本实施例中,可以对图像采用多种分割模式,得到行人对应的多个局部特征向量,在实际应用中,可根据实际应用场景计算量的约束,适当增减局部识别子网络的个数,达到计算量与准确性之间的平衡。
在上述将包含行人的图像输入预设的网络模型之前,可通过如下方式得到预设的网络模型。图6为本申请实施例提供的还一种行人特征识别方法的流程示意图。
将包含行人的图像输入预设的网络模型中之前,如图6所示,该行人特征识别方法还包括:
步骤501,获取包含多个数据组的训练数据集,其中,每个数据组中包括:M个行人的至少M+1张图像及每张图像对应的用户标识。
其中,M为大于或等于2的正整数。
本实施例中,每个数据组中包括M个行人的至少M+1张图像及每张图像对应的用户标识,说明每个数据组中包含至少两个行人的图像,这些图像中有些行人的图像可以不止一张图像,每张图像中包含一个行人。
需要说明的是,每个数据组中包含的图像数量及用户标识可以相同也可以不同。
步骤502,将每个数据组输入初始网络模型中,以获取M+1张图像中每张图像对应的全局特征向量及局部特征向量。
本实施例中,初始网络模型包含特征提取层、全局特征识别子网络、局部特征识别子网络。在训练时,将每个数据组输入初始网络模型中,获取M+1张图像中每张图像对应的全局特征向量和局部特征向量。
例如,某数据组中包括行人a的图像A和图像B,包含行人b的图像C,将该数据组输入至初始网络模型中,获取图像A的全局特征向量Fa和两个局部特征向量,获取图像B的全局特征向量Fb和两个局部特征向量,获取图像C的全局特征向量Fc和两个局部特征向量,以及每张图像对应的用户标识匹配的概率。
步骤503,根据每张图像对应的全局特征向量与用户标识匹配的概率及M个用户标识对应的全局特征向量间的距离,对初始网络模型中的特征提取层及全局特征识别子网络进行修正。
如图5所示,每个子网络都对应一个triplet损失函数和softmax损失函数。本实施例中,可将每张图像对应的用户标识匹配的概率中最大的概率对应的用户标识作为图像对应的用户标识。然后,计算M个用户标识对应的全局特征向量间的距离。其中,M个用户标识对应的全局特征向量间的距离包括同一用户标识对应的两个全局特征向量的类内距离,及不同用户标识对应的两个全局特征向量间的类间距离。
之后,利用计算的距离和初始网络模型中的全局识别子网络对应的triplet损失函数,对初始网络模型中特征提取层和全局识别子网络进行修正,即利用对网络模型进行反馈监督。
可以理解的是,两个行人的全局特征向量间的距离,应该越远越好。由此,通过迭代训练使得网络模型输出的同一行人的全局特征向量间的距离越来越近,不同行人的全局特征向量间的距离越来越远。
步骤504,根据每张图像对应的局部特征向量与用户标识匹配的概率及M个用户标识对应的局部特征向量间的距离,对初始网络模型中的特征提取层及局部特征识别子网络进行修正,以得到预设的网络模型。
如图5所示,每个子网络通过一个全连接层连接softmax损失函数。本实施例中,可将每张图像对应的用户标识匹配的概率中最大的概率对应的用户标识作为图像对应的用户标识。然后,计算M个用户标识对应的局部特征向量间的距离。其中,M个用户标识对应的局部特征向量间的距离包括同一用户标识对应的局部特征向量的类内距离,及不同用户标识对应的局部特征向量间的类间距离。
之后,利用计算的距离和初始网络模型中的局部识别子网络对应的softmax损失函数,对初始网络模型中特征提取层和局部识别子网络进行修正,得到预设的网络模型。
然后,可以利用得到的预设的网络模型对包含行人的图像进行识别,得到行人的特征向量。
需要说明的是,仅在训练时用到了两个损失函数,在利用预设的网络模型获取行人的特征向量时,直接利用全局识别子网络和局部识别子网络输出的全局特征向量和局部特征向量。
本申请实施例中,通过利用用户标识对应的全局特征向量间的距离,对初始网络的特征提取层和全局特征识别子网络进行修正,利用用户标识对应的局部特征向量间的距离,对初始网络模型的特征提取层和局部特征识别子网络进行修正,得到预设的网络模型,从而就得到了检索和分类结合的机制,即结合了triplet损失函数和softmax损失函数,利用预设的网络模型获取行人对应的特征向量具有较强的准确性和可靠性。
为了实现上述实施例,本申请实施例还提供了一种行人特征识别装置。图7本申请实施例提供的一种行人特征识别装置的结构示意图。
如图7所示,该行人特征识别装置包括:第一确定模块610、第二确定模块620、第三确定模块630、第四确定模块640。
第一确定模块610,用于包含行人的图像进行特征提取,确定行人对应的底层特征;
第二确定模块620,用于对底层特征进行全局特征识别处理,确定行人对应的全局特征向量;
第三确定模块630,用于对底层特征进行局部特征识别处理,确定行人对应的局部特征向量;
第四确定模块640,用于根据行人对应的全局特征向量及局部特征向量,确定行人对应的特征向量。
在本申请实施例一种可能的实现方式中,上述第三确定模块630具体用于:
采用预设的分割模式,对底层特征进行局部特征识别处理,确定行人对应的N个局部子特征向量,其中,N为根据预设的分割模式将所述图像分割后获得的子图像数量;
将N个局部子特征向量进行拼接处理,确定行人对应的局部特征向量。
在本申请实施例一种可能的实现方式中,上述第三确定模块630具体用于:
采用至少两种分割模式,对底层特征进行局部特征识别处理,确定行人对应的至少两个局部特征向量;
上述第四确定模块640具体用于:根据行人对应的至少两个局部特征向量及行人对应的全局特征向量,确定行人对应的至少两个特征向量。
在本申请实施例一种可能的实现方式中,该装置还可包括:
判断模块,用于判断行人对应的特征向量是否与特征库中任一特征向量匹配;
更新模块,用于当行人对应的特征向量与特征库中任一特征向量匹配时,根据采集图像的摄像头的位置及图像的采集时间,对行人的轨迹进行更新。
在本申请实施例一种可能的实现方式中,该装置还可包括:
启动模块,用于当行人对应的特征向量与特征库中全部特征向量均未匹配时,将行人对应的特征向量加入特征库中,并启动对行人的跟踪线程。
在本申请实施例一种可能的实现方式中,该装置还可包括:
第五确定模块,用于对摄像组件采集的初始图像进行行人识别,以确定所述初始图像中各行人所在位置;
第一获取模块,用于根据每个行人所在的位置,将初始图像进行分割处理,以获取每个行人所在的局部图像;
上述第一确定模块610,还用于:对每个行人所在的局部图像进行特征提取。
在本申请实施例一种可能的实现方式中,行人特征识别装置由预设的网络模型实现,预设的网络模型包括特征提取层,上述第一确定模块610,具体用于:
将包含行人的图像输入预设的网络模型中,由预设的网络模型中的特征提取层对包含行人的图像进行特征提取,确定行人对应的底层特征。
在本申请实施例一种可能的实现方式中,所述预设的网络模型中,还包括分别与特征提取层连接的全局特征识别子网络及局部特征识别子网络;该装置还可包括:
第二获取模块,用于获取包含多个数据组的训练数据集,其中,每个数据组中包括:M个行人的至少M+1张图像及每张图像对应的用户标识,M为大于或等于2的正整数;
第三获取模块,用于将每个数据组输入初始网络模型中,以获取M+1张图像中每张图像对应的全局特征向量及局部特征向量;
第一修正模块,用于根据每张图像对应的全局特征向量与用户标识匹配的概率及M个用户标识对应的全局特征向量间的距离,对初始网络模型中的特征提取层及全局特征识别子网络进行修正;
第二修正模块,用于根据每张图像对应的局部特征向量与用户标识匹配的概率及M个用户标识对应的局部特征向量间的距离,对初始网络模型中的特征提取层及局部特征识别子网络进行修正,以得到预设的网络模型。
需要说明的是,上述对行人特征识别方法实施例的解释说明,也适用于该实施例的行人特征识别装置,故在此不再赘述。
本申请实施例的行人特征识别装置,通过将提取的底层特征分别进行全局特征识别处理和局部特征识别处理,得到图像中行人对应的全局特征向量和局部特征特征向量,根据全局特征向量和局部特征特征向量,确定行人对应的特征向量,使得最终得到的行人对应的特征向量能覆盖到行人的整体信息和细节信息,从而提高了行人特征向量的准确性和可靠性。
为了实现上述实施例,本申请实施例还提出一种计算机设备,包括处理器和存储器;
其中,处理器通过读取存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上述实施例所述的行人特征识别方法。
图8示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图8显示的计算机设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
为了实现上述实施例,本申请实施例还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所述的行人特征识别方法。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种行人特征识别方法,其特征在于,包括:
对包含行人的图像进行特征提取,确定所述行人对应的底层特征;
对所述底层特征进行全局特征识别处理,确定所述行人对应的全局特征向量;
对所述底层特征进行局部特征识别处理,确定所述行人对应的局部特征向量;
根据所述行人对应的全局特征向量及局部特征向量,确定所述行人对应的特征向量。
2.如权利要求1所述的方法,其特征在于,所述对所述底层特征进行局部特征识别处理,确定所述行人对应的局部特征向量,包括:
采用预设的分割模式,对所述底层特征进行局部特征识别处理,确定所述行人对应的N个局部子特征向量,其中,N为根据所述预设的分割模式将所述图像分割后获得的子图像数量;
将所述N个局部子特征向量进行拼接处理,确定所述行人对应的局部特征向量。
3.如权利要求1所述的方法,其特征在于,所述对所述底层特征进行局部特征识别处理,确定所述行人对应的局部特征向量,包括:
采用至少两种分割模式,对所述底层特征进行局部特征识别处理,确定所述行人对应的至少两个局部特征向量;
所述根据所述行人对应的全局特征向量及局部特征向量,确定所述行人对应的特征向量,包括:
根据所述行人对应的至少两个局部特征向量及所述行人对应的全局特征向量,确定所述行人对应的至少两个特征向量。
4.如权利要求1所述的方法,其特征在于,所述确定所述行人对应的特征向量之后,还包括:
判断所述行人对应的特征向量是否与特征库中任一特征向量匹配;
若匹配,则根据采集所述图像的摄像头的位置及所述图像的采集时间,对所述行人的轨迹进行更新。
5.如权利要求4所述的方法,其特征在于,所述判断所述行人对应的特征向量是否与特征库中任一特征向量匹配之后,还包括:
若所述行人对应的特征向量与特征库中全部特征向量均未匹配,则将所述行人对应的特征向量加入所述特征库中,并启动对所述行人的跟踪线程。
6.如权利要求1-5任一所述的方法,其特征在于,所述对包含行人的图像进行特征提取之前,还包括:
对摄像组件采集的初始图像进行行人识别,以确定所述初始图像中各行人所在位置;
根据每个行人所在的位置,将所述初始图像进行分割处理,以获取每个行人所在的局部图像;
所述对包含行人的图像进行特征提取,包括:
对每个行人所在的局部图像进行特征提取。
7.如权利要求1-5任一所述的方法,其特征在于,所述行人特征识别方法由预设的网络模型实现,所述预设的网络模型包括特征提取层;
所述对包含行人的图像进行特征提取,确定所述行人对应的底层特征,包括:
将所述包含行人的图像输入所述预设的网络模型中,由所述预设的网络模型中的特征提取层对所述包含行人的图像进行特征提取,确定所述行人对应的底层特征。
8.如权利要求7所述的方法,其特征在于,所述预设的网络模型中,还包括分别与所述特征提取层连接的全局特征识别子网络及局部特征识别子网络;
所述将所述包含行人的图像输入所述预设的网络模型中之前,还包括:
获取包含多个数据组的训练数据集,其中,每个数据组中包括:M个行人的至少M+1张图像及每张图像对应的用户标识,M为大于或等于2的正整数;
将每个数据组输入初始网络模型中,以获取M+1张图像中每张图像对应的全局特征向量及局部特征向量;
根据每张图像对应的全局特征向量与用户标识匹配的概率及M个用户标识对应的全局特征向量间的距离,对所述初始网络模型中的特征提取层及全局特征识别子网络进行修正;
根据每张图像对应的局部特征向量与用户标识匹配的概率及M个用户标识对应的局部特征向量间的距离,对所述初始网络模型中的特征提取层及局部特征识别子网络进行修正,以得到所述预设的网络模型。
9.一种行人特征识别装置,其特征在于,包括:
第一确定模块,用于对包含行人的图像进行特征提取,确定所述行人对应的底层特征;
第二确定模块,用于对所述底层特征进行全局特征识别处理,确定所述行人对应的全局特征向量;
第三确定模块,用于对所述底层特征进行局部特征识别处理,确定所述行人对应的局部特征向量;
第四确定模块,用于根据所述行人对应的全局特征向量及局部特征向量,确定所述行人对应的特征向量。
10.一种计算机设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-8中任一所述的行人特征识别方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的行人特征识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910199195.XA CN109902658A (zh) | 2019-03-15 | 2019-03-15 | 行人特征识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910199195.XA CN109902658A (zh) | 2019-03-15 | 2019-03-15 | 行人特征识别方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109902658A true CN109902658A (zh) | 2019-06-18 |
Family
ID=66953281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910199195.XA Pending CN109902658A (zh) | 2019-03-15 | 2019-03-15 | 行人特征识别方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109902658A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339812A (zh) * | 2019-06-29 | 2020-06-26 | 北京澎思科技有限公司 | 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 |
CN111666843A (zh) * | 2020-05-25 | 2020-09-15 | 湖北工业大学 | 一种基于全局特征和局部特征拼接的行人重识别方法 |
CN112801235A (zh) * | 2021-04-12 | 2021-05-14 | 四川大学 | 模型训练方法、预测方法、装置、重识别模型及电子设备 |
CN114120506A (zh) * | 2021-09-30 | 2022-03-01 | 国网浙江省电力有限公司 | 一种基于5g网络架构的基建现场人员管控系统及方法 |
CN114821249A (zh) * | 2022-07-04 | 2022-07-29 | 山东交通学院 | 一种基于分组聚合注意力和局部关系的车辆重识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110268323A1 (en) * | 2006-04-07 | 2011-11-03 | Gallagher Andrew C | Identifying unique objects in multiple image collections |
CN103544504A (zh) * | 2013-11-18 | 2014-01-29 | 康江科技(北京)有限责任公司 | 一种基于多尺度图匹配核的场景字符识别方法 |
CN109271895A (zh) * | 2018-08-31 | 2019-01-25 | 西安电子科技大学 | 基于多尺度特征学习和特征分割的行人重识别方法 |
-
2019
- 2019-03-15 CN CN201910199195.XA patent/CN109902658A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110268323A1 (en) * | 2006-04-07 | 2011-11-03 | Gallagher Andrew C | Identifying unique objects in multiple image collections |
CN103544504A (zh) * | 2013-11-18 | 2014-01-29 | 康江科技(北京)有限责任公司 | 一种基于多尺度图匹配核的场景字符识别方法 |
CN109271895A (zh) * | 2018-08-31 | 2019-01-25 | 西安电子科技大学 | 基于多尺度特征学习和特征分割的行人重识别方法 |
Non-Patent Citations (2)
Title |
---|
GUANSHUO WANG ET AL.: "Learning Discriminative Features with Multiple Granularities for Person Re-Identification", 《ARXIV》 * |
姚乐炜: "网络结构", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339812A (zh) * | 2019-06-29 | 2020-06-26 | 北京澎思科技有限公司 | 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 |
CN111666843A (zh) * | 2020-05-25 | 2020-09-15 | 湖北工业大学 | 一种基于全局特征和局部特征拼接的行人重识别方法 |
CN112801235A (zh) * | 2021-04-12 | 2021-05-14 | 四川大学 | 模型训练方法、预测方法、装置、重识别模型及电子设备 |
CN114120506A (zh) * | 2021-09-30 | 2022-03-01 | 国网浙江省电力有限公司 | 一种基于5g网络架构的基建现场人员管控系统及方法 |
CN114821249A (zh) * | 2022-07-04 | 2022-07-29 | 山东交通学院 | 一种基于分组聚合注意力和局部关系的车辆重识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109902658A (zh) | 行人特征识别方法、装置、计算机设备和存储介质 | |
CN109977823A (zh) | 行人识别跟踪方法、装置、计算机设备和存储介质 | |
Bai et al. | Exploiting semantic information and deep matching for optical flow | |
Luo et al. | Hierarchical face parsing via deep learning | |
Liu | Beyond pixels: exploring new representations and applications for motion analysis | |
CN109948542A (zh) | 手势识别方法、装置、电子设备和存储介质 | |
CN109740469A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
Oszust et al. | Polish sign language words recognition with Kinect | |
Weinzaepfel et al. | Dope: Distillation of part experts for whole-body 3d pose estimation in the wild | |
Rothganger et al. | Segmenting, modeling, and matching video clips containing multiple moving objects | |
Intille | Tracking using a local closed-world assumption: Tracking in the football domain | |
CN106991377A (zh) | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 | |
CN111104867A (zh) | 基于部件分割的识别模型训练、车辆重识别方法及装置 | |
CN108895981A (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
CN114758362B (zh) | 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法 | |
CN109242978A (zh) | 三维模型的视角调整方法和装置 | |
CN108765315B (zh) | 图像补全方法、装置、计算机设备及存储介质 | |
Szeliski et al. | Feature detection and matching | |
Hayet et al. | Visual landmarks detection and recognition for mobile robot navigation | |
CN110084230A (zh) | 基于图像的车身方向检测方法和装置 | |
Ommer et al. | Seeing the objects behind the dots: Recognition in videos from a moving camera | |
Kuai et al. | Masked and dynamic Siamese network for robust visual tracking | |
CN109948515A (zh) | 物体的类别识别方法和装置 | |
Ke et al. | Human action recognition based on 3d human modeling and cyclic HMMs | |
CN109558505A (zh) | 视觉搜索方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |