CN113011377B - 行人属性识别方法、装置、电子设备及存储介质 - Google Patents
行人属性识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113011377B CN113011377B CN202110369225.4A CN202110369225A CN113011377B CN 113011377 B CN113011377 B CN 113011377B CN 202110369225 A CN202110369225 A CN 202110369225A CN 113011377 B CN113011377 B CN 113011377B
- Authority
- CN
- China
- Prior art keywords
- image
- attribute
- human body
- images
- salient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本申请公开一种行人属性识别方法、装置、电子设备及存储介质,方法包括:获取待识别图像;将待识别图像输入预先训练的属性识别模型进行属性识别,得到对待识别图像的属性识别结果;预先训练的属性识别模型的训练步骤包括:建立原始属性识别模型,并获取样本数据;识别样本数据中各个人体显著部位;按照人体显著部位将样本图像分割,得到预设数量的显著部位图像;利用每个样本数据所有的显著部位图像训练原始属性识别模型,得到属性识别模型;通过在预先训练时,使用显著部位图像来训练原始属性识别模型,使得训练出的属性识别模型,能够仅对人体的各个显著部位进行识别,不会受到背景杂物、物体遮挡等影响,从而降低行混淆及误判的几率。
Description
技术领域
本申请涉及机器视觉技术领域,具体涉及一种行人属性识别方法、装置、电子设备及存储介质。
背景技术
机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。而识别行人属性是机器视觉的一项重要任务,在众多现实环境中起着重要作用。
现有的识别行人属性的方法,普遍采用通用场景的多标签分类方法,首先给包含人体的图像进行多类别属性标签标注,之后整图送入深度神经卷积网络提取特征,接着利用多标签损失对分类模型进行多标签分类学习,得到能够识别人体属性的分类模型。
但是,正如前述提到的,现有技术的识别行人属性的方法,是基于整张图片对人体进行属性识别,过分注重对进行特征提取的深度神经卷积网络进行优化,这会导致整图识别结果易受背景杂物、物体遮挡等影响,从而增加行人属性识别时,混淆及误判的几率。
发明内容
基于此,为了解决或改善现有技术的问题,本申请提供一种行人属性识别方法、装置、电子设备及存储介质,可以降低行人属性识别时,混淆及误判的几率。
本申请第一方面提供一种行人属性识别方法,包括:获取待识别图像;将所述待识别图像输入预先训练的属性识别模型进行属性识别,得到对所述待识别图像的属性识别结果;所述预先训练的属性识别模型的训练步骤包括:建立原始属性识别模型,并获取样本数据;识别所述样本数据中各个人体显著部位;按照所述人体显著部位将所述样本图像分割,得到预设数量的显著部位图像;利用每个所述样本数据所有的所述显著部位图像训练所述原始属性识别模型,得到属性识别模型;将所述待识别图像输入预先训练的属性识别模型进行属性识别,得到对所述待识别图像的属性识别结果的步骤包括:识别待识别图像中各个人体显著部位;按照所述人体显著部位将所述待识别图像分割,得到预设数量的显著部位图像;利用所述属性识别模型识别各个显著部位图像的属性,得到属性识别模型生成的属性识别结果。
其中,所述识别所述样本数据中各个人体显著部位的步骤包括:将所述样本数据输入预先训练的金字塔网络;利用所述金字塔网络对所述样本数据提取的人体特征;获取所述金字塔网络利用所述人体特征输出的特征模板,所述特征模板内的模板具有与所述金字塔网络的通道维度相同数量的特征数量;获取所述金字塔网络利用平方差损失函数和激活函数,对所述人体特征回归出的与所述通道的维度相同数量的系数,所述系数与所述特征模板内模板的各个所述特征数量一一对应;将所述特征模板内各个模板的特征与一一对应的所述系数的乘积进行叠加,得到人体的各个显著部位图像。
其中,将所述特征模板与各个所述系数的乘积进行叠加还得到人体的整体显著图像;在得到所述显著部位图像及所述整体显著图像后,所述识别所述样本数据中各个人体显著部位的步骤还包括:将所述整体显著图像及各个所述显著部位图像进行相互监督学习直至所述相互监督学习的次数达到预定次数。
其中,所述将所述整体显著图像及各个所述显著部位图像进行相互监督学习,包括:将所述整体显著图像分割成与所述各个显著部位图像一一对应的分割验证图,并利用所述分割验证图验证及修正各个所述显著部位图像,以及,将各个所述显著部位图像融合成与所述整体显著图像对应的融合验证图,并利用所述融合验证图验证及修正所述整体显著图像,以使所述整体显著图像及各个所述显著部位图像进行相互监督学习。
其中,所述系数的范围为-1至1之间;所述通道的维度为32;所述第一预设数量为5;所述人体的各个显著部位图像包括:头部图像、身体图像、腿部图像及脚部图像。
其中,所述头部图像的属性包括:头部穿戴物体属性、头部动作属性及人体生理属性;所述身体图像的属性包括:身体穿戴物体属性、身体穿戴颜色属性、身体方位属性、手部是否提取物品的属性;所述腿部图像的属性包括:腿部穿戴物体属性、腿部穿戴颜色属性;所述脚部图像的属性包括:鞋子颜色属性、鞋子款式属性。
其中,所述头部图像的属性识别过程如下:利用所述金字塔网络对待检测图像的人体特征进行提取,并得到头部特征图像;获取所述金字塔网络利用头所述部特征图像输出的特征模板,以及所述头部图像的系数;将所述头部特征图像的模板,分别乘以与其一一对应的所述系数,得到头部图像,头部图像包括:具有头部特征的确定特征图像,以及,不具有头部特征的否定特征图像;将所有的所述确定特征图像相加,再减去所述否定特征图像,得到头部显著部位图像;将所述头部显著部位图像输入所述属性识别模型,得到所述属性识别模型输出的头部属性的识别结果。
本申请第二方面提供一种行人属性识别装置,包括:图像获取模块,用于获取待识别图像;模型训练模块,用于预先训练用于识别行人属性的属性识别模型;模型运行模块,用于运行所述模型训练模块训练的属性识别模型;结果获取模块,用于将所述待识别图像输入所述属性识别模型,并获取所述属性识别模型生成的属性识别结果;所述模型训练模块包括:模型建立单元,用于建立原始属性识别模型;样本数据获取单元,用于获取样本数据;第一识别单元,用于识别所述样本数据中各个人体显著部位;第一分割单元,用于按照所述人体显著部位将所述样本图像分割,得到预设数量的显著部位图像;训练单元,用于利用每个所述样本数据所有的所述显著部位图像训练所述原始属性识别模型,得到属性识别模型;所述模型运行模块包括:第二识别单元,用于识别待识别图像中各个人体显著部位;第二分割单元,用于按照所述人体显著部位将所述待识别图像分割,得到预设数量的显著部位图像;运行单元,用于运行所述属性识别模型识别各个显著部位图像的属性,得到属性识别模型生成的属性识别结果。
本申请第三方面提供一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述中任一项所述的行人属性识别方法的步骤。
本申请第四方面提供一个或多个存储有计算机可读指令的非易失性可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如上述中任一项所述的行人属性识别方法的步骤。
上述的行人属性识别方法、装置、电子设备及存储介质,通过在预先训练时,将人体显著部位分割,得到显著部位图像,而通过使用显著部位图像来训练原始属性识别模型,使得训练出的属性识别模型,能够仅对人体的各个显著部位进行识别,从而使得识别时,不会受到背景杂物、物体遮挡等影响,从而降低行人属性识别时,混淆及误判的几率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。应当理解的是,下面描述中的附图仅仅用以解释本发明,并不用于限定本发明。
图1为本申请一实施例行人属性识别方法的流程示意图;
图2为本申请一实施例行人属性识别方法的属性识别模型的训练方法的流程示意图;
图3为本申请一实施例行人属性识别方法的各部位显著图像识别过程的效果示意图;
图4为本申请一实施例实施例行人属性识别装置的结构示意框。
具体实施方式
下面结合附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而非全部实施例。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如背景技术所述,发明人研究发现,现有技术的识别行人属性的方法,是基于整张图片对人体进行属性识别,过分注重对进行特征提取的深度神经卷积网络进行优化,这会导致整图识别结果易受背景杂物、物体遮挡等影响,从而增加行人属性识别时,混淆及误判的几率。
本申请实施例提出一种行人属性识别方法、装置、电子设备及存储介质,可以降低行人属性识别时,混淆及误判的几率。
请参阅图1,是本申请一实施例的行人属性识别方法流程示意图,行人属性识别方法包括:
S101、获取待识别图像;
S102、将待识别图像输入预先训练的属性识别模型进行属性识别,得到对待识别图像的属性识别结果;
请参阅图2,在步骤S102中,预先训练的属性识别模型的训练步骤包括:
S1021、建立原始属性识别模型,并获取样本数据;
S1022、识别样本数据中各个人体显著部位;
S1023、按照人体显著部位将样本图像分割,得到预设数量的显著部位图像;
S1024、利用每个样本数据所有的显著部位图像训练原始属性识别模型,得到属性识别模型。
通过在预先训练时,将人体显著部位分割,得到显著部位图像,而通过使用显著部位图像来训练原始属性识别模型,使得训练出的属性识别模型,能够仅对人体的各个显著部位进行识别,从而使得识别时,不会受到背景杂物、物体遮挡等影响,从而降低行人属性识别时,混淆及误判的几率。
同理,将待识别图像输入预先训练的属性识别模型进行属性识别,得到对待识别图像的属性识别结果的步骤包括:
识别待识别图像中各个人体显著部位;按照人体显著部位将待识别图像分割,得到预设数量的显著部位图像;利用属性识别模型识别各个显著部位图像的属性,得到属性识别模型生成的属性识别结果。
在步骤S102及步骤S1021中,属性识别模型可以为注意力机制模型,也可以为ACN(Agent Cooperate Network,经纪人合作网络)模型。
在步骤S1023中,人体显著部位指能表征人体特征的部位,例如头部、腿部等。预设数量的显著部位图像可以为5个,该5个显著部位图像分别表示人体的整体图像、头部图像、身体图像、腿部图像及脚部图像。
其中,头部图像的属性可包括:头部穿戴物体属性、头部动作属性及人体生理属性;头部穿戴物体属性可以为:无帽、普通帽、安全帽,戴眼镜、戴墨镜、无眼镜、无口罩、戴口罩;其中,头部动作属性可以为:吸烟、未吸烟;人体生理属性可以为:性别、年龄。
身体图像的属性可以包括:身体穿戴物体属性、身体穿戴颜色属性、身体方位属性、手部是否提取物品的属性;其中,身体穿戴物体属性可以为:T恤、无袖、衬衫、西装、毛衣、夹克、羽绒服、风衣、外套,无背包、单肩包、双肩包;身体穿戴颜色属性可以为:身体穿戴物体颜色,例如T恤的颜色;身体方位属性可以为:正面、背面、左侧面、右侧面;手部是否提取物品的属性可以为:无手提物、有手提物。
腿部图像的属性可包括:腿部穿戴物体属性、腿部穿戴颜色属性;腿部穿戴物体属性可以为:长裤、短裤、长裙、短裙,腿部穿戴颜色属性可以为:腿部穿戴物体颜色,例如长裤颜色。
脚部图像的属性可包括:鞋子颜色属性、鞋子款式属性;鞋子款式属性可以为:凉鞋、皮鞋、布鞋等。
通过将人体的图像进行分割,并将分割后的图像输入原始属性识别模型,能够使得原始识别模型对待检测图像的各个部位进行识别,而不会对人体部位之外的事物进行识别,从而降低将人体之外的部位进行识别,导致混淆及误判的几率。
在一个实施例中,步骤S1022,识别样本数据中各个人体显著部位,具体实现的步骤包括:
S10221、将样本数据输入预先训练的金字塔网络;
S10222、利用金字塔网络对样本数据提取的人体特征;
S10223、获取金字塔网络利用人体特征输出的特征模板,特征模板内的模板具有与金字塔网络的通道维度相同数量的特征数量;
S10224、获取金字塔网络利用平方差损失函数和激活函数,对人体特征回归出的与通道的维度相同数量的系数,系数与特征模板内模板的各个特征数量一一对应;
S10225、将特征模板内各个模板的特征与一一对应的系数的乘积进行叠加,得到人体的各个显著部位图像。
在该实施例中,金字塔网络能够提取人体特征,且将两份相同的人体特征,一份用于作为步骤S10223的输入数据,另一份用于作为步骤S10224的输入数据,随后步骤S10225利用步骤S10223输出的特征模板,以及步骤S10224输出系数的乘积进行叠加,得到人体各个显著部位图像,以及人体的整体显著图像。
其中,通道的维度为32,能够提取出该部分图像的32个属性,对于人体各部位而言,32个属性已足够来表示各个部位单独代表的属性,例如,上述实施例中,头部图像的属性有无帽、普通帽、安全帽,戴眼镜、戴墨镜、无眼镜,吸烟、未吸烟,无口罩、戴口罩,性别,年龄,使用32个属性能够足够表示头部图像的属性,其他部位的是相同道理,这里不再赘述。
特征模板内的模板数量有4个,每个模板内均有32个特征,与通道的维度数保持一致,使得特征模板内的模板,能够表示出与通道维度数相同数量的属性。
系数有5组,分别对应整体图像特征的系数、头部图像特征的系数、身体图像特征的系数、腿部图像特征的系数,以及脚部图像特征的系数,每组系数有32个,与特征模板内模板的特征一一对应,将特征模板内模板的特征分别与对应的系数相乘,能够得到32个特征出现的几率。
例如,系数的范围为-1至1之间,若系数为正数,则表示该部位的图像具有该属性的几率,若系数为负数,则表示该部位不具有该属性的几率,若系数为0,则准确判断该部位不具有该属性,头部图像的属性中,若无帽的系数为0.9,则表示该头部图像具有90%的几率是无帽的,若无帽的系数为0,则表示该头部图像无帽,若无帽的系数为-0.9,则表示该头部图像有90%的几率不是无帽的,在进行识别时,特征即为属性,例如头部无帽特征,即为无帽属性。
在一个实施例中,请参阅图3,为头部图像、身体图像、腿部图像、脚部图像及整体显著图像的属性识别过程的效果示意图,在图3(a)中,左方的金字塔状结结构,为金字塔网络的卷积层,从上至下有五层,分别标记为C5、C4、C3、C2、C1,右侧的金字塔状结构,为金字塔网络的预测输出层,共五层,从上至下分别标记为P7、P6、P5、P4、P3,用于输出提取的图像特征,本实施例以头部图像的属性识别为例,头部图像的属性识别过程如下:
利用金字塔网络对待检测图像的人体特征进行提取,并得到头部特征图像;
获取金字塔网络利用头部特征图像输出的特征模板,以及头部图像的系数;
将头部特征图像的模板,分别乘以系数回归时,与其一一对应的系数,得到头部图像,头部图像包括:具有头部特征的确定特征图像,以及,不具有头部特征的否定特征图像;
将所有的确定特征图像相加,再减去否定特征图像,得到头部显著部位图像;
将头部显著部位图像输入属性识别模型,得到属性识别模型输出的头部属性的识别结果。
本实施例中,特征模板可有4个,头部属性的系数也可有4个,4个特征模板与4个系数一一对应,其他实施例中,通过修改金字塔网络的参数,也能够使得特征模板及系数的数量发生改变。具体实现时,将头部特征图像的4特征模板,分别乘以与其一一对应的系数,得到4张头部图像,其中3张头部图像为具有该头部特征的确定特征图像,1张特征图像为不具有该头部特征的否定特征图像;利用3张确定特征图像减去1张否定特征图像,得到头部显著部位图像;将头部显著部位图像输入属性识别模型,得到属性识别模型输出的头部属性的识别结果。
身体图像、腿部图像、脚部图像及整体显著图像的属性识别过程与头部图像的属性识别过程相似,这里不再赘述。
在一个实施例中,在得到显著部位图像及整体显著图像后,步骤S1022,识别样本数据中各个人体显著部位的方法还包括:
S10226、将整体显著图像及各个显著部位图像进行相互监督学习,直至相互监督学习的次数达到预定次数。
在对各个人体显著部位进行识别时,有时会出现一些特征识别错误的情况,因此就可能出现整体显著图像识别正确,显著部位图像识别错误,通过本实施例在这种情况下就能够将整体显著图像对显著部位图像进行监督,对显著部位图像识别错误的特征进行修正,从而提升显著部位图像的准确度。同理,出现显著部位图像识别正确,整体显著图像识别错误的情况时,本实施例的方法能够通过显著部位图像对整体显著图像的监督,提升整体显著图像的准确度。
预定次数可以根据实际情况进行设定,例如可以为3次,也可以为4次,5次等,通过多次的相互监督学习,能够进一步提升显著部位图像及整体显著图像的准确度。
在一个实施例中,步骤S10226中,整体显著图像及各个显著部位图像进行相互监督学习,具体实现方法包括:将整体显著图像分割成与各个显著部位图像一一对应的分割验证图,并利用分割验证图验证及修正各个显著部位图像,以及,将各个显著部位图像融合成与整体显著图像对应的融合验证图,并利用融合验证图验证及修正整体显著图像,以使整体显著图像及各个显著部位图像进行相互监督学习。
通过将显著图像进行分割,能够得到人体的各部位分割验证图,且各部位的分割验证图与各显著部位图像一一对应,能够对比出二者的不同点,因此可以通过对不同点的判断,来验证该不同点是否应存在于显著部位图像内,是则将该不同点从显著部位图像内消除,否则将该不同点加入显著部位图像内,从而进行修正。同理各显著部位图像融合能够得到人整体的融合验证图,能够通过融合验证图对整体显著图像进行验证及修正。
在一个实施例中,上述实施例中的步骤S102中,将待识别图像输入预先训练的属性识别模型时,行人属性识别方法还包括:S1011、获取预先构建的对比度增强算法;S1012、利用对比度增强算法增强待识别图像的对比度,以提升待识别图像的特征明显度。
其中,在步骤1012中,利用对比度增强算法增强待识别图像的对比度的步骤包括:获取待识别图像的每个像素点的原始亮度;计算待识别图像的所有像素点的平均亮度;获取预设的增强值;计算每个像素点的每个原始亮度及平均亮度的差值、增强值与一的和值;对差值及和值求解乘积值;对乘积值及平均亮度进行求和,得到每个像素点的亮度值;根据亮度值调整每个像素点的亮度,利用亮度的调整完成对比度的增强。
在其他实施例中,对比度增强算法可以使用直方图调整算法,在其他实施例中,还能使用灰度变换算法或其他公知的能够增强图像对比度的算法。
通过对待识别图像的对比度进行增强,能够使得待识别图像越清晰醒目,色彩也越鲜明艳丽,高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大帮助,而这些表现在机器视觉里,高对比度的图像就表现出更加明显特征,因此通过增强待识别图像的对比度,能够提升待识别图像的特征明显度,使得对象检测模型能够容易地检测出待识别图像上的特征点,从而有利于对象检测模型利用特征点判断待识别图像上有无井盖的特征,因此降低了对象检测模型对待识别图像进行识别的难度。
图4为一个实施例的行人属性识别装置的结构示意框图。如图4所示,行人属性识别装置包括:图像获取模块1、模型训练模块2、模型运行模块3及结果获取模块4;图像获取模块1用于获取待识别图像;模型训练模块2用于预先训练用于识别行人属性的属性识别模型;模型运行模块3用于运行模型训练模块训练的属性识别模型;结果获取模块4用于将待识别图像输入属性识别模型,并获取属性识别模型生成的属性识别结果。
其中,模型训练模块包括:模型建立单元、数据获取单元、第一识别单元、第一分割单元及训练单元;模型建立单元用于建立原始属性识别模型;数据获取单元用于获取样本数据;第一识别单元用于识别样本数据中各个人体显著部位;第一分割单元用于按照人体显著部位将样本图像分割,得到预设数量的显著部位图像;训练单元用于利用每个样本数据所有的显著部位图像训练原始属性识别模型,得到属性识别模型。
其中,模型运行模块包括:第二识别单元,用于识别待识别图像中各个人体显著部位;第二分割单元,用于按照人体显著部位将待识别图像分割,得到预设数量的显著部位图像;运行单元,用于运行属性识别模型识别各个显著部位图像的属性,得到属性识别模型生成的属性识别结果。
本申请实施例提供的行人属性识别装置,通过在预先训练时,将人体显著部位分割,得到显著部位图像,而通过使用显著部位图像来训练原始属性识别模型,使得训练出的属性识别模型,能够仅对人体的各个显著部位进行识别,从而使得识别时,不会受到背景杂物、物体遮挡等影响,从而降低行人属性识别时,混淆及误判的几率。
上述行人属性识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将行人属性识别装置按照需要划分为不同的模块,以完成上述行人属性识别装置的全部或部分功能。
关于行人属性识别装置的具体限定可以参见上文中对于行人属性识别方法的限定,在此不再赘述。上述行人属性识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的行人属性识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请还提出了一种电子设备,包括存储器及处理器,存储器中储存有计算机程序,计算机程序被处理器执行时,使得处理器执行上述任意实施例中的行人属性识别方法的步骤。
电子设备可以以各种形式来实施。例如,本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字TV、台式计算机等固定终端。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行行人属性识别方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行行人属性识别方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种行人属性识别方法,其特征在于,包括:
获取待识别图像;
将所述待识别图像输入预先训练的属性识别模型进行属性识别,得到对所述待识别图像的属性识别结果;
所述预先训练的属性识别模型的训练步骤包括:建立原始属性识别模型,并获取样本数据;识别所述样本数据中各个人体显著部位;按照所述人体显著部位将所述样本数据对应的样本图像分割,得到预设数量的显著部位图像;利用每个所述样本数据所有的所述显著部位图像训练所述原始属性识别模型,得到属性识别模型;
将所述待识别图像输入预先训练的属性识别模型进行属性识别,得到对所述待识别图像的属性识别结果的步骤包括:识别待识别图像中各个人体显著部位;按照所述人体显著部位将所述待识别图像分割,得到预设数量的显著部位图像;利用所述属性识别模型识别各个显著部位图像的属性,得到属性识别模型生成的属性识别结果;
所述识别所述样本数据中各个人体显著部位的步骤包括:
将所述样本数据输入预先训练的金字塔网络;
利用所述金字塔网络对所述样本数据提取对应的人体特征;
获取所述金字塔网络利用所述人体特征输出的特征模板,所述特征模板内的模板具有与所述金字塔网络的通道维度相同数量的特征数量;
获取所述金字塔网络利用平方差损失函数和激活函数,对所述人体特征回归出的与所述通道的维度相同数量的系数,所述系数与所述特征模板内模板的各个所述特征数量一一对应;
将所述特征模板内各个模板的特征与一一对应的所述系数的乘积进行叠加,得到人体的各个显著部位图像。
2.根据权利要求1所述的行人属性识别方法,其特征在于,
将所述特征模板与各个所述系数的乘积进行叠加还得到人体的整体显著图像;
在得到所述显著部位图像及所述整体显著图像后,所述识别所述样本数据中各个人体显著部位的步骤还包括:
将所述整体显著图像及各个所述显著部位图像进行相互监督学习直至所述相互监督学习的次数达到预定次数。
3.根据权利要求2所述的行人属性识别方法,其特征在于,
所述将所述整体显著图像及各个所述显著部位图像进行相互监督学习,包括:
将所述整体显著图像分割成与所述各个显著部位图像一一对应的分割验证图,并利用所述分割验证图验证及修正各个所述显著部位图像,其中,将各个所述显著部位图像融合成与所述整体显著图像对应的融合验证图,并利用所述融合验证图验证及修正所述整体显著图像,以使所述整体显著图像及各个所述显著部位图像进行相互监督学习。
4.根据权利要求1所述的行人属性识别方法,其特征在于,
所述系数的范围为-1至1之间;
所述通道的维度为32;
所述预设数量为5;
所述人体的各个显著部位图像包括:头部图像、身体图像、腿部图像及脚部图像。
5.根据权利要求4所述的行人属性识别方法,其特征在于,
所述头部图像的属性包括:头部穿戴物体属性、头部动作属性及人体生理属性;
所述身体图像的属性包括:身体穿戴物体属性、身体穿戴颜色属性、身体方位属性、手部是否提取物品的属性;
所述腿部图像的属性包括:腿部穿戴物体属性、腿部穿戴颜色属性;
所述脚部图像的属性包括:鞋子颜色属性、鞋子款式属性。
6.根据权利要求4所述的行人属性识别方法,其特征在于,
所述头部图像的属性识别过程如下:
利用所述金字塔网络对待检测图像的人体特征进行提取,并得到头部特征图像;
获取所述金字塔网络利用头所述部特征图像输出的特征模板,以及所述头部图像的系数;
将所述头部特征图像的模板,分别乘以与其一一对应的所述系数,得到头部图像,所述头部图像包括:具有头部特征的确定特征图像,以及,不具有头部特征的否定特征图像;
将所有的所述确定特征图像相加,再减去所述否定特征图像,得到头部显著部位图像;
将所述头部显著部位图像输入所述属性识别模型,得到所述属性识别模型输出的头部属性的识别结果。
7.一种行人属性识别装置,其特征在于,包括:
图像获取模块,用于获取待识别图像;
模型训练模块,用于预先训练用于识别行人属性的属性识别模型;
模型运行模块,用于运行所述模型训练模块训练的属性识别模型;
结果获取模块,用于将所述待识别图像输入所述属性识别模型,并获取所述属性识别模型生成的属性识别结果;
所述模型训练模块包括:模型建立单元,用于建立原始属性识别模型;样本数据获取单元,用于获取样本数据;第一识别单元,用于识别所述样本数据中各个人体显著部位;第一分割单元,用于按照所述人体显著部位将所述样本数据对应的样本图像分割,得到预设数量的显著部位图像;训练单元,用于利用每个所述样本数据所有的所述显著部位图像训练所述原始属性识别模型,得到属性识别模型;
所述模型运行模块包括:第二识别单元,用于识别待识别图像中各个人体显著部位;第二分割单元,用于按照所述人体显著部位将所述待识别图像分割,得到预设数量的显著部位图像;运行单元,用于运行所述属性识别模型识别各个显著部位图像的属性,得到属性识别模型生成的属性识别结果;
所述第一识别单元包括:样本数据输入单元,用于将所述样本数据输入预先训练的金字塔网络;人体特征提取单元,用于利用所述金字塔网络对所述样本数据提取对应的人体特征;特征模板获取单元,用于获取所述金字塔网络利用所述人体特征输出的特征模板,所述特征模板内的模板具有与所述金字塔网络的通道维度相同数量的特征数量;系数生成单元,用于获取所述金字塔网络利用平方差损失函数和激活函数,对所述人体特征回归出的与所述通道的维度相同数量的系数,所述系数与所述特征模板内模板的各个所述特征数量一一对应;图像生成单元,用于将所述特征模板内各个模板的特征与一一对应的所述系数的乘积进行叠加,得到人体的各个显著部位图像。
8.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的行人属性识别方法的步骤。
9.一个或多个存储有计算机可读指令的非易失性可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至6中任一项所述的行人属性识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110369225.4A CN113011377B (zh) | 2021-04-06 | 2021-04-06 | 行人属性识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110369225.4A CN113011377B (zh) | 2021-04-06 | 2021-04-06 | 行人属性识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113011377A CN113011377A (zh) | 2021-06-22 |
CN113011377B true CN113011377B (zh) | 2023-04-07 |
Family
ID=76387849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110369225.4A Active CN113011377B (zh) | 2021-04-06 | 2021-04-06 | 行人属性识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113011377B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117037218B (zh) * | 2023-10-08 | 2024-03-15 | 腾讯科技(深圳)有限公司 | 对象属性识别方法、相关装置、设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160317A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种基于区域分块行人性别识别方法 |
CN111814863A (zh) * | 2020-07-03 | 2020-10-23 | 南京信息工程大学 | 一种轻量级车辆与行人的检测方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060008124A1 (en) * | 2004-07-12 | 2006-01-12 | Ewe Hong T | Iris image-based recognition system |
CN110532838A (zh) * | 2018-05-25 | 2019-12-03 | 佳能株式会社 | 对象检测装置和方法及存储介质 |
CN109034210B (zh) * | 2018-07-04 | 2021-10-12 | 国家新闻出版广电总局广播科学研究院 | 基于超特征融合与多尺度金字塔网络的目标检测方法 |
CN110009598B (zh) * | 2018-11-26 | 2023-09-05 | 腾讯科技(深圳)有限公司 | 用于图像分割的方法和图像分割设备 |
JP7259313B2 (ja) * | 2018-12-18 | 2023-04-18 | コニカミノルタ株式会社 | 属性決定装置、属性決定システム、属性決定方法、プログラムおよび記録媒体 |
CN110188596A (zh) * | 2019-01-04 | 2019-08-30 | 北京大学 | 基于深度学习的监控视频行人实时检测、属性识别与跟踪方法及系统 |
CN111191503A (zh) * | 2019-11-25 | 2020-05-22 | 浙江省北大信息技术高等研究院 | 一种行人属性识别方法、装置、存储介质及终端 |
CN111339849A (zh) * | 2020-02-14 | 2020-06-26 | 北京工业大学 | 一种融合行人属性的行人重识别的方法 |
CN111597870B (zh) * | 2020-03-26 | 2022-05-03 | 中国电子科技集团公司第五十二研究所 | 一种基于注意力机制与多任务学习的人体属性识别方法 |
CN111680595A (zh) * | 2020-05-29 | 2020-09-18 | 新疆爱华盈通信息技术有限公司 | 一种人脸识别方法、装置及电子设备 |
CN111783870B (zh) * | 2020-06-29 | 2023-09-01 | 北京百度网讯科技有限公司 | 人体属性的识别方法、装置、设备及存储介质 |
CN112560831B (zh) * | 2021-03-01 | 2021-05-04 | 四川大学 | 一种基于多尺度空间校正的行人属性识别方法 |
-
2021
- 2021-04-06 CN CN202110369225.4A patent/CN113011377B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160317A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种基于区域分块行人性别识别方法 |
CN111814863A (zh) * | 2020-07-03 | 2020-10-23 | 南京信息工程大学 | 一种轻量级车辆与行人的检测方法 |
Non-Patent Citations (1)
Title |
---|
基于多尺度和注意力融合学习的行人重识别;王粉花等;《电子与信息学报》;20200722;第42卷(第12期);3045-3052 * |
Also Published As
Publication number | Publication date |
---|---|
CN113011377A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11497267B2 (en) | Systems and methods for full body measurements extraction | |
Yu et al. | Image quality classification for DR screening using deep learning | |
CN110135406B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
JP7132387B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN108268885B (zh) | 特征点检测方法、设备和计算机可读存储介质 | |
CN108805058B (zh) | 目标对象变化姿态识别方法、装置及计算机设备 | |
KR101603019B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
WO2019033525A1 (zh) | Au特征识别方法、装置及存储介质 | |
CN110941986A (zh) | 活体检测模型的训练方法、装置、计算机设备和存储介质 | |
CN112446302B (zh) | 一种人体姿态检测方法、系统、电子设备和存储介质 | |
CN109390053B (zh) | 眼底图像处理方法、装置、计算机设备和存储介质 | |
CN111310705A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
CN107506796A (zh) | 一种基于深度森林的阿尔兹海默病分类方法 | |
Wang et al. | Sclerasegnet: an improved u-net model with attention for accurate sclera segmentation | |
CN114332994A (zh) | 训练年龄预测模型的方法、年龄检测方法及相关装置 | |
KR101796027B1 (ko) | 얼굴 영상 기반 성별 인식 방법 및 장치 | |
KR20160053749A (ko) | 얼굴 영상의 다양성에 강인한 얼굴 표정 특징 분류 방법 및 시스템 | |
CN108830782B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN113011377B (zh) | 行人属性识别方法、装置、电子设备及存储介质 | |
CN111401343B (zh) | 识别图像中人的属性的方法、识别模型的训练方法和装置 | |
CN112115860A (zh) | 人脸关键点定位方法、装置、计算机设备和存储介质 | |
CN110942067A (zh) | 文本识别方法、装置、计算机设备和存储介质 | |
CN115862120B (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 | |
CN113159144B (zh) | 行人属性分类方法、装置、电子设备及存储介质 | |
CN116091596A (zh) | 一种自下而上的多人2d人体姿态估计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |