CN112560969B - 用于人体重识别的图像处理方法、模型训练方法及装置 - Google Patents

用于人体重识别的图像处理方法、模型训练方法及装置 Download PDF

Info

Publication number
CN112560969B
CN112560969B CN202011516584.XA CN202011516584A CN112560969B CN 112560969 B CN112560969 B CN 112560969B CN 202011516584 A CN202011516584 A CN 202011516584A CN 112560969 B CN112560969 B CN 112560969B
Authority
CN
China
Prior art keywords
human body
image
preset
quality evaluation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011516584.XA
Other languages
English (en)
Other versions
CN112560969A (zh
Inventor
郑新想
周斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202011516584.XA priority Critical patent/CN112560969B/zh
Publication of CN112560969A publication Critical patent/CN112560969A/zh
Application granted granted Critical
Publication of CN112560969B publication Critical patent/CN112560969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种用于人体重识别的图像处理方法、模型训练方法及装置,用于解决相关技术中图像质量评价不够准确的问题。该方法中,对待处理图像中的目标对象进行分类识别,得到目标对象的人体姿态类别,例如正面、背面还是侧面。然后,基于目标对象的人体姿态类别进行图像质量评价,由此本申请实施例中的图像质量评价是基于准确的人体姿态类别进行的,能够给出更为合理的质量评价结果。

Description

用于人体重识别的图像处理方法、模型训练方法及装置
技术领域
本申请涉及人工智能技术领域,特别涉及一种用于人体重识别的图像处理方法、模型训练方法及装置。
背景技术
人体重识别用于从视频或静态图像中识别出已知目标。目前人体重识别的大概流程可包括,首先对图像进行质量评价,当图像质量满足要求时,确定图像中的待识别对象的特征,然后和已知目标的特征进行比对,从而判定图像中的待识别对象是否为已知目标。
然而,发明人研究发现,相关技术中用于人体重识别的质量评价方法进行的质量评价不够准确,往往会影响后续的特征比对结果。故此,如何更好的进行图像质量评价以更加适用于人体重识别领域,有待解决。
发明内容
本申请的目的是提供一种用于人体重识别的图像处理方法、模型训练方法及装置,用于解决相关技术中图像质量评价不够准确的问题。
第一方面,本申请实施例提供了一种用于人体重识别的图像处理方法,包括:
对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别;
基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数。
在一些实施例中,所述对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别,包括:
从所述待处理图像中提取所述目标对象的第二人体特征;
基于所述第二人体特征进行所述分类处理,得到所述目标对象的所述人体姿态类别。
在一些实施例中,所述人体姿态类别为类别集合中的一种类别,所述类别集合包括人体正面、人体背面以及人体侧面。
在一些实施例中,所述得到所述待处理图像的关于所述人体姿态类别的质量评价参数之后,所述方法还包括:
从所述待处理图像中提取所述目标对象的多个预设人体区域的区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
确定所述目标对象和待比对对象包含的相同预设人体区域;
采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
在一些实施例中,所述从所述待处理图像中提取所述目标对象的多个预设人体区域的区域特征,包括:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征。
在一些实施例中,所述在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测之后,还得到各所述预设人体区域的置信度;
所述确定所述目标对象和待比对对象包含的相同预设人体区域,包括:
针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;
将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域。
在一些实施例中,所述将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域,包括:
针对各所述预设人体区域,若确定所述待处理图像中包括所述目标对象的所述预设人体区域,则将所述预设人体区域标记为1,否则,将所述预设人体区域标记为0,得到所述目标对象的各所述预设人体区域的标记序列A;
采用标记序列A与所述待比对对象的标记序列B进行乘法运算,得到用于指示所述相同预设人体区域的指示信息Pb
所述采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度,包括:
根据以下相似度确定公式确定所述目标对象与所述待比对对象之间的相似度:
Figure BDA0002848138620000031
其中,
Figure BDA0002848138620000032
Figure BDA0002848138620000033
在所述相似度确定公式中,所述S(F′q,F′g)表示所述相似度,所述Fq表示所述目标对象的各预设人体区域的所述区域特征,所述Fg表示所述待比对对象的各预设人体区域的所述区域特征,Pbi表示所述Pb中的第i个所述预设人体区域的标记的乘积结果,fqi表示所述Fq中的第i个所述预设人体区域的区域特征;fgi表示所述Fg中的第i个所述预设人体区域的区域特征。
在一些实施例中,所述基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数,包括:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
分别对所述待处理图像中各所述预设人体区域的所述区域范围进行质量评价,得到各所述预设人体区域分别对应的图像质量评价参数。
第二方面,本申请还提供一种用于人体重识别的图像质量评价模型的训练方法,所述方法包括:
获取样本图像,其中,所述样本图像的训练标签中包括人体姿态类别和与所述人体姿态类别对应的质量评价参数;
将各所述样本图像输入至待训练图像质量评价模型,得到所述待训练图像质量评价模型输出的所述样本图像的预估人体姿态类别对应的预估质量评价参数;
根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,以及所述预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型得到所述图像质量评价模型。
在一些实施例中,所述方法还包括:
根据以下方法获取各所述样本图像的训练标签中的所述人体质量评价参数:
针对每种人体姿态类别,获取所述人体姿态类别的图像集,所述图像集中包括多个人体对象的图像序列,针对每个人体对象,所述人体对象的所述图像序列中包括所述人体姿态类别的标准图像;且所述标准图像对应的图像质量评价参数为指定取值区间的最大值;
针对每个人体对象的图像序列中的除所述标准图像之外的每张样本图像分别执行:
确定所述样本图像与所述标准图像之间的人体特征相似度;
将所述人体特征相似度映射到所述指定取值区间,得到所述样本图像的训练标签中的人体质量评价参数。
在一些实施例中,所述样本图像的训练标签中包括所述样本图像中各预设人体区域的标准区域范围、各所述预设人体区域的标准质量评价参数以及参考置信度;
所述待训练图像质量评价模型包括人体姿态识别模块、行人重识别模块以及质量评价模块;
所述人体姿态识别模块,用于对所述样本图像的人体姿态进行识别,得到所述样本图像的预估人体姿态类别;
所述行人重识别模块,用于在所述样本图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的预估区域范围;并对每个所述预估区域范围进行特征识别,得到每个所述预设人体区域的置信度;
所述质量评价模块,用于对所述样本图像中每个所述预估区域范围进行质量评价,得到各所述预设人体区域的预估质量评价参数;
所述根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,以及所述预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型,包括:
根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,各所述预设人体区域的预估质量评价参数与标准质量评价参数之间的损失、各所述预设人体区域的置信度与所述参考置信度之间的损失,各所述预设人体区域的预估区域范围与所述标准区域范围之间的损失训练所述待训练图像质量评价模型。
在一些实施例中,所述方法还包括:
根据以下方法确定各所述预设人体区域的所述标准区域范围:
对所述样本图像中的所述人体对象进行人体关键点检测,得到所述人体对象的人体关键点;
根据所述人体对象的所述人体关键点与人体区域的对应关系,确定所述人体对象的各个所述预设人体区域在所述样本图像中的所述标准区域范围。
第三方面,本申请还提供一种用于人体重识别的图像处理方法,所述方法还包括:
从待处理图像中提取目标对象的多个预设人体区域的区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
确定所述目标对象和待比对对象包含的相同预设人体区域;
采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
在一些实施例中,所述从所述待处理图像中提取所述目标对象的多个预设人体区域的区域特征,包括:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征。
在一些实施例中,所述在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测之后,还得到各所述预设人体区域的置信度;
所述确定所述目标对象和待比对对象包含的相同预设人体区域,包括:
针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;
将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域。
在一些实施例中,所述将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域,包括:
针对各所述预设人体区域,若确定所述待处理图像中包括所述目标对象的所述预设人体区域,则将所述预设人体区域标记为1,否则,将所述预设人体区域标记为0,得到所述目标对象的各所述预设人体区域的标记序列A;
采用标记序列A与所述待比对对象的标记序列B进行乘法运算,得到用于指示所述相同预设人体区域的指示信息Pb
所述采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度,包括:
根据以下相似度确定公式确定所述目标对象与所述待比对对象之间的相似度:
Figure BDA0002848138620000071
其中,
Figure BDA0002848138620000072
Figure BDA0002848138620000073
在所述相似度确定公式中,所述S(F′q,F′g)表示所述相似度,所述Fq表示所述目标对象的各预设人体区域的所述区域特征,所述Fg表示所述待比对对象的各预设人体区域的所述区域特征,Pbi表示所述Pb中的第i个所述预设人体区域的标记的乘积结果,fqi表示所述Fq中的第i个所述预设人体区域的区域特征;fgi表示所述Fg中的第i个所述预设人体区域的区域特征。
第四方面,本申请还提供一种用于人体重识别的图像处理装置,该装置包括:
姿态识别单元,用于对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别;
评价单元,用于基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数。
在一些实施例中,所述姿态识别单元,用于:
从所述待处理图像中提取所述目标对象的第二人体特征;
基于所述第二人体特征进行所述分类处理,得到所述目标对象的所述人体姿态类别。
在一些实施例中,所述人体姿态类别为类别集合中的一种类别,所述类别集合包括人体正面、人体背面以及人体侧面。
在一些实施例中,所述得到所述待处理图像的关于所述人体姿态类别的质量评价参数之后,所述装置还包括:
区域特征提取单元,用于从所述待处理图像中提取所述目标对象的多个预设人体区域的区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
相同区域确定单元,用于确定所述目标对象和待比对对象包含的相同预设人体区域;
相似度确定单元,用于采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
在一些实施例中,所述区域特征提取单元,用于:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征。
在一些实施例中,所述在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测之后,还得到各所述预设人体区域的置信度;
所述相同区域确定单元,用于:
针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;
将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域。
在一些实施例中,所述相同区域确定单元,用于:
针对各所述预设人体区域,若确定所述待处理图像中包括所述目标对象的所述预设人体区域,则将所述预设人体区域标记为1,否则,将所述预设人体区域标记为0,得到所述目标对象的各所述预设人体区域的标记序列A;
采用标记序列A与所述待比对对象的标记序列B进行乘法运算,得到用于指示所述相同预设人体区域的指示信息Pb
所述相似度确定单元,用于:
根据以下相似度确定公式确定所述目标对象与所述待比对对象之间的相似度:
Figure BDA0002848138620000091
其中,
Figure BDA0002848138620000092
Figure BDA0002848138620000093
在所述相似度确定公式中,所述S(F′q,F′g)表示所述相似度,所述Fq表示所述目标对象的各预设人体区域的所述区域特征,所述Fg表示所述待比对对象的各预设人体区域的所述区域特征,Pbi表示所述Pb中的第i个所述预设人体区域的标记的乘积结果,fqi表示所述Fq中的第i个所述预设人体区域的区域特征;fgi表示所述Fg中的第i个所述预设人体区域的区域特征。
在一些实施例中,所述评价单元用于:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
分别对所述待处理图像中各所述预设人体区域的所述区域范围进行质量评价,得到各所述预设人体区域分别对应的图像质量评价参数。
第五方面,本申请还提供一种用于人体重识别的图像质量评价模型的训练装置,所述装置包括:
样本获取单元,用于获取样本图像,其中,所述样本图像的训练标签中包括人体姿态类别和与所述人体姿态类别对应的质量评价参数;
预估单元,用于将各所述样本图像输入至待训练图像质量评价模型,得到所述待训练图像质量评价模型输出的所述样本图像的预估人体姿态类别对应的预估质量评价参数;
训练单元,用于根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,以及所述预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型得到所述图像质量评价模型。
在一些实施例中,所述装置还包括:
评价参数获取单元,用于根据以下方法获取各所述样本图像的训练标签中的所述人体质量评价参数:
针对每种人体姿态类别,获取所述人体姿态类别的图像集,所述图像集中包括多个人体对象的图像序列,针对每个人体对象,所述人体对象的所述图像序列中包括所述人体姿态类别的标准图像;且所述标准图像对应的图像质量评价参数为指定取值区间的最大值;
针对每个人体对象的图像序列中的除所述标准图像之外的每张样本图像分别执行:
确定所述样本图像与所述标准图像之间的人体特征相似度;
将所述人体特征相似度映射到所述指定取值区间,得到所述样本图像的训练标签中的人体质量评价参数。
在一些实施例中,所述样本图像的训练标签中包括所述样本图像中各预设人体区域的标准区域范围、各所述预设人体区域的标准质量评价参数以及参考置信度;
所述待训练图像质量评价模型包括人体姿态识别模块、行人重识别模块以及质量评价模块;
所述人体姿态识别模块,用于对所述样本图像的人体姿态进行识别,得到所述样本图像的预估人体姿态类别;
所述行人重识别模块,用于在所述样本图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的预估区域范围;并对每个所述预估区域范围进行特征识别,得到每个所述预设人体区域的置信度;
所述质量评价模块,用于对所述样本图像中每个所述预估区域范围进行质量评价,得到各所述预设人体区域的预估质量评价参数;
所述训练单元,用于:
根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,各所述预设人体区域的预估质量评价参数与标准质量评价参数之间的损失、各所述预设人体区域的置信度与所述参考置信度之间的损失,各所述预设人体区域的预估区域范围与所述标准区域范围之间的损失训练所述待训练图像质量评价模型。
在一些实施例中,所述装置还包括:
标准区域确定单元,用于根据以下方法确定各所述预设人体区域的所述标准区域范围:
对所述样本图像中的所述人体对象进行人体关键点检测,得到所述人体对象的人体关键点;
根据所述人体对象的所述人体关键点与人体区域的对应关系,确定所述人体对象的各个所述预设人体区域在所述样本图像中的所述标准区域范围。
第六方面、本申请还提供一种用于人体重识别的图像处理装置,所述装置还包括:
区域特征提取单元,用于从待处理图像中提取目标对象的多个预设人体区域的区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
相同区域提取单元,用于确定所述目标对象和待比对对象包含的相同预设人体区域;
比对单元,用于采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
在一些实施例中,所述区域特征提取单元,用于:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征。
在一些实施例中,所述在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测之后,还得到各所述预设人体区域的置信度;
所述相同区域提取单元,用于:
针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;
将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域。
在一些实施例中,所述相同区域提取单元,用于:
针对各所述预设人体区域,若确定所述待处理图像中包括所述目标对象的所述预设人体区域,则将所述预设人体区域标记为1,否则,将所述预设人体区域标记为0,得到所述目标对象的各所述预设人体区域的标记序列A;
采用标记序列A与所述待比对对象的标记序列B进行乘法运算,得到用于指示所述相同预设人体区域的指示信息Pb
所述比对单元用于:
根据以下相似度确定公式确定所述目标对象与所述待比对对象之间的相似度:
Figure BDA0002848138620000121
其中,
Figure BDA0002848138620000131
Figure BDA0002848138620000132
在所述相似度确定公式中,所述S(F′q,F′g)表示所述相似度,所述Fq表示所述目标对象的各预设人体区域的所述区域特征,所述Fg表示所述待比对对象的各预设人体区域的所述区域特征,Pbi表示所述Pb中的第i个所述预设人体区域的标记的乘积结果,fqi表示所述Fq中的第i个所述预设人体区域的区域特征;fgi表示所述Fg中的第i个所述预设人体区域的区域特征。
第七方面,本申请另一实施例还提供了一种电子设备,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请实施例提供的第一至第三方面任一所述的方法。
第八方面,本申请另一实施例还提供了一种计算机存储介质,其中,所述计算机存储介质存储有计算机程序,所述计算机程序用于使计算机执行本申请实施例中的第一至第三方面任一所述的方法。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请一个实施例的应用环境的示意图;
图2为根据本申请一个实施例的神经网络模型的结构示意图;
图3-图4为根据本申请一个实施例的进行标注的方法的说明示意图;
图5为根据本申请一个实施例的对图像质量评价模型进行训练的流程示意图;
图6所示为根据本申请一个实施例的用于人体重识别的图像处理方法的流程示意图;
图7为根据本申请一个实施例的用于人体重识别的图像处理方法的另一流程示意图;
图8所示为根据本申请一个实施例的用于人体重识别的图像处理装置的结构示意图;
图9为根据本申请一个实施例的图像质量评价模型的训练装置的结构示意图;
图10为根据本申请一个实施例的用于人体重识别的图像处理装置的结构示意图;
图11为根据本申请一个实施例的电子设备的示意图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为便于理解本申请实施例提供的技术方案,下面对本申请实施例中涉及的一些关键名词进行说明。
人体重识别,即从视频或单帧图片中识别出行人目标是否为已知的监控目标。其中,视频人体重识别与单帧图片的人体重识别任务是相同的,即在判断跨不同摄像头或者同一摄像头不同时刻的行人目标是否是同一人;与单帧图片的人体重识别相比,视频往往包含行人更丰富的外观信息和运动信息,有利于学习更为鲁棒的、优质的视频行人特征。
图像质量评价,人体重识别之前往往都需要对图像进行质量评价,例如模糊的图像不适合后续进行特征提取和进行重识别,故此,可通过图像质量评价技术先评价图像的质量,以便于图像质量合格后执行后续操作。可采用图像质量评价模型对图像进行质量评分,评分越高表示图像质量越好。
人体姿态类别,本申请实施例中人体姿态类别可主要包括正面姿态、侧面姿态和背面姿态。例如图像中体现的是行人目标的正脸图像,可分类为正面姿态,图像中体现的是行人目标的背面,则分类为背面姿态,体现的是侧脸,则可分类为侧面姿态。在实施时,可采用神经网络对行人目标的人体姿态类别进行分类识别。当然,需要说明的是,可以对人体姿态进行进一步的细分类,例如45°侧身,90°侧身用于表示侧身类别下的具体侧身姿势。
在现实场景中,相关技术中多从图像中提取全局特征然后进行质量评价。然而,发明人研究发现,人体数据不像人脸数据那样具有一定的可控性,原因在于1.行人处在一个开放的、无约束的环境中;2.二维度的图片不足以描述三维度的人体全局特征;3.人体的正面、背面、侧面差异较大,当仅使用一个优质的人体姿态图片作为标准去衡量其他行人图片质量的所有姿态下的行人图像质量是不合理地。故此,相关技术中人体质量的评价结果不够准确。
有鉴于此,本申请提出了一种用于人体重识别的图像处理的方法、装置、电子设备和存储介质,用于解决上述问题。
本申请的发明构思为:对待处理图像中的目标对象进行分类识别,得到目标对象的人体姿态类别,例如正面、背面还是侧面。然后,基于目标对象的人体姿态类别进行图像质量评价,由此本申请实施例中的图像质量评价是基于准确的人体姿态类别进行的,能够给出更为合理的质量评价结果。
进一步的,本申请实施例为了能够更好的进行特征比对,还对人体划分出不同的人体区域,基于同一人体区域的对齐操作,来确定不同人体的相似度。从而,能够提高人体特征比对的准确性。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
图1为根据本申请一个实施例的应用环境的示意图。
如图1所示,该应用环境中例如可以包括网络10、服务器20、至少一种监控设备30(如监控设备30_1、监控设备30_2……监控设备30_N)、终端设备40以及数据库50。其中:
监控设备30用于采集监控范围内的图像,并通过网络10将采集的图像发送给服务器20,由服务器20将图像存储至数据库50中,得到监控视频。
终端设备40可发送监控视频获取请求给服务器20,服务器20响应该监控视频获取请求,从数据库50中获取相应的监控视频返回给终端设备40显示出来。
本申请实施例为了进行行人重识别,可从监控视频中提取待处理图像,然后对待处理图像按照人体姿态类别进行图像质量评价,图像质量评价结果满足图像质量要求时,继续进行人体特征比对。人体特征比对时,按照不同人体区域进行对齐比对,相当于实现同一人体区域的特征比对,能够有效避免遮挡、采光不足等原有导致的比对错误,从而提高人体比对结果的准确性。
实施时,可以由服务器20执行本申请实施例中的图像处理方法,当然,当终端的处理能力足够时,也可以由终端设备40执行本申请实施例中的图像处理方法。当然,本申请实施例中的图像处理方法可以部分由服务器20执行,部分由终端设备40执行,本申请对此不作限定。
本公开中的描述中仅就单个服务器或终端设备加以详述,但是本领域技术人员应当理解的是,示出的监控设备30、终端设备40、服务器20和数据库50旨在表示本公开的技术方案涉及的监控设备、终端设备、服务器以及存储系统的操作。对单个服务器和存储系统加以详述至少为了说明方便,而非暗示对终端设备和服务器的数量、类型或是位置等具有限制。应当注意,如果向图示环境中添加附加模块或从其中去除个别模块,不会改变本公开的示例实施例的底层概念。另外,虽然为了方便说明而在图1中示出了从数据库50到服务器20的双向箭头,但本领域技术人员可以理解的是,上述数据的收发也是需要通过网络10实现的。
需要说明的是,本公开实施例中的存储系统例如可以是缓存系统、也可以是硬盘存储、内存存储等等。
本公开提出的用于人体重识别的图像处理方法不仅适用于图1所示的监控系统,还适用于任何能够进行图像采集的进行人体重识别的场景。
本申请实施例中图像处理方法可主要包括两部分内容,一是图像质量评价,二是特征比对。上述两部分内容的实现都可基于预先训练好的神经网络模型来实现,为便于理解,先对本申请实施例中的神经网络模型的结构和训练方法进行说明,然后对图像质量评价和特征比对两方面内容分别进行说明。
一、神经网络模型训练
如图2所示,为本申请实施例提供的一种神经网络模型的结构示意图。
该神经网络模型中包括骨干网络,用于对输入的图像进行特征提取。骨干网络中可包括多种神经网络层,例如可包括卷积层,卷积层之后可包括依序串联的残差层1-5。骨干网络提取的特征可输入给关键点姿态估计模块,行人重识别模块和质量评价模块。
实施时,如图2所示,可将骨干网络最后一个残差层5的处理结果提供给行人重识别模块,骨干网络的倒数第二个残差层4的处理结果分别输入给关键点姿态估计模块和质量评价模块。
关键点姿态估计模块可包括关键点识别模块和人体姿态识别模块。其中,关键点识别模块用于协助训练人体姿态识别模块,在训练好之后,使用人体姿态识别模块来识别图像中的目标对象的人体姿态,即识别目标对象是正面、侧面还是背面。
其中,关键点识别模块可以为二维关键点识别网络,用于识别目标对象的二维关键点。该关键点识别模块的损失可以为识别的二维关键点与预先标注的二维关键点之间的均方差损失。
人体姿态识别模块可对输入的信息进一步进行特征提取,提取出人体特征(后文中称之为第二人体特征)之后,基于提取的该人体特征进行人体姿态分类处理,得到目标对象的预估人体姿态类别。该人体姿态识别模块的损失可以为识别的预估人体姿态类别和训练样本的训练标签中的人体姿态类别之间的均方差损失。
本申请实施例中,为了能够在特征比对时,能够尽可能降低甚至避免特征错误对齐对比对结果的影响,本申请考虑到分不同的人体区域进行人体对齐。故此,本申请实施例中预先将整个人体划分为多个预设人体区域。该多个预设人体区域可包括全局人体区域以及多个预设人体部件(即局部区域)。
行人重识别模块用于对各预设人体区域进行位置检测,得到各个预设人体区域的位置信息以及置信度。故此,行人重识别模块可包括位置检测模块,用于检测不同预设人体区域的位置信息。人体区域分类模块,对不同位置信息对应的预设人体区域进行分类识别。实施时,可以由局部和全局特征提取模块,根据不同预设人体区域的位置信息对不同预设人体区域分别进行特征提取,得到区域特征;由人体区域分类模块得到各个预设人体区域的分类标签(即属于哪个预设人体区域)以及置信度。该置信度用于表示识别到相应的预设人体区域的概率,置信度越高,表示识别到该预设人体区域的可能性越大。
实施时为了对数据降维和增加神经网络模型的网络深度可以在2所示的残差层5之后增设一些卷积层和/或残差层。由增设的神经网络层对残差层5输出的特征信息进行处理之后,分发给位置检测模块、人体区域分类模块以及全局局部特征提取模块分别进行处理,得到各模块的处理结果。
在一些实施例中,位置检测模块的损失可以为识别的各预设人体区域的预估区域范围和训练标签中的标注区域范围之间的位置坐标损失。人体区域分类模块的损失可以为各个预设人体区域的预估类别和训练中的区域标签类别之间的交叉熵损失。其中,全局、局部特征提取模块可以由位置检测模块和人体区域分类模块的损失作为约束使用人体ID交叉熵和三元组损失进行训练。
如前文所述,本申请实施例中,为了能够对齐人体,将人体分为多个预设人体区域。故此,质量评价模块可以包括局部质量评价模块和全局质量评价模块。局部质量评价模块和全局质量评价模块仅从功能上进行逻辑划分。实施时,这两个模块可实现为同一神经网络模型结构。
质量评价模块是从残差层4输入的特征图开始,然后采用局部质量评价模块对局部部件进行质量评价,由全局质量评价模块对全局人体区域进行质量评价。这两个模块的损失可均采用均方差损失。
综上介绍,训练是可分阶段训练。如第一训练阶段中,除去全局局部特征提取模块之外,其他模块一同进行训练,以各参与训练的模块的总损失训练神经网络模型的参数。待第一阶段训练结束后,在第二训练阶段,加入对人体区域分类模型和全局局部特征提取模块的训练。在第二训练阶段,可以固定住其他模块,仅调整全局局部特征提取模块的参数。等待训练完毕后,再放开其他模块,对整个神经网络模型的参数进行微调。
基于上述的介绍,本申请实施例中,可使用数据扩充技术如:图片模糊、翻转,图像裁剪、平移、局部掩码等进行离线样本扩充预处理;使用现有的性能较好的行人重识别模型,依据行人不同姿态的不同,对其他的图片质量进行标注。标注数据90%作为训练数据和10%测试数据(即query数据和gallery数据)。
样本图像的训练标签中包括人体姿态类别和各预设人体区域的所述标准区域范围和区域类别标签、各预设人体区域的标准质量评价参数。
采集样本图像时,可从多个不同场景的监控视频中,使用行人检测方法进行检测,保存行人图片。标注不同场景里的同一人以及人体16个关键点、正面、侧面、背面标签。优选标准质量图片(完整的全身正、背、侧),并对标准质量图片结合关键点进行裁剪形成局部标准图片,本申请实施例可中从头顶至臀部为上半身,从臀部至脚为下半身,即由人体关键点确定人体局部、全局的矩形框位置。下文对本申请实施例中主要的标注进行说明,可包括:
1、人体姿态识别模块的样本标注
该处标注涉及图像质量评价参数的标注,为了能够提高图像质量评价的准确性,本申请实施例中,对不同人体姿态类别进行质量评价,故此,本申请实施例中训练样本按照不同人体姿态类别进行采集和标注。可实施为根据以下方法获取各所述样本图像的训练标签中的所述人体质量评价参数:
在步骤A1中,针对每种人体姿态类别,获取所述人体姿态类别的图像集,所述图像集中包括多个人体对象的图像序列。针对每个人体对象,该人体对象的图像序列中包括相应人体姿态类别的标准图像;且标准图像对应的图像质量评价参数为指定取值区间的最大值。
例如,正面姿势的图像集中可包括多个人的图像序列。其中,一个人的图像序列如图3所示。该图像序列中包括一个标准图片,标准图片的图像质量标注值为1。为了减少人工成本和解决由于遮挡、模糊等因素难以打分的难题,其他正面图片按照与标准图片的特征相似度来确定。如可实施为在步骤A2中,对每个人体对象的图像序列中的除所述标准图像之外的每张样本图像分别执行:确定样本图像与标准图像之间的人体特征相似度;将人体特征相似度映射到指定取值区间,得到样本图像的训练标签中的人体质量评价参数。
可使用如下公式(1)-(2)计算人体质量评价参数pi.
Figure BDA0002848138620000201
Figure BDA0002848138620000211
pi=(1+S(fi,fs))/2 (2)
在公式(1)中,fi表示第i张样本图像的特征信息,fs表示标准图像的特征信息,S(fi,fs)表示人体特征相似度,公式(2)用于将人体特征相似度映射到0-1的取值区间。pi表示最终标注的第i张样本图像的人体质量评价参数。
2、位置检测模块的样本标注
位置检测模块需要检测各个预设人体区域的位置坐标。实施时为了减少人工标注的工作量,可以采用自动标注的方式进行标注。如可实施为根据以下方法标注各预设人体区域的标准区域范围:
首先对样本图像中的所述人体对象进行人体关键点检测,得到所述人体对象的人体关键点;然后根据人体关键点与人体区域的对应关系,确定人体对象的各个预设人体区域在样本图像中的标准区域范围。
如将人体分成多个局部部件且每一个部件作为一类,完整的人体作为一类。为了简单和减少人工标注耗时,依据人体关键点生成人体的局部、全局类别以及相应的位置标签。如图4所示,深色框标注完整人体位置,浅色框标注上半身人体位置。为了丰富样本,对完整的人体图片进行裁剪形成大量人体半身图片,模仿现实场景中出现的半身照进行标注。
在获得样本图像及其对应的标注之后,本申请实施例中,可对图像质量评价模型的训练可实施为如图5所示的步骤:
在步骤501中,获取样本图像,其中,样本图像的训练标签中包括人体姿态类别和与该人体姿态类别对应的质量评价参数;
在步骤502中,将各样本图像输入至待训练图像质量评价模型,得到所述待训练图像质量评价模型输出的所述样本图像的预估人体姿态类别对应的预估质量评价参数;
其中,待训练图像质量评价模型包括人体姿态识别模块、行人重识别模块以及质量评价模块;
人体姿态识别模块,用于对样本图像的人体姿态进行识别,得到样本图像的预估人体姿态类别;
行人重识别模块,用于在样本图像中对目标对象的各个预设人体区域进行位置检测,得到各个预设人体区域的预估区域范围;并对每个预设区域范围进行分类识别,得到每个预设人体区域的置信度;
质量评价模块,用于对样本图像中每个预估区域范围进行质量评价,得到各预设人体区域的预估质量评价参数;
在步骤503中,根据预估人体姿态类别和训练标签中的人体姿态类别之间的损失,以及预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型得到所述图像质量评价模型。
样本图像的训练标签中包括所述样本图像中各预设人体区域的标准区域范围、各所述预设人体区域的标准质量评价参数以及参考置信度,故此,训练待训练图像质量评价模型的总损失可包括:
预估人体姿态类别和训练标签中的人体姿态类别之间的损失、各预设人体区域的预估质量评价参数与标准质量评价参数之间的损失、各预设人体区域的类别与参考类别之间的损失以及各预设人体区域的预估区域范围与标准区域范围之间的损失。
本申请实施例中,可采用resNet50的基本框架作为BackBone(骨干网络),使用Imagenet上预训练的resNet50模型初始化BackBone,模型其他分支使用kaiming进行初始化其参数。
依据训练标签,优先训练网络结构至50epoch(批次);之后加入局部全局位置标签及其局部、全局特征的提取训练整个网络至收敛。
第一阶段依据关键点坐标、图像质量标签、图像正背侧标签,优先训练网络结构至50epoch(批次);第二阶段加入局部全局位置标签及其局部、全局特征的提取训练整个网络至收敛。
在另一个实施例中,训练出行人重识别模块之后,可进一步采用该行人重识别模块进行图像质量评价参数的标定,尤其是局部图像质量的标定;然后可以采用新标注的质量评价参数进行训练。也即,可采用行人重识别模块提取的局部特征来标定局部部件的图像质量评价参数,采用行人重识别模块提取的全局特征来标定全局人体部件的图像质量评价参数,然后重新训练整个模型。
在另一个实施例中,为了进一步优化行人重识别模块比较,前后两次训练出的行人重识别模型的标定的图像质量评价参数,差异较大的参数占比超过总数据的5%时,可采用人工标注差异较大的图像质量评价数据,重复训练整个模型可训练至差异较大的图像质量评价参数的占比小于5%。当然,5%仅仅是举例说明,实施时也可以采用其他的比例。
基于此,在介绍完模型的结构以及训练方法之后,下面对本申请实施例中如何进行图像质量评价,以及如何进行人体特征比对进行说明。
二、图像质量评价
为了能够准确的进行图像质量评价,本申请实施例中图像质量评价方法可如图6所示,包括以下步骤:
在步骤601中,对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别;
如前文所述,人体姿态类别为类别集合中的一种类别,该类别集合中包括人体正面、人体背面以及人体侧面等。由此,可实现基于人体不同姿态进行质量评价,使得质量评价更为合理准确。
在步骤602中,基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数。
例如,可以基于图2中神经网络模型的质量评价模块提取第一人体特征,然后基于第一人体特征进行图像质量评价。
实施时,人体姿态类别的识别可实施为从待处理图像中提取目标对象的第二人体特征;然后基于第二人体特征进行分类处理,得到目标对象的人体姿态类别。当然,在另一个实施例中,也可以进行二维人体关键点识别,得到人体姿态类别。
由此,本申请实施例中,可根据不同人体姿态进行图像质量评价,能够克服不同姿态类别带来的影响。
三、特征比对
如图7所示,为本申请实施例提供的应用于人体重识别的图像处理方法的流程示意图,包括以下步骤:
在一些实施例中,可以在得到待处理图像的关于人体姿态类别的质量评价参数之后,并确定待处理图像的图像质量满足质量要求之后,进行特征比对。
例如,在步骤701中,从待处理图像中提取目标对象的多个预设人体区域的区域特征;多个预设人体区域包括全局人体区域以及多个预设人体部件;
其中,在一个实施例中,可在待处理图像中对目标对象的各个预设人体区域进行位置检测,得到各个预设人体区域的区域范围和各预设人体区域分别对应的区域特征。其中,位置检测的方法可采用适用于位置检测的神经网络模型来实现。检测的区域范围可采用位置坐标和矩形框来表示。一个区域范围对应一个预设人体区域。采用位置检测的方法能够准确的识别到各个人体区域。以便于后续对人体区域进行对齐来确定不同对象之间的相似度。
在步骤702中,确定目标对象和待比对对象包含的相同预设人体区域;
例如,假设预设人体区域包括上半身、下半身、和全局人体区域。假设待处理图像中包括目标对象的上半身,而待比对对象中包括上半身和全局人体区域以及下半身,那么目标对象和待比对对象的相同预设人体区域为上半身。也即,相同预设人体区域为类别标签相同的人体区域。
然后,在步骤703中,采用待比对对象和目标对象的相同预设人体区域的区域特征,确定目标对象与待比对对象之间的相似度。
由于采用人体区域对齐,能够将相同人体区域进行特征比对,从而减少遮挡、人体检测框不准等原因导致的特征比对不准确的问题。
在一些实施例中,在待处理图像中对目标对象的各个预设人体区域进行各预设人体区域的置信度评估;故此可以根据置信度来确定相同预设人体区域。可实施为,针对各预设人体区域,若预设人体区域的置信度大于置信度阈值,则确定待处理图像中包括目标对象的预设人体区域;将目标对象和待比对对象均具有的预设人体区域确定为相同预设人体区域。
为了简化计算,提高处理效率,本申请中可采用简便的方式在后续计算中定位出相同预设人体区域,快速的实现对不需要比对的特征的规避,即实现不存在的部件对最终的结果无影响。
例如,可实施为针对各预设人体区域,若确定待处理图像中包括目标对象的预设人体区域,则将预设人体区域标记为1,否则,将预设人体区域标记为0,得到目标对象的各预设人体区域的标记序列A;
采用标记序列A与待比对对象的标记序列B进行乘法运算,得到用于指示相同预设人体区域的指示信息Pb
例如如公式(3)所述计算指示信息Pb
Figure BDA0002848138620000251
标记序列A为Pq,Pg标记序列B为。Pg0-PgN为标记序列B中的元素,其取值为0或1。同理,Pq0-PqN为标记序列B中的元素,其取值为0或1。
指示信息Pb根据以下相似度确定公式(4)确定目标对象与待比对对象之间的相似度:
Figure BDA0002848138620000252
其中,
Figure BDA0002848138620000253
在相似度确定公式(4)中,S(F′q,F′g)表示相似度,Fq表示目标对象的各预设人体区域的区域特征,Fg表示待比对对象的各预设人体区域的区域特征,Pbi表示Pb中的第i个预设人体区域的标记的乘积结果,fqi表示Fq中的第i个预设人体区域的区域特征;fgi表示Fg中的第i个预设人体区域的区域特征。
其中,f′gi表示相应的Pbi和fgi的乘积;f′qi表示相应的Pbi和fqi的乘积。
例如,在一个实施例中,依据局部和全局类别置信度,设置超参阈值T,用于判断局部和全局部件存在是与否(当置信度大于或等于T表示存在,反之表示不存在),即得到P={p0,pi,},p0和pi分别表示全局和局部存在的预测,其值为0(表示不存在)或者1(表示存在),i=1,2,…,N部件序号,相应的行人重识别特征即区域特征F={f0,fi},f0,fi是人体全局特征和局部特征,维度均为M。
当计算两个图片的相似度,记两张行人图片分别为q和g,其对应的局部和全局部件存在的预估分别为Pq和Pg,特征向量为Fq和Fg,两张图片共同存在部件记为Pb。两张图片的相似度计算公式(3)和(4),公式(3)实现两张公共存在的部分的获取;在公式(4)中,由于不在的部件pbi为0,使得不存在的向量特征为0,从而在公式(4)相似度的计算中不存在的部件对最终的结果无影响。
如图8所示,基于相同的发明构思,提出一种用于人体重识别的图像处理装置800的结构示意图,包括:
姿态识别单元801,用于对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别;
评价单元802,用于基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数。
在一些实施例中,所述姿态识别单元,用于:
从所述待处理图像中提取所述目标对象的第二人体特征;
基于所述第二人体特征进行所述分类处理,得到所述目标对象的所述人体姿态类别。
在一些实施例中,所述人体姿态类别为类别集合中的一种类别,所述类别集合包括人体正面、人体背面以及人体侧面。
在一些实施例中,所述得到所述待处理图像的关于所述人体姿态类别的质量评价参数之后,所述装置还包括:
区域特征提取单元,用于从所述待处理图像中提取所述目标对象的多个预设人体区域的区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
相同区域确定单元,用于确定所述目标对象和待比对对象包含的相同预设人体区域;
相似度确定单元,用于采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
在一些实施例中,所述区域特征提取单元,用于:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征。
在一些实施例中,所述在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测之后,还得到各所述预设人体区域的置信度;
所述相同区域确定单元,用于:
针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;
将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域。
在一些实施例中,所述相同区域确定单元,用于:
针对各所述预设人体区域,若确定所述待处理图像中包括所述目标对象的所述预设人体区域,则将所述预设人体区域标记为1,否则,将所述预设人体区域标记为0,得到所述目标对象的各所述预设人体区域的标记序列A;
采用标记序列A与所述待比对对象的标记序列B进行乘法运算,得到用于指示所述相同预设人体区域的指示信息Pb
所述相似度确定单元,用于:
根据以下相似度确定公式确定所述目标对象与所述待比对对象之间的相似度:
Figure BDA0002848138620000281
其中,
Figure BDA0002848138620000282
Figure BDA0002848138620000283
在所述相似度确定公式中,所述S(F′q,F′g)表示所述相似度,所述Fq表示所述目标对象的各预设人体区域的所述区域特征,所述Fg表示所述待比对对象的各预设人体区域的所述区域特征,Pbi表示所述Pb中的第i个所述预设人体区域的标记的乘积结果,fqi表示所述Fq中的第i个所述预设人体区域的区域特征;fgi表示所述Fg中的第i个所述预设人体区域的区域特征。
在一些实施例中,所述评价单元用于:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
分别对所述待处理图像中各所述预设人体区域的所述区域范围进行质量评价,得到各所述预设人体区域分别对应的图像质量评价参数。
如图9所示,为本申请还提供一种用于人体重识别的图像质量评价模型的训练装置900的结构示意图,所述装置包括:
样本获取单元901,用于获取样本图像,其中,所述样本图像的训练标签中包括人体姿态类别和与所述人体姿态类别对应的质量评价参数;
预估单元902,用于将各所述样本图像输入至待训练图像质量评价模型,得到所述待训练图像质量评价模型输出的所述样本图像的预估人体姿态类别对应的预估质量评价参数;
训练单元903,用于根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,以及所述预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型得到所述图像质量评价模型。
在一些实施例中,所述装置还包括:
评价参数获取单元,用于根据以下方法获取各所述样本图像的训练标签中的所述人体质量评价参数:
针对每种人体姿态类别,获取所述人体姿态类别的图像集,所述图像集中包括多个人体对象的图像序列,针对每个人体对象,所述人体对象的所述图像序列中包括所述人体姿态类别的标准图像;且所述标准图像对应的图像质量评价参数为指定取值区间的最大值;
针对每个人体对象的图像序列中的除所述标准图像之外的每张样本图像分别执行:
确定所述样本图像与所述标准图像之间的人体特征相似度;
将所述人体特征相似度映射到所述指定取值区间,得到所述样本图像的训练标签中的人体质量评价参数。
在一些实施例中,所述样本图像的训练标签中包括所述样本图像中各预设人体区域的标准区域范围、各所述预设人体区域的标准质量评价参数以及参考置信度;
所述待训练图像质量评价模型包括人体姿态识别模块、行人重识别模块以及质量评价模块;
所述人体姿态识别模块,用于对所述样本图像的人体姿态进行识别,得到所述样本图像的预估人体姿态类别;
所述行人重识别模块,用于在所述样本图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的预估区域范围;并对每个所述预估区域范围进行特征识别,得到每个所述预设人体区域的置信度;
所述质量评价模块,用于对所述样本图像中每个所述预估区域范围进行质量评价,得到各所述预设人体区域的预估质量评价参数;
所述训练单元,用于:
根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,各所述预设人体区域的预估质量评价参数与标准质量评价参数之间的损失、各所述预设人体区域的置信度与所述参考置信度之间的损失,各所述预设人体区域的预估区域范围与所述标准区域范围之间的损失训练所述待训练图像质量评价模型。
在一些实施例中,所述装置还包括:
标准区域确定单元,用于根据以下方法确定各所述预设人体区域的所述标准区域范围:
对所述样本图像中的所述人体对象进行人体关键点检测,得到所述人体对象的人体关键点;
根据所述人体对象的所述人体关键点与人体区域的对应关系,确定所述人体对象的各个所述预设人体区域在所述样本图像中的所述标准区域范围。
如图10所示、为本申请还提供一种用于人体重识别的图像处理装置1000的结构示意图,所述装置还包括:
区域特征提取单元1001,用于从待处理图像中提取目标对象的多个预设人体区域的区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
相同区域提取单元1002,用于确定所述目标对象和待比对对象包含的相同预设人体区域;
比对单元1003,用于采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
在一些实施例中,所述区域特征提取单元,用于:
在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征。
在一些实施例中,所述在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测之后,还得到各所述预设人体区域的置信度;
所述相同区域提取单元,用于:
针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;
将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域。
在一些实施例中,所述相同区域提取单元,用于:
针对各所述预设人体区域,若确定所述待处理图像中包括所述目标对象的所述预设人体区域,则将所述预设人体区域标记为1,否则,将所述预设人体区域标记为0,得到所述目标对象的各所述预设人体区域的标记序列A;
采用标记序列A与所述待比对对象的标记序列B进行乘法运算,得到用于指示所述相同预设人体区域的指示信息Pb
所述比对单元用于:
根据以下相似度确定公式确定所述目标对象与所述待比对对象之间的相似度:
Figure BDA0002848138620000321
其中,
Figure BDA0002848138620000322
Figure BDA0002848138620000323
在所述相似度确定公式中,所述S(F′q,F′g)表示所述相似度,所述Fq表示所述目标对象的各预设人体区域的所述区域特征,所述Fg表示所述待比对对象的各预设人体区域的所述区域特征,Pbi表示所述Pb中的第i个所述预设人体区域的标记的乘积结果,fqi表示所述Fq中的第i个所述预设人体区域的区域特征;fgi表示所述Fg中的第i个所述预设人体区域的区域特征。
关于各装置中各操作的实施以及有益效果可参见前文方法中的描述,此处不再赘述。
在介绍了本申请示例性实施方式的用于人体重识别的图像处理方法和装置之后,接下来,介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中,根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的提取行人特征方法中的步骤。
下面参照图11来描述根据本申请的这种实施方式的电子设备130。图11显示的电子设备130仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示,电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与电子设备130交互的设备通信,和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且,电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备130使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的一种用于人体重识别的图像处理方法或相应的图像质量评价模型的训练方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种用于人体重识别的图像处理方法或相应的图像质量评价模型的训练中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于提取用于人体重识别的图像处理或相应的图像质量评价模型的训练的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像缩放设备的处理器以产生一个机器,使得通过计算机或其他可编程图像缩放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种用于人体重识别的图像处理方法,其特征在于,所述方法包括:
对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别;
基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数;其中,若所述目标对象包括多个人体姿态类别,则每个人体姿态类别分别对应各自的质量评价参数;
得到所述待处理图像的关于所述人体姿态类别的质量评价参数之后,所述方法还包括:
从所述待处理图像中提取所述目标对象的多个预设人体区域的区域特征,包括:在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围以及各个所述预设人体区域的置信度;对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
确定所述目标对象和待比对对象包含的相同预设人体区域,包括:针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域;
采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
2.根据权利要求1所述的方法,其特征在于,所述对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别,包括:
从所述待处理图像中提取所述目标对象的第二人体特征;
基于所述第二人体特征进行所述分类处理,得到所述目标对象的所述人体姿态类别。
3.根据权利要求1所述的方法,其特征在于,所述人体姿态类别为类别集合中的一种类别,所述类别集合包括人体正面、人体背面以及人体侧面。
4.根据权利要求1所述的方法,其特征在于,所述将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域,包括:
针对各所述预设人体区域,若确定所述待处理图像中包括所述目标对象的所述预设人体区域,则将所述预设人体区域标记为1,否则,将所述预设人体区域标记为0,得到所述目标对象的各所述预设人体区域的标记序列A;
采用标记序列A与所述待比对对象的标记序列B进行乘法运算,得到用于指示所述相同预设人体区域的指示信息Pb
所述采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度,包括:
根据以下相似度确定公式确定所述目标对象与所述待比对对象之间的相似度:
Figure FDA0003335719420000021
其中,
Figure FDA0003335719420000022
Figure FDA0003335719420000023
在所述相似度确定公式中,所述S(F′q,F′g)表示所述相似度,所述Fq表示所述目标对象的各预设人体区域的所述区域特征,所述Fg表示所述待比对对象的各预设人体区域的所述区域特征,Pbi表示所述Pb中的第i个所述预设人体区域的标记的乘积结果,fqi表示所述Fq中的第i个所述预设人体区域的区域特征;fgi表示所述Fg中的第i个所述预设人体区域的区域特征。
5.根据权利要求1-3中任一所述的方法,其特征在于,所述基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数,包括:
在所述待处理图像中对所述目标对象的各个预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围;
分别对所述待处理图像中各所述预设人体区域的所述区域范围进行质量评价,得到各所述预设人体区域分别对应的图像质量评价参数。
6.一种用于人体重识别的图像质量评价模型的训练方法,其特征在于,所述方法包括:
获取样本图像,其中,所述样本图像的训练标签中包括人体姿态类别和与所述人体姿态类别对应的质量评价参数;
根据以下方法获取各所述样本图像的训练标签中的人体质量评价参数:
针对每种人体姿态类别,获取所述人体姿态类别的图像集,所述图像集中包括多个人体对象的图像序列,针对每个人体对象,所述人体对象的所述图像序列中包括所述人体姿态类别的标准图像;且所述标准图像对应的图像质量评价参数为指定取值区间的最大值;
针对每个人体对象的图像序列中的除所述标准图像之外的每张样本图像分别执行:
确定所述样本图像与所述标准图像之间的人体特征相似度;
将所述人体特征相似度映射到所述指定取值区间,得到所述样本图像的训练标签中的人体质量评价参数;
将各所述样本图像输入至待训练图像质量评价模型,得到所述待训练图像质量评价模型输出的所述样本图像的预估人体姿态类别对应的预估质量评价参数;其中,若目标对象包括多个人体姿态类别,则每个人体姿态类别分别对应各自的质量评价参数;
根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,以及所述预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型得到所述图像质量评价模型。
7.根据权利要求6所述的方法,其特征在于,所述样本图像的训练标签中包括所述样本图像中各预设人体区域的标准区域范围、各所述预设人体区域的标准质量评价参数以及参考置信度;
所述待训练图像质量评价模型包括人体姿态识别模块、行人重识别模块以及质量评价模块;
所述人体姿态识别模块,用于对所述样本图像的人体姿态进行识别,得到所述样本图像的预估人体姿态类别;
所述行人重识别模块,用于在所述样本图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的预估区域范围;并对每个所述预估区域范围进行特征识别,得到每个所述预设人体区域的置信度;
所述质量评价模块,用于对所述样本图像中每个所述预估区域范围进行质量评价,得到各所述预设人体区域的预估质量评价参数;
所述根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,以及所述预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型,包括:
根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,各所述预设人体区域的预估质量评价参数与标准质量评价参数之间的损失、各所述预设人体区域的置信度与所述参考置信度之间的损失,各所述预设人体区域的预估区域范围与所述标准区域范围之间的损失训练所述待训练图像质量评价模型。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据以下方法确定各所述预设人体区域的所述标准区域范围:
对所述样本图像中的所述人体对象进行人体关键点检测,得到所述人体对象的人体关键点;
根据所述人体对象的所述人体关键点与人体区域的对应关系,确定所述人体对象的各个所述预设人体区域在所述样本图像中的所述标准区域范围。
9.一种用于人体重识别的图像处理方法,其特征在于,所述方法还包括:
若待处理图像的目标对象的图像质量评价参数满足质量要求,则从待处理图像中提取目标对象的多个预设人体区域的区域特征,包括:在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围以及各个所述预设人体区域的置信度;对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
确定所述目标对象和待比对对象包含的相同预设人体区域,包括:针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域;
采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度;
其中,若所述目标对象包括多个人体姿态类别,则所述目标对象每个人体姿态类别分别对应各自的图像质量评价参数。
10.一种用于人体重识别的图像处理装置,其特征在于,所述装置包括:
姿态识别单元,用于对待处理图像中的目标对象的姿态进行分类处理,得到所述目标对象的人体姿态类别;
评价单元,用于基于从所述待处理图像中提取的所述目标对象的第一人体特征确定所述待处理图像的图像质量,得到所述待处理图像的关于所述人体姿态类别的质量评价参数;
得到所述待处理图像的关于所述人体姿态类别的质量评价参数之后,所述评价单元还用于:
从所述待处理图像中提取所述目标对象的多个预设人体区域的区域特征,包括:在所述待处理图像中对所述目标对象的各个所述预设人体区域进行位置检测,得到各个所述预设人体区域的区域范围以及各个所述预设人体区域的置信度;对各所述预设人体区域的所述区域范围分别进行特征提取,得到各所述预设人体区域分别对应的所述区域特征;所述多个预设人体区域包括全局人体区域以及多个预设人体部件;
评价单元,还用于确定所述目标对象和待比对对象包含的相同预设人体区域,包括:针对各所述预设人体区域,若所述预设人体区域的所述置信度大于置信度阈值,则确定所述待处理图像中包括所述目标对象的所述预设人体区域;将所述目标对象和所述待比对对象均具有的所述预设人体区域确定为所述相同预设人体区域;
评价单元,还用于采用所述待比对对象和所述目标对象的所述相同预设人体区域的区域特征,确定所述目标对象与所述待比对对象之间的相似度。
11.一种用于人体重识别的图像质量评价模型的训练装置,其特征在于,所述装置包括:
样本获取单元,用于获取样本图像,其中,所述样本图像的训练标签中包括人体姿态类别和与所述人体姿态类别对应的质量评价参数;
样本获取单元,还用于根据以下方法获取各所述样本图像的训练标签中的人体质量评价参数:
针对每种人体姿态类别,获取所述人体姿态类别的图像集,所述图像集中包括多个人体对象的图像序列,针对每个人体对象,所述人体对象的所述图像序列中包括所述人体姿态类别的标准图像;且所述标准图像对应的图像质量评价参数为指定取值区间的最大值;
针对每个人体对象的图像序列中的除所述标准图像之外的每张样本图像分别执行:
确定所述样本图像与所述标准图像之间的人体特征相似度;
将所述人体特征相似度映射到所述指定取值区间,得到所述样本图像的训练标签中的人体质量评价参数;
预估单元,用于将各所述样本图像输入至待训练图像质量评价模型,得到所述待训练图像质量评价模型输出的所述样本图像的预估人体姿态类别对应的预估质量评价参数;
训练单元,用于根据所述预估人体姿态类别和所述训练标签中的人体姿态类别之间的损失,以及所述预估质量评价参数和所述训练标签中的质量评价参数之间的损失,训练所述待训练图像质量评价模型得到所述图像质量评价模型。
12.一种电子设备,其特征在于,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
13.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序用于使计算机执行权利要求1-9中任一项所述的方法。
CN202011516584.XA 2020-12-21 2020-12-21 用于人体重识别的图像处理方法、模型训练方法及装置 Active CN112560969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011516584.XA CN112560969B (zh) 2020-12-21 2020-12-21 用于人体重识别的图像处理方法、模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011516584.XA CN112560969B (zh) 2020-12-21 2020-12-21 用于人体重识别的图像处理方法、模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN112560969A CN112560969A (zh) 2021-03-26
CN112560969B true CN112560969B (zh) 2022-01-11

Family

ID=75030615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011516584.XA Active CN112560969B (zh) 2020-12-21 2020-12-21 用于人体重识别的图像处理方法、模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN112560969B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014205231A1 (en) * 2013-06-19 2014-12-24 The Regents Of The University Of Michigan Deep learning framework for generic object detection
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN110032940A (zh) * 2019-03-13 2019-07-19 华中科技大学 一种视频行人重识别的方法和系统
CN110189291A (zh) * 2019-04-09 2019-08-30 浙江大学 一种基于多任务卷积神经网络的通用无参考图像质量评价方法
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN111401265A (zh) * 2020-03-19 2020-07-10 重庆紫光华山智安科技有限公司 行人重识别方法、装置、电子设备和计算机可读存储介质
CN111861998A (zh) * 2020-06-24 2020-10-30 浙江大华技术股份有限公司 一种人体图像质量评估方法、装置、系统和计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646227B2 (en) * 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
CN109657533B (zh) * 2018-10-27 2020-09-25 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN111079740A (zh) * 2019-12-02 2020-04-28 咪咕文化科技有限公司 图像的质量评价方法、电子设备和计算机可读存储介质
CN111666823B (zh) * 2020-05-14 2022-06-14 武汉大学 基于个体步行运动时空规律协同辨识的行人重识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014205231A1 (en) * 2013-06-19 2014-12-24 The Regents Of The University Of Michigan Deep learning framework for generic object detection
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN110032940A (zh) * 2019-03-13 2019-07-19 华中科技大学 一种视频行人重识别的方法和系统
CN110189291A (zh) * 2019-04-09 2019-08-30 浙江大学 一种基于多任务卷积神经网络的通用无参考图像质量评价方法
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN111401265A (zh) * 2020-03-19 2020-07-10 重庆紫光华山智安科技有限公司 行人重识别方法、装置、电子设备和计算机可读存储介质
CN111861998A (zh) * 2020-06-24 2020-10-30 浙江大华技术股份有限公司 一种人体图像质量评估方法、装置、系统和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Re-Identification Supervised Texture Generation;Jian Wang 等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;第11838-11848页 *
区域块分割与融合的行人再识别;蒋建国 等;《中国图象图形学报》;20190430;第24卷(第4期);第513-522页 *

Also Published As

Publication number Publication date
CN112560969A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US11010838B2 (en) System and method for optimizing damage detection results
CN106845374B (zh) 基于深度学习的行人检测方法及检测装置
US10248854B2 (en) Hand motion identification method and apparatus
CN102576259B (zh) 手位置检测方法
CN111160297A (zh) 基于残差注意机制时空联合模型的行人重识别方法及装置
CN112488073A (zh) 目标检测方法、系统、设备及存储介质
CN109754009B (zh) 物品识别方法、装置、售货系统和存储介质
US9195904B1 (en) Method for detecting objects in stereo images
CN112488071B (zh) 提取行人特征的方法、装置、电子设备和存储介质
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN111488873B (zh) 一种基于弱监督学习的字符级场景文字检测方法和装置
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN111368634A (zh) 基于神经网络的人头检测方法、系统及存储介质
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN106934339B (zh) 一种目标跟踪、跟踪目标识别特征的提取方法和装置
CN113269038A (zh) 一种基于多尺度的行人检测方法
CN112560969B (zh) 用于人体重识别的图像处理方法、模型训练方法及装置
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN112581495A (zh) 图像处理方法、装置、设备及存储介质
CN112232272B (zh) 一种激光与视觉图像传感器融合的行人识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant