CN113221922B - 图像处理方法及相关装置 - Google Patents

图像处理方法及相关装置 Download PDF

Info

Publication number
CN113221922B
CN113221922B CN202110604373.XA CN202110604373A CN113221922B CN 113221922 B CN113221922 B CN 113221922B CN 202110604373 A CN202110604373 A CN 202110604373A CN 113221922 B CN113221922 B CN 113221922B
Authority
CN
China
Prior art keywords
image
sub
feature data
images
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110604373.XA
Other languages
English (en)
Other versions
CN113221922A (zh
Inventor
余世杰
陈浩彬
蔡官熊
陈大鹏
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110604373.XA priority Critical patent/CN113221922B/zh
Publication of CN113221922A publication Critical patent/CN113221922A/zh
Priority to PCT/CN2021/133582 priority patent/WO2022252519A1/zh
Application granted granted Critical
Publication of CN113221922B publication Critical patent/CN113221922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法及相关装置,所述方法包括:对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,能够根据待检测图像中未被遮挡的人体图像进行处理,得到对应的目标图像,从而可以基于目标图像进行检索,以提升行人识别的准确性。

Description

图像处理方法及相关装置
技术领域
本申请涉及数据处理技术领域,具体涉及一种图像处理方法及相关装置。
背景技术
行人重识别是智能视频监控系统中的一项关键技术,它旨在通过对给定查询图片和数据库图片之间的相似性进行度量,在大量数据库图片中找出与查询图片相似的图片。随着监控设备快速发展,每天会产生千万级别的行人数据。利用这些千万级别的行人数据图片来进行持续训练模型成为工业界的紧迫需求。
目前的行人重识别算法存在如下缺陷:目前行人重识别的模型训练方式都是使用行人的全身图片进行训练,使用这种方式所得到的模型关注于人物全身的特征信息,如衣服、裤子、鞋的特征。然而在实际监控场景中,由于行人之间相互遮挡或者由于某些障碍物的遮挡,实际取得的行人图片有可能是被遮挡的图片,例如只存在上半身或者下半身图像等。在这种情况下,如果继续使用传统的方法,直接使用采集的图像进行行人识别,则会导致行人识别时的准确性较低。
发明内容
本申请实施例提供一种图像处理方法及相关装置,能够根据待检测图像中未被遮挡的人体图像进行处理,得到对应的目标图像,从而可以基于目标图像进行检索,以提升行人识别的准确性。
本申请实施例的第一方面提供了一种图像处理方法,该方法包括:
对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
本示例中,通过对待检测图像进行特征提取,得到a个第一子特征数据,该第一子特征数据为未被遮挡的人体图像的特征数据,根据a个第一子特征数据从第一数据库中确定t张第一图像,第一图像包括与a个第一子特征数据匹配的特征数据,根据a个第一子特征数据和t张第一图像,确定待检测图像与t张第一图像之间的亲和度向量,根据亲和度向量和t张第一图像,确定与待检测图像对应的目标图像,因此,可以待检测图像中未被遮挡的特征,从第一数据库中确定出t张第一图像,根据待检测图像与t张第一图像之间的亲和度向量以及t张第一图像确定的该出目标图像,从而提升了目标图像确定时的准确性,从而可以基于目标图像进行检索,以提升行检索的准确性。
结合第一方面,在一个可能的实现方式中,所述根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量,包括:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
结合第一方面,在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
结合第一方面,在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
结合第一方面,在一个可能的实现方式中,所述方法还包括:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
结合第一方面,在一个可能的实现方式中,所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像,包括:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
结合第一方面,在一个可能的实现方式中,所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。
结合第一方面,在一个可能的实现方式中,对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
结合第一方面,在一个可能的实现方式中,所述根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,包括:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
结合第一方面,在一个可能的实现方式中,所述方法还包括:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
本申请实施例的第二方面提供了一种图像处理装置,所述装置包括:
提取单元,用于对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
第一确定单元,用于根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
第二确定单元,用于根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
第三确定单元,用于根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
结合第二方面,在一个可能的实现方式中,所述第二确定单元用于:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
结合第二方面,在一个可能的实现方式中,所述第三确定单元用于:
根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
结合第二方面,在一个可能的实现方式中,所述第三确定单元用于:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
结合第二方面,在一个可能的实现方式中,所述装置还用于:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
结合第二方面,在一个可能的实现方式中,在所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像方面,所述装置用于:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
结合第二方面,在一个可能的实现方式中,在所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库方面,所述装置还用于:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。
结合第二方面,在一个可能的实现方式中,在所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库方面,所述装置还用于:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
结合第二方面,在一个可能的实现方式中,所述第一确定单元用于:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
结合第二方面,在一个可能的实现方式中,所述装置还用于:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
本申请实施例的第三方面提供一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供了一种图像处理方法的流程示意图;
图1B为本申请实施例提供了一种待检测图像的示意图;
图1C为本申请实施例提供了一种图像分割的示意图;
图1D为本申请实施例提供了一种特征生成示意图;
图2为本申请实施例提供了另一种图像处理方法的流程示意图;
图3为本申请实施例提供的一种终端的结构示意图;
图4为本申请实施例提供了一种图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
为了更好的理解本申请实施例提供的一种图像处理方法,下面首先对应用图像处理方法的场景进行简要介绍。该图像处理方法可以由终端设备或服务器等电子设备执行,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者,可通过服务器执行该图像处理方法。此处以终端设备为例进行说明,图像处理方法应用于目标重识别的场景,例如,在小区安防中,终端设备通过摄像头拍摄到某个行人的图片,终端设备根据该图片在数据库中进行匹配,得到与该行人对应的其他图片,例如该行人在小区其他摄像头所拍摄的区域活动的图片等,从而达到对该行人进行识别的效果。但是由于摄像头在拍摄行人的图片时,可能会被一些其它物体遮挡,从而拍摄的图片仅为该行人的部分人体图像,例如,被树叶遮挡、被垃圾箱遮挡、被车辆遮挡等。如果采用人体被遮挡的图片进行匹配时,则其匹配的效果较差,更严重的情况则是不能匹配到对应的图像,导致了匹配时的准确度急剧下降。本申请旨在解决上述匹配准确度较低的情况,终端设备通过对待检测图像中人体被遮挡的部分进行遮挡补全处理,即通过待检测图像与图像数据库中关联的图像之间的亲和度向量,来获取到与待检测图像对应的目标图像,目标图像中包括有待检测图像中未被遮挡的人体图像的特征,同时也包括有根据亲和度向量从关联图像中获取的待检测图像中被遮挡的人体图像的特征,因此,终端设备根据目标图像进行目标重识别匹配,则可以极大的提升匹配时的准确性。
请参阅图1A,图1A为本申请实施例提供了一种图像处理方法的流程示意图。如图1A所示,图像处理方法包括:
101、对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据。
待检测图像是用于对目标用户进行重识别的图像。该目标用户可以是被拍摄到的任一用户,例如,可以是小区内的住户,小区内的来访人员,也可以是其他人员。
待检测图像中的人体图像可以是被遮挡的,也可以是未被遮挡的。当待检测图像中的人体图像被遮挡时,则待检测图像则可以划分为被遮挡的人体图像和未被遮挡的人体图像。例如,如图1B所示,待检测图像中人体的腿部以上未被遮挡,则此处第一子特征数据为腿部以上的人体图像未被遮挡,待检测图像中人体的腿部以下未被遮挡,则为被遮挡的人体图像。
对待检测图像进行特征提取,得到a个第一子特征数据的方法可以是:对待检测图像进行特征提取,得到多个局部特征数据,从局部特征数据中确定出a个第一子特征数据。
局部特征数据可以理解为对待检测图像进行分割处理后,得到的子图像对应的特征数据。对待检测图像进行分割的方法可以是采用均匀分割的方式,例如,将待检测图像均分为2个子图像、4个子图像、8个子图像等。一种可能的分割示意图如图1C所示,图1C中示出了可将待检测图像分别分割为2个子图像、4个子图像。
102、根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据。
第一数据库为对目标进行重识别的图像数据库,该数据库中的图像为未被遮挡的人体图像,例如,可以是人体正面图像,也可以是人体侧面图像等。待检测图像可以在第一数据库中进行比对,判断是否存在与待检测图像对应的匹配图像,进而进行目标重识别。
在获取t张第一图像时,可以根据每个第一子特征数据从第一数据库中匹配出多张图像,并根据该多张图像得到t张第一图像。第一子特征数据从第一数据库中匹配出多张图像可以是:将与第一子特征数据之间的相似度从高到低取固定数值的图像,从而得到该多张图像。具体例如,取第一数据库中与第一子特征数据相似度从高到低的前10张图像,得到该多张图像。当然,也可以是其他数值的图像,此处仅为举例说明不作具体限定。
103、根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量。
可以获取到每个第一子特征数据与t张第一图像之间的亲和度向量,根据该子亲和度向量,确定出待检测图像与t张第一图像之间的亲和度向量。
子亲和度向量也可以理解为第一子特征与t张图像中每张图像对应的特征之间的相似度构成的向量,该子亲和度向量为t维向量,每个维度均与t张图像中对应特征之间的相似度相对应。亲和度向量用于反映待检测图像与t张第一图像之间的关联关系,亲和度向量中的元素的数值越大,则待检测图像与对应的第一图像之间相似度越高,关联关系越强,亲和度向量中的元素的数值越小,则待检测图像与对应的第一图像之间相似度越低,关联关系越若。
104、根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
可以通过预设的图卷积网络对亲和度向量和t张第一图像的特征数据进行运算,得到目标图像对应的特征数据,预设的图卷积神经网络为通过样本数据预先训练好的卷积神经网络。也可以根据t张第一图像中与待检测图像中被遮挡的人体图像的特征数据所对应的特征数据,以及亲和度向量来确定待检测图像中被遮挡的人体图像对应的未被遮挡的人体图像的特征数据,对未被遮挡的人体图像的特征数据进行数据组合从而得到目标图像对应的特征数据,以得到目标图像。
在获取到目标图像之后,则可以通过目标图像进行目标重识别,具体可以为将目标图像在第一数据库中进行匹配,得到与目标图像匹配的图像,进而进行目标重识别。具体例如,当待检测图像中人体的腿部以下未被遮挡,则根据亲和度向量和t张第一图像来确出对应的目标图像,目标图像的特征数据中包括有待检测图像中腿部以上未被遮挡的人体图像的特征数据,同时还包括有根据亲和度向量和t张第一图像确定出的腿部以下被遮挡的人体图像对应补全后的特征数据,即目标图像中人体腿部以下也未被遮挡,从而根据目标图像替代待检测图像进行匹配,以进行目标重识别的准确性更高。
本示例中,通过对待检测图像进行特征提取,得到a个第一子特征数据,该第一子特征数据为未被遮挡的人体图像的特征数据,根据a个第一子特征数据从第一数据库中确定t张第一图像,第一图像包括与a个第一子特征数据匹配的特征数据,根据a个第一子特征数据和t张第一图像,确定待检测图像与t张第一图像之间的亲和度向量,根据亲和度向量和t张第一图像,确定与待检测图像对应的目标图像,因此,可以待检测图像中未被遮挡的特征,从第一数据库中确定出t张第一图像,根据待检测图像与t张第一图像之间的亲和度向量以及t张第一图像确定出目标图像,从而提升了目标图像确定时的准确性,从而可以基于目标图像进行检索,以提升行检索的准确性。
在一个可能的实现方式中,一种可能的对待检测图像进行特征提取,得到a个第一子特征数据的方法包括:
A1、对所述待检测图像进行特征提取,得到n个局部特征数据;
A2、根据人体语义分割方法,确定所述待检测图像中人体区域信息;
A3、根据所述人体区域信息,确定每个局部特征数据对应的子人体区域信息;
A4、根据所述每个局部特征数据对应的子人体区域信息,从所述n个局部特征数据中确定出所述a个第一子特征数据。
可以通过特征提取网络,对待检测图像进行特征提取,得到n个局部特征数据。该特征网络可以是预先训练好的用于特征提取的网络。特征提取网络可以对待检测图像进行分割处理,得到分割后的多个子图像,对每个子图像进行特征提取,得到与每个子图像对应的局部特征数据。
可以通过人体语义分割方法可以确定出待检测图像中的人体区域信息,该人体语义分割方法分割后,得到二值图像,该二值图像中人体部分的灰度值为255,非人体部分灰度值为0。
将人体区域与局部特征数据对应的区域的交集,确定为局部特征数据对应的子人体区域,从而得到与局部特征数据对应的子人体区域信息。
根据局部特征数据对应的子人体区域信息,确定a个第一子特征数据的方法可以是根据人体区域信息对应的人体区域与子特征数据对应的区域的面积比值,来确定第一子特征数据。
在一个可能的实现方式中,一种可能的根据所述每个局部特征数据对应的子人体区域信息,从所述n个局部特征数据中确定出所述a个第一子特征数据的方法包括:
B1、获取所述子人体区域信息对应的区域面积与对应的局部特征数据对应的区域面积的比例值,以得到n人体面积比例值;
B2、获取所述n个人体面积比例值中高于预设面积比例值的a个人体面积比例值;
B3、将所述a个人体面积比例值对应的局部特征数据,确定为所述a个第一子特征数据。
其中,预设面积比例值可以通过经验值或历史数据设定,具体例如可以是0.3等。
子人体区域信息对应的区域面积与局部特征数据对应的区域面积之间是相对应的,具体可以理解为,将局部特征数据对应的区域中的子人体区域信息对应的区域的面积,与该局部特征数据对应的区域面积的比值,确定为人体面积比例值。该人体面积比例值是人体面积占总的局部特征数据对应的区域的比值。
本示例中,将人体面积比例值高于预设面积比例值对应的局部特征数据确定为a个第一子特征数据,人体面积比例值高于预设面积比例值,则可以体现出人体未被遮挡的特征,从而提升了第一子特征数据确定时的准确性。
在一个可能的实现方式中,一种可能的根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量的方法包括:
C1、获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
C2、根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
获取子亲和度向量的方法可以为:获取第一子特征数据与t张第一图像中的每个第一图像中对应的特征数据之间的相似度,得到t个目标相似度;根据该t个目标相似度来确定出子亲和度向量。一个具体的示例中,子亲和度向量可以表示为:B=(m1,m2,……,mt),m1为第一子特征数据与第一张第一图像对应的相似度,m2为第一子特征数据与第二张第一图像对应的相似度,mt为第一子特征数据与第t张第一图像对应的相似度。
获取第一子特征数据与第一图像中对应的特征数据之间的相似度的方法可以采用余弦相似度计算方法,当然也可以采用其它相似度计算方法,此处仅为举例说明。
t个子亲和度向量的规格相同,具体可以理解为,t个子亲和度向量中每个维度对应的第一图像相同。
可以将t个子亲和度向量进行对位乘法运算,以得到待检测图像与t张第一图像之间的亲和度向量。
本示例中,通过a个第一子特征数据和t张第一图像,来确定出亲和度向量,亲和度向量可以准确的反映出待检测图像与t张第一图像之间的相似度关联关系,因此通过亲和度向量来确定目标图像,可以提升目标图像的准确性。
在一个可能的实现方式中,还可以通过如下公式所示的方法确定待检测图像与t张第一图像之间的亲和度向量:
A=f(x1,S)*f(x2,S)*…*f(xa,S),
其中,A为亲和度向量,f(xa,S)表示第a个第一子特征与对应子特征的亲和度,f(·,·)通常为余弦相似度计算函数,xa为第a个第一子特征,*为对位相乘,S为t张第一图像构成的图像集合。
在一个可能的实现方式中,一种可能的根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像的方法包括:
D1、根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
D2、根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
可以通过该预设的图卷积网络对亲和度向量和t张第一图像进行运算,以得到目标特征数据。预设的图卷积网络的功能为根据亲和度向量和t张第一图像进行计算,从而得到被遮挡的人体图像对应的目标特征数据。
预设的图卷积网络是通过目标重识别样本图像集合进行训练得到的,在训练时,需要对样本图像集合中的样本图像进行处理,以获取到样本图像的近邻点集合,根据样本图像的特征集合和近邻点集合对初始模型进行训练,以得到预设的图卷积网络。样本图像集合中的样本图像中的人体图像未被遮挡。
可以将目标特征数据和a个第一子特征数据确定为目标图像的特征数据,从而获取到目标图像。
本示例中,通过亲和度向量、t张第一图像和预设的图卷积网络来确定出目标图像,可以提升目标图像确定时的准确性。
在一个可能的实现方式中,另一种可能的根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像的方法包括:
E1、从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
E2、根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
E3、根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
第二子特征数据可以参照图1B中被遮挡的人体图像的特征数据,确定第二子特征数据的方法可以参照前述实施例中确定第一子特征数据的方法,此处不再赘述。具体可以为:与第二子特征数据对应的特征数据可以理解为在t张图像中与第二子特征数据对应的图像的位置相相同的数据,具体例如,将待检测图像分割为4个子图像,第二特征数据为4个子图像中的第二个子图像的特征数据,则第一图像中获取与第二子特征数据对应的特征数据为将该第一图像分割的4个子图像中的第二个子图像对应的特征数据。
可以将参考特征数据集合中与亲和度向量的中的维度进行对应,并进行对应相乘,并将乘积结果之和,确定为目标特征数据。具体例如,亲和度向量表示为A=(a1,a2,……,at),a1为第一子特征数据与第一张第一图像对应的相似度,a2为第一子特征数据与第二张第一图像对应的相似度,at为第一子特征数据与第t张第一图像对应的相似度,则将a1与参考特征数据集合中第一张第一图像的特征数据进行乘积运算得到运算结果,将a2与参考特征数据集合中第二张第一图像的特征数据进行乘积运算得到运算结果,直至将at与参考特征数据集合中第t张第一图像的特征数据进行乘积运算得到运算结果,以得到全部的乘积运算结果,将全部的乘积运算结果进行相加,以得到目标特征数据。
可以将目标特征数据和a个第一子特征数据确定为目标图像的特征数据,从而获取到目标图像。
本示例中,根据亲和度向量和参考特征数据集合来确定出目标特征数据,从而使得目标特征数据与t张第一图像之间的关联性更强,从而得到的目标特征数据的准确性更高。
在一个可能的实现方式中,图像处理方法还可以进行目标重识别,目标重识别则可以表征为在数据库中进行匹配,确定数据库中是否存在与待检测图像对应的图像,具体可以为:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
第一数据库为对目标进行重识别的图像数据库,该数据库中的图像为未被遮挡的人体图像,例如,可以是人体正面图像,也可以是人体侧面图像等。
将目标图像在第一数据库中进行比对时,需要对第一数据库中的图像进行处理,使得处理后的图像与目标图像的特征空间相同,以得到与目标图像对应的匹配图像,从而可以提升匹配图像确定时的准确性。
在一个可能的实现方式中,一种可能的所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像的方法包括:
F1、对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
F2、根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
对第一数据库中的图像特征进行处理的方法可以为通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。具体可以为,将第一数据库中的图像特征输入到预设的图卷积网络中进行运算,以得到运算后的图像特征,从而得到处理后的第一数据库,在运算时其处理方式可以为仅对第一数据库中的图像特征进行特征空间的变换,使得处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同。特征空间相同则可以理解为特征空间的维度等属性相同。
对第一数据库中的图像特征进行处理的方法还可以为,对第一数据库中的图像进行特征融合,使得融合后的图像特包含有相似图像的特征,例如,同一个用户的不同图像之间的特征相互融合,具体可以为,同一用户的正面图像和侧面图像之间的特征相互融合,正面图像的图像特征中融合有侧面图像的图像特征,侧面图像的图像特征中融合有正面图像的图像特征,从而提升后续通过第一数据库进行重识别时的准确性,例如,待检测图像为用户侧面图像,需要通过第一数据库中找到该用户的正面图像,则可以通过正面图像的图像特征中包含的侧面图像的图像特征进行匹配,从而更容易找到所有的正面图像。
在一个可能的实现方式中,一种可能的对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库的方法包括:
G1、从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
G2、根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
G3、重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
对参考图像进行处理的方法可以参照前述实施例中对待检测图像进行处理获取到目标图像的方法。第一预设区域可以为通过经验值或历史数据设定,例如,人体图像中的上半身图像所在的区域等。
例如,一个用户的正面图像和侧面图像,通过上述处理后,后正面图像和和侧面图像的图像特征之间会相互融合,具体可以理解为,正面图像的图像特征中会包括有一部分侧面图像的图像特征,当然,侧面图像的图像特征中也会包括有一部分正面图像的图像特征,在具体应用时,比如,需要通过侧面图像,去匹配对应的正面图像时,则可以去匹配正面图像中包括有的侧面图像的特征数据,从而更容易找到全部对应正面图像,提升了图像匹配时的准确性和效率。
在一个可能的实现方式中,一种可能的根据所述a个第一子特征数据,从第一数据库中确定t张第一图像的方法包括:
H1、在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
H2、获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在第一数据库中获取与第一子特征数据对应的第一图像集合的方法可以是:
可以将第一数据库中的图像进行分割处理,得到与第一子特征数据对应的分割图像。例如,第一子特征数据是将待检测图像分割成2部分中的第一部分图像的特征数据,则与该第一子特征数据对应的分割图像是,将数据库中的图像分割成2部分中的第一部分的图像。对第一数据库中的图像进行分割方法与对待检测图像进行分割的方法完全相同,例如,均为通过分割网络进行分割等。
采用第一子特征数据对应的图像与该分割图像进行相似度比对,得到对应的相似度。将相似度从高到低的K张分割图像对应的完整图像,确定为该K张图像,得到第一图像集合。
可以将a个第一图像集合的交集中的图像,确定为t张第一图像。当然也可以是将将a个第一图像集合的交集中的子集中的图像,确定为t张第一图像。
本示例中,从第一数据库中获取与a个第一子特征数据对应的a个第一图像集合,并从a个第一图像集合中获取t张第一图像,第一图像为所述a个第一图像集合中均存在的图像,因此,可以提升t张第一图像获取时的准确性。
在一个可能的实现方式中,本申请还提供了一种预设的图卷积网络的训练方法,具体包括:
I1、获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
I2、根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
I3、根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
样本图像的近邻点集合可以理解为:根据样本图像中第二预设区域的特征数据,从第二数据库中进行匹配,以得到近邻点集合。具体可以参照前述实施例中参考图像从第一数据库中获取t张第二图像的方法,获取到第二数据库中的t张图像,将该t张图像中与第二预设区域之外的区域对应的图像特征,确定为近邻点集合。其中,第二预设区域通过经验值或历史数据设定,第二预设区域可以是与第一预设区域相同的区域,也可以是不同的。第二数据库可以与第一数据库相同,也可以与第一数据库不同,第二数据库的功能与第一数据库的功能相同,均为进行目标重识别的数据库。
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,在初始模型的交叉熵损失函数收敛时,结束训练。
在一个具体的示例中,一种具体的对预设的图卷积网络的训练过程如下:
数据集:使用子特征提取网络提出训练集的特征,假设有D张图片,那么最终提取出的特征集合为D×P×d,其中P是子特征的个数,d是每个子特征的维数。子特征提取网络用于提取出图像中的子特征,例如,第一子特征数据。
训练过程:因为训练数据集都是全身的图片,为了让图卷积神经网络学习到如何从近邻点重建出特征,我们训练时只使用数据集中的用户上半身(第二预设区域)的子特征来搜索近邻点。在得到每个图片的近邻点集合过后,我们开始训练网络,每次取一个batch的数据,构建B×(K+1)×P×d的矩阵,对于不满K个近邻点的集合,我们用0来填充。同时,将待生成的特征(第二子特征对应的特征)放在中心,并初始化为0,如图1D所示,所以这里是K+1的大小。通过交叉熵损失函数来监督网络的训练。
请参阅图2,图2为本申请实施例提供了另一种图像处理方法的流程示意图。如图2所示,图像处理方法包括:
201、对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
202、根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
203、获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
204、根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量;
205、从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
206、根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
207、根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
本示例中,根据亲和度向量和参考特征数据集合来确定出目标特征数据,从而使得目标特征数据与t张第一图像之间的关联性更强,从而得到的目标特征数据的准确性更高。
与上述实施例一致的,请参阅图3,图3为本申请实施例提供的一种终端的结构示意图,如图所示,包括处理器、输入设备、输出设备和存储器,处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,上述程序包括用于执行以下步骤的指令;
对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
在一个可能的实现方式中,所述根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量,包括:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述方法还包括:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像,包括:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。
在一个可能的实现方式中,对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
在一个可能的实现方式中,所述根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,包括:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在一个可能的实现方式中,所述方法还包括:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图4,图4为本申请实施例提供了一种图像处理装置的结构示意图。如图4所示,所述装置包括:
提取单元401,用于对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
第一确定单元402,用于根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
第二确定单元403,用于根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
第三确定单元404,用于根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
在一个可能的实现方式中,所述第二确定单元403用于:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
在一个可能的实现方式中,所述第三确定单元404用于:
根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述第三确定单元404用于:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述装置还用于:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,在所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像方面,所述装置用于:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,在所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库方面,所述装置还用于:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。
在一个可能的实现方式中,在所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库方面,所述装置还用于:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
在一个可能的实现方式中,所述第一确定单元用于:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在一个可能的实现方式中,所述装置还用于:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在申请明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像处理方法,其特征在于,所述方法包括:
对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据,所述第一数据库中的图像为未被遮挡的人体图像;
根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,将所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像匹配的图像以进行目标重识别;
所述对待检测图像进行特征提取,得到a个第一子特征数据,包括:对所述待检测图像进行特征提取,得到n个局部特征数据;根据人体语义分割方法,确定所述待检测图像中人体区域信息;根据所述人体区域信息,确定每个局部特征数据对应的子人体区域信息;根据所述每个局部特征数据对应的子人体区域信息,从所述n个局部特征数据中确定出所述a个第一子特征数据;所述每个局部特征数据对应的子人体区域信息为所述每个局部特征数据对应的区域与所述人体区域信息的交集;
所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量,包括:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
3.根据权利要求1所述的方法,其特征在于,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像,包括:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
6.根据权利要求5所述的方法,其特征在于,所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。
7.根据权利要求5所述的方法,其特征在于,对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,包括:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
10.一种图像处理装置,其特征在于,所述装置包括:
提取单元,用于对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
第一确定单元,用于根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据,所述第一数据库中的图像为未被遮挡的人体图像;
第二确定单元,用于根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
第三确定单元,用于根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,将所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像匹配的图像以进行目标重识别;
在对待检测图像进行特征提取,得到a个第一子特征数据方面,所述提取单元具体用于:对所述待检测图像进行特征提取,得到n个局部特征数据;根据人体语义分割方法,确定所述待检测图像中人体区域信息;根据所述人体区域信息,确定每个局部特征数据对应的子人体区域信息;根据所述每个局部特征数据对应的子人体区域信息,从所述n个局部特征数据中确定出所述a个第一子特征数据;所述每个局部特征数据对应的子人体区域信息为所述每个局部特征数据对应的区域与所述人体区域信息的交集;
所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
11.一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的方法。
CN202110604373.XA 2021-05-31 2021-05-31 图像处理方法及相关装置 Active CN113221922B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110604373.XA CN113221922B (zh) 2021-05-31 2021-05-31 图像处理方法及相关装置
PCT/CN2021/133582 WO2022252519A1 (zh) 2021-05-31 2021-11-26 图像处理方法、装置、终端、介质和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110604373.XA CN113221922B (zh) 2021-05-31 2021-05-31 图像处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN113221922A CN113221922A (zh) 2021-08-06
CN113221922B true CN113221922B (zh) 2023-02-03

Family

ID=77081753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110604373.XA Active CN113221922B (zh) 2021-05-31 2021-05-31 图像处理方法及相关装置

Country Status (2)

Country Link
CN (1) CN113221922B (zh)
WO (1) WO2022252519A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221922B (zh) * 2021-05-31 2023-02-03 深圳市商汤科技有限公司 图像处理方法及相关装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391611B2 (en) * 2009-10-21 2013-03-05 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for identifying descriptors for an image
CN107292287B (zh) * 2017-07-14 2018-09-21 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN109740541B (zh) * 2019-01-04 2020-08-04 重庆大学 一种行人重识别系统与方法
CN111191533B (zh) * 2019-12-18 2024-03-19 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111310728B (zh) * 2020-03-16 2022-07-15 中国科学技术大学 基于监控相机和无线定位的行人重识别系统
CN111476277A (zh) * 2020-03-20 2020-07-31 广东光速智能设备有限公司 一种基于图像识别的报警方法及系统
CN111860288B (zh) * 2020-07-16 2023-12-22 启航汽车有限公司 人脸识别方法、装置及系统、可读存储介质
CN112036266A (zh) * 2020-08-13 2020-12-04 北京迈格威科技有限公司 人脸识别方法、装置、设备及介质
CN112115866A (zh) * 2020-09-18 2020-12-22 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112487886A (zh) * 2020-11-16 2021-03-12 北京大学 一种有遮挡的人脸识别方法、装置、存储介质及终端
CN112507853B (zh) * 2020-12-02 2024-05-14 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112784763B (zh) * 2021-01-27 2022-07-29 南京邮电大学 基于局部与整体特征自适应融合的表情识别方法及系统
CN113221922B (zh) * 2021-05-31 2023-02-03 深圳市商汤科技有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
CN113221922A (zh) 2021-08-06
WO2022252519A1 (zh) 2022-12-08

Similar Documents

Publication Publication Date Title
Bayar et al. On the robustness of constrained convolutional neural networks to jpeg post-compression for image resampling detection
WO2019237846A1 (zh) 图像处理方法、人脸识别方法、装置和计算机设备
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
Faraki et al. Log‐Euclidean bag of words for human action recognition
CN111598067B (zh) 视频中重识别训练方法、重识别方法及存储装置
CN113869282B (zh) 人脸识别方法、超分模型训练方法及相关设备
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN114565087B (zh) 一种人物意图推理方法、装置、设备及存储介质
CN111797971A (zh) 应用卷积神经网络进行数据处理的方法、装置和电子系统
CN110070044B (zh) 基于深度学习的行人属性识别方法
CN113221922B (zh) 图像处理方法及相关装置
CN115909176A (zh) 一种视频语义分割方法、装置、电子设备及存储介质
Groeneweg et al. A fast offline building recognition application on a mobile telephone
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
CN112214639B (zh) 视频筛选方法、视频筛选装置及终端设备
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
AU2021240188B1 (en) Face-hand correlation degree detection method and apparatus, device and storage medium
CN112084371A (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质
CN113158732A (zh) 图像处理方法及相关装置
Su et al. Analysis of feature fusion based on HIK SVM and its application for pedestrian detection
Shadkam et al. Texture classification by using co-occurrences of local binary patterns
CN113010735B (zh) 一种视频分类方法、装置、电子设备及存储介质
US11847810B2 (en) Face-hand correlation degree detection method and apparatus, device and storage medium
CN117993998A (zh) 一种基于跨域不变元表征的推荐方法、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051377

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant