CN114255360A - 图像聚类方法、装置及计算机存储介质 - Google Patents

图像聚类方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN114255360A
CN114255360A CN202011018629.0A CN202011018629A CN114255360A CN 114255360 A CN114255360 A CN 114255360A CN 202011018629 A CN202011018629 A CN 202011018629A CN 114255360 A CN114255360 A CN 114255360A
Authority
CN
China
Prior art keywords
image
images
clustered
augmented
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011018629.0A
Other languages
English (en)
Inventor
叶金幸
孙佰贵
孙修宇
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202011018629.0A priority Critical patent/CN114255360A/zh
Publication of CN114255360A publication Critical patent/CN114255360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像聚类方法、装置及计算机存储介质。方法包括:获取待聚类图像集;确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征;基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度;根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果。本实施例提供的技术方案,通过确定任意两个图像的增广图像间关系特征,由于增广图像间关系特征与任意两个图像中图像的图像特征和上下文特征相关,在基于增广图像间关系特征确定两个图像之间的图像相似度时,有效地提高了对图像相似度进行确定的准确可靠性,并可以获得准确度更高的聚类结果。

Description

图像聚类方法、装置及计算机存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像聚类方法、装置及计算机存储介质。
背景技术
随着图像应用技术的飞速发展,人们可以随时随地用图像采集设备来记录人像的场景日益增多,此时,高性能自动生成的人脸相册成为了一个能迎合大众需求的刚需功能,伴随着深度神经网络的飞速发展,人脸识别技术已经达到了较高的水平。
在对人脸图像进行聚类处理的过程中,由于人脸图像分布的复杂性,对人脸图像所提取的图像特征具有较高的不确定性,这样,在基于上述所提取的图像特征进行聚类处理时,容易出现同一个人的图像容易分到多个簇中,或者,将不同人的图像聚类到一个簇中的情况,从而降低了聚类结果的精确度。
发明内容
本发明实施例提供了一种图像聚类方法、装置及计算机存储介质,用于解决现有技术中存在的因对人脸图像所提取的图像特征具有较高的不确定性,从而降低了聚类结果的精确度的问题。
第一方面,本发明实施例提供了一种图像聚类方法,包括:
获取待聚类图像集;
确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征;
基于所述增广图像间关系特征确定与所述增广图像间关系特征相对应的两个图像之间的图像相似度;
根据所有的图像相似度对所述待聚类图像集中所包括的图像进行聚类处理,获得与所述待聚类图像集相对应的聚类结果。
第二方面,本发明实施例提供了一种图像聚类装置,包括:
第一获取模块,用于获取待聚类图像集;
第一确定模块,用于确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征,所述增广图像间关系特征与以下至少之一相关:任意两个图像中所述图像所对应的图像特征、任意两个图像中所述图像所对应的上下文特征;
所述第一确定模块,还用于基于所述增广图像间关系特征确定与所述增广图像间关系特征相对应的两个图像之间的图像相似度;
第一处理模块,用于根据所有的图像相似度对所述待聚类图像集中所包括的图像进行聚类处理,获得与所述待聚类图像集相对应的聚类结果。
第三方面,本发明实施例提供了一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的图像聚类方法。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的图像聚类方法。
第五方面,本发明实施例提供了一种图像聚类方法,应用于数据处理平台,所述数据处理平台用于供至少一个用户进行数据处理操作,所述方法包括:
获取至少一个用户上传至所述数据处理平台的多个待聚类图像;
确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
显示与所述多个待聚类图像相对应的聚类结果。
第六方面,本发明实施例提供了一种图像聚类装置,应用于数据处理平台,所述数据处理平台用于供至少一个用户进行数据处理操作,所述装置包括:
第二获取模块,获取至少一个用户上传至所述数据处理平台的多个待聚类图像;
第二确定模块,用于确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
第二处理模块,用于根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
第二显示模块,用于显示与所述多个待聚类图像相对应的聚类结果。
第七方面,本发明实施例提供了一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的图像聚类方法。
第八方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第五方面中的图像聚类方法。
第九方面,本发明实施例提供了一种图像聚类方法,应用于数据通讯装置,所述数据通讯装置用于供至少一个用户进行数据通讯,所述方法包括:
获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像;
确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
显示与所述多个待聚类图像相对应的聚类结果。
第十方面,本发明实施例提供了一种图像聚类装置,应用于数据通讯装置,所述数据通讯装置用于供至少一个用户进行数据通讯,所述装置包括:
第三获取模块,用于获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像;
第三确定模块,用于确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
第三处理模块,用于根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
第三显示模块,用于显示与所述多个待聚类图像相对应的聚类结果。
第十一方面,本发明实施例提供了一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的图像聚类方法。
第十二方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第九方面中的图像聚类方法。
本实施例提供的技术方案,通过获取待聚类图像集,确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征,由于增广图像间关系特征与以下至少之一相关:任意两个图像中图像所对应的图像特征、任意两个图像中图像所对应的上下文特征,因此,在基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度时,可以有效地提高对两个图像之间的图像相似度进行确定的准确可靠性,从而在根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理时,可以获得准确度更高的聚类结果,进一步提高了对图像聚类方法进行使用的准确可靠性,保证了该方法的实用性,有利于市场的推广与应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像聚类方法的流程示意图;
图2为本发明实施例提供的一种图像聚类方法的应用场景示意图;
图3为本发明实施例提供的确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征的流程示意图;
图4为本发明实施例提供的在所述待聚类图像集中,确定与所述图像特征相对应的邻近特征的流程示意图;
图5为本发明实施例提供的利用第一机器学习模型对所述图像特征和邻近特征进行增广处理,获得与所述待聚类图像集中每个图像相对应的增广图像特征的流程示意图;
图5a为本发明实施例提供的获得与所述待聚类图像集中每个图像相对应的增广图像特征的示意图;
图6为本发明实施例提供的基于与所述待聚类图像集中每个图像相对应的增广图像特征,确定所述待聚类图像集中的任意两个图像之间的增广图像间关系特征的流程示意图;
图7为本发明实施例提供的另一种图像聚类方法的流程示意图;
图8为本发明另一实施例提供的确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征的流程示意图;
图9为本发明应用实施例提供的一种图像聚类方法的示意图;
图10为本发明应用实施例提供的获得与所述待聚类图像集中每个图像相对应的增广图像特征的示意图;
图11为本发明应用实施例提供的获得所述待聚类图像集中所述图像与所述邻近图像之间的增广图像间关系特征的示意图;
图12为本发明应用实施例提供的图像聚类方法的效果对比示意图;
图13为本发明实施例提供的一种图像聚类装置的结构示意图;
图14为与图13所示实施例提供的图像聚类装置对应的电子设备的结构示意图;
图15为本发明实施例提供的另一种图像聚类方法的流程示意图;
图16为本发明实施例提供的另一种图像聚类装置的结构示意图;
图17为与图16所示实施例提供的图像聚类装置对应的电子设备的结构示意图;
图18为本发明实施例提供的又一种图像聚类方法的流程示意图;
图19为本发明实施例提供的又一种图像聚类装置的结构示意图;
图20为与图19所示实施例提供的图像聚类装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
为了便于理解本申请的技术方案,下面对现有技术进行简要说明:
随着图像技术的快速发展,人们随时随地用图像记录人像的场景日益增多,高性能自动生成的人脸相册成为了一个能迎合大众需求的刚需功能。伴随着深度神经网络和度量学习领域的飞速发展,人脸识别技术目前已经达到了较高的水平。在对人脸图像进行聚类处理的过程中,由于人脸图像分布的复杂性,针对人脸图像所提取的人脸特征会存在不确定性,此时,在基于上述所提取的人脸特征来进行聚类操作时,容易出现会将同一个人的图像容易分到多个簇中,聚类结果中会存在档案的分裂,同一个人的图片容易得到多个簇,或者,将不同人的图像聚类到一个簇中的情况,从而降低了聚类结果的精确度。
举例来说,对图像进行聚类处理的传统方法主要包括k均值聚类算法(KMeans聚类算法)、基于密度的聚类算法(Density-Based Spatial Clustering of Applicationswith Noise,简称DBSCAN)、层次凝聚聚类算法(Hierarchical AgglomerativeClustering,简称HAC)、谱聚类算法(Spectral Clustering,简称SC)等算法。
然而,上述聚类算法因无法挖掘图像的上下文信息而使得聚类效果较差,此外,还可以采用有监督的聚类算法进行图像聚类操作。具体的,当前基于深度神经网络的有监督的聚类方法可以包括如下几类:包含增次聚类的图卷积网络(Linkage-GraphConvolutional Network,简称Linkage-GCN)、基于检测和语义标注框架的图卷积网络(Learning to cluster faces on an affinity graph,简称DS-GCN)、基于质量度量的图卷积网络(Learning to Cluster Faces via Confidence and ConnectivityEstimation,简称VE-GCN)、基于密度敏感特征的人脸聚类(Density-Aware FeatureEmbedding for Face Clustering,简称DA-NET)等等,在利用上述不同的聚类方法进行图像聚类操作时,所获得的聚类结果的准确性均不是很高。
为了能够解决现有技术中存在的因对人脸图像所提取的图像特征具有较高的不确定性,从而降低了聚类结果的精确度的问题,本实施例提供了一种图像聚类方法、装置及计算机存储介质。其中,聚类方法通过获取待聚类图像集,确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征,由于增广图像间关系特征与以下至少之一相关:任意两个图像中图像所对应的图像特征、任意两个图像中图像所对应的上下文特征,因此,在基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度时,可以有效地提高对两个图像之间的图像相似度进行确定的准确可靠性,从而在根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理时,可以获得准确度更高的聚类结果,进一步提高了对图像聚类方法进行使用的准确可靠性,保证了该方法的实用性,有利于市场的推广与应用。
下面结合附图,对本发明中图像聚类方法的各种具体实现方式和实现效果作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种图像聚类方法的流程示意图;参考附图1所示,本实施例提供了一种图像聚类方法,该方法的执行主体可以为图像聚类装置,可以理解的是,该图像聚类装置可以实现为软件、或者软件和硬件的组合。具体的,该图像聚类方法可以包括:
步骤S101:获取待聚类图像集。
步骤S102:确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征。
步骤S103:基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度。
步骤S104:根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果。
下面针对上述各个步骤进行详细阐述:
步骤S101:获取待聚类图像集。
其中,待聚类图像集中包括需要进行聚类处理的多个图像,可以理解的是,多个图像可以根据具体的应用场景而有所不同,例如:待聚类图像集中可以包括待聚类的生物面部图像、待聚类的产品图像、待聚类的风景图像等等,其中,生物面部图像可以是指:人脸图像、猫脸图像、狗脸图像或者其他生物的生物脸部头像等等。
另外,本实施例对于待聚类图像集中的图像可以包括以下至少之一:通过拍摄装置拍摄获得的图像信息、视频信息中的图像信息、合成图像等等。此外,本实施例对于获取待聚类图像集的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:待聚类图像集可以存储在预设区域中,通过访问预设区域获取待聚类图像集。或者,待聚类图像集可以存储在预设设备中,通过预设设备与图像聚类装置通信连接,从而可以使得图像聚类装置主动或者被动地获取到待聚类图像集。
当然的,本领域技术人员也可以采用其他的方式来获取待聚类图像集,只要能够保证对待聚类图像集进行获取的准确可靠性即可,在此不再赘述。
步骤S102:确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征。
在获取到待聚类图像集之后,可以对待聚类图像集中的任意两个图像进行分析处理,以获取与任意两个图像相对应的增广图像间关系特征,增广图像间关系特征是指对图像间关系特征进行增广处理或者增强处理之后所获得的特征,上述的图像间关系特征可以是指任意两个图像在颜色特征、纹理特征、形状特征或者空间关系特征等方面所存在的关联特征。
在一些实例中,上述的增广图像间关系特征可以与任意两个图像中图像所对应的图像特征和/或上下文特征有关,较为优选的,增广图像间关系特征不仅包括任意两个图像的图像特征和上下文特征之间的关联关系,这样在基于增广图像间关系特征进行图像聚类处理时,可以提高对待聚类图像集中的图像进行聚类处理的准确可靠性。
另外,本实施例对于增广图像间关系特征的具体确定方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:预先训练有机器学习模型,该机器学习模型用于对任意两个图像的图像特征和上下文特征进行分析处理,以获取与两个图像相对应的增广图像间关系特征,具体的,可以先获取两个图像中每个图像所对应的图像特征和上下文特征,而后将两个图像中图像所对应的图像特征和上下文特征输入至机器学习模型中,从而可以获取到与两个图像相对应的增广图像间关系特征。
当然的,本领域技术人员也可以采用其他的方式来确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征,只要能够保证对增广图像间关系特征进行获取的准确可靠性即可,在此不再赘述。
步骤S103:基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度。
其中,在获取到增广图像间关系特征之后,可以对增广图像间关系特征进行分析处理,以确定与增广图像间关系特征相对应的两个图像之间的图像相似度。具体的,基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度可以包括:利用分类器对增广图像间关系特征进行分析处理,获得与增广图像间关系特征相对应的两个图像之间的图像相似度。
具体的,预先训练好用于确定两个图像之间的图像相似度的分类器,在获取到增广图像间关系特征之后,可以将增广图像间关系特征输入至分类器,从而可以获得与增广图像间关系特征相对应的两个图像之间的相似度。其中,预先训练好的分类器可以由多层感知机(Multilayer Perceptron,简称MLP)网络所构成。
举例来说,在两个图像之间的增广图像间关系特征为eq,k时,在将上述的增广图像间关系特征输入至分类器中时,可以利用以下公式来获取与增广图像间关系特征相对应的两个图像之间的图像相似度:pq,k=ω(MLP(eq,k)),其中,pq,k是与增广图像间关系特征相对应的两个图像之间的图像相似度,ω()是预设的激活函数,本实施例中的激活函数可以采用参数校正线性单元(Parametric Rectified Linear Unit,简称PReLU)来实现,MLP()是多层感知机网络。
当然的,本领域技术人员也可以采用其他的方式来确定与增广图像间关系特征相对应的两个图像之间的图像相似度,只要能够保证对两个图像之间的图像相似度进行确定的准确可靠性即可,在此不再赘述。
步骤S104:根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果。
其中,对于待聚类图像集中所包括的任意两个图像而言,基于上述的方式均可以获取到图像相似度,举例来说,在待聚类图像集中包括图像1、图像2和图像3时,可以利用上述方式获取到图像1与图像2之间的图像相似度a、图像2与图像3之间的图像相似度b以及图像1与图像3之间的图像相似度c。
在获取到与待聚类图像集所对应的所有图像相似度之后,可以基于所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,从而可以获取到与待聚类图像集相对应的聚类结果。在一些实例中,根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果可以包括:获取用于对待聚类图像集中图像进行聚类处理的相似度阈值;在图像相似度大于或等于相似度阈值时,则将图像相似度所对应的两个图像进行聚类处理,获得与待聚类图像集相对应的聚类簇。
具体的,预先设置有用于对待聚类图像集中图像进行聚类处理的相似度阈值,其中,在对不同待聚类图像集中的图像进行聚类处理时,可以对应有不同的相似度阈值。该相似度阈值可以存储在预设区域中,在获取到待聚类图像集之后,可以基于待聚类图像集访问预设区域,从而可以获取用于与对待聚类图像集中图像进行聚类处理的相似度阈值。
在获取到相似度阈值之后,可以将所有的图像相似度与相似度阈值进行分析比较,在图像相似度大于或等于相似度阈值时,则可以将图像相似度所对应的两个图像进行聚类处理,从而可以获得与待聚类图像相对应的聚类簇。相对应的,在图像相似度小于相似度阈值时,则可以将图像相似度所对应的两个图像划分为不同的聚类簇中。
在一种应用场景中,参考附图2所示,图像聚类方法可以包括如下步骤:获取到待聚类图像集,该待聚类图像集中可以包括多个需要进行聚类处理的图像,以待聚类图像集中的任意两个图像包括人脸图像a和人脸图像b为例进行说明,可以对上述的图像a和图像b进行分析处理,以获取与图像a和图像b相对应的增广图像间关系特征eq,1。而后利用分类器对增广图像间关系进行分析处理,获得图像a与图像b之间的图像相似度pq,1,将pq,1与相似度阈值pth进行分析比较,在pq,1>pth时,则说明图像a和图像b之间的相似度较高,即图像a和图像b为同一个用户的人脸图像,进而可以将图像a和图像b划分到一个聚类簇中,实现了对人脸图像a和人脸图像b的聚类操作。
本实施例提供的图像聚类方法,通过获取待聚类图像集,确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征,由于增广图像间关系特征与以下至少之一相关:任意两个图像中图像所对应的图像特征、任意两个图像中图像所对应的上下文特征,因此,在基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度时,可以有效地提高对两个图像之间的图像相似度进行确定的准确可靠性,从而在根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理时,可以获得准确度更高的聚类结果,进一步提高了对图像聚类方法进行使用的准确可靠性,保证了该方法的实用性,有利于市场的推广与应用。
图3为本发明实施例提供的确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征的流程示意图;在上述实施例的基础上,继续参考附图3所示,本实施例对于增广图像间关系特征的具体确定方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,本实施例中的确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征可以包括:
步骤S301:获取与待聚类图像集中每个图像相对应的增广图像特征,增广图像特征包括:与图像相对应的图像特征和上下文特征。
步骤S302:基于与待聚类图像集中每个图像相对应的增广图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征。
其中,为了能够保证对增广图像间关系特征进行获取的准确可靠性,在获取到待聚类图像集之后,可以对待聚类图像集中的每个图像进行特征提取操作,获得与图像相对应的图像特征和上下文特征,而后可以对图像特征和上下文特征进行分析处理,以获取与每个图像相对应的增广图像特征,该增广图像特征是指对图像特征进行增广处理或者增强处理之后所获得的特征,该增广图像特征可以准确地对图像进行表征。
在一些实例中,为了能够提高对与每个图像相对应的增广图像特征进行获取的准确可靠性,本实施例中的获取与待聚类图像集中每个图像相对应的增广图像特征可以包括:提取与待聚类图像集中每个图像相对应的图像特征;在待聚类图像集中,确定与图像特征相对应的邻近特征;利用第一机器学习模型对图像特征和邻近特征进行增广处理,获得与待聚类图像集中每个图像相对应的增广图像特征,其中,第一机器学习模型被训练为用于对图像特征进行增广处理。
具体的,在获取到待聚类图像集之后,可以利用预设的特征提取器对待聚类图像集中的每个图像进行特征提取操作,以获取与每个图像相对应的图像特征,该图像特征可以包括以下至少之一:颜色特征、纹理特征形状特征、空间关系特征等等。
在获取到与待聚类图像集中每个图像相对应的图像特征之后,可以对所有的图像特征进行分析处理,以在待聚类图像集中确定与图像特征相对应的邻近特征,其中,图像特征邻近特征是指与图像相对应的邻近图像相对应的特征信息,而邻近图像是指与图像相关联的图像。例如:邻近图像可以是采用最邻近算法对待聚类图像集中的图像进行分析处理之后所获得的图像,所获得的邻近图像的个数可以为一个或多个,因此,与图像特征相对应的邻近特征的个数可以为一个或多个。
在获取到图像特征和邻近特征之后,可以利用第一机器学习模型对图像特征和邻近特征进行增广处理,从而可以获得与待聚类图像集中每个图像相对应的增广图像特征,其中,第一机器学习模型预先被训练为用于对图像特征进行增广处理,具体的,上述的第一机器学习模型可以通过对深度神经网络进行学习训练而生成的。当然的,本领域技术人员也可以采用其他的方式来获取增广图像特征,只要能够保证对增广图像特征进行获取的准确可靠性即可,在此不再赘述。
在获取到与每个图像相对应的增广图像特征之后,可以对与每个图像相对应的增广图像特征进行分析处理,以确定待聚类图像集中任意两个图像之间的增广图像间关系特征,这样有效地提高了对增广图像间关系特征进行获取的准确可靠性,进一步保证了该方法的实用性。
图4为本发明实施例提供的在待聚类图像集中,确定与图像特征相对应的邻近特征的流程示意图;在上述实施例的基础上,继续参考附图4所示,在上述获得与待聚类图像集中每个图像相对应的增广图像特征的过程中,为了能够保证对与图像特征相对应的邻近特征进行确定的准确可靠性,本实施例中的在待聚类图像集中,确定与图像特征相对应的邻近特征可以包括:
步骤S401:基于图像特征在待聚类图像集中进行近邻检索,获得与图像特征相对应的邻近特征集合,邻近特征集合中包括有与图像特征相对应的至少一个邻近特征。
步骤S402:在邻近特征集合中,确定与图像特征相对应的目标邻近特征。
在获取到与待聚类图像集中每个图像相对应的图像特征之后,可以利用邻近搜索算法在待聚类图像集中进行近邻检索,其中,邻近搜索算法可以包括以下至少之一:最近邻搜索算法、近似近邻搜索算法或者其他能够实现近邻检索的算法,从而可以获得与图像特征相对应的邻近特征集合,该邻近特征集合中可以包括有与图像特征相对应的至少一个邻近特征,每个邻近特征对应有一个邻近图像。
具体的,在获取到邻近特征集合之后,由于邻近特征集合中可以包括至少一个邻近特征,而在获得与待聚类图像集中每个图像相对应的增广图像特征的过程中,所能够应用到的邻近特征的个数与邻近特征集合中所包括的邻近特征的个数可以相同或不同。因此,为了能够保证在获取增广图像特征的过程中,对与图像特征相对应的邻近特征进行确定的准确可靠性,在获取到邻近特征集合之后,可以在邻近特征集合中确定与图像特征相对应的目标邻近特征。
在一些实例中,在邻近特征集合中,确定与图像特征相对应的目标邻近特征可以包括:获取用于限定目标邻近特征的数量的参数信息;基于邻近特征集合和参数信息,确定与图像特征相对应的目标邻近特征。
其中,预先配置有用于限定目标邻近特征数量的参数信息,该参数信息可以根据不同的应用场景或者应用需求而进行调整,另外,该参数信息可以存储在预设区域中,通过访问预设区域即可获取到用于限定目标邻近特征数量的参数信息,在获取到参数信息之后,可以基于邻近特征集合和参数信息来确定与图像特征相对应的目标邻近特征。
在一些实例中,基于邻近特征集合和参数信息来确定与图像特征相对应的目标邻近特征可以包括:获取邻近特征集合中所包括邻近特征的集合特征数量,而后将集合特征数量与参数信息进行分析比较,基于分析比较结果来确定与图像特征相对应的目标邻近特征。
需要说明的是,在针对一个待聚类图像集进行图像聚类处理的过程中,可以对待聚类图像集进行一次或多次邻近特征搜索,而所获得的邻近特征集合可以是与进行范围较大的邻近特征搜索相对应,从而可以获取到包括较多数量邻近特征的邻近特征集合。在一些实例中,在获取到上述邻近特征集合之后,那么,在进行图像聚类操作的过程中,通过直接利用或者复用该邻近特征集合所包括的邻近特征,而无需再次或者多次进行邻近特征搜索操作。
举例来说,历史邻近特征集合中包括n个邻近特征,而在上述用于限定目标邻近特征的数量的参数信息为m1,且n<m1时,则可以基于参数信息m1进行邻近搜索,该邻近特征集合中可以包括m1个邻近特征,而后可以将邻近特征集合中所包括的m1个邻近特征确定为目标邻近特征。
若在上述用于限定目标邻近特征的数量的参数信息为m2,且m2<n时,即邻近特征集合中所包括的邻近特征数量大于用于获取增广图像特征的过程中所需要的邻近特征的数量,则可以在待邻近特征集合中提取m2个的邻近特征,而后可以将m2个邻近特征确定为与图像特征相对应的目标邻近特征,从而有效地保证了对目标邻近特征进行确定的准确可靠性。
本实施例中,通过基于图像特征在待聚类图像集中进行近邻检索,获得与图像特征相对应的邻近特征集合,而后在邻近特征集合中确定与图像特征相对应的目标邻近特征,从而有效地保证了对目标邻近特征进行确定的质量和效率,进一步提高了基于目标邻近特征对每个图像相对应的增广图像特征进行获取的准确可靠性,有利于提高图像聚类处理的精确程度。
图5为本发明实施例提供的利用第一机器学习模型对图像特征和邻近特征进行增广处理,获得与待聚类图像集中每个图像相对应的增广图像特征的流程示意图;在上述实施例的基础上,继续参考附图5所示,本实施例对于利用第一机器学习模型对图像特征和邻近特征进行增广处理的具体实现方式不做限定,较为优选的,本实施例中的利用第一机器学习模型对图像特征和邻近特征进行增广处理,获得与待聚类图像集中每个图像相对应的增广图像特征可以包括:
步骤S501:利用第一机器学习模型中所包括的自注意网络层和共同注意力层对邻近特征进行处理,获得与图像特征相对应的上下文特征。
步骤S502:基于图像特征和上下文特征,获得与待聚类图像集中每个图像相对应的增广图像特征。
其中,所建立的第一机器学习模型中可以包括自注意网络层和共同注意力层,在获取到邻近特征之后,可以利用上述的自注意网络层和共同注意力层对邻近特征进行分析处理,以获得与图像特征相对应的上下文特征。具体的,在利用上述的自注意网络层和共同注意力层对邻近特征进行分析处理时,可以利用以下公式来实现:
Figure BDA0002699939710000171
其中,LN为图层归一化算法,MH为多头注意力机制算法,
Figure BDA0002699939710000172
为经过l-1层自注意网络层对邻近特征fq,k进行分析处理之后所输出的特征,
Figure BDA0002699939710000173
为经过l层自注意网络层对l-1层自注意网络层所输出的特征进行分析处理后所获得的特征,Kl-1为与多头注意力机制算法相对应的键特征,Vl-1为与多头注意力机制算法相对应的值特征。
简单来说,在利用多层的自注意网络层对邻近特征进行分析处理后,可以获取到最后一层网络层所输出的上下文特征,可以通过以下公式来实现:
Figure BDA0002699939710000174
其中,
Figure BDA0002699939710000175
为与图像特征相对应的上下文特征,MH为多头注意力机制算法,f,k为邻近特征,
Figure BDA0002699939710000176
为与多头注意力机制算法相对应的键特征,
Figure BDA0002699939710000177
为与多头注意力机制算法相对应的值特征,从而有效地保证了对与图像特征相对应的上下文特征进行获取的准确可靠性。
在获取到与图像特征相对应的上下文特征之后,可以对图像特征和上下文特征进行分析处理,以获得与待聚类图像集中每个图像相对应的增广图像特征。在一些实例中,基于图像特征和上下文特征,获得与待聚类图像集中每个图像相对应的增广图像特征可以包括:对图像特征和上下文特征进行融合处理,获得融合后图像特征;对融合后图像特征进行归一化处理,获得与待聚类图像集中每个图像相对应的增广图像特征。
在获取到图像特征和上下文特征之后,可以对图像特征和上下文特征进行融合处理,具体的,可以对图像特征和上下文特征进行覆盖处理、拼接处理或者加权求和处理等操作,从而可以获得融合后图像特征;在获取到融合后图像特征之后,可以对融合后图像特征进行归一化处理,从而可以获取到与每个待聚类图像集中每个图像相对应的增广图像特征。
举例来说,参考附图5a所示,待聚类图像集中包括待聚类图像1、图像1、图像2和图像3、图像4和图像5,在待聚类图像集中,基于待聚类图像1进行最近邻搜索处理,获得与待聚类图像1所对应的邻近图像,假设邻近图像包括图像1、图像2和图像3。而后可以分别获取与上述待聚类图像1、图像1、图像2和图像3相对应的图像特征fq、图像特征fq,1、图像特征fq,2和图像特征fq,3。而后利用第一机器学习模型对上述的图像特征进行分析处理,以获得与待聚类图像1相对应的上下文图像特征
Figure BDA0002699939710000181
之后,以对图像特征和上下文特征进行加权求和处理作为融合处理为例进行说明,在获取到图像特征fq和上下文特征
Figure BDA0002699939710000182
之后,则可以对图像特征fq和上下文特征
Figure BDA0002699939710000183
进行融合处理,从而可以获取到融合后图像特征
Figure BDA0002699939710000184
而后可以利用以下公式获取到与图像相对应的增广图像特征gq,
Figure BDA0002699939710000185
其中,LN为图层归一化算法。
本实施例中,通过利用第一机器学习模型中所包括的自注意网络层和共同注意力层对邻近特征进行处理,获得与图像特征相对应的上下文特征,而后基于图像特征和上下文特征,获得与待聚类图像集中每个图像相对应的增广图像特征,从而有效地保证了对增广图像特征进行获取的准确可靠性。
图6为本发明实施例提供的基于与待聚类图像集中每个图像相对应的增广图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征的流程示意图;在上述实施例的基础上,参考附图6所示,本实施例对于确定待聚类图像集中的任意两个图像之间的增广图像间关系特征的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,本实施例中的基于与待聚类图像集中每个图像相对应的增广图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征可以包括:
步骤S601:获取与待聚类图像集中每个图像相对应的第一增广图像特征、以及与图像相对应的邻近图像的第二增广图像特征。
步骤S602:利用第二机器学习模型对第一增广图像特征和第二增广图像特征进行增广处理,获得待聚类图像集中图像与邻近图像之间的增广图像间关系特征,其中,第二机器学习模型被训练为用于基于图像特征对两个图像之间的图像间关系特征进行增广处理。
对于待聚类图像集中的每个图像而言,待聚类图像集中可以包括与图像相对应的邻近图像,为了能够对对待聚类图像集中的每个图像进行准确地聚类处理,可以利用上述实施例中的方式来获取与每个图像相对应的第一增广图像特征和与该图像相对应的邻近图像的第二增广图像特征。
在获取到每个图像相对应的第一增广图像特征、以及与图像相对应的邻近图像的第二增广图像特征之后,可以利用第二机器学习模型对第一增广图像特征和第二增广图像特征进行增广处理,从而可以获得待聚类图像集中图像与邻近图像之间的增广图像间关系特征,其中,第二机器学习模型被训练为用于基于图像特征对两个图像之间的图像间关系特征进行增广处理,具体的,可以通过对深度神经网络进行学习训练来生成第二机器学习模型,从而有效地保证了对增广图像间关系特征进行获取的质量和效率。
在一些实例中,利用第二机器学习模型对第一增广图像特征和第二增广图像特征进行增广处理,获得待聚类图像集中图像与邻近图像之间的增广图像间关系特征可以包括:利用第二机器学习模型中的自注意网络层对第二增广图像特征进行处理,获得与邻近图像相对应的增广邻近图像特征;基于增广邻近图像特征和第一增广图像特征,获得待聚类图像集中的图像与邻近图像之间的增广图像间关系特征。
具体的,与待聚类图像集中每个图像相对应的第一增广图像特征可以标识为gq,邻近图像的第二增广图像特征可以标识为gq,1、gq,2、gq,3以及gq,k等等。在获取到第二增广图像特征之后,可以利用第二机器学习模型中的自注意网络层对第二增广图像特征进行处理,具体的,可以利用以下公式来实现:
Figure BDA0002699939710000201
其中,
Figure BDA0002699939710000202
为经过第l层网络处理之后所获取到的第二增广图像特征,LN为图层归一化算法,MH为多头注意力机制算法,K为与多头注意力机制算法相对应的键特征,V为与多头注意力机制算法相对应的值特征,
Figure BDA0002699939710000203
为经过第l-1层网络处理之后所获取到的第二增广图像特征,从而可以准确地获得与邻近图像相对应的增广邻近图像特征。
在获取到增广邻近图像特征和第一增广图像特征之后,可以对增广邻近图像特征和第一增广图像特征进行分析处理,以获得待聚类图像集中的图像与邻近图像之间的增广图像间关系特征,具体的,基于增广邻近图像特征和第一增广图像特征,获取待聚类图像集中的图像与邻近图像之间的增广图像间关系特征可以包括:对增广邻近图像特征和第一增广图像特征进行提取关系处理,获得待聚类图像集中的图像与邻近图像之间的增广图像间关系特征。
其中,提取关系处理的实现方式可以包括对增广邻近图像特征和第一增广图像特征进行拼接、做差、点积或者加权求和处理等实现方式,当然的,本领域技术人员也可以采用其他的方式来实现关系提取操作,只要能够保证对增广邻近图像特征和第一增广图像特征进行关系提取操作的准确可靠性即可,从而有利于保证对增广图像间关系特征进行获取的准确可靠性。
具体的,在获取到增广邻近图像特征和第一增广图像特征之后,可以对增广邻近图像特征和第一增广图像特征进行分析处理,在一些实例中,可以利用以下公式来实现处理操作:
Figure BDA0002699939710000204
其中,eq,k为图像与邻近图像之间的增广图像间关系特征,cat是用于联结数组的函数,gk为第一增广图像特征,
Figure BDA0002699939710000205
为增广邻近图像特征。从而有效地实现了通过将增广邻近图像特征和第一增广图像特征进行拼接处理,稳定地获取到待聚类图像集中的图像与邻近图像之间的增广图像间关系特征。
图7为本发明实施例提供的另一种图像聚类方法的流程示意图;在上述实施例的基础上,参考附图7所示,在获得与待聚类图像集相对应的聚类簇之后,在一种应用场景中,图像聚类装置还可以接收到需要进行图像聚类操作的新增图像,此时,为了提高对新增图像进行聚类处理操作的质量和效率,可以识别待聚类的新增图像与聚类簇之间的关联关系,以判断新增图像是否可以划分在与待聚类图像相对应的聚类簇中。具体的,本实施例中的方法还可以包括:
步骤S701:获取待处理图像以及与待处理图像相对应的第一图像特征。
其中,在图像聚类装置获取到其他设备所传输的待处理图像,或者在某一应用场景中所生成的待处理图像时,则可以对待处理图像进行分析处理,以获取与待处理图像相对应的第一图像特征,该第一图像特征可以包括用于对待处理图像进行表征的颜色特征、纹理特征、形状特征或者空间关系特征等等。需要注意的是,待处理图像的个数可以为一个或多个,在待处理图像的个数为多个时,第一图像特征的个数也为多个。
步骤S702:确定与聚类簇相对应的增广类特征,增广类特征包括与聚类簇相对应的类特征和上下文信息。
为了提高对待处理图像进行聚类处理的质量和效率,在获取到与待聚类图像集相对应的聚类簇之后,可以对聚类簇进行特征提取操作,以确定与聚类簇相对应的增广类特征,该增广类特征中包括与待聚类簇相对应的类特征和上下文信息。
在一些实例中,确定与聚类簇相对应的增广类特征可以包括:获取与聚类簇相对应的类特征以及邻近类特征;利用第三机器学习模型对类特征和邻近类特征进行增广处理,获得与聚类簇相对应的增广类特征,其中,第三机器学习模型被训练为用于对聚类簇的类特征进行增广处理。
具体的,在获取到聚类簇之后,可以对聚类簇进行分析处理,以获取与聚类簇相对应的类特征以及邻近类特征,可以理解的是,邻近类特征是与当前聚类簇相关联的邻近聚类簇相对应的特征。在获取到与聚类簇相对应的类特征以及邻近类特征之后,可以利用第三机器学习模型对类特征和邻近类特征进行增广处理,即可获取到与聚类簇相对应的增广类特征,通过上述增广类特征可以有效地增强对聚类簇进行表达的准确可靠性,从而有利于提高对图像进行聚类处理的精确度。
步骤S703:基于第一图像特征和增广类特征,判断是否将待处理图像聚类至聚类簇。
在获取到第一图像特征和增广类特征之后,可以对第一图像特征和增广类特征进行分析处理,以根据分析处理结果来判断是否可以将待处理图像聚类至与增广类特征相对应的聚类簇中。在一些实例中,基于第一图像特征和增广类特征,判断是否将待处理图像聚类至聚类簇可以包括:基于第一图像特征和增广类特征,获取待处理图像与聚类簇相之间的匹配度;在匹配度大于或等于预设阈值时,则将待处理图像聚类至聚类簇;或者,在匹配度小于预设阈值时,则禁止将待处理图像聚类至聚类簇。
其中,在获取到第一图像特征和增广类特征之后,可以对第一图像特征和增广类特征进行分析处理,以获取待处理图像与聚类簇之间的匹配度。具体的,在对第一图像特征和增广类特征进行分析处理时,一种可实现方式为:预先训练有用于获取图像特征和类特征之间匹配度的分类器,在获取到第一图像特征和增广类特征之后,可以将第一图像特征和增广类特征输入至分类器中,即可获取到待处理图像与聚类簇之间的匹配度。又一种可实现的方式为:在获取到第一图像特征和增广类特征之后,可以获取与第一图像特征和增广类特征之间的欧式距离、余弦距离等等,而后可以基于上述所获得的欧式距离、余弦距离等来确定待处理图像与聚类簇之间的匹配度。
当然的,本领域技术人员也可以采用其他的方式来获取待处理图像与聚类簇之间的匹配度,只要能够保证对待处理图像与聚类簇之间的匹配度进行获取的准确可靠性即可,在此不再赘述。
在获取到待处理图像与聚类簇之间的匹配度之后,可以将匹配度与预设阈值进行分析比较,在匹配度大于或等于预设阈值时,则说明待处理图像与位于当前聚类簇中的图像的相似度较高,进而可以将待处理图像聚类至聚类簇;相对应的,在匹配度小于预设阈值时,则说明待处理图像与位于当前聚类簇中的图像的相似度较低,进而禁止将待处理图像聚类至聚类簇。
本实施例中,通过获取待处理图像以及与待处理图像相对应的第一图像特征,确定与聚类簇相对应的增广类特征,而后基于第一图像特征和增广类特征来判断是否将待处理图像聚类至聚类簇,具体的,在待处理图像与聚类簇中图像之间的相似度较高时,则可以将待处理图像划分至当前的聚类簇中,在待处理图像与聚类簇中图像之间的相似度较低时,则可以禁止将待处理图像划分至当前的聚类簇中,从而不仅实现了可以对新增图像进行聚类处理,并且有效地提高了对新增图像进行聚类处理操作的质量和效率,进一步提高了该方法使用的灵活可靠性。
图8为本发明另一实施例提供的确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征的流程示意图;在上述实施例的基础上,参考附图8所示,本实施例提供了另一种确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征的实现方式,具体的,本实施例中的确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征可以包括:
步骤S801:获取与待聚类图像集中每个图像相对应的图像特征。
步骤S802:基于与待聚类图像集中每个图像相对应的图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征。
其中,在获取到待聚类图像集之后,可以对待聚类图像集中的每个图像进行特征提取操作,即可获取到与每个图像相对应的图像特征,该图像特征可以包括用于对图像进行表征的颜色特征、纹理特征、形状特征或者空间关系特征等等。
在获取到与待聚类图像集中每个图像相对应的图像特征之后,可以对上述的图像特征进行分析处理,以确定待聚类图像集中任意两个图像之间的增广图像间关系特征。具体的,基于与待聚类图像集中每个图像相对应的图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征可以包括:在待聚类图像集中,确定与图像相对应的邻近图像;利用第一机器学习模型对图像特征和与邻近图像相对应的邻近特征进行增广处理,获得与待聚类图像集中每个图像相对应的增广图像特征,其中,第一机器学习模型被训练为用于对图像特征进行增广处理。
具体的,本实施例中确定与图像相对应的邻近图像、以及利用第一机器学习模型对图像特征和与邻近图像相对应的邻近特征进行增广处理的具体实现方式和实现效果与上述图3所对应实施例的具体实现方式和实现效果相类似,具体可参考上述陈述内容,在此不再赘述。
具体应用时,参考附图9所示,以待聚类图像集中包括待聚类的多个人脸图像为例进行说明,本应用实施例提供了一种图像聚类方法,该方法可以包括以下步骤:
步骤1:获取待聚类图像集。
其中,待聚类图像集中包括待聚类的图像1、图像2、图像3、图像4、图像5和图像6。
步骤2:提取上述待聚类图像集中每个图像相对应的图像特征。
具体的,利用深度神经网络对待聚类图像集中的所有输入图像{X1,X2,...,Xn}进行提取特征操作,从而可以得到与所有输入图像相对应的所有图像特征{f1,f2,...,fn},其中,N为待聚类图像集中图像的数量信息,例如:可以获取与图像1相对应的图像特征fq、与图像2相对应的图像特征f1、与图像3相对应的图像特征f2以及与图像4相对应的图像特征f3等等。
步骤3:基于图像1所对应的图像特征fq在待聚类图像集中进行近邻检索,获得与图像特征相对应的邻近特征集合。
其中,邻近特征集合中可以包括至少一个邻近特征,邻近特征与图像1相对应的邻近图像相对应,举例来说,与图像1所对应的邻近图像包括图像2、图像3和图像4,邻近特征集合中可以包括邻近特征fq,1、邻近特征fq,2、邻近特征fq,3
步骤4:在邻近特征集合中,提取hop2个邻近特征,作为与图像特征相对应的目标邻近特征。
步骤5:利用第一机器学习模型中所包括的自注意网络层和共同注意力层对上述的目标邻近特征进行处理,获得与图像特征相对应的上下文特征
Figure BDA0002699939710000251
具体的,利用第一机器学习模型中的自注意力机制对目标邻近特征(fq,1、fq,2、fq,3)进行处理,获得与图像特征相对应的上下文特征
Figure BDA0002699939710000252
步骤6:基于图像特征和上下文特征
Figure BDA0002699939710000253
获得与待聚类图像集中每个图像相对应的增广图像特征。
具体的,参考附图10所示,在利用第一机器学习模型对图像特征和上下文特征处理,获得与待聚类图像集中每个图像相对应的增广图像特征可以包括如下步骤:
步骤6.1:利用自注意力机制的神经网络Transformer对图像特征fq和上下文特征
Figure BDA0002699939710000254
进行融合处理,获得融合后图像特征。
步骤6.2:对融合后图像特征进行归一化处理,获得与待聚类图像集中每个图像相对应的增广图像特征
Figure BDA0002699939710000255
步骤7:在邻近特征集合中,获取hop1个邻近特征,获取到与图像1最近邻的hop1个近邻特征:{fq,1、fq,2、fq,3...,fq,hop1}。
步骤8:获取与上述邻近特征相对应的增广图像特征,从而可以获得与图像1相对应的增广图像特征g_q(以下称为第一增广图像特征)和gq,1、gq,2,...,gq,hop1(以下称为第二增广图像特征)。
步骤9:利用第二机器学习模型对第一增广图像特征和第二增广图像特征进行增广处理,获得图像1与邻近图像之间的增广图像间关系特征。
具体的,参考附图11所示,利用第二机器学习模型对第一增广图像特征和第二增广图像特征进行增广处理可以包括如下步骤:
步骤9.1:利用第二机器学习模型中的自注意网络层对第二增广图像特征进行处理,获得与邻近图像相对应的增广邻近图像特征。
步骤9.2:基于增广邻近图像特征和第一增广图像特征,获得待聚类图像集中的图像与邻近图像之间的增广图像间关系特征。
具体的,本实施例中上述步骤的具体实现方式和实现过程与上述实施例中的获取增广图像间关系特征的实现方式相类似,具体可参考上述陈述内容,在此不再赘述。
步骤10:利用分类器对增广图像间关系特征(eq,k)进行处理,获得与增广图像间关系特征相对应的两个图像之间的图像相似度(pq,k)。
步骤11:根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果。
将图像相似度与预设阈值进行分析比较,在图像相似度pq,k大于或等于预设阈值时,则可以将图像相似度标识为用于标识两个图像之间满足正向关联关系的pq,1,并将图像相似度所对应的两个图像划分至同一个聚类簇中;在图像相似度小于预设阈值时,则可以将图像相似度标识为用于标识两个图像之间满足负向关联关系的pq,2,将图像相似度所对应的两个图像划分至不同的聚类簇中。
具体的,参考附图12所示,当利用上述的图像聚类方法对大规模的人脸图像进行聚类处理时,相比较于通过第一机器学习模型或者第二机器学习模型来实现图像聚类处理时,可以获取到获得准确性较高的聚类结果,有利于提高该图像聚类方法的图像处理性能。
本应用实施例提供的图像聚类方法,基于层次化的机器学习模型对图像进行处理,获取到增广图像特征,而后基于增广图像特征来获取到任意两个图像之间的增广图像间关系特征,通过增广图像间关系特征来表征图像与图像之间的关联关系,有效地增加了对图像进行处理的准确可靠性,这样在基于增广图像间关系特征来进行图像聚类处理时,有利于提高图像聚类的准确可靠性,进一步保证了该方法使用的准确可靠性,有利于市场的推广与应用。
图13为本发明实施例提供的一种图像聚类装置的结构示意图;参考附图13所示,本实施例提供了一种图像聚类装置,该图像聚类装置可以执行上述图1所对应的图像聚类方法,该图像聚类装置可以包括第一获取模块11、第一确定模块12和第一处理模块13;具体的,
第一获取模块11,用于获取待聚类图像集;
第一确定模块12,用于确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征,增广图像间关系特征与以下至少之一相关:任意两个图像中图像所对应的图像特征、任意两个图像中图像所对应的上下文特征;
第一确定模块12,还用于基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度;
第一处理模块13,用于根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果。
在一些实例中,增广图像间关系特征与以下至少之一相关:任意两个图像中图像所对应的图像特征、任意两个图像中图像所对应的上下文特征。
在一些实例中,在第一确定模块12确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征时,该第一确定模块12用于执行:获取与待聚类图像集中每个图像相对应的增广图像特征,增广图像特征包括:与图像相对应的图像特征和上下文特征;基于与待聚类图像集中每个图像相对应的增广图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征。
在一些实例中,在第一确定模块12获取与待聚类图像集中每个图像相对应的增广图像特征时,该第一确定模块12用于执行:提取与待聚类图像集中每个图像相对应的图像特征;在待聚类图像集中,确定与图像特征相对应的邻近特征;利用第一机器学习模型对图像特征和邻近特征进行增广处理,获得与待聚类图像集中每个图像相对应的增广图像特征,其中,第一机器学习模型被训练为用于对图像特征进行增广处理。
在一些实例中,在第一确定模块12在待聚类图像集中,确定与图像特征相对应的邻近特征时,该第一确定模块12用于执行:基于图像特征在待聚类图像集中进行近邻检索,获得与图像特征相对应的邻近特征集合,邻近特征集合中包括有与图像特征相对应的至少一个邻近特征;在邻近特征集合中,确定与图像特征相对应的目标邻近特征。
在一些实例中,在第一确定模块12在邻近特征集合中,确定与图像特征相对应的目标邻近特征时,该第一确定模块12用于执行:获取用于限定目标邻近特征的数量的参数信息;基于邻近特征集合和参数信息,确定与图像特征相对应的目标邻近特征。
在一些实例中,在第一确定模块12利用第一机器学习模型对图像特征和邻近特征进行增广处理,获得与待聚类图像集中每个图像相对应的增广图像特征时,该第一确定模块12用于执行:利用第一机器学习模型中所包括的自注意网络层和共同注意力层对邻近特征进行处理,获得与图像特征相对应的上下文特征;基于图像特征和上下文特征,获得与待聚类图像集中每个图像相对应的增广图像特征。
在一些实例中,在第一确定模块12基于图像特征和上下文特征,获得与待聚类图像集中每个图像相对应的增广图像特征时,该第一确定模块12用于执行:对图像特征和上下文特征进行融合处理,获得融合后图像特征;对融合后图像特征进行归一化处理,获得与待聚类图像集中每个图像相对应的增广图像特征。
在一些实例中,在第一确定模块12基于与待聚类图像集中每个图像相对应的增广图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征时,该第一确定模块12用于执行:获取与待聚类图像集中每个图像相对应的第一增广图像特征、以及与图像相对应的邻近图像的第二增广图像特征;利用第二机器学习模型对第一增广图像特征和第二增广图像特征进行增广处理,获得待聚类图像集中图像与邻近图像之间的增广图像间关系特征,其中,第二机器学习模型被训练为用于基于图像特征对两个图像之间的图像间关系特征进行增广处理。
在一些实例中,在第一确定模块12利用第二机器学习模型对第一增广图像特征和第二增广图像特征进行增广处理,获得待聚类图像集中图像与邻近图像之间的增广图像间关系特征时,该第一确定模块12用于执行:利用第二机器学习模型中的自注意网络层对第二增广图像特征进行处理,获得与邻近图像相对应的增广邻近图像特征;基于增广邻近图像特征和第一增广图像特征,获得待聚类图像集中的图像与邻近图像之间的增广图像间关系特征。
在一些实例中,在第一确定模块12基于增广邻近图像特征和第一增广图像特征,获取待聚类图像集中的图像与邻近图像之间的增广图像间关系特征时,该第一确定模块12用于执行:对增广邻近图像特征和第一增广图像特征进行提取关系处理,获得待聚类图像集中的图像与邻近图像之间的增广图像间关系特征。
在一些实例中,在第一确定模块12基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度时,该第一确定模块12用于执行:利用分类器对增广图像间关系特征进行分析处理,获得与增广图像间关系特征相对应的两个图像之间的图像相似度。
在一些实例中,在第一处理模块13根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果时,该第一处理模块13用于执行:获取用于对待聚类图像集中图像进行聚类处理的相似度阈值;在图像相似度大于或等于相似度阈值时,则将图像相似度所对应的两个图像进行聚类处理,获得与待聚类图像集相对应的聚类簇。
在一些实例中,在获得与待聚类图像集相对应的聚类簇之后,本实施例中的第一获取模块11、第一确定模块12和第一处理模块13用于执行以下步骤:
第一获取模块11,用于获取待处理图像以及与待处理图像相对应的第一图像特征;
第一确定模块12,用于确定与聚类簇相对应的增广类特征,增广类特征包括与聚类簇相对应的类特征和上下文信息;
第一处理模块13,用于基于第一图像特征和增广类特征,判断是否将待处理图像聚类至聚类簇。
在一些实例中,在第一确定模块12确定与聚类簇相对应的增广类特征时,该第一确定模块12用于执行:获取与聚类簇相对应的类特征以及邻近类特征;利用第三机器学习模型对类特征和邻近类特征进行增广处理,获得与聚类簇相对应的增广类特征,其中,第三机器学习模型被训练为用于对聚类簇的类特征进行增广处理。
在一些实例中,在第一处理模块13基于第一图像特征和增广类特征,判断是否将待处理图像聚类至聚类簇时,该第一处理模块13用于执行:基于第一图像特征和增广类特征,获取待处理图像与聚类簇相之间的匹配度;在匹配度大于或等于预设阈值时,则将待处理图像聚类至聚类簇;或者,在匹配度小于预设阈值时,则禁止将待处理图像聚类至聚类簇。
在一些实例中,在第一确定模块12确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征时,该第一确定模块12用于执行:获取与待聚类图像集中每个图像相对应的图像特征;基于与待聚类图像集中每个图像相对应的图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征。
在一些实例中,在第一确定模块12基于与待聚类图像集中每个图像相对应的图像特征,确定待聚类图像集中的任意两个图像之间的增广图像间关系特征时,该第一确定模块12用于执行:在待聚类图像集中,确定与图像相对应的邻近图像;利用第一机器学习模型对图像特征和与邻近图像相对应的邻近特征进行增广处理,获得与待聚类图像集中每个图像相对应的增广图像特征,其中,第一机器学习模型被训练为用于对图像特征进行增广处理。
在一些实例中,待聚类图像集中包括待聚类的人脸图像。
图13所示装置可以执行图1-图12所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图12所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图12所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图13所示图像聚类装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图14所示,该电子设备可以包括:第一处理器21和第一存储器22。其中,第一存储器22用于存储相对应电子设备执行上述图1-图12所示实施例中提供的图像聚类方法的程序,第一处理器21被配置为用于执行第一存储器22中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第一处理器21执行时能够实现如下步骤:
获取待聚类图像集;
确定与待聚类图像集中的任意两个图像相对应的增广图像间关系特征;
基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度;
根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理,获得与待聚类图像集相对应的聚类结果。
进一步的,第一处理器21还用于执行前述图1-图12所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第一通信接口23,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1-图12所示方法实施例中图像聚类方法所涉及的程序。
图15为本发明实施例提供的另一种图像聚类方法的流程示意图;参考附图15所示,本实施例提供了另一种图像聚类方法,该方法的执行主体可以为图像聚类装置,可以理解的是,该图像聚类装置可以实现为软件、或者软件和硬件的组合,并且,该图像聚类装置可以应用于数据处理平台,上述的数据处理平台用于供至少一个用户进行数据处理操作。
其中,在不同的应用场景中,数据处理平台可以用于供用户实现不同的数据处理操作,该数据处理操作可以包括以下至少之一:数据传输操作、数据存储操作、数据编辑操作等等;在数据处理平台用于供用户进行数据传输操作时,该数据处理平台可以实现为具有图像聚类功能的数据传输装置、数据传输服务器等等;在数据处理平台用于供用户进行数据存储操作时,该数据处理平台可以实现为具有图像聚类功能的数据存储装置、云存储器、网络硬盘等等;在数据处理平台用于供用户进行数据编辑操作时,该数据处理平台可以实现为具有图像聚类功能的数据编辑装置。
具体的,该图像聚类方法可以包括:
步骤S1501:获取至少一个用户上传至所述数据处理平台的多个待聚类图像。
步骤S1502:确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定。
步骤S1503:根据所有的图像相似度对所述多个待聚类图像进行聚类处理。
步骤S1504:显示与所述多个待聚类图像相对应的聚类结果。
其中,在对具有图像聚类功能的数据处理平台进行应用时,可以实现一个或多个用户同步或者异步地针对数据处理平台传输待聚类图像,从而使得数据处理平台可以获取到至少一个用户上传至所述数据处理平台的多个待聚类图像,在一些实例中,待聚类图像可以包括待聚类的人脸图像。
在获取到多个待聚类图像之后,可以对多个待聚类图像进行分析处理,以获取多个待聚类图像中的任意两个图像之间的图像相似度,该图像相似度可以是通过任意两个图像之间的增广图像间关系特征来确定的,具体的,本实施例中对图像相似度进行确定的具体实现方式和实现效果与上述图1所对应实施例的具体实现方式和实现效果相同,具体可参考上述陈述内容,在此不再赘述。
在获取到多个待聚类图像中任意两个图像之间的所有图像相似度之后,则可以对所有的图像相似度进行分析处理,以根据分析处理结果来对多个待聚类图像进行聚类处理,从而可以获取到与所述多个待聚类图像相对应的聚类结果。具体的,本实施例中对与所述多个待聚类图像相对应的聚类结果进行确定的具体实现方式和实现效果与上述图1所对应实施例的具体实现方式和实现效果相同,具体可参考上述陈述内容,在此不再赘述。
在获取到与所述多个待聚类图像相对应的聚类结果之后,为了方便使得至少一个用户可以及时、准确地获知到聚类结果,可以通过数据处理平台的显示模块来显示与所述多个待聚类图像相对应的聚类结果。
举例来说,在数据传输平台为云服务器或者网络硬盘时,具有访问云服务器权限的用户可以包括用户A、用户B和用户C,用户A、用户B和用户C可以同步或者异步地向云服务器上传多个待聚类人脸图像,需要注意的是,在用户A、用户B和用户C异步地向云服务器上传多个待聚类人脸图像时,为了提高对多个待聚类人脸图像进行分析处理的速度和效率,可以统计云服务器在预设时间段(例如:1min、5min或者10min等等)内所获取到的多个待聚类人脸图像。
在云服务器获取到多个待聚类人脸图像之后,可以获取任意两个人脸图像之间的图像相似度,该图像相似度可以是通过任意两个图像之间的增广图像间关系特征所确定的,在获取到所有的图像相似度之后,则可以基于所有的图像相似度对多个待聚类人脸图像进行聚类处理,获得与所述多个待聚类图像相对应的聚类结果,例如:聚类结果包括与人物a相对应的图像a1、图像a2和图像a3、与人物b相对应的图像b1和图像b2以及与人物c相对应的图像c1、图像c2、图像c3和图像c4等等,而后则可以对上述的聚类结果进行分组显示,以使得用户A、用户B和用户C可以及时、准确地获知到聚类结果。
本实施例提供的图像聚类方法,通过获取至少一个用户上传至所述数据处理平台的多个待聚类图像,确定所述多个待聚类图像中的任意两个图像之间的图像相似度,由于所述图像相似度是通过任意两个图像之间的增广图像间关系特征所确定的,因此,在基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度时,可以有效地提高对两个图像之间的图像相似度进行确定的准确可靠性,从而在根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理时,可以获得并显示准确度更高的聚类结果,进一步提高了对图像聚类方法进行使用的准确可靠性,保证了该方法的实用性,有利于市场的推广与应用。
图16为本发明实施例提供的另一种图像聚类装置的结构示意图;参考附图16所示,本实施例提供了另一种图像聚类装置,该图像聚类装置可以执行上述图15所对应的图像聚类方法,并且,该图像聚类装置应用于数据处理平台,所述数据处理平台用于供至少一个用户进行数据处理操作,具体的,图像聚类装置可以包括第二获取模块31、第二确定模块32、第二处理模块33和第二显示模块34;具体的,
第二获取模块31,获取至少一个用户上传至所述数据处理平台的多个待聚类图像;
第二确定模块32,用于确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
第二处理模块33,用于根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
第二显示模块34,用于显示与所述多个待聚类图像相对应的聚类结果。
图16所示装置可以执行图15所示实施例的方法,本实施例未详细描述的部分,可参考对图15所示实施例的相关说明。该技术方案的执行过程和技术效果参见图15所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图16所示图像聚类装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图17所示,该电子设备可以包括:第二处理器41和第二存储器42。其中,第二存储器42用于存储相对应电子设备执行上述图15所示实施例中提供的图像聚类方法的程序,第二处理器41被配置为用于执行第二存储器42中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第二处理器41执行时能够实现如下步骤:
获取至少一个用户上传至所述数据处理平台的多个待聚类图像;
确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
显示与所述多个待聚类图像相对应的聚类结果。
进一步的,第二处理器41还用于执行前述图15所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第二通信接口43,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图15所示方法实施例中图像聚类方法所涉及的程序。
图18为本发明实施例提供的又一种图像聚类方法的流程示意图;参考附图18所示,本实施例提供了又一种图像聚类方法,该方法的执行主体可以为图像聚类装置,可以理解的是,该图像聚类装置可以实现为软件、或者软件和硬件的组合,并且,该图像聚类装置可以应用于数据通讯装置,所述数据通讯装置用于供至少一个用户进行数据通讯。
其中,在不同的应用场景中,数据通讯装置可以用于供用户实现不同的数据通讯操作,该数据通讯操作可以包括以下至少之一:即时通讯操作和非即时通讯操作等等;在数据通讯装置用于供用户进行即时通讯操作时,数据通讯装置可以为即时通讯装置,例如:钉钉应用程序等等。在数据通讯装置用于供用户进行异步通讯操作时,数据通讯装置可以为非即时通讯装置,例如:非即时通讯装置可以为邮件应用程序。
具体的,该图像聚类方法可以包括:
步骤S1801:获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像。
步骤S1802:确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定。
步骤S1803:根据所有的图像相似度对所述多个待聚类图像进行聚类处理。
步骤S1804:显示与所述多个待聚类图像相对应的聚类结果。
在一些实例中,数据通讯装置所获取到的多个待聚类图像所对应的用户可以位于一个通讯群组中。
其中,本实施例中上述步骤的具体实现方式和实现效果与图15所对应实施例的具体实现方式和实现效果相类似,具体可参考上述陈述内容,在此不再赘述。
为了便于理解,以能够实现即时通讯的钉钉程序作为数据通讯装置为例进行说明,能够访问钉钉程序的用户可以包括用户A、用户B和用户C,其中,用户A、用户B和用户C可以位于一个通讯群组中,用户A、用户B和用户C可以同步或者异步地在通讯群组进行数据通讯,并且可以在通讯群组中上传多个待聚类图像。
在获取到位于一个通讯群组中的至少一个用户所传输的多个待聚类图像时,为了提高图像聚类操作的质量和效率,可以统计针对通讯群组的、在预设时间段(例如:1min、5min或者10min等等)内所获取到的多个待聚类图像。在获取到针对通讯群组的多个待聚类图像之后,可以获取任意两个图像之间的图像相似度,该图像相似度可以是通过任意两个图像之间的增广图像间关系特征所确定的,在获取到所有的图像相似度之后,则可以基于所有的图像相似度对多个待聚类图像进行聚类处理,获得与所述多个待聚类图像相对应的聚类结果,例如:聚类结果包括与人物a相对应的图像a1、图像a2和图像a3、与人物b相对应的图像b1和图像b2以及与人物c相对应的图像c1、图像c2、图像c3和图像c4等等,而后则可以在通讯群组中对上述的聚类结果进行分组显示,以使得用户A、用户B和用户C可以及时、准确地获知到聚类结果。
本实施例提供的图像聚类方法,通过获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像,确定所述多个待聚类图像中的任意两个图像之间的图像相似度,由于所述图像相似度是通过任意两个图像之间的增广图像间关系特征所确定的,因此,在基于增广图像间关系特征确定与增广图像间关系特征相对应的两个图像之间的图像相似度时,可以有效地提高对两个图像之间的图像相似度进行确定的准确可靠性,从而在根据所有的图像相似度对待聚类图像集中所包括的图像进行聚类处理时,可以获得并显示准确度更高的聚类结果,进一步提高了对图像聚类方法进行使用的准确可靠性,保证了该方法的实用性,有利于市场的推广与应用。
图19为本发明实施例提供的又一种图像聚类装置的结构示意图;参考附图19所示,本实施例提供了又一种图像聚类装置,该图像聚类装置可以执行上述图18所对应的图像聚类方法,并且,该图像聚类装置应用于数据通讯装置,所述数据通讯装置用于供至少一个用户进行数据通讯,具体的,图像聚类装置可以包括第三获取模块51、第三确定模块52、第三处理模块53和第三显示模块54;具体的,
第三获取模块51,用于获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像;
第三确定模块52,用于确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
第三处理模块53,用于根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
第三显示模块54,用于显示与所述多个待聚类图像相对应的聚类结果。
图19所示装置可以执行图18所示实施例的方法,本实施例未详细描述的部分,可参考对图18所示实施例的相关说明。该技术方案的执行过程和技术效果参见图18所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图19所示图像聚类装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图20所示,该电子设备可以包括:第三处理器61和第三存储器62。其中,第三存储器62用于存储相对应电子设备执行上述图18所示实施例中提供的图像聚类方法的程序,第三处理器61被配置为用于执行第三存储器62中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第三处理器61执行时能够实现如下步骤:
获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像;
确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
显示与所述多个待聚类图像相对应的聚类结果。
进一步的,第三处理器61还用于执行前述图18所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第三通信接口63,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图18所示方法实施例中图像聚类方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (27)

1.一种图像聚类方法,其特征在于,包括:
获取待聚类图像集;
确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征;
基于所述增广图像间关系特征确定与所述增广图像间关系特征相对应的两个图像之间的图像相似度;
根据所有的图像相似度对所述待聚类图像集中所包括的图像进行聚类处理,获得与所述待聚类图像集相对应的聚类结果。
2.根据权利要求1所述的方法,其特征在于,所述增广图像间关系特征与以下至少之一相关:任意两个图像中所述图像所对应的图像特征、任意两个图像中所述图像所对应的上下文特征。
3.根据权利要求1所述的方法,其特征在于,确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征,包括:
获取与所述待聚类图像集中每个图像相对应的增广图像特征,所述增广图像特征包括:与所述图像相对应的图像特征和上下文特征;
基于与所述待聚类图像集中每个图像相对应的增广图像特征,确定所述待聚类图像集中的任意两个图像之间的增广图像间关系特征。
4.根据权利要求3所述的方法,其特征在于,获取与所述待聚类图像集中每个图像相对应的增广图像特征,包括:
提取与所述待聚类图像集中每个图像相对应的图像特征;
在所述待聚类图像集中,确定与所述图像特征相对应的邻近特征;
利用第一机器学习模型对所述图像特征和邻近特征进行增广处理,获得与所述待聚类图像集中每个图像相对应的增广图像特征,其中,所述第一机器学习模型被训练为用于对图像特征进行增广处理。
5.根据权利要求4所述的方法,其特征在于,在所述待聚类图像集中,确定与所述图像特征相对应的邻近特征,包括:
基于所述图像特征在所述待聚类图像集中进行近邻检索,获得与所述图像特征相对应的邻近特征集合,所述邻近特征集合中包括有与所述图像特征相对应的至少一个邻近特征;
在所述邻近特征集合中,确定与所述图像特征相对应的目标邻近特征。
6.根据权利要求5所述的方法,其特征在于,在所述邻近特征集合中,确定与所述图像特征相对应的目标邻近特征,包括:
获取用于限定所述目标邻近特征的数量的参数信息;
基于所述邻近特征集合和所述参数信息,确定与所述图像特征相对应的目标邻近特征。
7.根据权利要求4所述的方法,其特征在于,利用第一机器学习模型对所述图像特征和邻近特征进行增广处理,获得与所述待聚类图像集中每个图像相对应的增广图像特征,包括:
利用所述第一机器学习模型中所包括的自注意网络层和共同注意力层对所述邻近特征进行处理,获得与所述图像特征相对应的上下文特征;
基于所述图像特征和所述上下文特征,获得与所述待聚类图像集中每个图像相对应的增广图像特征。
8.根据权利要求7所述的方法,其特征在于,基于所述图像特征和所述上下文特征,获得与所述待聚类图像集中每个图像相对应的增广图像特征,包括:
对所述图像特征和所述上下文特征进行融合处理,获得融合后图像特征;
对所述融合后图像特征进行归一化处理,获得与所述待聚类图像集中每个图像相对应的增广图像特征。
9.根据权利要求3所述的方法,其特征在于,基于与所述待聚类图像集中每个图像相对应的增广图像特征,确定所述待聚类图像集中的任意两个图像之间的增广图像间关系特征,包括:
获取与所述待聚类图像集中每个图像相对应的第一增广图像特征、以及与所述图像相对应的邻近图像的第二增广图像特征;
利用第二机器学习模型对所述第一增广图像特征和所述第二增广图像特征进行增广处理,获得所述待聚类图像集中所述图像与所述邻近图像之间的增广图像间关系特征,其中,所述第二机器学习模型被训练为用于基于图像特征对两个图像之间的图像间关系特征进行增广处理。
10.根据权利要求9所述的方法,其特征在于,利用第二机器学习模型对所述第一增广图像特征和所述第二增广图像特征进行增广处理,获得所述待聚类图像集中所述图像与所述邻近图像之间的增广图像间关系特征,包括:
利用第二机器学习模型中的自注意网络层对所述第二增广图像特征进行处理,获得与所述邻近图像相对应的增广邻近图像特征;
基于所述增广邻近图像特征和所述第一增广图像特征,获得所述待聚类图像集中的图像与所述邻近图像之间的增广图像间关系特征。
11.根据权利要求10所述的方法,其特征在于,基于所述增广邻近图像特征和所述第一增广图像特征,获取所述待聚类图像集中的图像与所述邻近图像之间的增广图像间关系特征,包括:
对所述增广邻近图像特征和所述第一增广图像特征进行提取关系处理,获得所述待聚类图像集中的图像与所述邻近图像之间的增广图像间关系特征。
12.根据权利要求1所述的方法,其特征在于,基于所述增广图像间关系特征确定与所述增广图像间关系特征相对应的两个图像之间的图像相似度,包括:
利用分类器对所述增广图像间关系特征进行分析处理,获得与所述增广图像间关系特征相对应的两个图像之间的图像相似度。
13.根据权利要求1所述的方法,其特征在于,根据所有的图像相似度对所述待聚类图像集中所包括的图像进行聚类处理,获得与所述待聚类图像集相对应的聚类结果,包括:
获取用于对所述待聚类图像集中图像进行聚类处理的相似度阈值;
在所述图像相似度大于或等于所述相似度阈值时,则将所述图像相似度所对应的两个图像进行聚类处理,获得与所述待聚类图像集相对应的聚类簇。
14.根据权利要求13所述的方法,其特征在于,在获得与所述待聚类图像集相对应的聚类簇之后,所述方法还包括:
获取待处理图像以及与所述待处理图像相对应的第一图像特征;
确定与所述聚类簇相对应的增广类特征,所述增广类特征包括与所述聚类簇相对应的类特征和上下文信息;
基于所述第一图像特征和所述增广类特征,判断是否将所述待处理图像聚类至所述聚类簇。
15.根据权利要求14所述的方法,其特征在于,确定与所述聚类簇相对应的增广类特征,包括:
获取与所述聚类簇相对应的类特征以及邻近类特征;
利用第三机器学习模型对所述类特征和邻近类特征进行增广处理,获得与所述聚类簇相对应的增广类特征,其中,所述第三机器学习模型被训练为用于对聚类簇的类特征进行增广处理。
16.根据权利要求14所述的方法,其特征在于,基于所述第一图像特征和所述增广类特征,判断是否将所述待处理图像聚类至所述聚类簇,包括:
基于所述第一图像特征和所述增广类特征,获取所述待处理图像与所述聚类簇相之间的匹配度;
在所述匹配度大于或等于预设阈值时,则将所述待处理图像聚类至所述聚类簇;或者,
在所述匹配度小于预设阈值时,则禁止将所述待处理图像聚类至所述聚类簇。
17.根据权利要求1所述的方法,其特征在于,确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征,包括:
获取与所述待聚类图像集中每个图像相对应的图像特征;
基于与所述待聚类图像集中每个图像相对应的图像特征,确定所述待聚类图像集中的任意两个图像之间的增广图像间关系特征。
18.根据权利要求17所述的方法,其特征在于,基于与所述待聚类图像集中每个图像相对应的图像特征,确定所述待聚类图像集中的任意两个图像之间的增广图像间关系特征,包括:
在所述待聚类图像集中,确定与所述图像相对应的邻近图像;
利用第一机器学习模型对所述图像特征和与所述邻近图像相对应的邻近特征进行增广处理,获得与所述待聚类图像集中每个图像相对应的增广图像特征,其中,所述第一机器学习模型被训练为用于对图像特征进行增广处理。
19.根据权利要求1-18中任意一项所述的方法,其特征在于,所述待聚类图像集中包括待聚类的人脸图像。
20.一种图像聚类装置,其特征在于,包括:
第一获取模块,用于获取待聚类图像集;
第一确定模块,用于确定与所述待聚类图像集中的任意两个图像相对应的增广图像间关系特征,所述增广图像间关系特征与以下至少之一相关:任意两个图像中所述图像所对应的图像特征、任意两个图像中所述图像所对应的上下文特征;
所述第一确定模块,还用于基于所述增广图像间关系特征确定与所述增广图像间关系特征相对应的两个图像之间的图像相似度;
第一处理模块,用于根据所有的图像相似度对所述待聚类图像集中所包括的图像进行聚类处理,获得与所述待聚类图像集相对应的聚类结果。
21.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1-19中任意一项所述的图像聚类方法。
22.一种图像聚类方法,其特征在于,应用于数据处理平台,所述数据处理平台用于供至少一个用户进行数据处理操作,所述方法包括:
获取至少一个用户上传至所述数据处理平台的多个待聚类图像;
确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
显示与所述多个待聚类图像相对应的聚类结果。
23.一种图像聚类装置,其特征在于,应用于数据处理平台,所述数据处理平台用于供至少一个用户进行数据处理操作,所述装置包括:
第二获取模块,获取至少一个用户上传至所述数据处理平台的多个待聚类图像;
第二确定模块,用于确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
第二处理模块,用于根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
第二显示模块,用于显示与所述多个待聚类图像相对应的聚类结果。
24.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求22所述的图像聚类方法。
25.一种图像聚类方法,其特征在于,应用于数据通讯装置,所述数据通讯装置用于供至少一个用户进行数据通讯,所述方法包括:
获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像;
确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
显示与所述多个待聚类图像相对应的聚类结果。
26.一种图像聚类装置,其特征在于,应用于数据通讯装置,所述数据通讯装置用于供至少一个用户进行数据通讯,所述装置包括:
第三获取模块,用于获取至少一个用户通过所述数据通讯装置传输的多个待聚类图像;
第三确定模块,用于确定所述多个待聚类图像中的任意两个图像之间的图像相似度,所述图像相似度通过任意两个图像之间的增广图像间关系特征所确定;
第三处理模块,用于根据所有的图像相似度对所述多个待聚类图像进行聚类处理;
第三显示模块,用于显示与所述多个待聚类图像相对应的聚类结果。
27.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求25所述的图像聚类方法。
CN202011018629.0A 2020-09-24 2020-09-24 图像聚类方法、装置及计算机存储介质 Pending CN114255360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011018629.0A CN114255360A (zh) 2020-09-24 2020-09-24 图像聚类方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011018629.0A CN114255360A (zh) 2020-09-24 2020-09-24 图像聚类方法、装置及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114255360A true CN114255360A (zh) 2022-03-29

Family

ID=80790102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011018629.0A Pending CN114255360A (zh) 2020-09-24 2020-09-24 图像聚类方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114255360A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019078A (zh) * 2022-08-09 2022-09-06 阿里巴巴(中国)有限公司 数据聚类方法以及装置
CN115439676A (zh) * 2022-11-04 2022-12-06 浙江莲荷科技有限公司 图像聚类方法、装置以及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019078A (zh) * 2022-08-09 2022-09-06 阿里巴巴(中国)有限公司 数据聚类方法以及装置
CN115019078B (zh) * 2022-08-09 2023-01-24 阿里巴巴(中国)有限公司 车辆图像处理方法、计算设备及存储介质
CN115439676A (zh) * 2022-11-04 2022-12-06 浙江莲荷科技有限公司 图像聚类方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
US11748401B2 (en) Generating congruous metadata for multimedia
EP2266058B1 (en) Image classification using capture-location-sequence information
US20150317511A1 (en) System, method and apparatus for performing facial recognition
CN107590420A (zh) 视频分析中的场景关键帧提取方法及装置
CN109214428A (zh) 图像分割方法、装置、计算机设备及计算机存储介质
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
US20130343618A1 (en) Searching for Events by Attendants
CN114255360A (zh) 图像聚类方法、装置及计算机存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
US11804043B2 (en) Detecting objects in a video using attention models
CN107590419A (zh) 视频分析中的镜头关键帧提取方法及装置
Cao et al. Learning human photo shooting patterns from large-scale community photo collections
CN113408554A (zh) 数据处理方法、模型训练方法、装置及设备
CN101908057A (zh) 信息处理装置与信息处理方法
US8270731B2 (en) Image classification using range information
CN114519863A (zh) 人体重识别方法、人体重识别装置、计算机设备及介质
CN114170425A (zh) 模型训练、图像分类方法、服务器及存储介质
CN114330476A (zh) 用于媒体内容识别的模型训练方法及媒体内容识别方法
CN107480628B (zh) 一种人脸识别方法及装置
CN111444957B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN115171014B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN111008294A (zh) 交通图像处理、图像检索方法及装置
US11948391B2 (en) Model training method and apparatus, electronic device and readable storage medium
CN114548323A (zh) 商品分类方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination