CN111444366A - 图像分类方法、装置、存储介质及电子设备 - Google Patents

图像分类方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111444366A
CN111444366A CN202010281429.8A CN202010281429A CN111444366A CN 111444366 A CN111444366 A CN 111444366A CN 202010281429 A CN202010281429 A CN 202010281429A CN 111444366 A CN111444366 A CN 111444366A
Authority
CN
China
Prior art keywords
image
feature vector
similarity
clustered
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010281429.8A
Other languages
English (en)
Other versions
CN111444366B (zh
Inventor
周玄
李翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010281429.8A priority Critical patent/CN111444366B/zh
Publication of CN111444366A publication Critical patent/CN111444366A/zh
Priority to PCT/CN2021/075330 priority patent/WO2021203823A1/zh
Application granted granted Critical
Publication of CN111444366B publication Critical patent/CN111444366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种图像分类方法、装置、存储介质及电子设备,其中,首先获取待聚类图像,并提取待聚类图像的特征向量;将特征向量与聚类图像集合的中心特征向量进行比对;确定在比对过程中与特征向量的相似度最大且达到预设相似度的目标中心特征向量;将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合。由此,无需用户手动对电子设备上的图像进行分类,能够有效提高图像分类的效率。

Description

图像分类方法、装置、存储介质及电子设备
技术领域
本申请涉及图像分类技术领域,具体涉及一种图像分类方法、装置、存储介质及电子设备。
背景技术
目前,用户可以将大量的图像(比如拍摄得到的图像,从网络下载的图像等)存储在如手机、平板电脑等电子设备上,从而可以随时随地的进行浏览。为了便于准确的查找到的需要浏览的目标图像,相关技术可由用户对电子设备上的图像进行手动分类,从而在需要时依类查找目标图像。然而,随着电子设备中图像数量的不断增加,传统的手动分类方法将无法有效的对图像进行分类管理。
发明内容
本申请实施例提供了一种图像分类方法、装置、存储介质及电子设备,能够有效提高图像分类的效率。
本申请实施例提供图像分类方法,应用于电子设备,该图像分类方法包括:
获取待聚类图像,并提取所述待聚类图像的特征向量;
将所述特征向量与聚类图像集合的中心特征向量进行比对;
确定在比对过程中与所述特征向量的相似度最大且达到预设相似度的目标中心特征向量;
将所述待聚类图像添加至所述目标中心特征向量对应的目标聚类图像集合。
本申请实施例提供的图像分类装置,应用于电子设备,该图像分类装置包括:
图像获取模块,用于获取待聚类图像,并提取所述待聚类图像的特征向量;
特征比对模块,用于将所述特征向量与聚类图像集合的中心特征向量进行比对;
特征确定模块,用于确定在比对过程中与所述特征向量的相似度最大且达到预设相似度的目标中心特征向量;
图像处理模块,用于将所述待聚类图像添加至所述目标中心特征向量对应的目标聚类图像集合。
本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序被处理器加载时执行如本申请任一实施例提供的图像分类方法。
本申请实施例提供的电子设备,包括处理器和存储器,所述存储器存有计算机程序,所述处理器通过加载所述计算机程序,用于执行如本申请任一实施例提供的图像分类方法。
相较于相关技术,本申请首先获取待聚类图像,并提取待聚类图像的特征向量;将特征向量与聚类图像集合的中心特征向量进行比对;确定在比对过程中与特征向量的相似度最大且达到预设相似度的目标中心特征向量;将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合。由此,无需用户手动对电子设备上的图像进行分类,能够有效提高图像分类的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像分类方法的一流程示意图。
图2是本申请实施例中图像分类界面的示例图。
图3是本申请实施例中选择子界面的示例图。
图4是本申请实施例提供的图像分类方法的另一流程示意图。
图5是本申请实施例提供的图像分类装置的一结构示意图。
图6是本申请实施例提供的电子设备的一结构示意图。
具体实施方式
应当说明的是,以下的说明是通过所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,依赖经验的构图方法对于用户具有较高的要求,需要用户花费较多的时间和精力学习构图和积累经验,难以快速上手。用户在缺乏相关经验和指导的情况下,很难通过电子设备拍摄出高质量的图像。
为此,本申请实施例提供一种图像分类方法、图像分类装置、存储介质以及电子设备。其中,该图像分类方法的执行主体可以是本申请实施例提供的图像分类装置,或者集成了该图像分类装置的电子设备,其中该图像分类装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
请参照图1,图1为本申请实施例提供的图像分类方法的流程示意图,本申请实施例提供的图像分类方法的具体流程可以如下:
在101中,获取待聚类图像,并提取待聚类图像的特征向量。
示例性的,电子设备可以基于预设的图像分类周期,按照预设的图像选取规则,确定需要进行图像分类的待聚类图像;或者是在接收到用户输入的图像分类指令时,根据用户输入的图像分类指令确定需要进行图像分类的待聚类图像;或者是在电子设备设备拍摄得到或者下载得到新的图像时,将其作为待聚类图像。
应当说明的是,本申请实施例对于图像分类周期、图像选取规则以及图像分类指令的设置均不做具体限定,可由电子设备根据用户输入进行设置,也可由电子设备的生产厂商对电子设备进行缺省设置,等等。
比如,假设图像分类周期被预先配置为以周一为起点的自然周,且图像选取规则被配置为“选取拍摄的图像进行图像分类”这样,电子设备可以在每周一自动触发进行图像分类,将拍摄得到且尚未分类的图像确定为需要进行图像分类的待聚类图像。
又比如,电子设备可以通过包括请求输入接口的图像分类界面接收输入的图像分类指令,如图2所示,该请求输入接口可以为输入框的形式,用户可以在该输入框形式的请求输入接口中键入需要进行图像分类的图像的标识信息,并输入确认信息(如直接按下键盘的回车键)以输入图像分类指令,该图像分类指令携带有需要进行图像分类的图像的标识信息。相应的,电子设备即可根据接收到的图像分类指令中的标识信息确定需要进行图像分类的待聚类图像。
又比如,在图2所示的图像分类界面中,还包括“打开”控件,一方面,电子设备在侦测到该打开控件触发时,将在图像分类界面之上叠加显示选择子界面(如图3所示),该选择子界面向用户提供本地储存的可进行图像分类的图像的缩略图,如图像A、图像B、图像C、图像D、图像E、图像F等图像的缩略图,供用户查找并选中需要进行图像分类的图像的缩略图;另一方面,用户可以在选中需要进行图像分类的图像的缩略图之后,触发选择子界面提供的确认控件,以向电子设备输入图像分类指令,该图像分类指令与用户选中的图像的缩略图相关联,指示电子设备将用户选中的图像作为需要进行图像分类的待聚类图像。
此外,本领域普通技术人员还可以根据实际需要设置其它输入图像分类指令的具体实现方式,本发明对此不做具体限制。
在获取到待聚类图像之后,电子设备进一步对待聚类图像进行特征提取,提取得到待聚类图像的特征向量。其中,本申请实施例对于如何对待聚类图像进行特征提取不作具体限定,可由本领域普通技术人员根据实际需要进行配置。
比如,本申请实施例中采用MobileFaceNets结构的特征提取模型对待聚类图像进行特征提取,从而提取得到待聚类图像的特征向量。
在102中,将特征向量与聚类图像集合的中心特征向量进行比对。
其中,聚类图像集合包括多个在某一维度相同的图像,比如同一用户的图像,同一种动物的图像,同一种植物的图像等。
本申请实施例中,电子设备储存有至少一个聚类图像集合。电子设备在提取得到待聚类图像的特征向量之后,将该特征向量与电子设备储存的聚类图像集合的中心特征向量一一进行比对。其中,对于某聚类图像集合而言,其中心特征向量表征其包括每一图像的特征向量所组成的特征向量聚类的中心,能够代表整个聚类图像集合。
本申请实施例中。电子设备可以采用求取前述特征向量与聚类图像集合的中心特征向量的相似度的方式来实现对二者的比对。
示例性的,在比较两组向量相似度过程中,电子设备采用计算两组向量点积的方式,值越大表示两组向量相似度越大。因为在二维空间中,点积可以看做是一条直线在另一条直线上的投影,而0就表示两者相互垂直。
但是上面的论述是有局限性的,在此本申请引入余弦相似度,余弦相似度是用于高纬度向量相似度的计算,在集合概念上就是两个向量之间夹角的余弦值,值越大表示这个夹角越小,自然这两个向量的相似度就越高,计算公式如下:
Figure BDA0002446721640000051
从上面公式中显然可以发现,分子就是前述“点积”(也称为向量内积),所有也可以这样说:余弦相似度就是两个向量的点积除以两个向量模长的积。而在一种特殊情况下余弦相似度和点积是完全一致的,那就是这两个向量本身均为单位向量。
由于本申请采用MobileFaceNets结构的特征提取模型提取得到待聚类图像的特征向量,而该特征提取模型输出的均为单位向量,因此就可以直接使用点积表征向量相似度了。
在103中,确定在比对过程中与特征向量的相似度最大且达到预设相似度的目标中心特征向量。
以人像图像为例,每个人的日常装扮会发生变化,比如佩戴眼镜、改变发型、化妆等,即使是让人判断两张图像是否为同一个人都不甚容易。那么存在一种情况,同一人的图像可能被聚类为了两个聚类图像,当该人的新图像被作为待聚类图像(特征向量)与前述两个聚类图像集合(中心特征向量)比对时,可能新图像与两个聚类图像集合都足够相似。
基于此,本申请实施例中,电子设备进一步确定在比对过程中与特征向量的相似度达到预设相似度且值最大的中心特征特征向量,将其记为目标中心特征向量。其中,本申请对预设相似度的取值不作具体限制,可由本领域普通技术人员根据实际需要进行设置。
在104中,将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合。
本申请实施例中,并不当存在与前述特征向量的相似度达到预设相似度的中心特征向量时,将待聚类图像添加至该中心特征向量对应的图像聚类集合,而是将待聚类图像添加至与前述特征向量的相似度最大且达到预设相似度的目标中心特征向量所对应的聚类图像集合,记为目标聚类图像集合。
由上可知,本申请中,首先获取待聚类图像,并提取待聚类图像的特征向量;将特征向量与聚类图像集合的中心特征向量进行比对;确定在比对过程中与特征向量的相似度最大且达到预设相似度的目标中心特征向量;将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合。由此,无需用户手动对电子设备上的图像进行分类,能够有效提高图像分类的效率。
在一实施例中,确定在比对过程中与特征向量的相似度达到预设相似度且值最大的目标中心特征向量,包括:
(1)获取比对过程中,当前聚类图像集合的中心特征向量与特征向量的当前相似度;
(2)当前述当前相似度达到预设相似度时,判断当前相似度是否大于记录的历史相似度,历史相似度为历史聚类图像集合的中心特征向量与前述特征向量的相似度;
(3)若前述当前相似度大于记录的历史相似度,则记录当前相似度,并丢弃前述历史相似度后继续比对,若前述当前相似度小于或等于前述历史相似度,则直接继续比对;
(4)当比对完成时,将最终记录的相似度所对应的中心特征向量作为目标中心特征向量。
其中,当前聚类图像集合的中心特征向量即正在与前述特征向量进行比对的聚类图像集合的中心特征向量。
以当前聚类图像集合为第一个比对的聚类图像集合为例,电子设备首先获取当前聚类图像集合的中心特征向量与前述特征向量的相似度,记为当前相似度,并判断当前相似度是否达到预设相似度。若前述当前相似度达到预设相似度,则电子设备进一步判断当前相似度是否大于已记录的历史相似度,由于此时为第一次比对,不存在历史相似度,直接记录该当前相似度。
在当前聚类图像集合为第二个比对的聚类图像集合时,电子设备同样获取到当前聚类图像集合的中心特征向量与前述特征向量的相似度,记为当前相似度,并判断当前相似度是否达到预设相似度。若当前相似度达到预设相似度,则电子设备进一步判断当前相似度是否大于记录的历史相似度(此时为第一次比对的相似度),若当前相似度大于前述历史相似度,则记录当前相似度,并丢弃前述历史相似度后继续比对;若当前相似度小于或等于前述历史相似度,则直接继续比对,直至比对完成。
由此,当比对完成时,最终记录的相似度所对应的中心特征向量即为与前述特征向量的相似度达到预设相似度且值最大的目标中心特征向量。
在一实施例中,待聚类图像包括待聚类人脸图像,提取待聚类图像的特征向量,包括:
(1)调用预训练的人脸检测模型对待聚类人脸图像进行人脸检测,得到人脸区域;
(2)调用预训练的特征提取模型对人脸区域内的图像内容进行特征提取,得到特征向量。
本申请实施例中,以待聚类图像为待聚类人脸图像为例进行说明。
为了能够更为准确的对待聚类人脸图像进行分类,电子设备并不对完整的待聚类人脸图像进行特征提取,而是对能够表征其特征的部分进行特征提取。
相应的,电子设备调用预训练的人脸检测模型对待聚类人脸图像进行人脸检测,得到待聚类人脸图像的人脸区域;然后,再调用预训练的特征提取模型对待聚类人脸图像的人脸区域内的图像内容进行特征提取,得到表征待聚类人脸图像的特征向量。
其中,本申请实施例对人脸检测模型和特征提取模型的构型不做具体限定,可由本领域普通技术人员根据实际需要进行选取训练。
在一实施例中,将特征向量与聚类图像集合的中心特征向量进行比对,包括:
(1)获取每一聚类图像集合最后添加图像的添加时刻;
(2)按照添加时刻的先后顺序,将特征向量与每一聚类图像集合的中心特征向量进行比对。
本申请实施例中提供一种可选的比对方式。
其中,电子设备首先获取每一聚类图像集合最后添加图像的添加时刻;然后按照每一聚类图像集合对应的添加时刻的先后顺序,将前述特征向量与每一聚类图像集合的中心特征向量进行比对。
比如,电子设备可以按照添加时刻由近及远的顺序,将前述特征向量与每一聚类图像集合的中心特征向量进行比对,也可以按照添加时刻由远及近的顺序,将前述特征向量与每一聚类图像集合的中心特征向量进行比对。
在一实施例中,确定在比对过程中与特征向量的相似度达到预设相似度且值最大的目标中心特征向量之后,还包括:
当不存在与特征向量的相似度达到预设相似度的中心特征向量时,根据待聚类图像创建新的聚类图像集合。
其中,当不存在与特征向量的相似度达到预设相似度的中心特征向量时,即说明待聚类图像与当前存在的所有聚类图像集合均不够相似,此时电子设备创建一个新的聚类图像集合,并将待聚类图像添加至这个新的聚类图像集合。
此外,由于这个新的聚类图像集合中此时仅存在前述待聚类图像,电子设备直接将前述待聚类图像的特征向量设为这个新的聚类图像集合的中心特征向量。
在一实施例中,将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合之后,还包括:
根据前述特征向量,更新目标聚类图像集合的中心特征向量。
在将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合之后,由于目标聚类图像集合添加了新的图像,可能其之前的中心特征向量此时并不能准确的对其进行表征。相应的,电子设备在将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合之后,还根据待聚类图像的特征向量以及目标聚类图像集合中所有其它图像的特征向量,对目标聚类图像集合的中心特征向量进行更新,也即是重新确定出添加有前述待聚类图像集合的目标聚类图像集合的中心特征向量。
在一实施例中,本申请提供的图像分类方法,还包括:
识别是否存在两个聚类图像集合之间中心特征向量的相似度达到预设相似度,是则将两个聚类图像集合合并为一个聚类图像集合。
以人像为例,人物A完全可能有化妆和不化妆两种情况,然后针对两种情况拍摄的图像各自形成了两组聚类图像集合。当人物A化妆与不化妆两个状态的聚类图像集合中图像不断增多,二者之间中心特征向量的是趋向于越来越相似的,因此总有某时刻两个聚类图像集合之间中心特征向量的相似度也会达到预设相似度。
本申请实施例中为解决类似情况,电子设备还识别是否存在两个聚类图像集合之间中心特征向量的相似度达到预设相似度,是则将两个聚类图像集合合并为一个聚类图像集合。
请参照图4,本申请提供的图像分类方法的流程还可以为:
在201中,电子设备获取待聚类人脸图像。
示例性的,电子设备可以基于预设的图像分类周期,按照预设的图像选取规则,确定需要进行图像分类的待聚类人脸图像;或者是在接收到用户输入的图像分类指令时,根据用户输入的图像分类指令确定需要进行图像分类的待聚类人脸图像;或者是在电子设备设备拍摄得到或者下载得到新的图像时,将其作为待聚类人脸图像。
应当说明的是,本申请实施例对于图像分类周期、图像选取规则以及图像分类指令的设置均不做具体限定,可由电子设备根据用户输入进行设置,也可由电子设备的生产厂商对电子设备进行缺省设置,等等。
在202中,电子设备调用预训练的人脸检测模型对待聚类人脸图像进行人脸检测,得到人脸区域。
在203中,电子设备调用预训练的特征提取模型对人脸区域内的图像内容进行特征提取,得到待聚类人脸图像的特征向量。
为了能够更为准确的对待聚类人脸图像进行分类,电子设备并不对完整的待聚类人脸图像进行特征提取,而是对能够表征其特征的部分进行特征提取。
相应的,电子设备调用预训练的人脸检测模型对待聚类人脸图像进行人脸检测,得到待聚类人脸图像的人脸区域;然后,再调用预训练的特征提取模型对待聚类人脸图像的人脸区域内的图像内容进行特征提取,得到表征待聚类人脸图像的特征向量。
其中,本申请实施例对人脸检测模型和特征提取模型的构型不做具体限定,可由本领域普通技术人员根据实际需要进行选取训练。比如,本申请实施例中采用MobileFaceNets结构的特征提取模型进行特征提取,从而提取得到待聚类人脸图像的特征向量。
在204中,电子设备将前述特征向量与聚类图像集合的中心特征向量进行比对。
其中,聚类图像集合包括多个归属于同一人物人脸的图像。
本申请实施例中,电子设备储存有至少一个聚类图像集合。电子设备在提取得到待聚类人脸图像的特征向量之后,将该特征向量与电子设备储存的聚类图像集合的中心特征向量一一进行比对。其中,对于某聚类图像集合而言,其中心特征向量表征其包括每一图像的特征向量所组成的特征向量聚类的中心,能够代表整个聚类图像集合。
本申请实施例中。电子设备可以采用求取前述特征向量与聚类图像集合的中心特征向量的相似度的方式来实现对二者的比对。
示例性的,在比较两组向量相似度过程中,电子设备采用计算两组向量点积的方式,值越大表示两组向量相似度越大。因为在二维空间中,点积可以看做是一条直线在另一条直线上的投影,而0就表示两者相互垂直。
但是上面的论述是有局限性的,在此本申请引入余弦相似度,余弦相似度是用于高纬度向量相似度的计算,在集合概念上就是两个向量之间夹角的余弦值,值越大表示这个夹角越小,自然这两个向量的相似度就越高,计算公式如下:
Figure BDA0002446721640000111
从上面公式中显然可以发现,分子就是前述“点积”(也称为向量内积),所有也可以这样说:余弦相似度就是两个向量的点积除以两个向量模长的积。而在一种特殊情况下余弦相似度和点积是完全一致的,那就是这两个向量本身均为单位向量。
由于本申请采用MobileFaceNets结构的特征提取模型提取得到待聚类人脸图像的特征向量,而该特征提取模型输出的均为单位向量,因此就可以直接使用点积表征向量相似度了。
在205中,电子设备确定在比对过程中与前述特征向量的相似度最大且达到预设相似度的目标中心特征向量。
每个人的日常装扮会发生变化,比如佩戴眼镜、改变发型、化妆等,即使是让人判断两张图像是否为同一个人都不甚容易。那么存在一种情况,同一人的图像可能被聚类为了两个聚类图像,当该人的新图像被作为待聚类人脸图像(特征向量)与前述两个聚类图像集合(中心特征向量)比对时,可能新图像与两个聚类图像集合都足够相似。
基于此,本申请实施例中,电子设备进一步确定在比对过程中与特征向量的相似度达到预设相似度且值最大的中心特征特征向量,将其记为目标中心特征向量。其中,本申请对预设相似度的取值不作具体限制,可由本领域普通技术人员根据实际需要进行设置。
在206中,电子设备将待聚类人脸图像添加至目标中心特征向量对应的目标聚类图像集合。
本申请实施例中,并不当存在与前述特征向量的相似度达到预设相似度的中心特征向量时,将待聚类人脸图像添加至该中心特征向量对应的图像聚类集合,而是将待聚类人脸图像添加至与前述特征向量的相似度最大且达到预设相似度的目标中心特征向量所对应的聚类图像集合,记为目标聚类图像集合。
在207中,电子设备根据前述特征向量,更新目标聚类图像集合的中心特征向量。
在将待聚类人脸图像添加至目标中心特征向量对应的目标聚类图像集合之后,由于目标聚类图像集合添加了新的图像,可能其之前的中心特征向量此时并不能准确的对其进行表征。相应的,电子设备在将待聚类人脸图像添加至目标中心特征向量对应的目标聚类图像集合之后,还根据待聚类人脸图像的特征向量以及目标聚类图像集合中所有其它图像的特征向量,对目标聚类图像集合的中心特征向量进行更新,也即是重新确定出添加有前述待聚类人脸图像集合的目标聚类图像集合的中心特征向量。
在208中,电子设备识别是否存在两个聚类图像集合之间中心特征向量的相似度达到预设相似度,是则将两个聚类图像集合合并为一个聚类图像集合。
如上所述,人物A完全可能有化妆和不化妆两种情况,然后针对两种情况拍摄的图像各自形成了两组聚类图像集合。当人物A化妆与不化妆两个状态的聚类图像集合中图像不断增多,二者之间中心特征向量的是趋向于越来越相似的,因此总有某时刻两个聚类图像集合之间中心特征向量的相似度也会达到预设相似度。
本申请实施例中为解决类似情况,电子设备还识别是否存在两个聚类图像集合之间中心特征向量的相似度达到预设相似度,是则将两个聚类图像集合合并为一个聚类图像集合。
在一实施例中,还提供一种图像分类装置。请参照图5,图5为本申请实施例提供的图像分类装置的结构示意图。其中该图像分类装置应用于电子设备,该图像分类装置包括图像获取模块301、特征比对模块302、特征确定模块303以及图像处理模块304,如下:
图像获取模块301,用于获取待聚类图像,并提取待聚类图像的特征向量;
特征比对模块302,用于将特征向量与聚类图像集合的中心特征向量进行比对;
特征确定模块303,用于确定在比对过程中与特征向量的相似度最大且达到预设相似度的目标中心特征向量;
图像处理模块304,用于将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合。
在一实施例中,在确定在比对过程中与特征向量的相似度达到预设相似度且值最大的目标中心特征向量时,特征确定模块303用于:
获取比对过程中,当前聚类图像集合的中心特征向量与特征向量的当前相似度;
当前述当前相似度达到预设相似度时,判断当前相似度是否大于记录的历史相似度,历史相似度为历史聚类图像集合的中心特征向量与前述特征向量的相似度;
若前述当前相似度大于记录的历史相似度,则记录当前相似度,并丢弃前述历史相似度后继续比对,若前述当前相似度小于或等于前述历史相似度,则直接继续比对;
当比对完成时,将最终记录的相似度所对应的中心特征向量作为目标中心特征向量。
在一实施例中,待聚类图像包括待聚类人脸图像,在提取待聚类图像的特征向量时,图像获取模块301用于:
调用预训练的人脸检测模型对待聚类人脸图像进行人脸检测,得到人脸区域;
调用预训练的特征提取模型对人脸区域内的图像内容进行特征提取,得到特征向量。
在一实施例中,在将特征向量与聚类图像集合的中心特征向量进行比对时,特征比对模块302用于:
获取每一聚类图像集合最后添加图像的添加时刻;
按照添加时刻的先后顺序,将特征向量与每一聚类图像集合的中心特征向量进行比对。
在一实施例中,在确定在比对过程中与特征向量的相似度达到预设相似度且值最大的目标中心特征向量之后,图像处理模块304还用于:
当不存在与特征向量的相似度达到预设相似度的中心特征向量时,根据待聚类图像创建新的聚类图像集合。
在一实施例中,在将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合之后,图像处理模块304还用于:
根据前述特征向量,更新目标聚类图像集合的中心特征向量。
在一实施例中,图像处理模块304还用于:
识别是否存在两个聚类图像集合之间中心特征向量的相似度达到预设相似度,是则将两个聚类图像集合合并为一个聚类图像集合。
应当说明的是,本申请实施例提供的图像分类装置与上文实施例中的图像分类方法属于同一构思,在图像分类装置上可以运行图像分类方法实施例中提供的任一方法,其具体实现过程详见以上实施例,此处不再赘述。
在一实施例中,还提供一种电子设备,请参照图6,电子设备包括处理器401和存储器402。
本申请实施例中的处理器401是通用处理器,比如ARM架构的处理器。
存储器402中存储有计算机程序,其可以为高速随机存取存储器,还可以为非易失性存储器,比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402中计算机程序的访问,实现如下功能:
获取待聚类图像,并提取待聚类图像的特征向量;
将特征向量与聚类图像集合的中心特征向量进行比对;
确定在比对过程中与特征向量的相似度最大且达到预设相似度的目标中心特征向量;
将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合。
在一实施例中,在确定在比对过程中与特征向量的相似度达到预设相似度且值最大的目标中心特征向量时,处理器401用于执行:
获取比对过程中,当前聚类图像集合的中心特征向量与特征向量的当前相似度;
当前述当前相似度达到预设相似度时,判断当前相似度是否大于记录的历史相似度,历史相似度为历史聚类图像集合的中心特征向量与前述特征向量的相似度;
若前述当前相似度大于记录的历史相似度,则记录当前相似度,并丢弃前述历史相似度后继续比对,若前述当前相似度小于或等于前述历史相似度,则直接继续比对;
当比对完成时,将最终记录的相似度所对应的中心特征向量作为目标中心特征向量。
在一实施例中,待聚类图像包括待聚类人脸图像,在提取待聚类图像的特征向量时,处理器401用于执行:
调用预训练的人脸检测模型对待聚类人脸图像进行人脸检测,得到人脸区域;
调用预训练的特征提取模型对人脸区域内的图像内容进行特征提取,得到特征向量。
在一实施例中,在将特征向量与聚类图像集合的中心特征向量进行比对时,处理器401用于执行:
获取每一聚类图像集合最后添加图像的添加时刻;
按照添加时刻的先后顺序,将特征向量与每一聚类图像集合的中心特征向量进行比对。
在一实施例中,在确定在比对过程中与特征向量的相似度达到预设相似度且值最大的目标中心特征向量之后,处理器401还用于执行:
当不存在与特征向量的相似度达到预设相似度的中心特征向量时,根据待聚类图像创建新的聚类图像集合。
在一实施例中,在将待聚类图像添加至目标中心特征向量对应的目标聚类图像集合之后,处理器401还用于执行:
根据前述特征向量,更新目标聚类图像集合的中心特征向量。
在一实施例中,处理器401还用于执行:
识别是否存在两个聚类图像集合之间中心特征向量的相似度达到预设相似度,是则将两个聚类图像集合合并为一个聚类图像集合。
应当说明的是,本申请实施例提供的电子设备与上文实施例中的图像分类方法属于同一构思,在电子设备上可以运行图像分类方法实施例中提供的任一方法,其具体实现过程详见特征提取方法实施例,此处不再赘述。
需要说明的是,对本申请实施例的图像分类方法而言,本领域普通测试人员可以理解实现本申请实施例的图像分类方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的处理器执行,在执行过程中可包括如图像分类方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
以上对本申请实施例所提供的一种图像分类方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像分类方法,应用于电子设备,其特征在于,包括:
获取待聚类图像,并提取所述待聚类图像的特征向量;
将所述特征向量与聚类图像集合的中心特征向量进行比对;
确定在比对过程中与所述特征向量的相似度最大且达到预设相似度的目标中心特征向量;
将所述待聚类图像添加至所述目标中心特征向量对应的目标聚类图像集合。
2.根据权利要求1所述的图像分类方法,其特征在于,所述确定在比对过程中与所述特征向量的相似度达到预设相似度且值最大的目标中心特征向量,包括:
获取比对过程中,当前聚类图像集合的中心特征向量与所述特征向量的当前相似度;
当所述当前相似度达到预设相似度时,判断所述当前相似度是否大于记录的历史相似度,所述历史相似度为历史聚类图像集合的中心特征向量与所述特征向量的相似度;
若所述当前相似度大于所述历史相似度,则记录所述当前相似度,并丢弃所述历史相似度后继续比对,若所述当前相似度小于或等于所述历史相似度时,则直接继续比对;
当比对完成时,将最终记录的相似度所对应的中心特征向量作为所述目标中心特征向量。
3.根据权利要求1所述的图像分类方法,其特征在于,所述待聚类图像包括待聚类人脸图像,所述提取所述待聚类图像的特征向量,包括:
调用预训练的人脸检测模型对所述待聚类人脸图像进行人脸检测,得到人脸区域;
调用预训练的特征提取模型对所述人脸区域内的图像内容进行特征提取,得到所述特征向量。
4.根据权利要求1所述的图像分类方法,其特征在于,所述将所述特征向量与聚类图像集合的中心特征向量进行比对,包括:
获取每一聚类图像集合最后添加图像的添加时刻;
按照添加时刻的先后顺序,将所述特征向量与每一聚类图像集合的中心特征向量进行比对。
5.根据权利要求1-4任一项所述的图像分类方法,其特征在于,所述确定在比对过程中与所述特征向量的相似度达到预设相似度且值最大的目标中心特征向量之后,还包括:
当不存在与所述特征向量的相似度达到所述预设相似度的中心特征向量时,根据所述待聚类图像创建新的聚类图像集合。
6.根据权利要求1-4任一项所述的图像分类方法,其特征在于,所述将所述待聚类图像添加至所述目标中心特征向量对应的目标聚类图像集合之后,还包括:
根据所述特征向量,更新所述目标聚类图像集合的中心特征向量。
7.根据权利要求1-4任一项所述的图像分类方法,其特征在于,还包括:
识别是否存在两个聚类图像集合之间中心特征向量的相似度达到所述预设相似度,是则将所述两个聚类图像集合合并为一个聚类图像集合。
8.一种图像分类装置,应用于电子设备,其特征在于,包括:
图像获取模块,用于获取待聚类图像,并提取所述待聚类图像的特征向量;
特征比对模块,用于将所述特征向量与聚类图像集合的中心特征向量进行比对;
特征确定模块,用于确定在比对过程中与所述特征向量的相似度最大且达到预设相似度的目标中心特征向量;
图像处理模块,用于将所述待聚类图像添加至所述目标中心特征向量对应的目标聚类图像集合。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序被处理器加载时执行如权利要求1至7任一项所述的图像分类方法。
10.一种电子设备,包括处理器和存储器,所述存储器储存有计算机程序,其特征在于,所述处理器通过加载所述计算机程序,用于执行如权利要求1至7任一项所述的图像分类方法。
CN202010281429.8A 2020-04-10 2020-04-10 图像分类方法、装置、存储介质及电子设备 Active CN111444366B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010281429.8A CN111444366B (zh) 2020-04-10 2020-04-10 图像分类方法、装置、存储介质及电子设备
PCT/CN2021/075330 WO2021203823A1 (zh) 2020-04-10 2021-02-04 图像分类方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010281429.8A CN111444366B (zh) 2020-04-10 2020-04-10 图像分类方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111444366A true CN111444366A (zh) 2020-07-24
CN111444366B CN111444366B (zh) 2024-02-20

Family

ID=71650249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010281429.8A Active CN111444366B (zh) 2020-04-10 2020-04-10 图像分类方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN111444366B (zh)
WO (1) WO2021203823A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931670A (zh) * 2020-08-14 2020-11-13 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统
CN111985360A (zh) * 2020-08-05 2020-11-24 上海依图网络科技有限公司 一种人脸识别的方法、装置、设备和介质
CN113139589A (zh) * 2021-04-12 2021-07-20 网易(杭州)网络有限公司 图片相似度检测方法、装置、处理器及电子装置
WO2021203823A1 (zh) * 2020-04-10 2021-10-14 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备
CN115439676A (zh) * 2022-11-04 2022-12-06 浙江莲荷科技有限公司 图像聚类方法、装置以及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375934B (zh) * 2022-10-25 2023-04-11 北京鹰瞳科技发展股份有限公司 用于对进行聚类的模型进行训练分析的方法和相关产品
CN116599778B (zh) * 2023-07-18 2023-09-26 山东溯源安全科技有限公司 用于确定恶意设备的数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766822A (zh) * 2017-10-23 2018-03-06 平安科技(深圳)有限公司 电子装置、人脸图像聚类搜索方法和计算机可读存储介质
CN109002843A (zh) * 2018-06-28 2018-12-14 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109948734A (zh) * 2019-04-02 2019-06-28 北京旷视科技有限公司 图像聚类方法、装置及电子设备
CN110175555A (zh) * 2019-05-23 2019-08-27 厦门市美亚柏科信息股份有限公司 人脸图像聚类方法和装置
CN110781957A (zh) * 2019-10-24 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP6757913B2 (ja) * 2016-02-26 2020-09-23 国立研究開発法人情報通信研究機構 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム
CN108229289B (zh) * 2017-06-27 2021-02-05 北京市商汤科技开发有限公司 目标检索方法、装置和电子设备
CN109447895B (zh) * 2018-09-03 2021-06-08 腾讯科技(武汉)有限公司 图片生成方法和装置、存储介质及电子装置
CN110348362B (zh) * 2019-07-05 2022-10-28 北京达佳互联信息技术有限公司 标签生成、视频处理方法、装置、电子设备及存储介质
CN111444366B (zh) * 2020-04-10 2024-02-20 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766822A (zh) * 2017-10-23 2018-03-06 平安科技(深圳)有限公司 电子装置、人脸图像聚类搜索方法和计算机可读存储介质
CN109002843A (zh) * 2018-06-28 2018-12-14 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109948734A (zh) * 2019-04-02 2019-06-28 北京旷视科技有限公司 图像聚类方法、装置及电子设备
CN110175555A (zh) * 2019-05-23 2019-08-27 厦门市美亚柏科信息股份有限公司 人脸图像聚类方法和装置
CN110781957A (zh) * 2019-10-24 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏新宁等: "《文本挖掘中若干核心技术研究》", 北京理工大学出版社, pages: 114 - 116 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203823A1 (zh) * 2020-04-10 2021-10-14 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备
CN111985360A (zh) * 2020-08-05 2020-11-24 上海依图网络科技有限公司 一种人脸识别的方法、装置、设备和介质
CN111931670A (zh) * 2020-08-14 2020-11-13 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统
CN111931670B (zh) * 2020-08-14 2024-05-31 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统
CN113139589A (zh) * 2021-04-12 2021-07-20 网易(杭州)网络有限公司 图片相似度检测方法、装置、处理器及电子装置
CN113139589B (zh) * 2021-04-12 2023-02-28 网易(杭州)网络有限公司 图片相似度检测方法、装置、处理器及电子装置
CN115439676A (zh) * 2022-11-04 2022-12-06 浙江莲荷科技有限公司 图像聚类方法、装置以及电子设备

Also Published As

Publication number Publication date
CN111444366B (zh) 2024-02-20
WO2021203823A1 (zh) 2021-10-14

Similar Documents

Publication Publication Date Title
CN111444366A (zh) 图像分类方法、装置、存储介质及电子设备
WO2021232978A1 (zh) 视频处理方法、装置、电子设备及计算机可读介质
TWI484422B (zh) 用以提供姿態分析之方法、裝置和電腦程式產品
CN104994426B (zh) 节目视频识别方法及系统
US9898847B2 (en) Multimedia picture generating method, device and electronic device
US20170192500A1 (en) Method and electronic device for controlling terminal according to eye action
EP3023937A1 (en) Image segmentation method and image segmentation device
CN107239535A (zh) 相似图片检索方法及装置
EP3410258B1 (en) Method for pushing picture, mobile terminal and storage medium
US20120062597A1 (en) Adding metadata apparatus
JP5662670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN104615769A (zh) 图片分类方法及装置
US9021020B1 (en) Application recognition based on media analysis
CN109639952B (zh) 一种拍照搜题方法及电子设备
CN106485567B (zh) 物品推荐方法及装置
CN105404863A (zh) 人物特征识别方法及系统
US20150189384A1 (en) Presenting information based on a video
WO2021115277A1 (zh) 图像检索方法、装置、存储介质及电子设备
WO2014186840A1 (en) Image recognition of vehicle parts
CN113779303A (zh) 视频集合的索引方法、装置和存储介质及电子设备
CN104765796A (zh) 一种图像识别搜索方法及装置
WO2020001016A1 (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN110110146A (zh) 基于人工智能的视频短片搜索方法、装置、介质和设备
CN103984415B (zh) 一种信息处理方法及电子设备
CN110019907B (zh) 一种图像检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant