CN108875797A - 一种确定图像相似度的方法、相册管理方法及相关设备 - Google Patents
一种确定图像相似度的方法、相册管理方法及相关设备 Download PDFInfo
- Publication number
- CN108875797A CN108875797A CN201810530916.6A CN201810530916A CN108875797A CN 108875797 A CN108875797 A CN 108875797A CN 201810530916 A CN201810530916 A CN 201810530916A CN 108875797 A CN108875797 A CN 108875797A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- level
- user
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种确定图像相似度的方法、相册管理方法及相关设备,其中,确定图像相似度的方法包括:获取第一图像集合中任意两张图像之间在多个层级的相似度以及用户针对历史图像集合的操作行为数据,并根据操作行为数据确定多个层级的相似度各自对应的目标加权系数,进而根据多个层级的相似度以及多个层级的相似度各自对应的目标加权系数,确定出上述任意两张图像之间的目标相似度。采用本发明,可以提高图像相似度确定的准确度,能够满足用户的个性化需求。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种确定图像相似度的方法、相册管理方法及相关设备。
背景技术
随着图像处理技术的飞速发展,图像相似度的确定仍然是一个备受争议的话题,对于同样两张图像,从不同层级去确定两者之间的相似度也可能会存在巨大差异。
目前,图像的相似度算法一般是基于某一个维度来确定相似度,或者在一个具体的应用场景,也可能是将多层级的相似度进行结合,但这种结合基本上都是静态的,也就是说判断相似度的标准是统一的,得出的相似度不够准确,很难满足用户的个性化需求。因此,如何准确地确定图像之间的相似度成为一个亟待解决的问题。
发明内容
本发明实施例提供一种确定图像相似度的方法、相册管理方法及相关设备,可提高图像相似度确定的准确度,能够满足用户的个性化需求。
一方面,本发明实施例提供了一种确定图像相似度的方法,包括:
获取第一图像集合中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
获取用户针对历史图像集合的操作行为数据;
根据所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数;
根据所述多个层级的相似度以及所述多个层级的相似度各自对应的所述目标加权系数,确定出所述任意两张图像之间的目标相似度。
另一方面,本发明实施例还提供了一种确定图像相似度的装置,包括:
获取模块,用于获取第一图像集合中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
所述获取模块,还用于获取用户针对历史图像集合的操作行为数据,所述第一图像集合与所述历史图像集合相同或者不同;
确定模块,用于根据所述获取模块获取到的所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数;
所述确定模块,还用于根据所述多个层级的相似度以及所述多个层级的相似度各自对应的所述目标加权系数,确定出所述任意两张图像之间的目标相似度。
再一方面,本发明实施例还提供了一种相册分类方法,包括:
获取用户在一段时间内针对历史相册的管理操作,所述管理操作包括图像分组、图像删除和图像移除中的一种或多种;
获取当前相册中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
根据所述管理操作和当前相册中任意两张图像之间在多个层级的相似度,确定出所述任意两张图像之间对应于所述用户的个性化相似度,所述多个层级用于表征图像在不同维度的特征;
根据所述个性化相似度对所述当前相册中的图像进行分类处理。
又一方面,本发明实施例还提供了一种相册分类装置,包括:
获取模块,用于获取用户在一段时间内针对历史相册的管理操作,所述管理操作包括图像分组、图像删除和图像移除中的一种或多种;
获取模块,还用于获取当前相册中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
确定模块,用于根据所述管理操作和当前相册中任意两张图像之间在多个层级的相似度,确定出所述任意两张图像之间对应于所述用户的个性化相似度;
分类模块,用于根据所述个性化相似度对所述当前相册中的图像进行分类处理。
又一方面,本发明实施例还提供了一种电子设备,包括:处理器和存储装置;所述存储装置,用于存储程序指令;所述处理器,调用所述程序指令,用于执行上述的确定图像相似度的方法或者上述的相册分类方法。
相应地,本发明实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,该程序指令被执行时,用于实现上述的确定图像相似度的方法或者上述的相册分类方法。
本发明实施例中,电子设备可以获取第一图像集合中任意两张图像之间在多个层级的相似度以及用户针对历史图像集合的操作行为数据,并根据操作行为数据确定多个层级的相似度各自对应的目标加权系数,进而根据多个层级的相似度以及多个层级的相似度各自对应的目标加权系数,确定出任意两张图像之间的目标相似度。采用本发明,可以通过学习用户的操作习惯准确地确定出图像相似度,能够满足用户的个性化需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例涉及的一种图像管理场景的示意图;
图1b是本发明实施例涉及的另一种图像管理场景的示意图;
图1c是本发明实施例涉及的又一种图像管理场景的示意图;
图1d是本发明实施例涉及的又一种图像管理场景的示意图;
图1e是本发明实施例涉及的又一种图像管理场景的示意图;
图2是本发明实施例提供的一种确定图像相似度方法的流程示意图;
图3是本发明实施例提供的另一种确定图像相似度方法的流程示意图;
图4是本发明实施例提供的又一种确定图像相似度方法的流程示意图;
图4a是本发明实施例提供的一种图像管理操作界面示意图;
图4b是本发明实施例提供的另一种图像管理操作界面示意图;
图4c是本发明实施例提供的又一种图像管理操作界面示意图;
图4d是本发明实施例提供的又一种图像管理操作界面示意图;
图4e是本发明实施例提供的又一种图像管理操作界面示意图;
图4f是本发明实施例提供的又一种图像管理操作界面示意图;
图4g是本发明实施例提供的又一种图像管理操作界面示意图;
图4h是本发明实施例提供的又一种图像管理操作界面示意图;
图4i是本发明实施例提供的又一种图像管理操作界面示意图;
图4j是本发明实施例提供的又一种图像管理操作界面示意图;
图4k是本发明实施例提供的又一种图像管理操作界面示意图;
图4l是本发明实施例提供的又一种图像管理操作界面示意图;
图4m是本发明实施例提供的又一种图像管理操作界面示意图;
图5是本发明实施例提供的一种相册分类方法的流程示意图;
图6是本发明实施例提供的一种确定图像相似度装置的结构示意图;
图7是本发明实施例提供的一种电子设备的结构示意图;
图8是本发明实施例提供的一种相册分类装置的结构示意图;
图9是本发明实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例所描述的多个层级用于表征图像在不同维度的特征,可以包括第一层级、第二层级、第三层级和第四层级中的至少一种。在一个实施例中,第一层级可以为像素层级,第二层级可以为结构层级,第三层级可以为语义层级,第四层级可以为物体层级。结构用于对图像中拍摄对象的主体轮廓进行描述,语义用于对图像中的背景进行描述,物体是对图像中拍摄对象的主体的识别结果。其中,对于任意两张图像而言,从像素层级去确定两张图像的相似度,可以用于图像去重,例如对于图1a和图1b所示的两张图像,可以利用像素层级的相似度对这两张图像进行去重,也即删除图1a或者图1b中的任一张;从结构层级和语义层级去确定两张图像的相似度,可以用于图像的聚类;从物体层级去确定两张图像的相似度,可以用于对图像中物体的识别。可以理解是,上述的多个层级除了可以包括上述四个层级以外,还可包括其它任何一个可以确定图像相似度的层级,本发明对此不作具体限定。
对于同样的多张图像,从不同的层级去确定这多张图像是否相似,会得出不同的结论。例如,如图1c所示的图像集合,该图像集合包括图像子集合101、图像子集合102以及图像子集合103,其中:图像子集合101包括两张风景图像,图像子集合102包括同一建筑物在不同视角下的多张图像,图像子集合103包括同一种花在不同生长状态下的多张图像。可以看出,图像子集合101中的两张风景图像在像素层级、结构层级以及物体层级的相似度均比较低,在语义层级的相似度比较高。图像子集合102中同一建筑物在不同视角下的多张图像,在单一的像素层级、结构层级、语义层级以及物体层级的相似度均比较低,只有将上述多个层级的相似度进行融合,才能将上述同一建筑物在不同视角下的多张图像聚类到图像子集合102中。图像子集合103中同一种花在不同生长状态下的多张图像,在像素层级、结构层级的相似度均比较低,但是在语义层级和物体层级的相似度较高,也即,通过语义层级和物体层级的相似度去衡量103中任意两张图片的相似度,才可以将上述同一种花在不同生长状态下的多张图像聚类到图像子集合103中。
本发明实施例中,电子设备可以将多个层级的相似度进行融合,建立一套有用户行为参与的相似度确定方法。在一个实施例中,如图2所示,电子设备可以计算图像集合中图像之间多个层级的相似度,并为多个层级配置各自对应的初始加权系数,检测记录用户针对图像集合的操作行为(如删除重复图像、图像分组等),并分析用户在一定段时间内的上述操作行为,确定出用户个性化的偏好信息,进而根据该偏好信息调整各个初始加权信息,最后确定出一个符合用户个性化偏好的目标相似度。采用本发明,可以根据不同用户在一段时间内针对图像集合的上述操作行为,确定出一套符合用户个性化需求的相似度衡量标准。
其中,上述电子设备可以为一种用户终端,也可以为一种服务器。其中,该用户终端例如可以是移动终端,如智能手机、平板电脑、车载电脑等;也可以是可穿戴设备,如运动手环、电话手表等;还可以是非便携式通信设备,如台式计算机。
再请参见图3,是本发明实施例的一种确定图像相似度的方法的流程示意图,本发明实施例的所述方法可以由电子设备来执行。本发明实施例的所述方法包括如下步骤。
S301:获取第一图像集合中任意两张图像之间在多个层级的相似度。
S302:获取用户针对历史图像集合的操作行为数据。
其中,上述第一图像集合与历史图像集合,可以是同一电子设备上的同一图像集合或者不同图像集合,例如,第一图像集合和历史图像集合可以分别为同一电子设备上的电子相册A和电子相册B。在一个实施例中,上述第一图像集合和历史图像集合,也可以是属于不同设备的两个不同图像集合,但两个图像集合被同一个用户使用。其中,判断是否为同一用户的方法(也即身份验证的方法)有很多,一方面可以识别用户对应的用户账号是否一致来确定是否为同一用户;另一方面还可以利用用户的生物特征信息(如人脸、虹膜、指纹等)是否保持一致来识别是否为同一用户。本发明对此,不作具体限定。
在一个实施例中,当第一图像集合和历史图像集合分别属于第一电子设备和第二电子设备的情况下,第一电子设备在执行步骤S302之前,可以采用上面提到的身份验证方法对用户进行验证,如果验证结果显示使用第一图像集合和历史图像集合的是同一用户,则再获取用户针对历史图像集合的操作行为数据。
在一个实施例中,当电子设备为用户终端时,上述用户针对历史图像集合的操作行为数据,可以是电子设备通过统计用户在一段时间内针对历史图像集合的管理操作和对加权系数的调整操作确定出来的。其中,该管理操作可以为对历史图像集合中图像的分组、删除或者移除等操作。在一个实施例中,当电子设备为服务器时,该服务器可以接收用户终端发送的通过上述方式确定出的上述操作行为数据。
在一个实施例中,在上述多个层级包括像素层级、结构层级、语义层级和物体层级时,电子设备可以预先设置像素层级、结构层级、语义层级和物体层级各自对应的计算相似度的算法。其中,像素层级的相似度可以称为像素相似度、结构层级的相似度可以称为结构相似度、语义层级的相似度可以称为语义相似度、以及物体层级的相似度可以称为物体相似度。针对这种情况,当电子设备对第一图像集合中任意两张图像进行相似度检测时,可以采用各个层级各自对应的相似度算法去计算任意两张图像之间分别在上述4个层级的相似度。
在一个实施例中,当对第一图像集合中任意两张图像进行相似度检测时,可以通过哈希算法(例如:平均哈希算法aHash、差异值哈希算法dHash等)计算两张图像之间的汉明距离,进而根据汉明距离计算出两张图像之间的像素相似度;可以通过尺度不变特征变换(Scale-invariant feature transform,SIFT)确定两张图像之间的特征点匹配关系,进而根据该特征点匹配关系计算出两张图像之间的结构相似度;可以通过深度网络特征归一化之后的余弦距离计算出两张图像之间的语义相似度;可以通过两张图像各自对应物体的标识id类特征计算出这两张图像之间的物体相似度。
S303:根据操作行为数据确定多个层级的相似度各自对应的目标加权系数。
在一个实施例中,电子设备可以对操作行为数据进行解析确定出用户在操作行为数据对应时间内对多个层级的偏好信息,进而根据偏好信息更新多个层级的相似度各自对应的初始加权系数,得到多个层级的相似度各自对应的目标加权系数。其中,多个层级的相似度各自对应的初始加权系数可以是通过人工标注的方式预先配置的,也可以是电子设备根据用户针对历史图像集合的操作行为数据确定得到的。该偏好信息可以用于反映用户偏好度和各个层级的关系。例如,该偏好信息可以如表1-1所示,从该表可以看出用户对于第一层级的偏好度为50%,用户对于第二层级的偏好度为30%,用户对于第三层级的偏好度为10%,用户对于第四层级的偏好度为10%。
表1-1
偏好度(单位:%) | 层级 | |
第一偏好度 | 50 | 第一层级 |
第二偏好度 | 30 | 第二层级 |
第三偏好度 | 10 | 第三层级 |
第四偏好度 | 10 | 第四层级 |
例如,上述多个层级可以包括第一层级、第二层级、第三层级以及第四层级,第一层级对应的相似度称为第一相似度、第二层级对应的相似度称为第二相似度、第三层级的相似度称为第三相似度,第四层级对应的相似度称为第四相似度。当电子设备对操作行为数据进行解析确定出用户对于四个层级的偏好信息如表1-1所示。在这种情况下,可以依据4个层级的相似度各自对应的加权系数总和为1的原则,并结合表1-1所示的偏好信息,将第一相似度对应的初始加权系数更新为0.5(即第一相似度对应的目标加权系数),将第二相似度对应的初始加权系数更新为0.3(即第二相似度对应的目标加权系数),将第三相似度对应的初始加权系数确定为0.1(即第三相似度对应的目标加权系数),将第四相似度对应的初始加权系数确定为0.1(即第四相似度对应的目标加权系数)。
在一个实施例中,电子设备在确定出用户对于多个层级的偏好信息后,可以根据偏好信息中多个层级各自对应的偏好度大小,来调整多个层级的相似度各自对应的当前加权系数,进而得到各层级相似度各自对应的目标加权系数。具体实现中,偏好度较大的层级,那么该层级的相似度对应的目标加权系数则较大,偏好度较小的层级,那么该层级的相似度对应的目标加权系数则较小。
在一个实施例中,电子设备根据偏好信息中多个层级各自对应的偏好度大小来调整多个层级的相似度各自对应的当前加权系数时,可以直接将各层对应的加权系数之间的比值调整为与偏好度反映的比值一致,进而得到各层级相似度各自对应的目标加权系数。例如,多个层级包括第一、第二、第三以及第四层级,各层级对应的当前加权系数分别为0.1、0.3、0.4、0.2,终端确定出用户对于这四个层级的偏好信息如表1-1所示。针对这种情况,可以直接将各层级对应的当前加权系数从0.1、0.3、0.4、0.2调整为0.5、0.3、0.1、0.1。
或者,电子设备还可以对比各层级对应的偏好度大小确定出最大偏好度,最大偏好度对应的层级称为最大偏好层级。针对这种情况,电子设备在根据偏好信息中多个层级各自对应的偏好度大小来调整多个层级的相似度各自对应的当前加权系数时,可以将最大偏好度层级的相似度对应的当前加权系数增大,其它层级的相似度对应的当前加权系数相应减小,调整后使得最大偏好层级的相似度对应的目标加权系数最大。
例如,多个层级包括第一、第二、第三以及第四层级,各层级相似度对应的当前加权系数分别为0.1、0.3、0.4、0.2,确定出用户对于这四个层级的偏好信息如表1-1所示。针对这种情况,根据表1-1所示的偏好信息确定出第一层级为最大偏好层级后,电子设备可以将第一层级相似度对应当前加权系数的0.1增加0.3,其它各层级的相似度分别对应的当前加权系数则可以全部减少0.3/3,调整后各层级相似度对应的目标加权系数分别为0.4、0.2、0.3、0.1。
S304:根据多个层级的相似度以及多个层级的相似度各自对应的目标加权系数,确定出任意两张图像之间的目标相似度。
在一个实施例中,电子设备可以将多个层级的相似度进行加权计算,其中,每个相似度各自对应一个目标加权系数,进而通过加权计算确定出任意两张图像之间的目标相似度。在一个实施例中,多个层级可以包括四个层级,在确定出上述两张图像之间第一层级相似度b1对应的目标加权系数为a1,第二层级相似度b2对应的目标加权系数为a2,第三层级相似度b3对应的目标加权系数为a3,第四层级相似度b4对应的目标加权系数为a4后,可以采用如下公式1.1,对四个层级的相似度进行加权计算,进而确定出任意两张图像之间的目标相似度。
目标相似度=a1×b1+a2×b2+a3×b3+a4×b4 (1.1)
在一个实施例中,上述操作行为数据可以包括对历史图像集合的第二管理操作,该第二管理操作可以包括多个管理子操作,该管理子操作可以为对第一图像集合中图像的分组、删除或者移除等操作。针对这种情况,电子设备可以获取多个管理子操作各自操作的第三图像集合,并确定多个管理子操作各自操作的第三图像集合中任意两张图像之间分别在多个层级的相似度以及多个层级各自对应的平均相似度,进而根据多个层级各自对应的平均相似度的大小,确定多个管理子操作各自匹配的目标层级。其中,该第三图像集合是历史图像集合的子集,可以包括一张或者多张图像;该目标层级为多个层级中的至少一个层级。进一步地,电子设备在确定出多个管理子操作各自匹配的目标层级后,可以统计与各个目标层级匹配的所有管理子操作的操作参数,并根据该操作参数确定出用户分别对于多个层级的偏好信息。其中,该操作参数包括操作频率和操作的图像数量中的一种或两种。
可以理解的是,上述多个管理子操作各自操作的第三图像集合之间可以相同,也不可以不相同,本发明对此不作具体限定。
在一个实施例中,上述多个层级可以包括像素层级、结构层级、语义层级以及物体层级。用户在利用第一图像集合管理图像的过程中,可以通过用户终端对历史图像集合中的一张或者多张图像(即第三图像集合)输入删除、移除或者分组等管理子操作。电子设备可以获取各个管理子操作各自操作的第三图像集合,并通过利用预先为4个层级配置各自的相似度算法,计算出第三图像集合中所有图像之间在4个层级各自对应的相似度,进而确定出第三图像集合在各个层级各自对应的平均相似度。例如,在电子设备为用户终端时,用户通过用户终端将如图1d所示的图像1、图像2以及图像3分为一组,用户终端在检测到用户针对这3张图像输入分组操作时,确定出图像1和图像2之间、图像1和图像3之间,以及图像2和图像3之间在4个层级各自对应的相似度如表1-2所示,进而可以确定出包括图像1、图像2以及图像3的这一图像集合(即第三图像集合)在像素层级的平均相似度为9%,在结构层级的平均相似度为4%,在语义层级的平均相似度为85%,在物体层级的平均相似度为3%。进一步地,可以对比4个层级各自对应的平均相似度的大小,确定出最大平均相似度所对应的层级为语义层级,并将语义层级确定为该分组操作匹配的目标层级。
表1-2
相似地,当用户针对其它第三图像集合输入管理子操作时,也可以采用上述相似的方式,确定出所有管理子操作各自匹配的目标层级。
在一个实施例中,上述操作参数为操作频率,电子设备在确定出所有管理子操作各自匹配的目标层级后,可以统计与各个目标层级匹配的所有管理子操作的操作频率,并根据所述操作频率确定出用户分别对于多个层级的偏好信息。具体地,与某一目标层级的管理子操作的操作频率越高,那么这一目标层级对应的偏好度也越高,进而根据各个目标层级的偏好度确定出用户分别对于多个层级的偏好信息。
在一个实施例中,上述操作参数为操作的图像数量,电子设备在确定出所有管理子操作各自匹配的目标层级后,可以统计与各个目标层级匹配的所有管理子操作各自操作的图像数量。若属于某一目标层级的管理子操作所操作的图像数量越高,那么这一目标层级对应的偏好度也越高,进而根据各个目标层级的偏好度确定出用户分别对于多个层级的偏好信息。
示例性的,若第一图像集合和历史图像集合为属于同一电子设备上的同一相册,电子设备可以统计用户在一段时间内对该相册的第二管理操作,进而确定出用户分别对于所述多个层级的偏好信息。这种情况下,例如多个层级包括像素层级、结构层级、语义层级和物体层级,在这一段时间内,用户针对该相册合计输入了3次管理子操作。其中,第一次管理子操作为第一分组操作,用于将8张涉及服装尺码的图像组合为如图1e所示的图像集合,通过上述方法确定出第一分组操作对应的目标层级为语义层级和物体层级,操作的图像数量为8;第二次管理子操作为删除操作,用于将图1a和图1b的2张图像删除,通过上述方法确定本次删除操作对应的目标层级为像素层级,操作的图像数量为2;第三次管理子操作为第二分组操作,用于将图像1、图像2和图像3这3张图像组合为如图1d所示的图像集合,通过上述方法,确定出第二分组操作对应的目标层级为语义层级,操作的数量为3。这种情况下,可以统计出用户在这段时间内与各个目标层级匹配的所有管理子操作的操作参数,如表1-3所示。
表1-3
从表1-3可以看出目标层级属于像素层级的管理子操作的操作频率为1,操作的图像数量为2;目标层级属于结构层级的管理子操作的操作频率为0,操作的图像数量为0;目标层级属于语义层级的管理子操作的操作频率为2,操作的图像数量为11,目标层级属于物体层级的管理子操作的操作频率为1,操作的图像数量为8。在一个实施例中,若以这段时间内统计的所有与目标层级匹配的管理子操作的操作频率为确定偏好度的依据,则语义层级的偏好度最大,物体层级和像素层的偏好度级次之,结构层级的偏好度最小,进而根据各个层级各自对应的偏好度生成上述偏好信息。或者,在一个实施例中,若以这段时间内统计的所有与目标层级匹配的管理子操作的图像数量为确定偏好度的依据,则语义层级的偏好度最大,物体层级的偏好度次之,像素层的偏好度级再次之,结构层级的偏好度最小,进而根据各个层级各自对应的偏好度生成上述偏好信息。
其中,在调整上述各个层级的相似度各自对应的目标加权系数时,除了可以通过电子设备根据用户针对历史图像集合的操作行为数据进行调整以外,还可以用户设置对各个目标加权系数进行调整,本发明对此不作具体限定。
可以理解的是,在电子设备为服务器时,用户针对历史图像集合的第二管理操作、针对第二图像结合的各个管理子操作,以及对加权系数的调整操作均可以通过用户终端进行检测,再由用户终端将与上述各个操作各自对应的指示信息上报给服务器,进而服务器可以根据该指示信息执行相应的操作。
本发明实施例中,电子设备可以获取第一图像集合中任意两张图像之间在多个层级的相似度以及用户针对历史图像集合的操作行为数据,并根据用户针对历史图像集合的操作行为数据,确定多个层级的相似度各自对应的目标加权系数,进而根据多个层级的相似度以及多个层级的相似度各自对应的目标加权系数,确定出上述任意两张图像之间的目标相似度。采用本发明,可以通过学习用户的操作习惯准确地确定出图像相似度,从而满足用户的个性化需求。
再请参见图4,是本发明实施例的另一种确定图像相似度的方法的流程示意图,本发明实施例的所述方法可以电子设备来执行。本发明实施例的所述方法包括如下步骤。
S401:获取第一图像集合中任意两张图像之间在多个层级的相似度。
S402:获取用户针对历史图像集合的操作行为数据。
在一个实施例中,当用户想要对第一图像集合开启相似度检测功能时,可以针对第一图像集合输入相似度检测开始指令,电子设备在检测到针对第一图像集合输入的相似度检测开启指令的情况下,执行步骤S401。
在一个实施例中,在电子设备为服务器时,上述相似度检测开启指令可以由用户终端检测。具体地,用户终端在检测到该相似度检测开启指令的情况下,可以向服务器发送开启指示信息,服务器接收到该开启指示信息后,则执行步骤S401。
其中,步骤S401和S402的具体实现方式可以参见上述实施例中步骤S301和S302的相关描述,此处不再赘述。
S403:根据操作行为数据确定多个层级的相似度各自对应的目标加权系数。
在一个实施例中,电子设备包括用户终端,上述操作行为数据可以包括对初始加权系数的调整操作,即允许用户直接对初始加权系数进行调整,以满足其在某个时刻的特殊需求。用户终端可以在第一图像集合的显示界面输出多个层级的相似度各自对应的初始加权系数,并获取用户针对各自对应的初始加权系数输入调整操作,进而根据调整操作对各自对应的初始加权系数进行更新,得到多个层级的相似度各自对应的目标加权系数。
在一个实施例中,电子设备可以提供用于调整初始加权系数的调整模式,用户可以根据自身需求选择不同的调整模式。其中,该调整模式可以包括手动模式、自动模式或者混合模式。在一个实施例中,在调整模式为手动模式的情况下,用户想要对多个层级的相似度各自对应的初始加权系数进行更新时,则需要手动调整。在一个实施例中,在调整模式为自动模式的情况下,电子设备则可以根据用户对第一图像集合的管理操作自动更新多个层级的相似度各自对应的初始加权系数。其中,混合模式包括手动模式和自动模式,也即多个层级的相似度各自对应的初始加权系数既可以通过用户手动更新,也可以通过电子设备自动更新。本发明对此不作具体限定。
需要说明的是,上述对初始加权系数进行更新得到的目标加权系数,也可以成为下一次更新的初始加权系数,这个更新过程是一个动态循环的过程。
在一个实施例中,用户终端在第一图像集合的显示界面输出多个层级的相似度各自对应的初始加权系数时,还可以输出各个初始加权系数各自对应的提示信息,用于提示用户各个初始加权系数的用途。例如,对于像素层级的初始加权系数而言,可以输出用于去重的提示信息;对于结构层级和语义层级的初始加权系数,可以输出用于聚类的提示信息;对于物体层级的初始加权系数,可以输出用于物体识别的提示信息。具体的显示方式,可以如图4a所示,其中,s1为像素层级相似度对应的初始加权系数、s2为结构层级相似度对应的初始加权系数、s3为语义层级相似度对应的初始加权系数、s4为物体层级相似度对应的初始加权系数。
例如,第一图像集合为相册,多个层级包括像素层级、结构层级、语义层级和物体层级,像素层级相似度、结构层级相似度、语义层级相似度以及物体层级相似度对应的当前加权系数分别为s1、s2、s3、s4,其中:s1=0.5,s2=0.2,s3=0.2,s4=0.1。当用户想要对这四个层级各自对应的加权系数进行调整时,可以触发相册的加权系数设置功能,进而在相册的显示界面显示各个层级各自对应的当前加权系数,其加权系数展示页面可以如图4a所示。用户可以在展示页面中相应的字符框输入针对各个当前加权系数的调整操作,例如将像素相似度对应的加权系数由0.5调整至0.4,将结构相似度对应的加权系数由0.2调整至0.5,将语义相似度对应的加权系数由0.2调整至0.1,将结构相似度对应的加权系数由0.1调整至0,调整后的显示界面可以如图4b所示。当用户确定对4个层级各自对应的加权系数调整完成后,可以针对图4b中的“完成”按钮输入触控操作,终端检测到该触控操作的情况下,则可以根据用户之前的调整操作,确定出4个层级的相似度各自对应的目标加权系数分别为0.4、0.5、0.1、0。
在一个实施例中,在电子设备为服务器时,上述用户针对各自对应的当前加权系数输入的调整操作可以由用户终端检测。具体地,用户终端在检测到该调整操作的情况下,可以向服务器发送调整信息,服务器接收到该调整信息后,可以根据该调整信息的指示对各自对应的当前加权系数进行调整,进而得到多个层级的相似度各自对应的目标加权系数。
S404:根据多个层级的相似度以及多个层级的相似度各自对应的目标加权系数,确定出任意两张图像之间的目标相似度。
其中,步骤S404的具体实现方式可以参见上述实施例中步骤S304的相关描述,此处不再赘述。
S405:若目标相似度大于或者等于相似度阈值,则将任意两张图像聚类到第二图像集合中。
S406:在第一图像集合的显示界面输出第二图像集合。
S407:检测用户针对第二图像集合的第一管理操作,并根据第一管理操作对第二图像集合进行管理。
在一个实施例中,电子设备在确定出任意两张图像的之间的目标相似度后,可以将目标相似度与相似度阈值进行比较,在目标相似度大于或者等于相似度阈值的情况下,将上述任意两张图像组合为一个图像集合(即第二图像集合),并可以将该第二图像集合显示在第一图像集合的显示界面,以便于用户针对该第二图像集合输入第一管理操作。其中,该第一管理操作包括:图像分组操作、图像删除操作和图像移除操作中的一种或多种。
在一个实施例中,电子设备在第一图像集合的显示界面输出第二图像集合后,若用户想要将第二图像集合中包括的图像分为一组时,可以针对该图像集合输入上述图像分组操作,该图像分组操作可以为分组确认操作,或者名称编辑操作与分组确认操作的结合。示例性地,第一图像集合的显示界面如图4c所示,其中,c01为包括12张图像的第二图像集合。这种情况下,若用户想要对这12张图像进行分组,则可以对该第二图像集合输入名称编辑的操作,将该第二图像集合的名称命名为“天空”,并在名称编辑完成后,针对图中的“完成”功能按钮输入分组确认操作。针对这种情况,终端则可以根据用户输入的名称编辑操作和分组确定操作,将这12张图像分为一组,且分组名称为“天空”。
在一个实施例中,电子设备在第一图像集合的显示界面输出第二图像集合后,若用户想要将第二图像集合中包括的图像进行删除和/或移除,可以针对第二图像集合中的一个或者多个图像输入上述图像删除操作和/或上述图像移除操作,进而达到图像去重的目的。
在一个实施例中,电子设备可以根据用户针对第二图像集合的上述第一管理操作,对多个层级的相似度各自对应的上述目标加权系数进行更新。在一个实施例中,电子设备可以在解析用户针对第二图像集合的上述第一管理操作,确定第一管理操作所操作的目标图像,并确定各个目标图像之间各个层级相似度的大小,任意层级的相似度越大,则该层级相似度对应的目标加权系数也相应更新至越大。例如,多个层级包括像素层级、结构层级、语义层级和物体层级,各层级相似度对应的目标加权系数分别为:0.1、0.3、0.4、0.2,第二图像集合包括图像a和图像b,用户针对这两张图像输入了分组操作(即第一管理操作)。这种情况下,电子设备检测到该分组操作后,则可以解析分组操作,确定出分组操作对应的图像为图像a和图像b,进而比较图像a和图像b之间多个层级各自的相似度,最后比较结果显示相似层级相似度、结构层级相似度、语义层级相似度以及物体层级相似度分别为:10%、2%、85%以及3%,那么则可以依据层级相似度越大,则该层级相似度对应的目标加权系数也相应越大的原则,将各层级相似度对应的目标加权系数更新为:0.1、0.02、0.85、0.03。
在一个实施例中,电子设备在确定出任意两张图像之间的目标相似度后,还可以比较多个层级的相似度各自对应的目标加权系数的大小,进而确定出最大目标加权系数。这种情况下,在执行步骤S406时,除了可以在第一图像集合的显示界面输出所述第二图像集合之外,还可以输出最大目标加权系数对应层级的提示信息。其中,该提示信息用于提示用户对第二图像集合进行管理操作。
在一个实施例中,电子设备可以预先配置多个层级与提示信息的对应关系,且不同层级下的提示信息还可以用于提示用户对第二图像集合执行不同的管理操作。示例性的,例如,多个层级包括像素层级、结构层级、语义层级和物体层级,像素层级对应第一提示信息,用于提示用户对第二图像集合进行删除或者移除的管理操作;结构层级、语义层级以及物体层级可以均对应第二提示信息,用于提示用户对第三集合进行分组的管理操作;或者,结构层级、语义层级以及物体层级也可以各自对应不同的提示信息。
在一个实施例中,如果检测到用户开启了对第一图像集合的自动管理功能,电子设备确定出任意两张图像的目标相似度大于或者等于相似度阈值的情况下,可以进一步获取这两张图像之间最大目标加权系数对应的目标层级。如果目标层级为用于指示图像聚类(即分组)的层级(如语义层级和结构层级),则可以直接将这两张图像聚类在同一图像集合,并向用户发出分组的提示信息,让用户知晓已经将这两张图像聚类为一组,而无需用户手动分组。如果目标层级为用于指示图像去重的层级(如像素层级),则可以直接将这两张图像删除,并向用户发出删除的提示信息,让用户知晓已经将这两张图像删除,而无需用户手动删除。
在一个实施例中,在上述操作行为数据为用户对加权系数的调整操作时,电子设备还可以记录在根据调整操作对各自对应的加权系数进行调整之前的初始加权系数,并在上述第二管理操作完成后,将多个层级的相似度各自对应的加权系数由目标加权系数调整为上述初始加权系数。例如,第一图像集合为相册,调整之前的多个层级相似度对应的初始加权系数分别为:0.2、0.3、0.4、0.1,当终端检测相册的加权系数设置功能开启时,则表明用户想要调整多个层级相似度各自对应的加权系数由初始加权系数调整为目标加权系数。这种情况下,可记录各个初始加权系数,并在检测到上述第一管理操作完成的情况下,将多个层级相似度各自对应的加权系数由目标加权系数调整为初始加权系数0.2、0.3、0.4、0.1。
本发明实施例中,电子设备可以获取第一图像集合中任意两张图像之间在多个层级的相似度以及用户针对历史图像集合的操作行为数据,并根据用户针对历史图像集合的操作行为数据,确定多个层级的相似度各自对应的目标加权系数,进而根据多个层级的相似度以及多个层级的相似度各自对应的目标加权系数,确定出上述任意两张图像之间的目标相似度,如果目标相似度大于或者等于相似度阈值,则将任意两张图像聚类到第二图像集合中,并在第一图像集合的显示界面输出第二图像集合,检测用户针对第二图像集合的第一管理操作,并根据第一管理操作对第二图像集合进行管理。采用本发明,一方面可以学习用户的操作习惯准确地确定出图像相似度,从而满足用户的个性化需求,另一方面还可以提高图像的管理效率。
再请参见图5,是本发明实施例的一种相册分类方法的流程示意图,本发明实施例的所述方法可以电子设备来执行。本发明实施例的所述方法包括如下步骤。
S501:获取用户在一段时间内针对历史相册的管理操作。该管理操作包括图像分组、图像删除和图像移除中的一种或多种。
S502:获取当前相册中任意两张图像之间在多个层级的相似度。该多个层级用于表征图像在不同维度的特征。
S503:根据管理操作和当前相册中任意两张图像之间在多个层级的相似度确定出任意两张图像之间对应于用户的个性化相似度。
其中,历史相册和当前相册可以是属于同一电子设备的相同或者不同的相册,也可以是属于不同电子设备的不同相册,但是两个相册被同一个用户使用。在一个实施例中,当历史相册和当前相册分别属于第一电子设备和第二电子设备时,当用户需要使用第二电子设备对当前相册进行个性化分类之前,第二电子设备可以对用户的身份信息进行识别,该身份信息可以包括用户账号(例如apple ID)、生物特征信息等,若识别结果显示该用户同时也为当前相册对应的用户,则可以执行步骤S501。
用户在使用历史相册的过程中,通常会对历史相册中的一张或者多张图像执行图像分组、图像删除和图像移除的至少一种管理操作。在一个实施例中,电子设备可以获取用户在某一段时间内针对历史相册中图像的上述管理操作,以及当前相册中任意两张图像之间在多个层级的相似度,并根据管理操作对多个层级的相似度各自对应的初始加权系数进行调整,得到多个层级相似度各自对应的目标加权系数,进而将多个层级相似度以及多个层级的相似度各自对应的目标加权系数进行加权计算,确定出上述任意两张图像之间对应于用户的个性化相似度。
S504:根据个性化相似度对当前相册中的图像进行分类处理。
在一个实施例中,当电子设备确定出上述任意两张图像之间对应于用户的个性化相似度后,可以将该个性化相似度与相似度阈值进行比较,如果个性化相似度大于或者等于相似度阈值,则将上述任意两张图像进行分类处理,聚类到同一个相册(即目标相册),该目标相册是当前相册的子集。
例如,相似度阈值为80%,电子设备中的当前相册如图4d所示,从图中可以看出该当前相册包括4张图像,分别为图像4、图像5、图像6以及图像7,其中,图像6和图像7这两张图像之间的个性化相似度为90%。这种情况下,电子设备通过将该个性化相似度90%与相似度阈值80%进行比较,确定出个性化相似度90%大于相似度阈值80%,则对图像6和图像7进行分类处理,将这两张图像聚类到如图4e所示的目标相册,当前相册中的图像便由原来的4张减少为2张,如图4f所示,更新后的当前相册包括图像4和图像5这两张图像。
在一个实施例中,电子设备还可以展示对当前相册中的图像进行上述分类处理后得到的目标相册,并获取用户针对目标相册输入的管理操作,进而根据针对目标相册输入的管理操作对目标相册包括的图像进行相应的管理。
其中,对目标相册输入的管理操作可以包括对目标相册中的图像进行图像移除、图像删除和图像分组操作中的至少一个。在一个实施例中,电子设备获取到用户针对目标相册输入的管理操作后,可以对该管理操作进行识别,识别出管理操作对应的目标图像,进而对目标图像进行相应的管理。例如,目标相册如图4e所示,用户选中目标相册中的图像6和图像7,并通过触控图中的“删除”按钮的方式输入删除操作,该删除操作对应的目标图像为图像6和图像7。这种情况下,电子设备获取到用户针对目标相册输入的该删除操作后,可以对该删除操作进行识别,识别出删除操作对应的目标图像为图像6和图像7,进而将图像6和图像7删除。
又例如,目标相册展示的2张图像如图4g所示,用户想要将这2张图像分为一个相册时,在指定区域将该目标相册(即c02)的名称编辑为“天空”,并通过触控“完成”按钮的方式输入分组操作,电子设备获取到用户针对目标相册输入的该分组操作后,可以对该分组操作进行识别,并根据该分组操作将如图4g展示的2张图像分到一个相册,并为相册打上“天空”标签。其界面效果如图4h所示,从图4h可以看出,当前相册中已增加了一个“天空”的子相册(c02)。
示例性地,相似度阈值为80%,如图4i所示,当前相册为一个“风景”相册,该“风景”相册中包括6张风景图像,其中3张为关于河流的图像,分别为图像8、图像9和图像10;还有三张为关于天空的图像,分别为图像11、图像12和图像13,6张风景图像两两之间的个性化相似度如表1所示。
表1
图像8 | 图像9 | 图像10 | 图像11 | 图像12 | 图像13 | |
图像8 | 100% | 85% | 90% | 10% | 20% | 50% |
图像9 | 85% | 100% | 85% | 5% | 10% | 20% |
图像10 | 90% | 85% | 100% | 5% | 10% | 45% |
图像11 | 10% | 5% | 5% | 100% | 95% | 85% |
图像12 | 20% | 10% | 10% | 95% | 100% | 85% |
图像13 | 50% | 20% | 45% | 85% | 85% | 100% |
进一步地,电子设备分析表1中的数据,确定出图像8、图像9和图像10两两之间的个性化相似度大于80%,图像11、图像12和图像13两两之间的个性化相似度大于80%,则将图像8、图像9和图像10这三张图像聚类到目标相册01,当检测到目标相册01没有名称时,还可以对图像8、图像9和图像10这三张图像的图像内容进行识别,自动为目标相册生成“河流”的相册名称;将图像11、图像12和图像13这三张图像聚类到目标相册02,当检测到目标相册02没有名称时,还可以对图像11、图像12和图像13这三张图像的图像内容进行识别,自动为目标相册生成“天空”的相册名称。生成的“河流”相册和“天空”相册的展示界面可以如图4j所示。
其中,当电子设备将图像8、图像9和图像10这三张图像聚类到“河流”相册,将图像11、图像12和图像13这三张图像聚类到“天空”相册后,还可以将“河流”相册、“天空”相册以及各相册各自包括的图像处理为待编辑状态,分区显示在当前显示界面,其展示效果可以如图4k所示。用户查看如图4k的显示界面后,可以对展示界面中的任一张图像以及相册名称进行管理,该管理可以包括删除、位移一张或者多张图像,对相册名称进行编辑等。例如,用户对电子设备自动生成的分类结果不满意,想要将图像13从“天空”相册中删除,则可以直接对图像13输入删除操作,电子设备可以根据用户输入的删除操作将图像13从“天空”相册中删除,删除后的效果图如图4l所示。再例如,如果用户认为天空中的任一图像如图像13应该分类到“河流”相册,则可以直接按压图像13将该图像拖动到“河流”相册,拖动后的效果图如图4m所示。又例如,如果用户对电子设备自动生成的如“河流”或者“天空”的相册名称不满意,均可以在指定区域对名称进行修改。进一步地,当用户对“河流”或者“天空”相册管理完成后,可以针对当前界面中的“完成”按钮输入确认操作,电子设备则可以根据用户的确认操作,从当前展示界面跳转到如图4j所示的展示界面。
本发明实施例中,电子设备获取用户在一段时间内针对历史相册的管理操作以及当前相册中任意两张图像之间在多个层级的相似度,并根据管理操作和当前相册中任意两张图像之间在多个层级的相似度确定出任意两张图像之间对应于用户的个性化相似度,进而根据个性化相似度对当前相册中的图像进行分类处理。采用本发明,可以通过学习用户的操作习惯准确地确定出图像的个性化相似度,进而根据个性化相似度对相册进行管理,能够满足用户的个性化需求。
本发明实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,该程序指令被执行时,用于实现上述实施例中描述的相应方法。
再请参见图6,是本发明实施例的一种确定图像相似度装置的结构示意图,本发明实施例的所述确定图像相似度装置可以设置在服务器中,或者也可以设置在智能终端中。
本发明实施例的所述装置的一个实现方式中,所述装置包括如下结构。
获取模块601,用于获取第一图像集合中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
获取模块601,还用于获取用户针对历史图像集合的操作行为数据,所述第一图像集合包括多张图像;
确定模块602,用于根据获取模块601获取到的所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数;
确定模块602还用于根据所述多个层级的相似度以及所述多个层级的相似度各自对应的所述目标加权系数,确定出所述任意两张图像之间的目标相似度。
在一个实施例中,所述装置还包括:
聚类模块603,用于若所述目标相似度大于或者等于相似度阈值,则将所述任意两张图像聚类到第二图像集合中。
在一个实施例中,所述装置还包括:
输出模块604,用于在所述第一图像集合的显示界面输出所述第二图像集合;
管理模块605,用于检测用户针对所述第二图像集合的第一管理操作,并根据所述第一管理操作对所述第二图像集合进行管理,所述第一管理操作包括:图像分组操作、图像删除操作和图像移除操作中的一种或多种。
在一个实施例中,所述装置还包括:比较模块606,其中:
比较模块606,用于比较所述多个层级的相似度各自对应的目标加权系数的大小,确定出最大目标加权系数;
输出模块604,具体用于在所述第一图像集合的显示界面输出所述第二图像集合,以及所述最大目标加权系数对应目标层级的提示信息,所述提示信息用于提示所述用户对所述第二图像集合进行所述目标层级对应的目标管理操作。
在一个实施例中,确定模块602,具体用于:对所述操作行为数据进行解析,确定所述用户在所述操作行为数据对应时间内对所述多个层级的偏好信息;根据所述偏好信息更新所述多个层级的相似度各自对应的初始加权系数,得到所述多个层级的相似度各自对应的目标加权系数。
在一个实施例中,所述操作行为数据包括对所述历史图像集合的第二管理操作,所述第二管理操作包括多个管理子操作,所述确定模块602,具体用于:
获取所述多个管理子操作各自操作的第三图像集合,所述第三图像集合是所述历史图像集合的子集;
确定所述多个管理子操作各自操作的第三图像集合中任意两张图像之间分别在所述多个层级的相似度以及所述多个层级各自对应的平均相似度;
根据所述多个层级各自对应的平均相似度的大小,确定所述多个管理子操作各自匹配的目标层级,所述目标层级为所述多个层级中的至少一个层级;
统计与各个所述目标层级匹配的所有管理子操作的操作参数,并根据所述操作参数确定出所述用户分别对于所述多个层级的偏好信息,所述操作参数包括操作频率和操作的图像数量中的一种或两种。
在一个实施例中,所述操作行为数据包括对加权系数的调整操作,所述确定模块602,具体用于:
在所述第一图像集合的显示界面输出所述多个层级的相似度各自对应的初始加权系数;
获取用户针对所述各自对应的初始加权系数输入的所述调整操作;
根据所述调整操作对所述各自对应的初始加权系数进行更新,得到所述多个层级的相似度各自对应的目标加权系数。
在一个实施例中,所述装置还包括:
记录模块607,用于记录在根据所述调整操作对所述各自对应的加权系数进行调整之前的所述初始加权系数;
调整模块608,用于在所述第一管理操作完成后,将所述多个层级的相似度各自对应的加权系数由所述目标加权系数调整为所述初始加权系数。
在本发明实施例中,上述各个模块的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
再请参加图7,是本发明实施例的一种电子设备的结构示意图,该电子设备包括处理器701、存储装置702以及通信接口703。所述处理器701、存储装置702以及通信接口703之间可以交互数据,由处理器701实现相应的确定图像相似度的功能。
在一个实施例中,当电子设备为用户终端时,该用户终端还可以包括用户接口704。该用户接口704可以包括触控板(用于检测第一管理操作、第二管理操作等)、压力传感器、麦克风等;还可以包括显示器(LCD等)、扬声器、闪光灯、振动电机等。
所述存储装置702可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储装置702也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;所述存储装置702还可以包括上述种类的存储器的组合。
所述网络接口703可以与其他电子设备之间交互数据。
所述处理器701可以是中央处理器701(central processing unit,CPU)。在一个实施例中,所述处理器701还可以是图形处理器(Graphics Processing Unit,GPU)。所述处理器701也可以是由CPU和GPU的组合。在所述电子设备中,可以根据需要包括多个CPU和GPU进行相应的图像处理。在一个实施例中,所述存储装置702用于存储程序指令。所述处理器701可以调用所述程序指令,实现如本发明实施例中上述涉及的各种方法。
在第一个可能的实施方式中,所述电子设备的所述处理器701,调用所述存储装置702中存储的程序指令,用于获取第一图像集合中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;获取用户针对历史图像集合的操作行为数据;根据所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数;根据所述多个层级的相似度以及所述多个层级的相似度各自对应的所述目标加权系数,确定出所述任意两张图像之间的目标相似度。
在一个实施例中,所述处理器701用于若所述目标相似度大于或者等于相似度阈值,则将所述任意两张图像聚类到第二图像集合中。
在一个实施例中,所述处理器701用于在所述第一图像集合的显示界面输出所述第二图像集合;检测用户针对所述第二图像集合的第一管理操作,并根据所述第一管理操作对所述第二图像集合进行管理,所述第一管理操作包括:图像分组操作、图像删除操作和图像移除操作中的一种或多种。
在一个实施例中,所述处理器701用于比较所述多个层级的相似度各自对应的目标加权系数的大小,确定出最大目标加权系数;在所述第一图像集合的显示界面输出所述第二图像集合,以及所述最大目标加权系数对应目标层级的提示信息,所述提示信息用于提示所述用户对所述第二图像集合进行所述目标层级对应的目标管理操作。
在一个实施例中,所述处理器701用于对所述操作行为数据进行解析,确定所述用户在所述操作行为数据对应时间内对所述多个层级的偏好信息;根据所述偏好信息更新所述多个层级的相似度各自对应的初始加权系数,得到所述多个层级的相似度各自对应的目标加权系数。
在一个实施例中,所述操作行为数据包括对所述历史图像集合的第二管理操作,所述第二管理操作包括多个管理子操作,所述处理器701用于:获取所述多个管理子操作各自操作的第三图像集合,所述第三图像集合是所述历史图像集合的子集;确定所述多个管理子操作各自操作的第三图像集合中任意两张图像之间分别在所述多个层级的相似度以及所述多个层级各自对应的平均相似度;根据所述多个层级各自对应的平均相似度的大小,确定所述多个管理子操作各自匹配的目标层级,所述目标层级为所述多个层级中的至少一个层级;统计与各个所述目标层级匹配的所有管理子操作的操作参数,并根据所述操作参数确定出所述用户分别对于所述多个层级的偏好信息,所述操作参数包括操作频率和操作的图像数量中的一种或两种。
在一个实施例中,所述操作行为数据包括对加权系数的调整操作,所述处理器701,用于在所述第一图像集合的显示界面输出所述多个层级的相似度各自对应的初始加权系数;获取用户针对所述各自对应的初始加权系数输入的所述调整操作;根据所述调整操作对所述各自对应的初始加权系数进行更新,得到所述多个层级的相似度各自对应的目标加权系数。
在一个实施例中,所述处理器701用于记录在根据所述调整操作对所述各自对应的加权系数进行调整之前的所述初始加权系数;在所述第一管理操作完成后,将所述多个层级的相似度各自对应的加权系数由所述目标加权系数调整为所述初始加权系数。
在本发明实施例中,所述处理器701的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
再请参见图8,是本发明实施例的一种相册分类装置的结构示意图,本发明实施例的所述相册分类装置可以设置在服务器中,或者也可以设置在智能终端中。
本发明实施例的所述装置的一个实现方式中,所述装置包括如下结构。
获取模块801,用于获取用户在一段时间内针对历史相册的管理操作,所述管理操作包括图像分组、图像删除和图像移除中的一种或多种;
获取模块801,还用于获取当前相册中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
确定模块802,用于根据所述管理操作和当前相册中任意两张图像之间在多个层级的相似度确定出任意两张图像之间对应于所述用户的个性化相似度;
分类模块803,用于根据所述个性化相似度对所述当前相册中的图像进行分类处理。
在一个实施例中,上述装置还包括:展示模块804、管理模块805,其中:
展示模块804,用于展示对所述当前相册中的图像进行分类处理后得到的目标相册,所述目标相册是所述当前相册的子集;
获取模块801,还用于获取所述用户针对所述目标相册输入的管理操作;
管理模块805,用于根据针对所述目标相册输入的管理操作对所述目标相册包括的图像进行相应的管理。
在本发明实施例中,上述各个模块的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
再请参加图9,是本发明实施例的一种电子设备的结构示意图,该电子设备包括处理器901、存储装置902以及用户接口903。所述处理器901、存储装置902以及用户接口903之间可以交互数据,由处理器901实现相应的相册分类的功能。
在一个实施例中,该用户接口903可以包括触控板(用于检测针对历史相册和目标相册输入的管理操作等)、压力传感器、麦克风等;还可以包括显示器(LCD等)、扬声器、闪光灯、振动电机等。
所述存储装置902可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储装置902也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;所述存储装置902还可以包括上述种类的存储器的组合。
所述用户接口903可以与其他电子设备之间交互数据。
所述处理器901可以是中央处理器901(central processing unit,CPU)。在一个实施例中,所述处理器901还可以是图形处理器(Graphics Processing Unit,GPU)。所述处理器901也可以是由CPU和GPU的组合。在所述电子设备中,可以根据需要包括多个CPU和GPU进行相应的图像处理。在一个实施例中,所述存储装置902用于存储程序指令。所述处理器901可以调用所述程序指令,实现如本发明实施例中上述涉及的各种方法。
在第一个可能的实施方式中,所述电子设备的所述处理器901,调用所述存储装置902中存储的程序指令,用于获取用户在一段时间内针对历史相册的管理操作,所述管理操作包括图像分组、图像删除和图像移除中的一种或多种;获取当前相册中任意两张图像之间在多个层级的相似度;根据所述管理操作确定出当前相册中任意两张图像之间对应于所述用户的个性化相似度;根据所述个性化相似度对所述当前相册中的图像进行分类处理。
在一个实施例中,处理器901还用于展示对所述当前相册中的图像进行分类处理后得到的目标相册,所述目标相册是所述当前相册的子集;获取所述用户针对所述目标相册输入的管理操作;根据针对所述目标相册输入的管理操作对所述目标相册包括的图像进行相应的管理。
在本发明实施例中,所述处理器901的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (15)
1.一种确定图像相似度的方法,其特征在于,包括:
获取第一图像集合中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
获取用户针对历史图像集合的操作行为数据;
根据所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数;
根据所述多个层级的相似度以及所述多个层级的相似度各自对应的所述目标加权系数,确定出所述任意两张图像之间的目标相似度。
2.根据权利要求1所述的方法,其特征在于,所述确定出所述任意两张图像的目标相似度之后,所述方法还包括:
若所述目标相似度大于或者等于相似度阈值,则将所述任意两张图像聚类到第二图像集合中。
3.根据权利要求2所述的方法,其特征在于,所述将所述任意两张图像聚类到第二图像集合中之后,所述方法还包括:
在所述第一图像集合的显示界面输出所述第二图像集合;
检测用户针对所述第二图像集合的第一管理操作,并根据所述第一管理操作对所述第二图像集合进行管理,所述第一管理操作包括:图像分组操作、图像删除操作和图像移除操作中的一种或多种。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
根据用户针对所述第二图像集合的所述第一管理操作,对所述多个层级的相似度各自对应的所述目标加权系数进行更新。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
比较所述多个层级的相似度各自对应的目标加权系数的大小,确定出最大目标加权系数;
其中,所述在所述第一图像集合的显示界面输出所述第二图像集合,包括:
在所述第一图像集合的显示界面输出所述第二图像集合,以及所述最大目标加权系数对应目标层级的提示信息,所述提示信息用于提示所述用户对所述第二图像集合进行所述目标层级对应的目标管理操作。
6.根据权利要求1所述的方法,其特征在于,所述根据所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数,包括:
对所述操作行为数据进行解析,确定所述用户在所述操作行为数据对应时间内对所述多个层级的偏好信息;
根据所述偏好信息更新所述多个层级的相似度各自对应的初始加权系数,得到所述多个层级的相似度各自对应的目标加权系数。
7.根据权利要求6所述的方法,其特征在于,所述操作行为数据包括对所述历史图像集合的第二管理操作,所述第二管理操作包括多个管理子操作,所述对所述操作行为数据进行解析,确定所述用户在所述操作行为数据对应时间内对所述多个层级的偏好信息,包括:
获取所述多个管理子操作各自操作的第三图像集合,所述第三图像集合是所述历史图像集合的子集;
确定所述多个管理子操作各自操作的第三图像集合中任意两张图像之间分别在所述多个层级的相似度以及所述多个层级各自对应的平均相似度;
根据所述多个层级各自对应的平均相似度的大小,确定所述多个管理子操作各自匹配的目标层级,所述目标层级为所述多个层级中的至少一个层级;
统计与各个所述目标层级匹配的所有管理子操作的操作参数,并根据所述操作参数确定出所述用户分别对于所述多个层级的偏好信息,所述操作参数包括操作频率和操作的图像数量中的一种或两种。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述操作行为数据包括对加权系数的调整操作,所述根据所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数,包括:
在所述第一图像集合的显示界面输出所述多个层级的相似度各自对应的初始加权系数;
获取用户针对所述各自对应的初始加权系数输入的所述调整操作;
根据所述调整操作对所述各自对应的初始加权系数进行更新,得到所述多个层级的相似度各自对应的目标加权系数。
9.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
记录在根据所述调整操作对所述各自对应的加权系数进行调整之前的所述初始加权系数;
在所述第一管理操作完成后,将所述多个层级的相似度各自对应的加权系数由所述目标加权系数调整为所述初始加权系数。
10.一种确定图像相似度的装置,其特征在于,包括:
获取模块,用于获取第一图像集合中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
所述获取模块,还用于获取用户针对历史图像集合的操作行为数据,所述第一图像集合与所述历史图像集合相同或者不同;
确定模块,用于根据所述获取模块获取到的所述操作行为数据确定所述多个层级的相似度各自对应的目标加权系数;
所述确定模块,还用于根据所述多个层级的相似度以及所述多个层级的相似度各自对应的所述目标加权系数,确定出所述任意两张图像之间的目标相似度。
11.一种相册分类方法,其特征在于,包括:
获取用户在一段时间内针对历史相册的管理操作,所述管理操作包括图像分组、图像删除和图像移除中的一种或多种;
获取当前相册中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
根据所述管理操作和所述当前相册中任意两张图像之间在多个层级的相似度,确定出所述任意两张图像之间对应于所述用户的个性化相似度;
根据所述个性化相似度对所述当前相册中的图像进行分类处理。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
展示对所述当前相册中的图像进行分类处理后得到的目标相册,所述目标相册是所述当前相册的子集;
获取所述用户针对所述目标相册输入的管理操作;
根据针对所述目标相册输入的管理操作对所述目标相册包括的图像进行相应的管理。
13.一种相册分类装置,其特征在于,包括:
获取模块,用于获取用户在一段时间内针对历史相册的管理操作,所述管理操作包括图像分组、图像删除和图像移除中的一种或多种;
所述获取模块,还用于获取当前相册中任意两张图像之间在多个层级的相似度,所述多个层级用于表征图像在不同维度的特征;
确定模块,用于根据所述管理操作和当前相册中任意两张图像之间在多个层级的相似度,确定出所述任意两张图像之间对应于所述用户的个性化相似度;
分类模块,用于根据所述个性化相似度对所述当前相册中的图像进行分类处理。
14.一种电子设备,其特征在于,包括处理器和存储装置,所述处理器和存储装置相互连接,其中,所述存储装置用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-9或者11-12任一项所述的相应方法。
15.一种计算机存储介质,其特征在于,该计算机存储介质中存储有程序指令,该程序指令被执行时,用于实现如权利要求1-9或者11-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810530916.6A CN108875797B (zh) | 2018-05-29 | 2018-05-29 | 一种确定图像相似度的方法、相册管理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810530916.6A CN108875797B (zh) | 2018-05-29 | 2018-05-29 | 一种确定图像相似度的方法、相册管理方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108875797A true CN108875797A (zh) | 2018-11-23 |
CN108875797B CN108875797B (zh) | 2023-04-18 |
Family
ID=64336807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810530916.6A Active CN108875797B (zh) | 2018-05-29 | 2018-05-29 | 一种确定图像相似度的方法、相册管理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108875797B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815150A (zh) * | 2019-01-29 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 应用测试方法、装置、电子设备及存储介质 |
CN110046596A (zh) * | 2019-04-23 | 2019-07-23 | 王雪燕 | 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质 |
CN110598037A (zh) * | 2019-09-23 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种图像搜索方法、装置和存储介质 |
CN111382297A (zh) * | 2018-12-29 | 2020-07-07 | 杭州海康存储科技有限公司 | 一种用户侧用户数据的上报方法及装置 |
CN111949235A (zh) * | 2019-05-15 | 2020-11-17 | Oppo广东移动通信有限公司 | 图像显示控制方法及相关装置 |
CN112307830A (zh) * | 2019-07-31 | 2021-02-02 | 北京博雅慧视智能技术研究院有限公司 | 一种数字视网膜海量目标检索及布控方法 |
CN112488062A (zh) * | 2020-12-18 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种图像识别方法、装置、设备及介质 |
CN112995558A (zh) * | 2019-12-17 | 2021-06-18 | Tcl新技术(惠州)有限公司 | 一种视频文件的存储方法、装置及存储介质 |
CN117056547A (zh) * | 2023-10-13 | 2023-11-14 | 深圳博十强志科技有限公司 | 一种基于图像识别的大数据分类方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130117676A1 (en) * | 2011-11-04 | 2013-05-09 | International Business Machines Corporation | Visually analyzing, clustering, transforming and consolidating real and virtual machine images in a computing environment |
CN103488756A (zh) * | 2013-09-25 | 2014-01-01 | 深圳市金立通信设备有限公司 | 一种图片分类的方法及终端 |
CN104133917A (zh) * | 2014-08-15 | 2014-11-05 | 百度在线网络技术(北京)有限公司 | 照片的分类存储方法及装置 |
CN104504055A (zh) * | 2014-12-19 | 2015-04-08 | 常州飞寻视讯信息科技有限公司 | 基于图像相似度的商品相似计算方法及商品推荐系统 |
-
2018
- 2018-05-29 CN CN201810530916.6A patent/CN108875797B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130117676A1 (en) * | 2011-11-04 | 2013-05-09 | International Business Machines Corporation | Visually analyzing, clustering, transforming and consolidating real and virtual machine images in a computing environment |
CN103488756A (zh) * | 2013-09-25 | 2014-01-01 | 深圳市金立通信设备有限公司 | 一种图片分类的方法及终端 |
CN104133917A (zh) * | 2014-08-15 | 2014-11-05 | 百度在线网络技术(北京)有限公司 | 照片的分类存储方法及装置 |
CN104504055A (zh) * | 2014-12-19 | 2015-04-08 | 常州飞寻视讯信息科技有限公司 | 基于图像相似度的商品相似计算方法及商品推荐系统 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382297B (zh) * | 2018-12-29 | 2024-05-17 | 杭州海康存储科技有限公司 | 一种用户侧用户数据的上报方法及装置 |
CN111382297A (zh) * | 2018-12-29 | 2020-07-07 | 杭州海康存储科技有限公司 | 一种用户侧用户数据的上报方法及装置 |
CN109815150A (zh) * | 2019-01-29 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 应用测试方法、装置、电子设备及存储介质 |
CN110046596A (zh) * | 2019-04-23 | 2019-07-23 | 王雪燕 | 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质 |
CN110046596B (zh) * | 2019-04-23 | 2021-06-15 | 王雪燕 | 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质 |
CN111949235A (zh) * | 2019-05-15 | 2020-11-17 | Oppo广东移动通信有限公司 | 图像显示控制方法及相关装置 |
CN112307830A (zh) * | 2019-07-31 | 2021-02-02 | 北京博雅慧视智能技术研究院有限公司 | 一种数字视网膜海量目标检索及布控方法 |
CN110598037A (zh) * | 2019-09-23 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种图像搜索方法、装置和存储介质 |
CN112995558A (zh) * | 2019-12-17 | 2021-06-18 | Tcl新技术(惠州)有限公司 | 一种视频文件的存储方法、装置及存储介质 |
CN112488062A (zh) * | 2020-12-18 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种图像识别方法、装置、设备及介质 |
CN112488062B (zh) * | 2020-12-18 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种图像识别方法、装置、设备及介质 |
CN117056547A (zh) * | 2023-10-13 | 2023-11-14 | 深圳博十强志科技有限公司 | 一种基于图像识别的大数据分类方法和系统 |
CN117056547B (zh) * | 2023-10-13 | 2024-01-26 | 深圳博十强志科技有限公司 | 一种基于图像识别的大数据分类方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108875797B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875797A (zh) | 一种确定图像相似度的方法、相册管理方法及相关设备 | |
CN108140032B (zh) | 用于自动视频概括的设备和方法 | |
US9116924B2 (en) | System and method for image selection using multivariate time series analysis | |
US8526728B2 (en) | Establishing clusters of user preferences for image enhancement | |
US10621755B1 (en) | Image file compression using dummy data for non-salient portions of images | |
KR101810578B1 (ko) | 셔터 클릭을 통한 자동 미디어 공유 | |
JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
CN102483767B (zh) | 对象关联装置、对象关联方法、程序及记录介质 | |
CN104572735B (zh) | 一种图片标注词推荐方法及装置 | |
US9798741B2 (en) | Interactive image selection method | |
CN111062871A (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
Bianco et al. | Predicting image aesthetics with deep learning | |
WO2022121485A1 (zh) | 图像的多标签分类方法、装置、计算机设备及存储介质 | |
US20120114257A1 (en) | Interactive image selection method | |
KR101832680B1 (ko) | 참석자들에 의한 이벤트 검색 | |
CN108229674A (zh) | 聚类用神经网络的训练方法和装置、聚类方法和装置 | |
CN107430604A (zh) | 图像内容的语义表示 | |
CN111325271A (zh) | 图像分类方法及装置 | |
WO2021136060A1 (zh) | 图像分类方法、装置、存储介质及电子设备 | |
CN111353430A (zh) | 人脸识别方法和系统 | |
CN111432206A (zh) | 基于人工智能的视频清晰度处理方法、装置及电子设备 | |
JP2011192273A (ja) | 画像集合における代表画像の検索システム、方法及びプログラム | |
CN112069338A (zh) | 图片处理方法、装置、电子设备及存储介质 | |
CN110019913A (zh) | 图片匹配方法、用户设备、存储介质及装置 | |
US8270731B2 (en) | Image classification using range information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |