CN110413817A - 用于对图片进行聚类的方法和设备 - Google Patents

用于对图片进行聚类的方法和设备 Download PDF

Info

Publication number
CN110413817A
CN110413817A CN201910694731.3A CN201910694731A CN110413817A CN 110413817 A CN110413817 A CN 110413817A CN 201910694731 A CN201910694731 A CN 201910694731A CN 110413817 A CN110413817 A CN 110413817A
Authority
CN
China
Prior art keywords
picture
grouping
time
pictures
groupings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910694731.3A
Other languages
English (en)
Other versions
CN110413817B (zh
Inventor
陈泽凯
魏灿荣
张锐杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Wuhan Co Ltd
Original Assignee
Tencent Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Wuhan Co Ltd filed Critical Tencent Technology Wuhan Co Ltd
Priority to CN201910694731.3A priority Critical patent/CN110413817B/zh
Publication of CN110413817A publication Critical patent/CN110413817A/zh
Application granted granted Critical
Publication of CN110413817B publication Critical patent/CN110413817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文描述了于对图片进行聚类的方法和设备。所述方法包括:接收多张图片;以图片的创建时间为特征对所述多张图片进行初步聚类,以得到第一多个图片分组;基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,以得到第二多个图片分组,其中图片的位置信息指示图片被拍摄的地理位置;以及,呈现所述第二多个图片分组。

Description

用于对图片进行聚类的方法和设备
技术领域
本公开涉及图像处理的技术领域,具体地涉及用于对图片进行聚类的方法和设备。
背景技术
近年来, 随着计算机网络的不断发展,网络上的图片数据大幅增长,使得在用户查找图片时,呈现给用户的相关图片数量越来越多。此外,各种智能终端的性能和功能也在近几年得到了极大增强,使得其能存储或展示给用户的图片数量也越来越多。这样,当用户想要浏览相关的图片时,需要耗费很多的时间来逐张找到这些图片进行浏览,这会给用户造成差的用户体验。
发明内容
签于此,本公开提供了用于对图片进行聚类的方法和设备,期望克服上面提到的部分或全部缺陷以及其它可能的缺陷。
根据本公开的第一方面, 提供了一种用于对图片进行聚类的方法,包括:接收多张图片;以图片的创建时间为特征对所述多张图片进行初步聚类,以得到第一多个图片分组;基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,以得到第二多个图片分组,其中图片的位置信息指示图片被拍摄的地理位置;以及,呈现所述第二多个图片分组。
在一些实施例中,在以图片的创建时间为特征对所述多张图片进行初步聚类时,可以首先按照图片的创建时间的时间顺序对所述多张图片进行排序且将所述多张图片确定为未被分组的。然后,按经排序形成的先后顺序遍历所述排序后的图片。针对遍历到的图片,如果该张遍历到的图片的前一张图片存在且是未被分组的图片,则确定该张图片与前一张图片是否具有相同的创建时期;响应于确定该张图片与前一张图片具有相同的创建时期,并且具有相同的创建时期的且连续未被分组的图片的数量达到每组最大图片数,则将所述具有相同的创建时期的未被分组的图片形成为一个图片分组;响应于确定该张图片与前一张图片不具有相同的创建时期,并且连续未被分组的图片的数量达到每组最小图片数,则将所述连续未被分组的图片形成为一个图片分组。
在一些实施例中,确定该张图片与前一张图片是否具有相同的创建时期可以包括:计算该张图片与前一张图片的创建时间之间的时间间隔;响应于确定所述时间间隔小于或等于最大时间间隔阈值,则计算该张图片与该张图片之前的、具有相同的创建时期的且连续未被分组的图片的创建时间的离均差平方和;以及响应所述离均差平方和小于或等于损失阈值,则确定该张图片与前一张图片具有相同的创建时期。
在一些实施例中,所述方法还可以包括响应所述离均差平方和大于损失阈值,则确定该张图片与前一张图片不具有相同的创建时期;或者,响应于确定所述时间间隔大于最大时间间隔阈值,则确定该张图片与前一张图片不具有相同的创建时期。
在一些实施例中,基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并可以包括:从所述第一多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组;基于所述第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并。
在一些实施例中,从所述第一多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组可以包括:从所述第一多个图片分组中去除图片质量小于预定质量阈值的图片,以形成第四多个图片分组;从所述第四多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组。
在一些实施例中,在基于所述第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并时,可以首先按第三多个图片分组中的图片的创建时间的时间顺序遍历所述第三多个图片分组。并且,针对遍历到的当前图片分组,(a)确定当前图片分组中的最后一张图片与下一图片分组中的第一张图片是否具有相同的位置信息;(b)响应于确定具有相同的位置信息,则将下一图片分组的图片按序合并到当前图片分组中并删除所述下一图片分组;(c)循环步骤(a)和(b),直到当前图片分组中的图片的数目大于或等于所述预设数量。
在一些实施例中,按照图片的创建时间的时间顺序对所述多张图片进行排序可以包括:对所述多张图片进行去差处理以从所述多张图片中去除图片质量低于预定质量阈值的图片;按照图片的创建时间的时间顺序对经去差处理后的图片进行排序。
在一些实施例中,所述方法还可以包括:响应于对所呈现的第二多个图片分组之一的选择,呈现所选择的该一个图片分组中的图片。作为示例,可以以视频的形式呈现所选择的该一个图片分组中的图片,其中该一个图片分组中的图片构成该视频的视频帧。
根据本公开的第二方面,提供了一种用于对图片进行聚类的设备,包括:接收模块,其被配置成接收多张图片;初步聚类模块,其被配置成:以图片的创建时间为特征对所述多张图片进行初步聚类,以得到第一多个图片分组;合并模块,其被配置成:基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,以得到第二多个图片分组,其中图片的位置信息指示图片被拍摄的地理位置;以及,第一呈现模块,其被配置成呈现所述第二多个图片分组。
在一些实施例中,所述设备还可以包括第二呈现模块,其配配置成:响应于对所呈现的第二多个图片分组之一的选择,呈现所选择的该一个图片分组中的图片。
根据本公开的第三方面,提供了一种计算设备,包括:处理器;以及存储器,配置为在其上存储有计算机可执行指令,当计算机可执行指令被处理器执行时执行如上面所述的任一方法。
根据本公开的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,当所述计算机可执行指令被执行时,执行如上面所述的任一方法。
通过本公开要求保护的用于对图片进行聚类的方法和设备,提供了新颖的对图片进行聚类的方案。在所述方案中,能够将时间相近和位置信息相同的图片聚类在一起进行呈现,使得所述呈现更新新颖、简洁和清晰。而且,当用户在浏览或观看这些图片时,能够看到这些图片所反映的整个场景,使得用户体验更加的人性化和友好。而且,在所述方案中,可以快速地对所述多张图片进行初步聚类,而且在聚类过程中可能排除掉与其它图片创建时间间隔较大且具有较少数量的图片,从而降低实施该方案所需的处理资源和复杂性,而且因为这些排除掉的图片很可能是用户不感兴趣的,也进一步使得用户体验更加的人性化和友好。
根据下文描述的实施例,本公开的这些和其它优点将变得清楚,并且参考下文描述的实施例来阐明本公开的这些和其它优点。
附图说明
现在将更详细并且参考附图来描述本公开的实施例,其中:
图1图示了根据本公开的一个实施例的用于对图片进行聚类的方法的流程图;
图2图示了根据本公开的一个实施例的用于以图片的创建时间为特征对多张图片进行初步聚类的方法的流程图;
图3图示了根据本公开的一个实施例的用于确定当前图片与当前图片的前一张图片是否具有相同的创建时期的方法的流程图;
图4图示了根据本公开的一个实施例的用于基于第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并的方法的流程图;
图5图示了根据本公开的一个实施例的在用户界面上呈现第二多个图片分组的示意图;
图6图示了根据本公开的一个实施例的在选择一个图片分组后在用户界面上呈现该图片分组中的图片的示意图;
图7图示了根据本公开的一个实施例的用于对图片进行聚类的设备的示例性结构框图;
图8图示了一个示例系统,其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备。
具体实施方式
下面的说明提供用于充分理解和实施本公开的各种实施例的特定细节。本领域的技术人员应当理解,本公开的技术方案可以在没有这些细节中的一些的情况下被实施。在某些情况下,并没有示出或详细描述一些熟知的结构和功能,以避免不必要地使对本公开的实施例的描述模糊不清。在本公开中使用的术语以其最宽泛的合理方式来理解,即使其是结合本公开的特定实施例被使用的。
图1图示了根据本公开的实施例的用于对图片进行聚类的方法100的流程图。所述方法100可以被实施在服务器、客户端、以及第三方计算设备等任何合适的计算设备上。如图1所示,所述方法100包括如下描述的步骤。
在步骤101,接收多张图片。在一些实施例中,可以从本地存储器接收所述多张图片,也可以从远端设备、网络上的图片数据库或云端接收所述多张图片,这不是限制性的。作为示例,所述方法100被实施在客户端(例如,移动终端的应用程序)上,其可以从位于客户端本地的存储器(例如,移动终端的本地存储器)接收所述多张图片。
在步骤102,以图片的创建时间为特征对所述多张图片进行初步聚类,以得到第一多个图片分组。作为示例,可以使用各种方法(例如,使用常见的层次聚类算法)来实施所述初步聚类。所述得到第一多个图片分组中的每个分组中包括两张或更多张图片,并且所述两张或更多张图片具有接近或者甚至相同的创建时间。这里所述的“接近”指的是创建时间不同但是在一个时间范围内(也即,同属于一个时期)。
在步骤103,基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,以得到第二多个图片分组。基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并可以包括将第一多个图片分组中的具有相同或相近位置信息的图片的图片分组合并在一起。所述图片的位置信息指示图片被拍摄的地理位置,其典型地是执行拍摄的设备的地理位置。两个位置信息相近可以指位置信息所指示地理位置间的距离在预定范围之内。应当指出,这里所述的地理位置可以表示一个位置点(例如,北京市香格里拉酒店),也可以表示一个地址范围(例如,北京市朝阳区)。在一些实施例中,图片被拍摄的地理位置可以通过基于位置的服务(LBS,Location Based Services)得到,在这种情况下,所述位置信息也被称为LBS信息。基于位置的服务是通过电信移动运营商的无线电通讯网络(如GSM网、CDMA网)或外部定位方式(如GPS)获取移动终端(本实施例中为执行拍摄的设备)的位置信息。
在一些实施例中,在步骤103中基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并时,可以先从所述第一多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组。然后,基于所述第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并。所述预设数量可以根据需要设置,例如被设置为20张。在该示例中,从第一多个图片分组中选择出分组中的图片数量小于20张的分组以进行合并,而其中图片数量达到或超过20张的图片分组被视为已完成的分组,这样的分组保持不变。可以使用各种方法来基于所述第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并,例如下面图4中描述的方法400。应当指出,所述第二多个图片分组可能包括经过步骤103中的合并而形成的图片分组和/或经过步骤103但并未被合并的图片分组。
在一些实施例中,在从所述第一多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组时,可以先对第一多个图片分组中的图片进行去差处理,即从所述第一多个图片分组中去除图片质量小于预定质量阈值的图片,从而形成第四多个图片分组。然后,从经过去差处理形成的所述第四多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组。
作为示例,可以采用深度学习模型(例如,卷积神经网络)来对分组中的图片进行去差处理。所述深度学习模型例如可以是MobileNet V1模型。作为示例,可以通过收集大量图片并且将图片分成高质量(其大于或等于预定质量阈值)和低质量(其小于预定质量阈值)两种类别,然后提供给深度学习模型进行训练而得到训练后的深度学习模型。然后,将一些图片(例如,第一多个图片分组中的图片)输入到该训练后的深度学习模型中进行识别,可以自动移除掉被识别为低质量的图片,而保留高质量的图片。
在步骤104,呈现所述第二多个图片分组。在一些实施例中,在所呈现的每个图片分组中,可以选择其中的一张图片(例如,该分组中创建时间最早的一张图片)作为所述每个分组的图片代表来呈现。作为示例,可以按照图片分组中的创建时间最早的一张图片的创建时间的顺序来对所述第二多个图片分组排序后进行呈现,当然这不是限制性的。作为示例,图5图示了在用户界面上所呈现的第二多个图片分组的示意图。如图5所示,4个图片分组被呈现,包括“美食1”、“美食2”、“景点”和“人物”图片分组,每个分组具有一个图片代表501,并且在图片代表下方标明了该图片代表的创建时间502。
在一些实施例中,所述方法100可选地还包括步骤105。在步骤105,响应于对所呈现的第二多个图片分组之一的选择,呈现所选择的该一个图片分组中的图片。在一些实施例中,可以以视频的形式来例如在视频播放器中呈现该一个图片分组中的图片,其中该一个图片分组中的所有图片构成所播放的视频的视频帧。在另一些实施例中,还可以以幻灯片或者平铺的方式来呈现该一个图片分组中的图片。图6示出了采用平铺方式的一种呈现的用户界面,在该用户界面中,在图5中的图片分组“美食1”被选择后,图片分组“美食1”中包括的图片被以平铺的方式被呈现出来。
通过使用如上面所述的对图片进行聚类的方法100,能够将时间相近和位置信息相同的图片聚类在一起进行呈现,使得这个呈现界面更新新颖、简洁和清晰。而且,当用户在浏览或观看这些图片时,能够看到这些图片所表现出来的整个场景,使得用户体验更加的人性化和友好。
如上所述,可以使用各种方法来实施步骤102所述的以图片的创建时间为特征的初步聚类。图2图示了根据本公开的实施例的用于以图片的创建时间为特征对多张图片进行初步聚类的方法200的流程图。如图2所示,所述方法200包括如下步骤。
在步骤201,按照图片的创建时间的时间顺序对所述多张图片进行排序且将所述多张图片确定为未被分组的。作为示例,可以按照图片的创建时间的先后顺序对所述多张图片进行排序,也即按照图片的创建时间距当前时间由远到近的顺序对所述多张图片进行排序。当然,也可以按照图片的创建时间距当前时间由近到远的顺序对所述多张图片进行排序,这不是限制性的。此外,在实施例中,将所述多张图片都确定为是未被分组的,以供后续分组使用。
在一些实施例中,在按照图片的创建时间的时间顺序对所述多张图片进行排序时,可以先对所述多张图片进行去差处理,以从所述多张图片中去除图片质量低于预定质量阈值的图片,然后再按照图片的创建时间的时间顺序对经去差处理后图片进行排序。对图片进行去差处理的方法如上文描述,在此不再叙述。应当指出,在该步骤中进行去差处理,可以减少图片的数量,以降低执行后续的步骤所需的资源和复杂性。而在上面的步骤103处进行去差处理时,由于在初步聚类时可能排除掉一些不符合聚类规则的图片,因此去差处理的工作量也会大幅减轻。
在步骤202,按经排序形成的先后顺序开始遍历所述排序后的图片,即从排序后的第一张图片开始遍历所述多张图片。然后,在步骤203,确定当前遍历到的该张图片是否具有未被分组的前一张图片,即,确定是否存在当前遍历到的该张图片的未被分组的前一张图片。并且,响应于确定当前遍历到的该张图片不具有未被分组的前一张图片,则转到步骤209处,继续遍历下一张图片。应当理解,当前遍历到的该张图片不具有未被分组的前一张图片可以包括当前遍历到的该张图片的前一张图片不存在或者所述前一张图片存在但是已经被分组。应当指出,本文所述前一张图片和后一张图片都是按上述经排序形成的先后顺序相对于当前遍历的图片而言的。
在步骤204,响应于在步骤203处确定当前遍历到的该张图片具有未被分组的前一张图片,则确定当前遍历到的该张图片与前一张图片是否具有相同的创建时期。应当指出,两张图片具有相同的创建时期表明这两张图片的创建时间相同或者接近。
在步骤205,响应于在步骤204处确定当前遍历到的该张图片与前一张图片具有相同的创建时期,则确定具有相同创建时期的且连续未被分组的图片的数量是否达到每组最大图片数。然后,在步骤206处,响应于在步骤205处确定具有相同的创建时期的且连续未被分组的图片的数量达到每组最大图片数,则将所述具有相同的创建时期的未被分组的图片形成为一个图片分组。或者,响应于在步骤205处确定具有相同的创建时期的且连续未被分组的图片的数量未达到每组最大图片数,则转到步骤209处继续遍历下一张图片。应当指出,所述每组最大图片数指示每个图片分组能够包括的图片的最大数量。
在步骤207,响应于在步骤204处确定当前遍历到的该张图片与前一张图片不具有相同的创建时期,则确定连续未被分组的图片的数量是否达到每组最小图片数。然后,在步骤208处,响应于在步骤207处确定连续未被分组的图片的数量达到每组最小图片数,则将所述连续未被分组的图片形成为一个图片分组。或者,响应于在步骤207处确定连续未被分组的图片的数量未达到每组最小图片数,则转到步骤209处继续遍历下一张图片。应当指出,所述每组最小图片数指示每个图片分组必须包括的图片的最小数量,如果图片的数量小于所述最小数量,则这些图片不能形成一个图片分组。
在步骤209处,遍历当前遍历到的图片的下一张图片,如果下一张图片存在的话。在执行该步骤后,所述下一张图片将作为遍历到的当前图片,然后在此基础上继续执行步骤203,如此循环往复,直到在步骤209处不存在下一张图片为止,从而得到如上文所述的第一多个图片分组。
利用所述方法200,可以快速地对所述多张图片进行初步聚类,而且在聚类过程中可能排除掉与其它图片创建时间间隔较大且具有较少数量的图片,因为这些图片很可能是用户不感兴趣的。例如,具有相同创建时期的且连续未被分组的图片达到最大图片数量时,这些连续未被分组的图片之前存在小于每组最小图片数的且不具有相同创建时期的图片,则这些不具有相同创建时期的图片将不会在初步聚类过程中被分组,因为这些图片的数量较少且很可能是用户不感兴趣的。
在一些实施例中,可以通过各种方法来在步骤204处确定该张图片与前一张图片是否具有相同的创建时期。图3图示了用于确定当前的该张图片与当前图片的前一张图片是否具有相同的创建时期的方法300的流程图。如图3所示,所述方法300包括步骤301-306。
在步骤301,计算该张图片的创建时间与当前图片的前一张图片的创建时间之间的时间间隔。然后,在步骤302处,确定所述时间间隔是否小于或等于最大时间间隔阈值。最大时间间隔阈值可以根据需要被确定,其可以影响在方法200中执行初步聚类时排除掉的图片的数量。该值越大,在方法200中执行初步聚类时排除掉的图片的数量就越少。
在步骤303,响应于在步骤302处确定所述时间间隔小于或等于所述最大时间间隔阈值,则计算该张图片与该张图片之前的、具有相同的创建时期的且连续未被分组的各图片的创建时间的离均差平方和。离均差平方和是已知的数学预算,其通过计算每个观察值与平均数的差并将所述差平方后相加而得到。例如,存在多个数值,且其平均值为Y,则所述多个数值的离均差平方和为
在步骤304,确定所述离均差平方和是否小于或等于损失阈值。并且在步骤305,响应于在步骤304处确定所述离均差平方和小于或等于损失阈值,则确定该张图片与前一张图片具有相同的创建时期。
在步骤306,响应于在步骤302处确定所述时间间隔大于(即,不小于且不等于)最大时间间隔阈值或者在步骤304处确定所述离均差平方和大于(即,不小于且不等于)损失阈值,则确定该张图片与前一张图片不具有相同的创建时期。
图4图示了根据本公开的一个实施例的用于基于第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并的方法400的流程图。如图4所示,所述方法400包括步骤401-405。
在步骤401处,按第三多个图片分组中的图片的创建时间的时间顺序开始遍历所述第三多个图片分组。经过初步聚类后,所形成的任一个图片分组中的图片都具有相同或接近的创建时间,并且与另一图片分组中的图片的创建时间不相同且不相近。因此,可以根据这些创建时间对第三多个图片分组进行排序以便于按时间顺序遍历。作为示例,可以从所述第三多个图片分组中的每个分组中选择一张图片(例如,第一张图片),然后将所选择的图片的创建时间的时间顺序作为对应的分组的遍历顺序,然后按照所述遍历顺序遍历所述第三多个图片分组。应当指出,此处的时间顺序与上文步骤201中的时间顺序可以是相同的,例如两处都可以是按照创建时间距当前时间由近到远的时间顺序。
在步骤402处,确定当前遍历到的图片分组中的最后一张图片与下一图片分组中的第一张图片是否具有相同的位置信息。所述下一图片分组为当前遍历到的图片分组的按上面的遍历顺序的下一个图片分组。
在步骤403处,响应于在步骤402处确定当前遍历到的图片分组中的最后一张图片与下一图片分组中的第一张图片具有相同的位置信息,则将下一图片分组的图片按序合并到当前图片分组中并删除所述下一图片分组,即下一图片分组中的图片的排在当前图片分组中的原有图片之后。在当前图片分组中的图片和下一图片分组中的图片都在各自分组中已被排序时,在将下一图片分组的图片合并到当前图片分组中后,这些图片仍保持在各自分组中的顺序不变。
在步骤404处,确定当前图片分组中的图片的数目是否小于上文所述的预设数量,并且响应于确定当前图片分组中的图片的数目小于上文所述的预设数量,则转到步骤402继续确定当前图片分组中的最后一张图片与下一图片分组中的第一张图片是否具有相同的位置信息。
在步骤405处,响应于在步骤402处确定当前图片分组中的最后一张图片与下一图片分组中的第一张图片不具有相同的位置信息或者在步骤404处确定当前图片分组中的图片的数目不小于上文所述的预设数量,则继续遍历下一图片分组,如果下一图片分组存在的话。
应当指出,上面描述的方法100、200、300以及400可以相结合地实施。在这种情况下,作为示例,将最大时间间隔阈值、损失阈值、每组最小图片数分别设置为86400秒,3240000秒和5张时,本公开描述用于对图片进行聚类的方法具有较好的聚类效果。每组最大图片数的取值不被限制,其取值可以是不小于每组最小图片数的任何正整数。
图7示出了根据本公开的一个实施例的用于对图片进行聚类的设备700的示例性结构框图。如图7所示,所述设备700包括接收模块701、初步聚类模块702、合并模块703、第一呈现模块704、以及第二呈现模块704。
所述接收模块701被配置成接收多张图片。在一些实施例中,所述接收模块可以从本地存储器接收所述多张图片,也可以从远端设备、网络上的图片数据库或云端接收所述多张图片,这不是限制性的。
初步聚类模块702被配置成以图片的创建时间为特征对所述多张图片进行初步聚类,以得到第一多个图片分组。作为示例,所述初步聚类模块可以使用各种方法来实施所述初步聚类,例如使用上面描述的方法200。
合并模块703被配置成基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,以得到第二多个图片分组,其中图片的位置信息指示图片被拍摄的地理位置。所述图片的位置信息指示图片被拍摄的地理位置,其典型地是执行拍摄的设备的地理位置。在一些实施例中,图片被拍摄的地理位置可以通过基于位置的服务(LBS,Location Based Services)得到,在这种情况下,所述位置信息也被称为LBS信息。
第一呈现模块704被配置成呈现所述第二多个图片分组。在一些实施例中,第一呈现模块704还可以被配置成从所呈现的每个图片分组中选择一张图片作为所述每个分组的图片代表来呈现。
第二呈现模块705被配置成响应于对所呈现的第二多个图片分组之一的选择,呈现所选择的该一个图片分组中的图片。在一些实施例中,第二呈现模块705还可以被配置成以视频的形式来呈现该一个图片分组中的图片,其中该一个图片分组中的图片构成所述视频的视频帧。
图8图示了示例系统800,其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备810。计算设备810可以是例如服务提供商的服务器、与客户端(例如,客户端设备)相关联的设备、片上系统、和/或任何其它合适的计算设备或计算系统。上面关于图7描述的用于对图片进行聚类的设备700可以采取计算设备810的形式。替换地,用于对图片进行聚类的设备700可以以图片聚类应用816的形式被实现为计算机程序。
如图示的示例计算设备810包括彼此通信耦合的处理系统811、一个或多个计算机可读介质812以及一个或多个I / O接口813。尽管未示出,但是计算设备810还可以包括系统总线或其他数据和命令传送系统,其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合,所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其他示例,诸如控制和数据线。
处理系统811代表使用硬件执行一个或多个操作的功能。因此,处理系统811被图示为包括可被配置为处理器、功能块等的硬件元件814。这可以包括在硬件中实现为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件814不受其形成的材料或其中采用的处理机构的限制。例如,处理器可以由(多个)半导体和/或晶体管(例如,电子集成电路(IC))组成。在这样的上下文中,处理器可执行指令可以是电子可执行指令。
计算机可读介质812被图示为包括存储器/存储装置815。存储器/存储装置815表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置815可以包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储装置815可以包括固定介质(例如,RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如,闪存、可移动硬盘驱动器、光盘等)。计算机可读介质812可以以下面进一步描述的各种其他方式进行配置。
一个或多个I/O接口813代表允许用户向计算设备810输入命令和信息并且可选地还允许使用各种输入/输出设备将信息呈现给用户和/或其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备(例如,鼠标)、麦克风(例如,用于语音输入)、扫描仪、触摸功能(例如,被配置为检测物理触摸的容性或其他传感器)、相机(例如,可以采用可见或不可见的波长(诸如红外频率)将不涉及触摸的运动检测为手势)等等。输出设备的示例包括显示设备(例如,监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此,计算设备810可以以下面进一步描述的各种方式进行配置以支持用户交互。
计算设备810还包括图片聚类应用816。图片聚类应用816可以例如是图7描述的用于对图片进行聚类的设备700的软件实例,并且与计算设备810中的其他元件相组合地实现本文描述的技术。
本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地,这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”,“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的,意味着这些技术可以在具有各种处理器的各种计算平台上实现。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备810访问的各种介质。作为示例而非限制,计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
与单纯的信号传输、载波或信号本身相反,“计算机可读存储介质”是指能够持久存储信息的介质和/或设备,和/或有形的存储装置。因此,计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息(诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据)的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、硬盘、盒式磁带、磁带,磁盘存储装置或其他磁存储设备,或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备810的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以这样的方式对信号中的信息进行编码来设置或改变其特征中的一个或多个的信号。作为示例而非限制,通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其它无线介质的无线介质。
如前所述,硬件元件814和计算机可读介质812代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑,其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及硅中的其它实现或其他硬件设备的组件。在这种上下文中,硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备,以及用于存储用于执行的指令的硬件设备,例如,先前描述的计算机可读存储介质。
前述的组合也可以用于实现本文所述的各种技术和模块。因此,可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件814体现的一个或多个指令和/或逻辑。计算设备810可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此,例如通过使用处理系统的计算机可读存储介质和/或硬件元件814,可以至少部分地以硬件来实现将模块实现为可由计算设备810作为软件执行的模块。指令和/或功能可以由一个或多个制品(例如,一个或多个计算设备810和/或处理系统811)可执行/可操作以实现本文所述的技术、模块和示例。
在各种实施方式中,计算设备810可以采用各种不同的配置。例如,计算设备810可以被实现为包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等的计算机类设备。计算设备810还可以被实现为包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备的移动装置类设备。计算设备810还可以实现为电视类设备,其包括具有或连接到休闲观看环境中的一般地较大屏幕的设备。这些设备包括电视、机顶盒、游戏机等。
本文描述的技术可以由计算设备810的这些各种配置来支持,并且不限于本文所描述的技术的具体示例。功能还可以通过使用分布式系统、诸如通过如下所述的平台822而在“云”820上全部或部分地实现。
云820包括和/或代表用于资源824的平台822。平台822抽象云820的硬件(例如,服务器)和软件资源的底层功能。资源824可以包括在远离计算设备810的服务器上执行计算机处理时可以使用的应用和/或数据。资源824还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。
平台822可以抽象资源和功能以将计算设备810与其他计算设备连接。平台822还可以用于抽象资源的分级以提供遇到的对于经由平台822实现的资源824的需求的相应水平的分级。因此,在互连设备实施例中,本文描述的功能的实现可以分布在整个系统800内。例如,功能可以部分地在计算设备810上以及通过抽象云820的功能的平台822来实现。
应当理解,为清楚起见,参考不同的功能模块对本公开的实施例进行了描述。然而,将明显的是,在不偏离本公开的情况下,每个功能模块的功能性可以被实施在单个模块中、实施在多个模块中或作为其它功能模块的一部分被实施。例如,被说明成由单个模块执行的功能性可以由多个不同的模块来执行。因此,对特定功能模块的参考仅被视为对用于提供所描述的功能性的适当模块的参考,而不是表明严格的逻辑或物理结构或组织。因此,本公开可以被实施在单个模块中,或者可以在物理上和功能上被分布在不同的模块和电路之间。
将理解的是,尽管第一、第二、第三、第四等术语在本文中可以用来描述各种设备、元件、部件或元素,但是这些设备、元件、部件或元素不应当由这些术语限制。这些术语仅用来将一个设备、元件、部件或元素与另一个设备、元件、部件或元素相区分。
尽管已经结合一些实施例描述了本公开,但是其不旨在被限于在本文中所阐述的特定形式。相反,本公开的范围仅由所附权利要求来限制。附加地,尽管单独的特征可以被包括在不同的权利要求中,但是这些可以可能地被有利地组合,并且包括在不同权利要求中不暗示特征的组合不是可行的和/或有利的。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外,在权利要求中,词“包括”不排除其它元件,并且不定冠词“一”或“一个”不排除多个。权利要求中的附图标记仅作为明确的例子被提供,不应该被解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种用于对图片进行聚类的方法,包括:
接收多张图片;
以图片的创建时间为特征对所述多张图片进行初步聚类,以得到第一多个图片分组;
基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,以得到第二多个图片分组,其中图片的位置信息指示图片被拍摄的地理位置;
呈现所述第二多个图片分组。
2.根据权利要求1所述的方法,其中以图片的创建时间为特征对所述多张图片进行初步聚类,包括:
按照图片的创建时间的时间顺序对所述多张图片进行排序且将所述多张图片确定为未被分组的;
按经排序形成的先后顺序遍历所述排序后的图片并且针对遍历到的图片:
如果该张遍历到的图片的前一张图片存在且是未被分组的图片,则确定该张图片与前一张图片是否具有相同的创建时期;
响应于确定该张图片与前一张图片具有相同的创建时期,并且具有相同的创建时期的且连续未被分组的图片的数量达到每组最大图片数,则将所述具有相同的创建时期的未被分组的图片形成为一个图片分组;
响应于确定该张图片与前一张图片不具有相同的创建时期,并且连续未被分组的图片的数量达到每组最小图片数,则将所述连续未被分组的图片形成为一个图片分组。
3.根据权利要求2所述的方法,其中确定该张图片与前一张图片是否具有相同的创建时期,包括:
计算该张图片与前一张图片的创建时间之间的时间间隔;
响应于确定所述时间间隔小于或等于最大时间间隔阈值,则计算该张图片与该张图片之前的、具有相同的创建时期的且连续未被分组的图片的创建时间的离均差平方和;
响应所述离均差平方和小于或等于损失阈值,则确定该张图片与前一张图片具有相同的创建时期。
4.根据权利要求3所述的方法,还包括:
响应所述离均差平方和大于损失阈值,则确定该张图片与前一张图片不具有相同的创建时期。
5.根据权利要求3所述的方法,还包括:
响应于确定所述时间间隔大于最大时间间隔阈值,则确定该张图片与前一张图片不具有相同的创建时期。
6.根据权利要求1所述的方法,其中,基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,包括:
从所述第一多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组;
基于所述第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并。
7.根据权利要求6所述的方法,其中,从所述第一多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组,包括:
从所述第一多个图片分组中去除图片质量小于预定质量阈值的图片,以形成第四多个图片分组;
从所述第四多个图片分组中选择每个图片分组中的图片数量小于预设数量的第三多个图片分组。
8.根据权利要求6所述的方法,其中,基于所述第三多个图片分组中的图片的位置信息将所述第三多个图片分组进行合并,包括:
按第三多个图片分组中的图片的创建时间的时间顺序遍历所述第三多个图片分组,并且针对遍历到的当前图片分组,
(a)确定当前图片分组中的最后一张图片与下一图片分组中的第一张图片是否具有相同的位置信息,
(b)响应于确定具有相同的位置信息,则将下一图片分组的图片按序合并到当前图片分组中并删除所述下一图片分组;
(c)循环执行步骤(a)和(b),直到当前图片分组中的图片的数目大于或等于所述预设数量。
9.根据权利要求2所述的方法,其中,按照图片的创建时间的时间顺序对所述多张图片进行排序,包括:
对所述多张图片进行去差处理以从所述多张图片中去除图片质量低于预定质量阈值的图片;
按照图片的创建时间的时间顺序对经去差处理后的图片进行排序。
10.根据权利要求1所述的方法,还包括:
响应于对所呈现的第二多个图片分组之一的选择,呈现所选择的该一个图片分组中的图片。
11.根据权利要求10所述的方法,呈现所选择的该一个图片分组中的图片包括:
以视频的形式呈现所选择的该一个图片分组中的图片,其中该一个图片分组中的图片构成该视频的视频帧。
12.一种用于对图片进行聚类的设备,包括
接收模块,其被配置成接收多张图片;
初步聚类模块,其被配置成:以图片的创建时间为特征对所述多张图片进行初步聚类,以得到第一多个图片分组;
合并模块,其被配置成:基于第一多个图片分组中的图片的位置信息对所述第一多个图片分组进行合并,以得到第二多个图片分组,其中图片的位置信息指示图片被拍摄的地理位置;
第一呈现模块,其被配置成呈现所述第二多个图片分组。
13.根据权利要求12所述的设备,还包括:
第二呈现模块,其配配置成:响应于对所呈现的第二多个图片分组之一的选择,呈现所选择的该一个图片分组中的图片。
14. 一种计算设备,包括:
处理器;以及
存储器,配置为在其上存储有计算机可执行指令,当计算机可执行指令被处理器执行时执行如权利要求1-11中的任一项所述的方法。
15.一种计算机可读存储介质,其存储有计算机可执行指令,当所述计算机可执行指令被执行时,执行如权利要求1-11中的任一项所述的方法。
CN201910694731.3A 2019-07-30 2019-07-30 用于对图片进行聚类的方法和设备 Active CN110413817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910694731.3A CN110413817B (zh) 2019-07-30 2019-07-30 用于对图片进行聚类的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910694731.3A CN110413817B (zh) 2019-07-30 2019-07-30 用于对图片进行聚类的方法和设备

Publications (2)

Publication Number Publication Date
CN110413817A true CN110413817A (zh) 2019-11-05
CN110413817B CN110413817B (zh) 2023-06-16

Family

ID=68364176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910694731.3A Active CN110413817B (zh) 2019-07-30 2019-07-30 用于对图片进行聚类的方法和设备

Country Status (1)

Country Link
CN (1) CN110413817B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719962A (zh) * 2023-08-11 2023-09-08 世优(北京)科技有限公司 图像的聚类方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100114891A1 (en) * 2007-04-13 2010-05-06 Nec Corporation Photograph grouping device, photograph grouping method and photograph grouping program
CN102314515A (zh) * 2011-09-22 2012-01-11 宇龙计算机通信科技(深圳)有限公司 照片分类方法及装置
CN104331509A (zh) * 2014-11-21 2015-02-04 深圳市中兴移动通信有限公司 照片管理方法及装置
CN104866501A (zh) * 2014-02-24 2015-08-26 腾讯科技(深圳)有限公司 电子旅行相册生成方法和系统
CN104866500A (zh) * 2014-02-25 2015-08-26 腾讯科技(深圳)有限公司 图片分类展示方法和装置
CN105488074A (zh) * 2014-09-28 2016-04-13 小米科技有限责任公司 照片聚类的方法及装置
CN105528444A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种相册生成方法和装置
CN105955996A (zh) * 2016-04-19 2016-09-21 乐视控股(北京)有限公司 图片处理方法及装置
CN108235765A (zh) * 2017-12-05 2018-06-29 华为技术有限公司 一种故事相册的显示方法及装置
CN108369638A (zh) * 2015-12-16 2018-08-03 三星电子株式会社 使用聚类进行的基于事件的图像管理

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100114891A1 (en) * 2007-04-13 2010-05-06 Nec Corporation Photograph grouping device, photograph grouping method and photograph grouping program
CN102314515A (zh) * 2011-09-22 2012-01-11 宇龙计算机通信科技(深圳)有限公司 照片分类方法及装置
CN104866501A (zh) * 2014-02-24 2015-08-26 腾讯科技(深圳)有限公司 电子旅行相册生成方法和系统
CN104866500A (zh) * 2014-02-25 2015-08-26 腾讯科技(深圳)有限公司 图片分类展示方法和装置
CN105488074A (zh) * 2014-09-28 2016-04-13 小米科技有限责任公司 照片聚类的方法及装置
CN104331509A (zh) * 2014-11-21 2015-02-04 深圳市中兴移动通信有限公司 照片管理方法及装置
CN108369638A (zh) * 2015-12-16 2018-08-03 三星电子株式会社 使用聚类进行的基于事件的图像管理
CN105528444A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种相册生成方法和装置
CN105955996A (zh) * 2016-04-19 2016-09-21 乐视控股(北京)有限公司 图片处理方法及装置
CN108235765A (zh) * 2017-12-05 2018-06-29 华为技术有限公司 一种故事相册的显示方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟冠国: "《统计学基本理论与方法》", 31 March 1996, 贵州科技出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719962A (zh) * 2023-08-11 2023-09-08 世优(北京)科技有限公司 图像的聚类方法、装置及电子设备
CN116719962B (zh) * 2023-08-11 2023-10-27 世优(北京)科技有限公司 图像的聚类方法、装置及电子设备

Also Published As

Publication number Publication date
CN110413817B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
KR102457665B1 (ko) 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
KR102083696B1 (ko) 사용자 개입 없이 레이아웃에 따라 이미지를 식별하고 정리하는 기법
US9817847B2 (en) Neural network image curation control
US9684656B2 (en) Creating personalized and continuous playlists for a content sharing platform based on user history
US20180005040A1 (en) Event-based image classification and scoring
US10671670B2 (en) Graph based content browsing and discovery
US8793312B2 (en) Bridging social silos for knowledge discovery and sharing
US9715532B1 (en) Systems and methods for content object optimization
CN105653142A (zh) 基于区域和用户属性的图像特效排序方法及系统
US11914651B2 (en) Classification and selective filtering of a data set
KR20230021144A (ko) 사용자 선호도를 반영한 기계 학습 기반 이미지 압축 세팅
US20210127165A1 (en) Selective video watching by analyzing user behavior and video content
CN110413817A (zh) 用于对图片进行聚类的方法和设备
US9578258B2 (en) Method and apparatus for dynamic presentation of composite media
KR102492022B1 (ko) 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
US20150055936A1 (en) Method and apparatus for dynamic presentation of composite media
KR102492014B1 (ko) 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
US20230124474A1 (en) Multimedia file playing method and apparatus for rotatable device
US9432712B2 (en) Updating channel appearance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant