CN115147633A - 图像聚类方法、装置、设备及存储介质 - Google Patents

图像聚类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115147633A
CN115147633A CN202210968585.0A CN202210968585A CN115147633A CN 115147633 A CN115147633 A CN 115147633A CN 202210968585 A CN202210968585 A CN 202210968585A CN 115147633 A CN115147633 A CN 115147633A
Authority
CN
China
Prior art keywords
clustering
image
similarity
target
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210968585.0A
Other languages
English (en)
Inventor
秦昊煜
刘佳恒
吴一超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202210968585.0A priority Critical patent/CN115147633A/zh
Publication of CN115147633A publication Critical patent/CN115147633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures

Abstract

本申请实施例提供一种图像聚类方法、装置、设备及存储介质,其中,该方法包括:确定待聚类图像集合中待聚类图像之间的相似度;基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果。

Description

图像聚类方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域,涉及但不限于一种图像聚类方法、装置、设备及存储介质。
背景技术
图像聚类的过程是将图像集合,例如相册中相似的图像聚集在一起,并将该相似的图像采用聚类拓扑图来表示的过程。相关技术中,可以采用邻接表来记录该聚类拓扑图,但是存储该邻接表占用的内存较大,会导致图像聚类过程中设备卡顿,甚至出现设备崩溃的问题。
发明内容
本申请实施例提供一种图像聚类技术方案。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种图像聚类方法,所述方法包括:
确定待聚类图像集合中待聚类图像之间的相似度;基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果。
第二方面,本申请实施例提供一种图像聚类装置,所述装置包括:
第一确定模块,用于确定待聚类图像集合中待聚类图像之间的相似度;第二确定模块,用于基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;
第三确定模块,用于在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;选择模块,用于在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;第一聚类模块,用于基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果第一确定模块,用于确定待聚类图像集合中待聚类图像之间的相似度;
本申请实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现上述的图像聚类方法。
本申请实施例提供一种终端设备,所述终端设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的图像聚类方法。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。
在本申请实施例中,首先,确定待聚类图像集合中待聚类图像之间的相似度并基于该相似度确定待聚类图像集合的聚类拓扑图;这样,通过聚类拓扑图中的节点和边可以直观地看到待聚类图像集合中待聚类图像之间的相似度;然后,在聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;这样,通过第一目标集合可以较准确地得到在聚类拓扑图中相似度较高的待聚类图像;在该第一目标边集合中边的数量大于预设数量阈值的情况下,在该第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;这样,通过设置数量阈值的方式来限制高相似度的边的数量,使得用于存储聚类拓扑图的邻接表的内存减小;基于该第二目标边集合,对待聚类图像集合进行聚类,得到第一聚类结果;这样,通过第二目标便集合对待聚类图像集合进行聚类,得到第一聚类结果,使得在不影响聚类结果的情况下,减小在聚类过程中用于存储聚类拓扑图的内存消耗,降低聚类过程中因内存消耗过大使得机器卡顿甚至崩溃的概率。
附图说明
图1A为本申请实施例提供的一种图像聚类方法的执行系统的架构示意图;
图1B为本申请实施例提供的图像聚类方法的实现流程示意图;
图2为本申请实施例提供的图像聚类方法的另一实现流程示意图;
图3为本申请实施例提供的图像聚类方法的再一实现流程示意图;
图4为本申请实施例提供的一种聚类拓扑图的示意图;
图5为本申请实施例提供的另一种聚类拓扑图的示意图;
图6为本申请实施例提供的图像聚类装置的结构组成示意图;
图7为本申请实施例提供的终端设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在对本申请实施例进行进一步详细说明之前,先对本申请实施例中涉及的名词和术语进行说明。
1)邻接表,是指一种顺序分配和链式分配相结合的存储结构,如一个表头结点所对应的顶点存在相邻顶点,则把相邻顶点依次存放于表头结点所指向的单向链表中。
2)邻接矩阵,是表示顶点之间相邻关系的矩阵,通常用一个一维数组存放所有顶点数据,用一个二维数组存放顶点间关系(边或弧)的数据,该二维数组称为邻接矩阵。
3)误识率(False Accept Rate,FAR),是指把不同对象的图像误识别为同一对象的图像占图像识别总次数的比例。
4)识别率(True Accept Rate,TAR),是指把相同对象的图像识别为同一对象的图像占图像识别总次数的比例。
本申请实施例提供一种图像聚类方法,应用于终端设备。所述终端设备包括但不限于手机、笔记本电脑、平板电脑、移动互联网设备、台式电脑或其他类型的终端设备。该方法所实现的功能可以通过终端设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该终端设备至少包括处理器和存储介质。处理器可以用于执行所述图像聚类方法,存储器可以用于存储执行所述图像聚类方法过程中需要的数据以及产生的数据。
图1A为本申请实施例提供的一种图像聚类方法的执行系统10的一个可选的架构示意图,如图1A所示,终端设备300通过网络200连接图像采集设备100或服务器400。网络200可以是广域网或者局域网,又或者是二者的组合。终端设备300和图像采集设备100在物理上可以是分立的,也可以是一体的。图像采集设备100可以通过网络200将采集到的待聚类图像发送或存储至终端设备300。终端设备300确定待聚类图像集合中待聚类图像之间的相似度;基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果。这样,通过对相似度较高的第一目标边集合进行筛选,从中选择出预设数量阈值的边,以减少第一目标边集合的数量,滤除对聚类结果影响不大的边;从而按照较小数量的第二目标边集合进行图像聚类,相当于在针对同样规模的图像进行聚类时,能够由于边的减少而节省计算资源等;如此,使得在不影响聚类结果的情况下,减小在聚类过程中用于存储聚类拓扑图的内存消耗,降低聚类过程中因内存消耗过大使得机器卡顿甚至崩溃的概率。
在一些实施例中,图1A所示的系统也可以没有网络200和图像采集设备100,而只有终端设备300,这样终端设备从本地获取待聚类图像集合中待聚类图像并实现图像聚类。在另一些实施例中,图像采集设备100与终端设备300可以是一体化的,例如带有摄像头的终端设备,如手机,这样图像采集设备100与终端设备300之间可以通过有线传输的方式进行连接而非网络。
在一些实施例中,服务器400可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
图1B为本申请实施例提供的一种图像聚类方法的实现流程示意图,如图1B所示,所述方法包括以下步骤:
步骤S101、确定待聚类图像集合中待聚类图像之间的相似度;
这里,待聚类图像集合是指包括了至少两个待聚类图像的集合,例如:图像文件夹、图像文件包、电子相册、图像库等;在待聚类图像集合中,待聚类图像之间可以是同一对象在不同场景下获取的图像,也可以是不同对象在不同场景下获取的图像,还可以是同一对象或不同对象在同一场景下获取的图像,其中,对象通常指的是图像中的主体元素或是前景内容等,可以包括人、也可以包括动物、还可以包括植物等,本申请实施例不做限定。在一些实施例中,待聚类图像集合中的待聚类图像的形式可以包括:二维(Two-dimensional,2D)图像、三维(Three-dimensional,3D)图像等中的一种维度或多种维度的图像。图像可以包括各种色彩模式的图像,例如红绿蓝(Red Green Blue,RGB)图像、青品红黄(CyanMagenta Yellow,CMY)图像等中的一种色彩模式或多种色彩模式的图像。示例地,待聚类图像集合包括一个电子相册,在该电子相册中包括目标人物A在地铁站、飞机场、火车站、农场等场景下的人物图像,还包括了目标人物B在公园、游乐场、动物园、植物园、花鸟市场等场景下的人物图像。
在一些实施例中,图像采集设备采集的待聚类图像可以包括图像质量较高的图像,还可以包括图像质量较低的图像。其中,图像质量较高的图像可以是图像清晰度、图像中待聚类的对象的完整度较高,比如,在待聚类图像为人脸图像的情况下,图像画面中包括完整且清晰的人脸的五官;图像质量较低的图像可以是图像清晰度、图像中待聚类的对象的完整度较低,比如,在待聚类图像为人脸图像的情况下,图像画质模糊、图像中缺失人脸五官的任一区域或图像中的人脸五官任一区域不可识别等。在实施时,对于图像质量较低的待聚类图像予以舍弃;或者,将该待聚类图像进行标识并存放入已标识图像集合中。
这里,由于待聚类图像集合中包括了至少两帧待聚类图像,且该待聚类图像是获取的同一对象或不同对象的图像,因此,至少两帧待聚类图像之间存在相似度较高的图像,以及相似度较低的图像。
在一些实施例中,待聚类图像之间的相似度介于0至1之间。在至少两个待聚类图像包括不同对象的图像的情况下,待聚类图像之间的相似度很低,甚至为0;在至少两帧待聚类图像为相同对象的图像的情况下,待聚类图像之间的相似度较高。
在一些可能的实现方式中,可以采用图像相似度算法来分析待聚类图像之间的相似度;其中,图像相似度算法包括比对像素方差算法、感知哈希算法(Perceptual hashalgorithm,PHA)、模板匹配算法等,本申请实施例不做限定。示例地,例如,在采用比对像素方差算法进行相似度计算时,分别依次通过计算每帧待聚类图像的方差,然后比较不同待聚类图像的方差的差值的大小,方差的差值越小,说明待聚类图像的相似度越高。又如,在采用感知哈希算法进行相似度计算时,对每帧待聚类图像生成一个64位哈希值,然后比较不同待聚类图像的哈希值,哈希值越接近,说明待聚类图像的相似度越高。
在一些实施例中,至少两个待聚类图像之间存在一定的相似度,在实施时,根据获取的需求设置相似度阈值,或者根据本领域技术人员的经验值设置相似度阈值,在至少两个待聚类图像之间的相似度大于或等于相似度阈值的情况下,认为该待聚类图像为同一对象的图像;在至少两个待聚类图像之间的相似度小于相似度阈值的情况下,认为该待聚类图像为不同对象的图像。示例地,如果相似度阈值为0.6,则在至少两个待聚类图像之间的相似度大于0.6,比如为0.8情况下,确定该待聚类图像为同一对象的图像;在至少两个待聚类图像之间的相似度小于0.6,比如为0.2的情况下,确定该待聚类图像为不同对象的图像。
步骤S102、基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;
这里,聚类拓扑图为表征待聚类图像集合中同一对象的图像的拓扑图,在聚类拓扑图中,每一待聚类图像表示为一个节点,每两帧待聚类图像对应的节点之间用一条线段来连接,该线段作为该聚类拓扑图的边,每两帧待聚类图像之间的相似度为该边的权重,一个完整的聚类拓扑图为一个连通分量,即在聚类拓扑图中所有节点中两两之间是互相连通可达的。示例地,在待聚类图像集合中包括一个对象的10帧图像,则在聚类拓扑图中对应有10个节点,每两个节点之间有边相连,边的权重为该边对应的两个节点所表示的两帧图像之间的相似度的取值。
在一些实施例中,在待聚类图像集合中存在一个或多个对象的多帧图像,因此,基于图像之间的相似度,可以得到一个或多个聚类拓扑图;其中,一个聚类拓扑图对应于一个对象的多帧图像。示例地,在图像之间的相似度大于预设的相似度阈值的情况下,认为该类图像为同一对象的图像,因此,基于该类同一对象的图像,得到一个聚类拓扑图。
在一些实施例中,聚类拓扑图可以采用邻接矩阵或邻接表的方式来存储。其中,在存储邻接矩阵时,内存消耗是聚类拓扑图中节点数的平方;在存储邻接表时,内存消耗正比于聚类拓扑图中边的数量。在实施时,在聚类拓扑图中节点数和边数都很大时,内存消耗很大。
步骤S103、在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;
这里,目标安全阈值是图像之间的相似度的一个指标,在图像之间的相似度大于目标安全阈值的情况下,表征进行相似度比较的两帧图像的画面内容包括同一对象。在聚类拓扑图中表现为:在聚类拓扑图中某条边对应的权重大于目标安全阈值的情况下,该边两端的两个节点对应的图像是属于同一对象的图像,且该两个节点对于的图像之间的相似度大于目标安全阈值。示例地,目标安全阈值为0.8,在待聚类图像集合中,某两帧待聚类图像之间的相似度为0.9,由于该两帧待聚类图像之间的相似度大于目标安全阈值,因此,在表征该对象图像的聚类拓扑图中,由于该两帧待聚类图像的相似度为0.9,即,连接该两帧待聚类图像的边的权重为0.9,该权重大于目标安全阈值0.8,因此,该边两端的两个节点对应的两帧待聚类图像是属于同一对象的图像。
这里,第一目标边集合是指在聚类拓扑图中,包括边的权重,即图像的相似度,大于目标安全阈值时的边的集合。示例地,目标安全阈值为0.8,在聚类拓扑图中,边A的权重为0.85,边B的权重为0.87,边C的权重为0.9,则第一目标边集合为包括边A,边B、边C的边的集合。
步骤S104、在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;
在一些实施例中,由于第一目标边集合中的边满足:边的权重,即图像的相似度,大于目标安全阈值,因此,通过设置数量阈值的方式来限制高相似度的边的数量来缩小邻接表的大小,进而在不影响聚类结果的情况下,降低内存消耗。
这里,第二目标边集合是指包括从第一目标边集合中选择的预设数量阈值的边的集合,可见在第二目标集合中边的数量小于第一目标集合中的边的数量。
在一些实施例中,数量阈值是根据获取的需求或经验值来设置的。示例地,在第一目标边集合中边的数量为100条,此时,由于边两端的两个节点对应的图像是属于同一对象的图像,因此,在不影响聚类结果的情况下,设置数量阈值为50条,从而限制高相似度的边的数量来简化邻接表的大小,从而降低内存消耗。
步骤S105、基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果。
这里,第一聚类结果是指待聚类图像集合中每一图像的分类结果。示例地,在待聚类图像为人的情况下,待聚类图像集合中包括第一个人A、第二个人B、第三个人C的图像,待聚类图像集合中的待聚类图像包括图像001至图像009,则第一聚类结果是指在待聚类图像集合中,第一个人A的图像包括图像001、图像008;第二个人B的图像包括图像002、图像003、图像005、图像006;第三个人C的图像包括图像004、图像007、图像009。又如,在待聚类图像集合中包括人、猴子、马的图像,待聚类图像包括图像001至图像008,则第一聚类结果是指在待聚类图像集合中,人的图像包括图像001、图像002;猴子的图像包括图像003、图像004、图像005、图像006;马的图像包括图像007、图像008。
在一些可能的实现方式中,聚类的方法包括以下至少之一:
(1)、k均值聚类算法(k-means clustering algorithm,K-means),在实施时,首先,将待聚类图像分为K组,随机从待聚类图像中选取K个图像作为初始的聚类中心;之后,计算每个图像与各个初始的聚类中心之间的距离,并将把每个图像分配给距离该图像最近的聚类中心,则聚类中心以及分配给聚类中心的图像就表示一个聚类。在待聚类图像集合中的每一图像被分配完毕后,每一聚类的聚类中心会根据聚类中当前的图像被重新确定,该过程将不断重复直到满足某个终止条件。其中,该终止条件包括以下至少之一:没有或最小数目图像被重新分配给不同的聚类簇;没有或最小数目聚类中心再发生变化;在一个聚类簇对应的图像集合内,图像之间的误差平方和局部最小,其中,上述最小数目的图像是根据获取的需求或经验值设定的。
(2)、谱聚类是将待聚类图像集合中所有的图像看成空间中的点,这些点之间可以用边连接起来,距离较远的两点之间边的权重值较低,距离较近的两点间边的权重值较高,然后通过对所有点组成的图进行切图,让切图后不同子图间边的权重之和尽可能低,子图内边的权重之和尽可能高,即子图间距离尽量较远,子图内部距离尽量较近,迭代删除表征距离较远的边,从而进行聚类的过程。
在本申请实施例中,首先,确定待聚类图像集合中待聚类图像之间的相似度并基于该相似度确定待聚类图像集合的聚类拓扑图;这样,通过聚类拓扑图中的节点和边可以直观地看到待聚类图像集合中待聚类图像之间的相似度;然后,在聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;这样,通过第一目标集合可以较准确地知悉在聚类拓扑图中相似度较高的待聚类图像;在该第一目标边集合中边的数量大于预设数量阈值的情况下,在该第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;这样,通过设置数量阈值的方式来限制高相似度的边的数量,使得用于存储聚类拓扑图的邻接表的大小减小,内存变小;基于该第二目标边集合,对待聚类图像集合进行聚类,得到第一聚类结果;这样,通过第二目标便集合对待聚类图像集合进行聚类,得到第一聚类结果,使得在不影响聚类结果的情况下,减小在聚类过程中用于存储聚类拓扑图的内存消耗,降低聚类过程中因内存消耗过大使得机器卡顿甚至崩溃的概率。
在一些实施例中,通过误识率和第一图像对确定第一安全阈值,通过第一安全阈值和第二图像对,确定第一识别率,在第一识别率大于预设识别率的情况下,确定目标安全阈值,即,在步骤S103之前,所述方法还包括:
步骤S111、获得所述待聚类图像集合中每两帧不同的待聚类图像的相似度,得到相似度小于第一相似度阈值的第一图像对和相似度大于第二相似度阈值的第二图像对;
这里,所述第二相似度阈值大于或等于所述第一相似度阈值。第一图像对是指相似度很低或者不同对象的图像构成的图像对,即图像负对,示例地,在第一图像对中包括图像A和图像B,图像A是对象A的图像,图像B是对象B的图像,则图像A和图像B的相似性很低,被称为图像负对。
这里,第二图像对是指相似度较高或者同一对象的图像构成的图像对,即图像正对,示例地,在第二图像对中包括图像A和图像B,图像A是对象A的图像,图像B也是对象A的图像,则图像A和图像B的相似性较高,被称为图像正对。
步骤S112、基于所述第一图像对和第一预设误识率,确定第一安全阈值;
在一些实施例中,基于第一图像对和第一预设误识率,确定第一安全阈值的方法如公式(1)所示,在公式(1)中,FAR为第一预设误识率,在已知了第一预设误识率FAR、Nn对第一图像对以及Nn对第一图像对的相似度
Figure BDA0003795723500000071
的情况下,可以得知第一安全阈值t的一个取值范围或确定的取值。
Figure BDA0003795723500000072
其中,Nn为第n个第一图像对,t是第一安全阈值,
Figure BDA0003795723500000073
是第i个第一图像对的相似度,1(x)为指示函数,x为真时,1(x)值为1;x为假时,1(x)值为0。
在一些可能的实现方式中,第一图像对是用户根据需求提供的,第一预设误识率是用户根据需求提供的,或者本领域技术人员根据经验值设定的。
步骤S113、基于所述第一安全阈值和所述第二图像对,确定第一识别率;
在一些实施例中,基于第一安全阈值和第二图像对,确定第一识别率的方法如公式(2)所示,在公式(2)中,TAR为第一识别率,在已知了第二图像对Np,第一图像对Nn、第二图像对的相似度
Figure BDA0003795723500000074
以及第一安全阈值t的情况下,可以得知第一识别率的取值。
Figure BDA0003795723500000075
其中,
Figure BDA0003795723500000076
为第j个第二图像对的相似度,1(x)为指示函数,括号里的式子为真时,整个式子值为1;括号里的式子为假时,整个式子值为0。
步骤S114、在所述第一识别率大于或等于预设识别率的情况下,确定所述第一安全阈值为所述目标安全阈值。
在一些可能的实现方式中,预设识别率是根据需求提供的或者本领域技术人员根据经验值设定的。
在一些实施例中,在第一识别率大于或等于预设识别率的情况下,说明在将给定的待聚类图像集合进行聚类时,能使得待聚类图像的识别率达到用户的要求,因而,此时的第一安全阈值为目标安全阈值。
在步骤S111至步骤S114中,通过第一图像对和第一预设误识率,确定第一安全阈值并通过第一安全阈值和第二图像对,确定第一识别率,在第一识别率大于或等于预设识别率的第一识别率后,确定第一安全阈值为目标安全阈值,这样,能够使得在第一安全阈值为目标安全阈值的情况下,待聚类图像集中的待聚类图像的识别率达到预设识别率,提高图像聚类的准确性。
在一些实施例中,在基于第一安全阈值和所述第二图像对,确定第一识别率之后,所述方法还包括:
在所述第一识别率小于预设识别率的情况下,对第一预设误识率进行更新,得到已更新误识率。
在一些实施例中,所述已更新误识率小于所述第一预设误识率。在第一识别率小于预设识别率的情况下,说明第一识别率没有达到用户要求的识别率,因此需要更新(重新设置)误识率,并通过上述公式(1)和公式(2)重新计算第一识别率,使得第一识别率最终大于或等于预设识别率,上述方法的步骤包括:
第一步、确定已更新误识率;
在一些实施例中,已更新误识率小于第一预设误识率,这样,在已更新误识率小于第一预设误识率的情况下,待聚类图像被误识的概率越低,识别率才能提高;
第二步、基于所述第一图像对和所述已更新误识率,确定第二安全阈值;
在一些实施例中,基于第一图像对和已更新误识率,确定第二安全阈值的方法如上述公式(1)所示,可参考步骤S112进行理解。
在一些实施例中,第二安全阈值要大于第一安全阈值,以使第二识别率要高于第一识别率。
第三步、基于所述第二安全阈值和所述第二图像对,确定第二识别率;
在一些实施例中,基于第二安全阈值和第二图像对,确定第二识别率的方法如上述公式(2)所示,可参考步骤S113进行理解。
第四步、在所述第二识别率大于或等于所述预设识别率的情况下,确定所述第二安全阈值为所述目标安全阈值。
在一些实施例中,第四步可参考步骤S114进行理解。
在本申请实施例中,在第一识别率小于预设识别率的情况下,对第一预设误识率进行更新,得到已更新误识率,这样,便于后续基于第一图像对和已更新误识率确定第二安全阈值并基于第二安全阈值和第二图像对,确定第二识别率,从而使得第二识别率大于或等于预设识别率,进而提高图像聚类的准确性。
在一些实施例中,基于待聚类图像集合和第二预设误识率,确定聚类阈值,并基于聚类阈值确定中间聚类图像组以及中间聚类图像组对应的聚类拓扑图,即如图2所示,步骤S102的实施包括以下步骤:
步骤S201、基于所述待聚类图像集合和第二预设误识率,确定聚类阈值;
这里,聚类阈值是指待聚类图像能够聚集为一类所满足的图像相似度阈值。示例地,设定聚类阈值为0.6,则在待聚类图像之间的相似度大于0.6的情况下,该待聚类图像会聚成一类,或待聚类图像会认为是同一对象的图像。
在一些实施例中,所述聚类阈值小于所述目标安全阈值;所述第二预设误识率大于第一预设误识率;
在一些实施例中,在待聚类图像集合中确定第三聚类图像对;其中,第三目标图像对中两个图像为不同对象的图像且第三聚类图像对的数量大于第一聚类图像对的数量;基于第三聚类图像对和预设的第三误识率,确定聚类阈值,其中,可以根据公式(1)计算聚类阈值,在根据公式(1)计算聚类阈值时,FAR的数值为预设的第三误识率,Nn的数值为第三聚类图像对。
步骤S202、确定所述相似度大于所述聚类阈值的至少一个中间聚类图像组;
这里,中间聚类图像组是指同属于一个对象的待聚类图像或相似度大于聚类阈值的同一批待聚类图像组成的集合。
在一些实施例中,待聚类图像集合中包括几个对象的图像,此时,可以将待聚类图像集合中的图像分为几个中间聚类图像组。
步骤S203、针对所述至少一个中间聚类图像组中每一中间聚类图像组,以所述中间聚类图像组中任一图像为节点,所述中间聚类图像组中任意两帧图像之间的连线为边,得到所述中间聚类图像组对应的聚类拓扑图。
在一些实施例中,待聚类图像集合中每一中间聚类图像组对应一个聚类拓扑图,在该聚类拓扑图中,节点为中间聚类图像组中任一图像,边为中间聚类图像组中任意两帧图像之间的连线。
在一些实施例中,在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合,包括:在所述每一中间聚类图像组对应的聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合。
在步骤S201至步骤S203中,首先基于待聚类图像集合和第二预设误识率,确定聚类阈值;并确定相似度大于聚类阈值的至少一个中间聚类图像组;这样,通过聚类阈值能够快速地从待聚类图像集合中确定中间聚类图像组;之后,以中间聚类图像组中任一图像为节点,以任意两帧图像之间的连线为边,得到中间聚类图像组对应的聚类拓扑图,这样,通过建立中间聚类图像组对应的聚类拓扑图,能够直观地看到待聚类图像集合中同一对象的图像,或相似度大于聚类阈值的图像,进而提高图像聚类效率。
在一些实施例中,在聚类拓扑图中确定表征相似度大于目标安全阈值的第一目标边集合的步骤包括:
步骤S21、在所述聚类拓扑图中,确定表征相似度大于所述聚类阈值的第三目标边集合;
在一些实施例中,在聚类拓扑图中的边的权重表征图像相似度,因此,将聚类拓扑图中图像相似度大于聚类阈值时对应的边的集合作为第三目标边集合,换句话说,在第三目标边集合中,边的权重,即,图像相似度大于聚类阈值。
步骤S22、在所述第三目标边集合中,确定表征相似度大于目标安全阈值的第一目标边集合。
在一些实施例中,在第三目标边集合中,继续筛选边的权重,即图像相似度大于目标安全阈值的边作为第一目标边集合中的边。
在步骤S21和步骤S22中,首先在聚类拓扑图中确定表征相似度大于聚类阈值的第三目标边集合;然后在该第三目标边集合中,确定表征相似度大于目标安全阈值的第一目标边集合,这样,通过从第三目标边集合中根据目标安全阈值来筛选第一目标边集合,能够较准确地得到第一目标边集合。
在一些实施例中,在第三目标边集合中,在边的权重,即图像相似度,小于目标安全阈值的情况下,所述方法还包括:
步骤S211、在所述第三目标边集合中,确定小于所述目标安全阈值的第四目标边集合;
这里,第四目标边集合中包括的边的权重,即图像相似度,大于聚类阈值但小于目标安全阈值。
步骤S212、基于所述第四目标边集合,对所述待聚类图像集合进行聚类,得到第二聚类结果。
在一些实施例中,由于图像相似度大于聚类阈值但小于目标安全阈值,因此,在聚类拓扑图中,边的两端的节点对应的图像有可能不是同一对象的图像,所以要依次根据聚类拓扑图中所有的边的两端对应的图像进行图像聚类,并将聚类拓扑图中所有的边进行存储,得到第二聚类结果。
这里,第二聚类结果可参考第一聚类结果来理解。
在一些实施例中,基于所述待聚类图像集合和第二预设误识率,确定聚类阈值之后,所述方法还包括:
步骤S221、在所述待聚类图像之间的相似度小于所述聚类阈值的情况下,在所述聚类拓扑图中确定表征相似度小于聚类阈值的边,得到第五目标边集合;
这里,在第五目标边集合中,边的权重,即图像的相似度,小于聚类阈值。
步骤S222、在所述聚类拓扑图中,删除所述第五目标边集合。
这里,在图像相似度小于聚类阈值的情况下,说明图像之间的相似度较低,或者,该至少两个图像为不同对象的图像,因此,在表征同一对象的图像的聚类拓扑图中,将第五目标边集合删除。
在步骤S221和步骤S222中,在待聚类图像之间的相似度小于聚类阈值的情况下,在聚类拓扑图中确定表征相似度小于聚类阈值的边,得到第五目标边集合;并在聚类拓扑图中,删除第五目标边集合,这样,在表征一个对象的图像的聚类拓扑图中,删除第五目标边集合,能够减少第一目标边集合中边的数量,进而降低内存消耗,降低聚类过程中因内存消耗过大使得机器卡顿甚至崩溃的概率。
在一些实施例中,所述在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合,包括以下至少之一:
(1)、在所述第一目标边集合中,随机选取所述预设数量阈值的边作为第二目标边集合;
在一些实施例中,示例地,预设数量阈值为n,则在第一目标边集合中,随机选取n条边作为第二目标边集合。
(2)、在所述第一目标边集合中,按照相似度的预设次序选取所述预设数量阈值的边作为第二目标边集合。
这里,预设次序包括相似度从高到低、相似度从低到高,或者其他的次序。
在一些实施例中,示例地,预设数量阈值为n,则在第一目标边集合中,按照相似度从高到低的次序的次序选取前n条边作为第二目标边集合。
在本申请实施例中,在第一目标边集合中,在相似度大于目标安全阈值,且边的数量大于预设数量阈值的情况下,随机或者按照相似度的预设次序选取预设数量阈值的边作为第二目标边集合,这样能够在不影响聚类结果的情况下,减小在聚类过程中用于存储聚类拓扑图的内存消耗,降低聚类过程中因内存消耗过大使得机器卡顿甚至崩溃的概率。
在一些实施例中,在第一目标边集合中,在相似度大于目标安全阈值,且边的数量小于预设数量阈值的情况下,确定第六目标边集合,并基于第六目标边集合进行聚类,得到第三聚类结果,即,如图3所示,在步骤S103之后,所述方法还包括:
步骤S301、在所述第一目标边集合中,确定表征相似度大于所述目标安全阈值,且所述数量小于所述预设数量阈值的第六目标边集合;
这里,在第六目标边集合中,边的权重,即图像的相似度,大于目标安全阈值,且边的数量小于预设数量阈值。示例地,目标安全阈值为0.8,预设数量阈值为100条,则在第六目标边集合中,边的权重大于0.8,且边的数量小于100条,例如边为50条。
步骤S302、将所述第六目标边集合对应的待聚类图像进行聚类,得到第三聚类结果。
这里,第三聚类结果可参考第一聚类结果来理解。
在一些实施例中,虽然图像相似度大于目标安全阈值,但由于在第六目标边集合中边的数量小于预设数量阈值,为了在聚类拓扑图中将所有节点相连通,在实施时,要将第六目标边集合中所有边都进行存储,并根据第六目标边集合对应的待聚类图像进行聚类,得到第三聚类结果。
在步骤S301和步骤S302中,在相似度大于目标安全阈值,且拓扑图中边的数量小于预设数量阈值的情况下,将第六目标边集合对应的待聚类图像进行聚类,得到第三聚类结果,这样,能够将聚类拓扑图中所有节点相连通,进而不影响聚类结果。
在一些实施例中,在待聚类图像集合包括相册中存储的照片集合的情况下,通过对该照片集合中相似度较高且数量较多的图像进行选择,以减少相似度较高且数量较多的图像,从而减少了相似度较高的照片的数量,降低照片占用的存储空间,即上述步骤S103和S104可以通过以下过程实现:
第一步,在所述照片集合的聚类拓扑图中,确定画面内容为同一对象的第一候选照片集合。
这里,所述第一候选照片集合中的候选照片对应于所述第一目标边集合中的边;在该照片集合的聚类拓扑图的每一条边的节点表示一个照片,这样,通过分析每一条边上的相似度,可以得到边两端的节点所表示的照片之间的相似度,从而得到相似度较高的照片,以得到画面内容为同一对象的候选照片集合。比如,画面内容为同一个人的人物照片集合;或者,画面内容为同一个建筑物的照片集合等。
第二步,在所述第一候选照片集合中候选照片的数量大于所述预设数量阈值的情况下,在所述第一候选照片集合中选择所述预设数量阈值对应数量的候选照片作为第二候选照片集合。
这里,所述第二候选照片集合中的候选照片对应于所述第二目标边集合中的边。该第二目标边集合中边两端的节点表示第二候选照片集合中的照片。如果第一候选照片集合中候选照片的数量大于所述预设数量阈值,说明该相册中画面内容为同一对象的照片较多,占用该相册的内容较多。这样,对照片数量较多的第一候选照片集合,按照预设数量阈值进行筛选,以得到该预设数量阈值的第二候选照片集合。由于第二候选照片集合的图像数量小于第一候选照片集合的图像数量,从而通过减少相同画面内容的照片,能够降低对相册内存的消耗,进而能够在消耗较低的计算资源的情况下,不影响对照片集合进行聚类的准确度。
在一些实施例中,在待聚类图像集合包括相册中存储的照片集合的情况下,为进一步降低相册内的照片占据的存储空间,在所述照片集合满足预设条件的情况下,基于所述第二候选照片集合,对所述照片集合进行聚类,得到所述第一聚类结果;其中,预设条件包括以下至少之一:
所述照片集合占据的存储空间与所述相册的存储空间之间的差值小于预设差值;
所述照片集合为所述相册中存储的分辨率满足分辨率阈值的照片;
所述照片集合为所述相册中存储的尺寸满足尺寸阈值的照片。
这里,预设差值可以是按照相册的存储空间设定的,比如,预设差值为相册的存储空间的十分之一。分辨率满足分辨率阈值的照片,以及尺寸满足尺寸阈值的照片,说明这些照片的数据量较大,在相册中占据的存储空间较大;这样为降低照片占据相册所属电子设备的内存,对这些照片中画面内容为同一对象的照片进行筛选,以得到数量较少且能够包括丰富信息的第二候选照片集合,从而在按照该第二候选照片集合进行图像聚类的过程中,既能够降低计算资源,还能够不影响聚类的准确度。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用,以一种相册中人脸图像的聚类方法为例进行说明。
相册聚类目标是将相册中发现的人脸聚合,即将相册中同一个人的人脸聚成一类。相册聚类包括以下步骤:
(1)、对相册中的图像进行人脸检测;(2)、将检测到的人脸通过切分对齐后送入人脸特征提取器,得到每一人脸对应的特征向量;(3)、对每一人脸对应的特征向量进行聚类,得到人脸聚类结果。
相册聚类的过程中,本质是将相册中的图像拆分成多个连通分量的过程。在一个连通分量中,每个节点对应一帧人脸图像,两个节点之间的边的权重对应两帧图像的相似度。记录一个连通分量所在的拓扑图可以采用邻接矩阵或者邻接表。由于邻接矩阵的内存消耗是节点数的平方,内存消耗较大,所以采用邻接表来记录拓扑图中大于聚类阈值的边,消耗的内存正比于边的个数。然而,即便如此,边的数目通常非常多,仍然会占用非常多的内存。
基于此,本申请实施例提供了一种图像聚类方法,可以通过以下步骤实现:
第一步、对待聚类的相册中的人脸图像进行人脸检测并将检测到的人脸输入特征提取器,得到每一人脸图像中的人脸对应的特征向量;
这里,待聚类的相册为前述实施例中的待聚类图像集合。人脸图像为前述实施例中的待聚类图像。
第二步、根据每一人脸的特征向量,得到每两个人脸之间的相似度;
第三步、根据每一人脸图像和所述每两个人脸之间的相似度,建立聚类拓扑图;其中,在所述聚类拓扑图中,所述每一人脸图像为一个节点,两个所述节点之间的边的权重为所述每两个人脸之间的相似度;
第四步、根据所述每两个人脸之间的相似度确定特征相似度分布规律;
这里,特征相似度分布规律是指,在人脸比对模型符合预期规律的情况下,同一个人的人脸图像之间的相似度较高,不同人的人脸图像之间的相似度较低,同一个人的不同人脸图像之间的相似度不同,但是相似度都会大于一定的阈值。
第四步、根据所述特征相似度分布规律确定聚类阈值和目标安全阈值;其中,所述目标安全阈值大于所述聚类阈值;
第五步、在所述每两个人脸之间的相似度小于所述目标安全阈值且大于或等于所述聚类阈值的情况下,存储所述每两个人脸对应的节点之间的边;
第六步、在所述相似度大于所述目标安全阈值的情况下,按照预设数量阈值存储所述每两个人脸对应的节点之间的边;
第七步、在所述每两个人脸之间的相似度小于所述聚类阈值的情况下,不存储所述每两个人脸对应的节点之间的边。
示例地,在待聚类相册中只包括一个对象的人脸照片的情况下,待聚类人脸图像对应的聚类拓扑图为一个完全图(任意两个节点之间都有边),如图4所示,五个节点对应10条边。在设置了目标安全阈值后,通过限制聚类拓扑图中边的数量,即在边的数量大于预设数量阈值的情况下,仅存储预设数量阈值的边,如图5所示,五个节点对应7条边,这样,由于五个节点中两两还是连通的,因此,最终会聚为一类,但是边数的减少能够很大程度上减小内存消耗,且不影响聚类结果,在实测中,该聚类过程中,聚类消耗内存减少了30%。
在实际应用中,由于运行聚类的内存占用下降30%,聚类算法在后台运行时能够无声无息地得到聚类结果,解决了因聚类过程中内存占用较多时,聚类算法会导致设备卡顿,甚至可能因为内存不足导致聚类过程崩溃的问题,因此使得聚类的用户体验更好。
本申请实施例提供一种图像聚类装置,图6为本申请实施例图像聚类装置的结构组成示意图,如图6所示,所述图像聚类装置600包括:
第一确定模块601,用于确定待聚类图像集合中待聚类图像之间的相似度;
第二确定模块602,用于基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;
第三确定模块603,用于在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;
选择模块604,用于在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;
第一聚类模块605,用于基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果。
在一些实施例中,所述装置还包括:匹配模块,用于获得所述待聚类图像集合中每两帧不同的待聚类图像的相似度,得到相似度小于第一相似度阈值的第一图像对和相似度大于第二相似度阈值的第二图像对;其中,所述第二相似度阈值大于或等于所述第一相似度阈值;第四确定模块,用于基于所述第一图像对和第一预设误识率,确定第一安全阈值;第五确定模块,用于基于所述第一安全阈值和所述第二图像对,确定第一识别率;第六确定模块,用于在所述第一识别率大于或等于预设识别率的情况下,确定所述第一安全阈值为所述目标安全阈值。
在一些实施例中,所述装置还包括:更新模块,用于在所述第一识别率小于预设识别率的情况下,对第一预设误识率进行更新,得到已更新误识率;其中,所述已更新误识率小于所述第一预设误识率。
在一些实施例中,所述第二确定模块602包括:第一确定子模块,用于基于所述待聚类图像集合和第二预设误识率,确定聚类阈值;其中,所述聚类阈值小于所述目标安全阈值;所述第二预设误识率大于第一预设误识率;第二确定子模块,用于确定所述相似度大于所述聚类阈值的至少一个中间聚类图像组;第三确定子模块,用于针对所述至少一个中间聚类图像组中每一中间聚类图像组,以所述中间聚类图像组中任一图像为节点,所述中间聚类图像组中任意两帧图像之间的连线为边,得到所述中间聚类图像组对应的聚类拓扑图;第三确定模块603,还用于在所述每一中间聚类图像组对应的聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合。
在一些实施例中,所述第三确定模块603,包括:第四确定子模块,用于在所述聚类拓扑图中,确定表征相似度大于所述聚类阈值的第三目标边集合;第五确定子模块,用于在所述第三目标边集合中,确定表征相似度大于目标安全阈值的第一目标边集合。
在一些实施例中,所述装置还包括:第七确定模块,用于在所述第三目标边集合中,确定小于所述目标安全阈值的第四目标边集合;第二聚类模块,用于基于所述第四目标边集合,对所述待聚类图像集合进行聚类,得到第二聚类结果。
在一些实施例中,所述装置还包括:第八确定模块,用于在所述待聚类图像之间的相似度小于所述聚类阈值的情况下,在所述聚类拓扑图中确定表征相似度小于聚类阈值的边,得到第五目标边集合;删除模块,用于在所述聚类拓扑图中,删除所述第五目标边集合。
在一些实施例中,选择模块604包括以下至少之一:第一选取子模块,用于在所述第一目标边集合中,随机选取所述预设数量阈值的边作为第二目标边集合;第二选取子模块,用于在所述第一目标边集合中,按照相似度的预设次序选取所述预设数量阈值的边作为第二目标边集合。
在一些实施例中,所述装置还包括:第九确定模块,用于在所述第一目标边集合中,确定表征相似度大于所述目标安全阈值,且所述数量小于所述预设数量阈值的第六目标边集合;第三聚类模块,用于将所述第六目标边集合对应的待聚类图像进行聚类,得到第三聚类结果。
在一些实施例中,所述待聚类图像集合包括相册中存储的照片集合,所述第三确定模块603,还用于:在所述照片集合的聚类拓扑图中,确定画面内容为同一对象的第一候选照片集合;其中,所述第一候选照片集合中的候选照片对应于所述第一目标边集合中的边;
所述选择模块604,还用于:在所述第一候选照片集合中候选照片的数量大于所述预设数量阈值的情况下,在所述第一候选照片集合中选择所述预设数量阈值对应数量的候选照片作为第二候选照片集合;其中,所述第二候选照片集合中的候选照片对应于所述第二目标边集合中的边。
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的图像聚类方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、运动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令被执行后,能够实现本申请实施例提供的图像聚类方法。
本申请实施例再提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像聚类方法。
本申请实施例提供一种终端设备,图7为本申请实施例终端设备的组成结构示意图,如图7所示,所述终端设备700包括:处理器701、通信接口702、存储器703,以及用于实现各部分之间数据传输的通信总线。其中,通信接口702可以辅助终端设备700的内部数据传输,也可以实现与外部设备之间的数据传输,比如,通信接口702作为外部通信接口,可以实现终端设备700与显示屏等输出设备之间的数据传输。外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701,配置为执行存储器中图像处理程序,以实现上述实施例提供的图像聚类方法。需要说明的是,在终端设备700中可以包括但不限于上述所例举的各部件等,对于各部件的数量,可以结合实际需求和终端设备700自身情况等进行配置或调整,在此不予限定。
以上图像聚类装置、终端设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同相应方法实施例相似的技术描述和有益效果,限于篇幅,可案件上述方法实施例的记载,故在此不再赘述。对于本申请图像聚类装置、终端设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像聚类方法,其特征在于,所述方法包括:
确定待聚类图像集合中待聚类图像之间的相似度;
基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;
在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;
在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;
基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果。
2.根据权利要求1所述的方法,其特征在于,所述在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合之前,所述方法还包括:
获得所述待聚类图像集合中每两帧不同的待聚类图像的相似度,得到相似度小于第一相似度阈值的第一图像对和相似度大于第二相似度阈值的第二图像对;其中,所述第二相似度阈值大于或等于所述第一相似度阈值;
基于所述第一图像对和第一预设误识率,确定第一安全阈值;
基于所述第一安全阈值和所述第二图像对,确定第一识别率;
在所述第一识别率大于或等于预设识别率的情况下,确定所述第一安全阈值为所述目标安全阈值。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一安全阈值和所述第二图像对,确定第一识别率之后,所述方法还包括:
在所述第一识别率小于预设识别率的情况下,对第一预设误识率进行更新,得到已更新误识率;其中,所述已更新误识率小于所述第一预设误识率。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于所述相似度,确定所述待聚类图像集合的聚类拓扑图,包括:
基于所述待聚类图像集合和第二预设误识率,确定聚类阈值;其中,所述聚类阈值小于所述目标安全阈值;所述第二预设误识率大于第一预设误识率;
确定所述相似度大于所述聚类阈值的至少一个中间聚类图像组;
针对所述至少一个中间聚类图像组中每一中间聚类图像组,以所述中间聚类图像组中任一图像为节点,所述中间聚类图像组中任意两帧图像之间的连线为边,得到所述中间聚类图像组对应的聚类拓扑图;
所述在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合,包括:在所述每一中间聚类图像组对应的聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合。
5.根据权利要求4所述的方法,其特征在于,所述在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合,包括:
在所述聚类拓扑图中,确定表征相似度大于所述聚类阈值的第三目标边集合;
在所述第三目标边集合中,确定表征相似度大于目标安全阈值的第一目标边集合。
6.根据权利要求5所述的方法,其特征在于,所述在所述聚类拓扑图中,确定表征相似度大于所述聚类阈值的第三目标边集合之后,所述方法还包括:
在所述第三目标边集合中,确定小于所述目标安全阈值的第四目标边集合;
基于所述第四目标边集合,对所述待聚类图像集合进行聚类,得到第二聚类结果。
7.根据权利要求4或5所述的方法,其特征在于,所述基于所述待聚类图像集合和第二预设误识率,确定聚类阈值之后,所述方法还包括:
在所述待聚类图像之间的相似度小于所述聚类阈值的情况下,在所述聚类拓扑图中确定表征相似度小于聚类阈值的边,得到第五目标边集合;
在所述聚类拓扑图中,删除所述第五目标边集合。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合,包括以下至少之一:
在所述第一目标边集合中,随机选取所述预设数量阈值的边作为第二目标边集合;
在所述第一目标边集合中,按照相似度的预设次序选取所述预设数量阈值的边作为第二目标边集合。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述在所述聚类拓扑图中,确定表征图像相似度大于目标安全阈值的第一目标边集合之后,所述方法还包括:
在所述第一目标边集合中,确定表征相似度大于所述目标安全阈值,且所述数量小于所述预设数量阈值的第六目标边集合;
将所述第六目标边集合对应的待聚类图像进行聚类,得到第三聚类结果。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述待聚类图像集合包括相册中存储的照片集合,所述在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合,包括:
在所述照片集合的聚类拓扑图中,确定画面内容为同一对象的第一候选照片集合;其中,所述第一候选照片集合中的候选照片对应于所述第一目标边集合中的边;
所述在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合,包括:
在所述第一候选照片集合中候选照片的数量大于所述预设数量阈值的情况下,在所述第一候选照片集合中选择所述预设数量阈值对应数量的候选照片作为第二候选照片集合;其中,所述第二候选照片集合中的候选照片对应于所述第二目标边集合中的边。
11.一种图像聚类装置,其特征在于,所述装置包括:
第一确定模块,用于确定待聚类图像集合中待聚类图像之间的相似度;
第二确定模块,用于基于所述相似度,确定所述待聚类图像集合的聚类拓扑图;
第三确定模块,用于在所述聚类拓扑图中,确定表征相似度大于目标安全阈值的第一目标边集合;
选择模块,用于在所述第一目标边集合中边的数量大于预设数量阈值的情况下,在所述第一目标边集合中选择所述预设数量阈值的边作为第二目标边集合;
第一聚类模块,用于基于所述第二目标边集合,对所述待聚类图像集合进行聚类,得到第一聚类结果。
12.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现权利要1至10任一项所述的图像聚类方法。
13.一种终端设备,其特征在于,所述终端设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时能够实现权利要求1至10任一项所述的图像聚类方法。
CN202210968585.0A 2022-08-12 2022-08-12 图像聚类方法、装置、设备及存储介质 Pending CN115147633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210968585.0A CN115147633A (zh) 2022-08-12 2022-08-12 图像聚类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210968585.0A CN115147633A (zh) 2022-08-12 2022-08-12 图像聚类方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115147633A true CN115147633A (zh) 2022-10-04

Family

ID=83415822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210968585.0A Pending CN115147633A (zh) 2022-08-12 2022-08-12 图像聚类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115147633A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935083A (zh) * 2023-09-12 2023-10-24 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935083A (zh) * 2023-09-12 2023-10-24 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置
CN116935083B (zh) * 2023-09-12 2023-12-12 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置

Similar Documents

Publication Publication Date Title
CN108537134B (zh) 一种视频语义场景分割及标注方法
JP5463415B2 (ja) 準複製画像検索のための方法およびシステム
US8462992B2 (en) Method of change detection for building models
CN112966646B (zh) 基于双路模型融合的视频分割方法、装置、设备及介质
JP6341650B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108182421A (zh) 视频分割方法和装置
CN109685806B (zh) 图像显著性检测方法及装置
CN109284613B (zh) 标识检测及仿冒站点检测方法、装置、设备及存储介质
CN112614187A (zh) 回环检测方法、装置、终端设备和可读存储介质
CN111930985A (zh) 图像检索方法、装置、电子设备及可读存储介质
CN110689440A (zh) 基于图片识别的车险理赔识别方法、装置、计算机设备及存储介质
CN112084812A (zh) 图像处理方法、装置、计算机设备及存储介质
CN115147633A (zh) 图像聚类方法、装置、设备及存储介质
CN110751191A (zh) 一种图像的分类方法及系统
CN110135428A (zh) 图像分割处理方法和装置
CN114139013A (zh) 图像搜索方法、装置、电子设备及计算机可读存储介质
CN112037174B (zh) 染色体异常检测方法、装置、设备及计算机可读存储介质
KR102565485B1 (ko) 도시 거리 검색 서비스 제공 서버 및 방법
CN113988148A (zh) 一种数据聚类的方法、系统、计算机设备和存储介质
CN113743533B (zh) 一种图片聚类方法、装置及存储介质
JP4967045B2 (ja) 背景判別装置、方法及びプログラム
US20220414393A1 (en) Methods and Systems for Generating Composite Image Descriptors
CN111382760A (zh) 图片类别的识别方法、装置及计算机可读存储介质
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN113128278A (zh) 一种图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination