CN111709473A - 对象特征的聚类方法及装置 - Google Patents
对象特征的聚类方法及装置 Download PDFInfo
- Publication number
- CN111709473A CN111709473A CN202010546289.2A CN202010546289A CN111709473A CN 111709473 A CN111709473 A CN 111709473A CN 202010546289 A CN202010546289 A CN 202010546289A CN 111709473 A CN111709473 A CN 111709473A
- Authority
- CN
- China
- Prior art keywords
- feature
- similarity
- cluster
- clusters
- feature cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种对象特征的聚类方法及装置;方法包括:从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;获取所述至少两个特征簇中特征簇之间的相似度;基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇。通过本申请,能够降低聚类时间复杂度,大幅度提高聚类速度。
Description
技术领域
本申请涉及人工智能技术领域及云技术领域,尤其涉及一种对象特征的聚类方法及装置。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
聚类技术通常又被称为无监督学习,其是机器学习中的重要技术,主要是按照某个特定标准,将一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能大,即聚类后同一类的数据尽可能聚集到一起,不同的数据尽量分离。
但相关技术中的聚类算法通常具有较高的时间复杂度,例如,K均值(K-Means)聚类算法的时间复杂度是O(NKT),谱聚类(SC,Spectral Clustering)算法的时间复杂度是O(N^3),凝聚层级聚类(HAC,Hierarchical Aglomerative Clustering)算法的时间复杂度是O(N^2),聚类算法的时间复杂度高会导致聚类速度慢、聚类效率低。
发明内容
本申请实施例提供一种对象特征的聚类方法及装置,能够降低聚类时间复杂度,大幅度提高聚类速度。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种对象特征的聚类方法,包括:
从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;
基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;
分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;
获取所述至少两个特征簇中特征簇之间的相似度;
基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇。
本申请实施例提供一种对象特征的聚类装置,包括:
提取模块,用于从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;
划分模块,用于基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;
第一聚类模块,用于分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;
获取模块,用于获取所述至少两个特征簇中特征簇之间的相似度;
第二聚类模块,用于基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇。
上述方案中,所述划分模块,还用于基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行排序,得到排序结果;
基于所述排序结果,将所述至少两个待聚类的对象特征顺序划分为至少两个对象特征集合。
上述方案中,所述第一聚类模块,还用于针对每个所述对象特征集合分别执行以下操作:
获取所述对象特征集合中对象特征之间的相似度、及各所述对象的位置信息;
通过概率预测模型,输入所述对象特征之间的相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;
根据所述概率,对所述对象特征集合中的对象特征进行聚类处理,得到对应所述对象特征集合的至少两个特征簇。
上述方案中,所述获取模块,还用于针对所述至少两个特征簇中任意两个特征簇,分别执行以下操作:
分别获取第一特征簇中各对象特征、与第二特征簇中至少一个对象特征之间的相似度;
确定获取的相似度的总数量、及达到第一相似度阈值的相似度的数量;
将达到第一相似度阈值的相似度的数量、与获取的相似度的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
上述方案中,所述获取模块,还用于针对所述至少两个特征簇中任意两个特征簇,分别执行以下操作:
分别获取第一特征簇中各对象特征、与第二特征簇中的至少一个对象特征之间的相似度;
通过概率预测模型,输入所述相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;
确定获取的概率的总数量、及达到概率阈值的概率的数量;
将达到概率阈值的概率的数量、与获取的概率的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
上述方案中,所述第二聚类模块,还用于当所述至少两个特征簇中第一特征簇与第二特征簇之间的相似度达到第二相似度阈值时,将所述第一特征簇与所述第二特征簇合并为第一合并特征簇;
确定所述至少两个特征簇中第三特征簇与所述第一合并特征簇之间的相似度达到第二相似度阈值时,将所述第三特征簇与所述第一合并特征簇合并为第二合并特征簇。
上述方案中,所述第二聚类模块,还用于当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均达到第二相似度阈值时,确定所述第三特征簇与第一合并特征簇之间的相似度达到第二相似度阈值。
上述方案中,所述第二聚类模块,还用于基于以下公式确定第三特征簇与第一合并特征簇之间的相似度:
sim=(x13+x23)/(t13+t23),
其中,sim为第三特征簇与第一合并特征簇之间的相似度;t13为第一相似度的总数量,x13为达到相似度阈值的第一相似度的数量,第一相似度为第一特征簇中对象特征与第三特征簇中对象特征之间的相似度,t23为第二相似度的总数量,x23为达到相似度阈值的第二相似度的数量,第二相似度为第二特征簇中对象特征与第三特征簇中对象特征之间的相似度。
上述方案中,所述获取模块,还用于通过图形处理器,获取各个特征簇之间的相似度。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的对象特征的聚类方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的对象特征的聚类方法。
本申请实施例具有以下有益效果:
本申请通过从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;获取所述至少两个特征簇中特征簇之间的相似度;基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇;由于先进行对象特征集合内的对象特征的聚类,得到至少两个特征簇,再通过特征簇合并的方式,进行对象特征集合之间的对象特征的聚类;使得高时间复杂度计算限制在了对象特征集合内,进而大幅度降低了聚类的时间,提升了聚类的效率。
附图说明
图1是相关技术提供的卷积神经网络模型的结构示意图;
图2是本申请实施例提供的对象特征的聚类系统100的架构示意图;
图3是本申请实施例提供的服务器的结构示意图;
图4是本申请实施例提供的对象特征的聚类方法的流程示意图;
图5是本申请实施例提供的对象特征聚类的示意图;
图6是本申请实施例提供的特征簇合并的示意图;
图7是本申请实施例提供的特征簇合并的示意图;
图8是申请实施例提供的特征簇合并的示意图;
图9是本申请实施例提供的对象特征的聚类装置的组成结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)欧氏距离,欧几里得度量(euclidean metric)是一个通常采用的距离定义,指在m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离);在二维和三维空间中的欧氏距离就是两点之间的实际距离。
2)余弦相似度,又称为余弦相似性,是通过计算两个向量的夹角余弦值来评估他们的相似度;余弦相似度将向量根据坐标值,绘制到向量空间中,如最常见的二维空间。
在对图像中的人脸、人体等对象进行聚类时,通常是先从图像中提取对象特征;然后确定度量标准,这里的度量标准可以是余弦相似度、欧式距离等;有了对象特征和度量标准之后,就可应用现成的聚类算法,依据度量标准来对对象特征进行聚类;完成聚类后,为每一类中的样本分配相同的标签,不同的类分配不同的标签,以利用这些带有标签的样本进行后续的操作,如当对象特征为人脸特征时,可以将这些带有标签的样本作为训练集来训练人脸识别模型。
相关技术中,通常是采用局部二值模式(LBP,Local Binary Pattern)、方向梯度直方图(HOG,Histogram of Oriented Gradient)等提取图像中的对象特征。而在深度学习时代,通常采用卷积神经网络(CNN,Convolutional Neur al Networks)来提取对象特征。
例如,图1是相关技术提供的卷积神经网络模型的结构示意图,参见图1,CNN模型包括输入层、隐藏层和输出层,其中,隐藏层包括多个卷积层(卷积层1、卷积层2、卷积层3、卷积层4)及多个最大池化层(最大池化层1、最大池化层2、最大池化层3),输出层为归一化指数函数(Softmax)层。在模型训练的过程中,将包含对象的图像输入至CNN模型的输入层,这里的图像标注有相应对象的身份,经隐藏层得到深度隐藏的身份特征(Deep-ID),通过Softmax层输出图像的预测身份,基于预测身份与标注的身份,计算交叉熵损失函数的值,以基于损失函数的值对卷积神经网络的模型参数进行更新,直至收敛,以完成模型的训练。训练完成后,就可以依据训练得到的模型来提取对象特征。
在获取到向量特征和度量标准之后,可以利用K-Means聚类算法、SC算法、HAC算法聚类算法等以及它们的变种算法,对得到的对象特征进行聚类。
但上述聚类算法存在以下问题:
1、时间复杂度较高。例如,K-Means聚类算法的时间复杂度是O(N^3),是O(N^3),SC算法的时间复杂度是O(N^3),HAC算法的时间复杂度是O(N^2)。
2、上述聚类算法在实现中,通常是认为数据分布服从某些简单的假设。例如,K-Means聚类算法假设数据类内具有球状的分布,并且每一类具有相同的方差(Ariance),以及不同的类具有相同的先验概率。然而对于大规模数据的聚类,数据通常来源于开放的场景,数据内部的结构比较复杂,难以一致地服从这些假设。
3、通常使用某种特定的度量标准,如余弦相似度、欧式距离等。但对于复杂的数据结构,衡量两个样本是否属于同一类,单纯靠样本之间的局部相似度是不够的。
4、缺乏较好的离群值(Outliers)控制机制。Outliers来源于对难样本的特征提取时所产生的误差、以及观测到的数据不完整。尽管部分聚类算法,如基于密度的噪声应用空间聚类(DBSCAN,Density-Based Spatial Clustering of Applications with Noise)算法,在理论上对Outliers鲁棒,但从实际表现上来说,该问题并没有得到解决。
鉴于此,本申请实施例提供一种对象特征的聚类方法,以至少解决上述问题,接下来进行说明。
参见图2,图2是本申请实施例提供的对象特征的聚类系统100的架构示意图,为实现支撑一个示例性应用,各个业务场景下的摄像头通过网络与服务器200连接,服务器200通过网络连接终端400,网络可以是广域网或者局域网,又或者是二者的组合。
在实际应用中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,ContentDelivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
在实际实施时,终端400设置有客户端,用于对各业务场景进行管理,如在智慧社区的应用中,终端上设置有智慧社区管理客户端,基于智慧社区管理客户端可获取各业务场景下的摄像头采集的帧图像。
服务器200,用于获取各业务场景下摄像头采集的帧图像;从至少两个包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;基于帧图像的采集时间,对至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;分别对各对象特征集合中的对象特征进行聚类处理,得到对应各对象特征集合的至少两个特征簇,特征簇包含至少一个对象特征;获取至少两个特征簇中特征簇之间的相似度;基于所述相似度,对相似度满足相似度条件的特征簇进行合并,得到对应各个对象的特征簇。
在实际应用中,服务器200在得到对应各个对象的特征簇后,可以基于对应各个对象的特征簇,识别得到各对象特征所对应的身份信息;终端400可以向服务器200发送图像获取请求,图像获取请求用于请求包含目标对象的帧图像;服务器200依据识别得到的身份信息,确定包含目标对象的帧图像,并返回给终端400。
下面说明本申请实施例提供的电子设备的示例性应用,本申请实施例提供的设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。下面,将说明电子设备实施为服务器时示例性应用。
参见图3,图3是本申请实施例提供的服务器的结构示意图,图3所示的服务器包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。服务器中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的对象特征的聚类装置可以采用软件方式实现,图3示出了存储在存储器450中的对象特征的聚类装置455,其可以是程序和插件等形式的软件,包括以下软件模块:提取模块4551、划分模块4552、第一聚类模块4553、获取模块4554及第二聚类模块4555,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的对象特征的聚类装置可以采用硬件方式实现,作为示例,本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的对象特征的聚类方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(AS IC,Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD,P rogrammable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Program mable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
将结合本申请实施例提供的服务器的示例性应用和实施,说明本申请实施例提供的对象特征的聚类方法。
参见图4,图4是本申请实施例提供的对象特征的聚类方法的流程示意图,将结合图4示出的步骤进行说明。
步骤401:服务器从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征。
在实际应用中,本申请实施例提供的对象特征的聚类方法可用于多种业务场景中,如智慧安防、智慧社区、智慧零售等,其中,视频监控是各业务场景的重要组成部分,视频监控中的摄像头用于采集包含至少一个对象的视频,并将采集到的视频中的全部或部分帧图像传输至服务器,服务器在获取到帧图像后,对帧图像进行特征提取,以得到至少两个待聚类的对象特征。这里,对象可以为人脸、人体等,相应的,对象特征为人脸特征、人体特征等;采集到的视频可以是多个摄像头采集的。
在实际实施时,可以采用LBP、HOG等提取帧图像中的对象特征,也可以采用神经网络模型来提取帧图像中的特征,如CNN模型。需要说明的是,当帧图像中包含两个或多个对象时,会提取帧图像中所有对象的对象特征。这里得到的对象特征通常为高维特征,将得到的这些高维特征作为待聚类的对象特征。
步骤402:基于帧图像的采集时间,对至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合。
这里,在视频监控场景下的对象特征聚类,由于拍摄到的视频携带有时间信息,可以获取到相应帧图像的采集时间,进而根据采集时间,对待聚类的对象特征进行划分,以将拍摄时间相近的对象特征划分为一个对象特征集合,如此,更便于对对象特征集合中的对象特征进行聚类处理。
在一些实施例中,可以通过以下方式对至少两个待聚类的对象特征进行划分:基于帧图像的采集时间,对至少两个待聚类的对象特征进行排序,得到排序结果;基于排序结果,将至少两个待聚类的对象特征顺序划分为至少两个对象特征集合。
在实际实施时,根据对象特征所对应的帧图像的采集时间,对至少两个待聚类的对象特征进行排序,这里就可以是按采集时间进行升序排序,也可以是按照采集时间进行降序排序。然后,按照排序的结果,将多个待聚类的对象特征顺序划分为多个对象特征集合,每个对象特征集合中包括至少两个待聚类的对象特征。例如,共有500个对象特征,根据排序结果,将排序序号为1-100的对象特征划分为一个特征集合,排序序号为101-200的对象特征划分为一个特征集合,排序序号为201-300的对象特征划分为一个特征集合,排序序号为301-400的对象特征划分为一个特征集合,排序序号为401-500的对象特征划分为一个特征集合。
这里的对象特征集合中对象特征的数量可以是预先设置的,也即使每个对象特征集合的数据量为固定大小,如此,能够将高时间复杂度的计算限制在固定大小数据内,进而提升聚类的速度。
步骤403:分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇。
这里,特征簇包含至少一个对象特征。在实际实施时,分别对每一个对象特征集合内的对象特征进行聚类处理,也即将每一个对象特征集合中的对象特征聚类为多个特征簇。
在实际实施时,对于对象特征集合内的聚类,可以依据余弦相似度、欧式距离等度量标准,也可以依据其他度量标准。示例性地,当度量标准为余弦相似度时,对于每一个对象特征集合,依据余弦相似度,对该对象特征集合中的对象特征进行聚类,得到多个特征簇,使得每个特征簇中任意两个对象特征之间的相似度均达到相似度阈值。
在一些实施例中,可以将两个对象特征归属于同一对象的概率作为度量标准,相应的,可以通过以下方式针对每个对象特征集合,可以通过以下方式对对象特征集合内的对象特征进行聚类处理:获取所述对象特征集合中对象特征之间的相似度、及各所述对象的位置信息;通过概率预测模型,输入所述对象特征之间的相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;根据所述概率,对所述对象特征集合中的对象特征进行聚类处理,得到对应所述对象特征集合的至少两个特征簇。
这里,不是直接基于对象特征之间的相似度来进行聚类,而是通过概率预测模型,利用对象特征之间的相似度、以及对象特征所对应的帧图像中对象的位置信息,来获取两个对象特征归属于同一对象的概率,将获取到的概率作为度量标准实现对象特征集合内对象特征的聚类。
在实际应用中,对于对象特征集合中的任意两个对象特征,都会通过概率预测模型来预测这两个对象特征归属于同一对象的概率,然后依据这些概率,来对对象特征集合中的对象特征进行聚类处理,得到对应该对象特征集合的多个特征簇。这里,每个特征簇中的任意两个对象特征归属于同一对象的概率,都达到概率阈值。
例如,图5是本申请实施例提供的对象特征聚类的示意图,参见图5,对应一个包括N个待聚类的对象特征的对象特征集合,利用获取到的概率,对该对象特征集合内的对象特征进行聚类,最终得到对应该对象特征集合的六个簇。
在实际实施时,可以根据拍摄帧图像的摄像头的信息来直接获取对象的位置信息,可以理解的是,每个摄像头都有一个标识信息,根据该标识信息可以确定该摄像头所处的位置,进而可以根据摄像头所处的位置,确定帧图像中对象的位置信息。
在一些实施例中,可以通过以下方式得到概率预测模型:首先构建概率预测模型,概率预测模型可以为深度学习网络模型,如CNN网络模型;然后获取多个标注有对象身份的对象特征,基于获取到的对象特征构建样本数据集,样本数据集中的每一组样本数据包括两个对象特征之间的相似度、及相应对象的位置信息,以通过构建的样本数据集对概率预测模型进行训练。也即,将样本数据集输入概率预测模型,输出每一组样本数据所对应的预测概率,基于预测概率、及各对象特征所标注的对象信息,计算损失函数的值;基于损失函数的值对概率预测模型中的模型参数进行更新,直至收敛,以训练得到概率预测模型。
需要说明的是,通过标注的对象信息,可以判断对象特征是否归属于同一对象,也即若两个对象特征标注的对象信息是相同的,那么这两个对象特征归属于同一对象的目标概率应该为1;否则,归属于同一对象的目标概率应该为0;可以基于此来构建损失函数。
步骤404:获取至少两个特征簇中特征簇之间的相似度。
在实际实施时,由于已经对对象特征集合内的特征数据进行了聚类处理,下一步应该是对对象特征集合间的特征数据进行聚类处理,可以仅当两个特征簇对应不同对象特征集合时,才获取这两个特征簇之间的相似度,如此,能够避免不必要的相似度计算,降低计算复杂度。
例如,存在两个对象特征集合A、B,对对象特征集合A中的对象特征进行聚类,得到了特征簇a和特征簇b,对对象特征集合B中的对象特征进行聚类,得到了特征簇c和特征簇d;那么,仅需要获取特征簇a与特征簇c之间的相似度、特征簇a与特征簇d之间的相似度、特征簇b与特征簇c之间的相似度、特征簇b与特征簇d之间的相似度。
在一些实施例中,针对至少两个特征簇中任意两个特征簇,分别执行以下操作:分别获取第一特征簇中各对象特征、与第二特征簇中至少一个对象特征之间的相似度;确定获取的相似度的总数量、及达到第一相似度阈值的相似度的数量;将达到第一相似度阈值的相似度的数量、与获取的相似度的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
在实际实施时,假设第一特征簇中的特征数量为M个,第二特征簇中的对象特征数量为N个,那么分别获取第一特征簇中各对象特征、与第二特征簇中至少一个对象特征之间的相似度,共可以得到M*N个相似度,也即获取的相似度的总数量为M*N;然后将得到的M*N个相似度,均与第一相似度阈值进行比较,以获取这M*N个相似度中,达到第一相似度阈值的相似度的数量;假设达到第一相似度阈值的相似度的数量为L,那么,第一特征簇与第二特征簇之间的相似度为L/(M*N)。
在一些实施中,针对至少两个特征簇中任意两个特征簇,分别执行以下操作:分别获取第一特征簇中各对象特征、与第二特征簇中的至少一个对象特征之间的相似度;通过概率预测模型,输入所述相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;确定获取的概率的总数量、及达到概率阈值的概率的数量;将达到概率阈值的概率的数量、与获取的概率的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
在实际实施时,在计算第一特征簇与第二特征簇之间的相似度时,不直接使用对象特征之间的相似度,而是通过概率预测模型,基于相似度、及各对象的位置信息,得到两个对象特征归属于同一对象的概率。
这里,假设第一特征簇中的特征数量为M个,第二特征簇中的对象特征数量为N个,那么分别获取第一特征簇中各对象特征、与第二特征簇中至少一个对象特征之间的相似度,共可以得到M*N个相似度;相应的,通过概率预测模型,也会得到M*N个概率;然后将得到的M*N个概率,均与概率阈值进行比较,以获取这M*N个概率中,达到概率阈值的概率的数量;假设达到概率阈值的概率的数量为K,那么,第一特征簇与第二特征簇之间的相似度为K/(M*N)。
步骤405:基于相似度,对相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇。
这里,通过将对应不同对象特征集合中,满足相似度条件的特征簇合并到一起,实现对象特征集合间的特征数据的聚类。
例如,图6是本申请实施例提供的特征簇合并的示意图,参见图6,依据特征簇之间的相似度,对应四个不同对象特征集合的特征簇中,满足特征簇之间的相似度满足相似度条件的特征簇合并为一个新的特征簇,最终得到六个新的特征簇。
需要说明的是,最终得到的这些特征簇中,同一特征簇中的对象特征应该是归属于同一对象特征的,也即对应同一对象。
在一些实施例中,可以通过以下方式对所述相似度满足相似度条件的特征簇进行合并:当所述至少两个特征簇中第一特征簇与第二特征簇之间的相似度达到第二相似度阈值时,将所述第一特征簇与所述第二特征簇合并为第一合并特征簇;确定所述至少两个特征簇中第三特征簇与所述第一合并特征簇之间的相似度达到第二相似度阈值时,将所述第三特征簇与所述第一合并特征簇合并为第二合并特征簇。
在实际实施时,对于任意两个特征簇,若这两个特征簇之间的相似度达到相似度阈值,那么就可以将两个特征簇合并为一个新的特征簇。需要说明的是,这两个特征簇可以是通过对对象特征集合内的对象特征进行聚合得到的特征簇,也可以是通过特征簇合并之后,得到的新的特征簇,也即合并特征簇。
例如,图7是本申请实施例提供的特征簇合并的示意图,参见图7,特征簇1与特征簇2之间的相似度为sim12,特征簇1与特征簇3之间的相似度为sim13,特征簇2和特征簇3之间的相似度为sim23,当sim12达到第二相似度阈值时,将特征簇1与特征簇2合并为合并特征簇1,当特征簇3与合并特征簇1之间的相似度达到第二相似度阈值时,就可以将特征簇3与特征簇1合并。
这里,在将第三特征簇与第一合并特征簇合并为第二合并特征簇之后,还可以判断第二合并特征簇与其它特征簇之间的相似度,当存在与第二合并特征簇之间的相似度达到相似度阈值的特征簇时,就继续将第二合并特征簇与该特征簇进行合并。
在实际实施时,只要存在有两个特征簇之间的相似度达到相似度阈值都会将这两个特征簇进行合并,以得到新的特征簇,直至任意两个特征簇之间的相似度均未达到相似度阈值,才确定完成特征簇的合并过程。
在一些实施例中,当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均达到第二相似度阈值时,确定所述第三特征簇与第一合并特征簇之间的相似度达到第二相似度阈值。
这里,可以根据第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度,来判断第三特征簇与第一合并特征簇之间的相似度是否达到第二相似度阈值。如此,无需重新计算第一特征簇与第一合并特征簇之间的相似度,就能够判断出是否将第三特征簇与第一合并特征簇合并。
在一些实施例中,可以基于以下公式确定第三特征簇与第一合并特征簇之间的相似度:
sim=(x13+x23)/(t13+t23),
其中,sim为第三特征簇与第一合并特征簇之间的相似度;t13为第一相似度的总数量,x13为达到相似度阈值的第一相似度的数量,第一相似度为第一特征簇中对象特征与第三特征簇中对象特征之间的相似度,t23为第二相似度的总数量,x23为达到相似度阈值的第二相似度的数量,第二相似度为第二特征簇中对象特征与第三特征簇中对象特征之间的相似度。
在实际实施时,在获取各特征簇之间的相似度时,会计算第一特征簇中各对象特征、与第三特征簇中至少一个对象特征之间的第一相似度,并确定获取的第一相似度的总数量t13、及达到第一相似度阈值的第一相似度的数量x13。这时,可以将t13、x13记录下来,在需要获取第三特征簇与第一合并特征簇之间的相似度时,直接通过查询的方式获取t13、x13,而不需要重新计算。对于t23、x23也可以采用同样的方式。
例如,图8是本申请实施例提供的特征簇合并的示意图,参见图8,对于第一特征簇C1、第二特征簇C2、第三特征簇C3,通过表的形式记录各特征簇之间的相似度,当C1与C2合并为第一合并特征簇C4,那么可以通过查表的方式获取t13、x13、t23、x23,并通过sim=(x13+x23)/(t13+t23)计算得到C3与C4之间的相似度。
这里,当第三特征簇中的对象特征数量为q,第一合并特征簇中对象特征数量为m+n时,若通过计算第三特征簇中各对象特征、与第一合并特征簇中至少一个对象特征之间的相似度的方式,来获取第三特征簇与第一合并特征簇之间的相似度,那么访存次数为(m+n)*q;若采用本申请实施例所提供的公式sim=(x13+x23)/(t13+t23),来获取第三特征簇与第一合并特征簇之间的相似度,那么访存次数仅为2,由此可知,本申请实施例所提供的方法能够大幅度减小访存次数及计算量。
在一些实施例中,当将两个对象特征归属于同一对象的概率作为度量标准时,可以通过以下方式获取第三特征簇与第一合并特征簇之间的相似度:计算第一特征簇中各对象特征、与第三特征簇中至少一个对象特征之间的第一相似度,得到t13个第一相似度,通过概率预测模型,基于各第一相似度和相应对象的位置信息,得到t13个概率,确定t13个概率中达到概率阈值的概率的数量y13,那么,第一特征簇与第三特征簇之间的相似度为t13/y13。相应的,对于第二特征簇与第三特征簇,通过相同的方法,可以获取到t23个概率,以及t23个概率中达到概率阈值的概率的数量y23,第二特征簇与第三特征簇之间的相似度为t23/y23。如此,可以基于第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度,确定第三特征簇与第一合并特征簇之间的相似度为sim=(y13+y23)/(t13+t23)。
在实际应用中,为进一步去除冗余计算,可以仅在第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度中,其中一个相似度大于第二相似度阈值,另一个小于第二相似度阈值的时候,获取第三特征簇与第一合并特征簇之间的相似度。当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均达到第二相似度阈值时,直接确定第三特征簇与第一合并特征簇之间的相似度达到第二相似度阈值;当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均未达到第二相似度阈值时,直接确定第三特征簇与第一合并特征簇之间的相似度未达到第二相似度阈值。
在一些实施例中,服务器可以通过图形处理器,获取各个特征簇之间的相似度。
在实际实施时,可以将重计算部分剥离出来,利用图形处理器(GPU,GraphicsProcessing Unit)来实现该部分的计算,由于GPU具有高性能计算能力,能够大幅度减少聚类时间。
在一些实施例中,不仅限于通过GPU来获取各个特征簇之间的相似度,对于任何计算复杂度高的步骤,都可以通过GPU来实现。例如,还可以在对各对象特征集合中的对象特征进行聚类时,通过GPU来实现。
本申请通过从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;获取所述至少两个特征簇中特征簇之间的相似度;基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇;由于先进行对象特征集合内的对象特征的聚类,得到至少两个特征簇,再通过特征簇合并的方式,进行对象特征集合之间的对象特征的聚类;使得高时间复杂度计算限制在了对象特征集合内,进而大幅度降低了聚类的时间,提升了聚类的效率。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
由于监控场景中采集到的数据具有时间和位置分布统计规律,本申请实施例的对象特征的聚类方法,会结合帧图像的采集时间及对象的位置信息,来对待聚类的对象特征进行聚类,这里的对象特征是从监控视频包括的帧图像中提取得到的。
在实际实施时,根据帧图像的采集时间,对待聚类的对象特征进行排序,并基于排序结果将待聚类的对象特征划分为多个固定数据大小的对象特征集合;然后,分别对各对象特征集合中的对象特征进行聚类,将高时间复杂度计算(O(n^3))限制在固定大小数据内;接着,进行对象特征集合间的聚类(O(n^2))。进而在保障聚类效果相对稳定情况下,大幅度加速聚类时间。同时利用GPU高性能计算能力,将重计算部分剥离出来,大幅度减少聚类时间。
首先,对对象特征集合内的对象特征的聚类进行说明。在实际实施时,而是通过概率预测模型,利用对象特征之间的相似度、以及对象特征所对应的帧图像中对象的位置信息,来获取两个对象特征归属于同一对象的概率,将获取到的概率作为度量标准实现对象特征集合内对象特征的聚类,以聚类得到对应各对象特征几个的特征簇。
例如,参见图5,对应一个包括N个待聚类的对象特征的对象特征集合,利用获取到的概率,对该对象特征集合内的对象特征进行聚类,最终得到对应该对象特征集合的六个特征簇。
在实际实施时,可以根据拍摄帧图像的摄像头的信息来直接获取对象的位置信息,可以理解的是,每个摄像头都有一个标识信息,根据该标识信息可以确定该摄像头所处的位置,进而可以根据摄像头所处的位置,确定帧图像中对象的位置信息。
在一些实施例中,可以通过以下方式得到概率预测模型:首先构建概率预测模型,概率预测模型可以为深度学习网络模型;然后获取多个标注有对象身份的对象特征,基于获取到的对象特征构建样本数据集,样本数据集中的每一组样本数据包括两个对象特征之间的相似度、及相应对象的位置信息,以通过构建的样本数据集对概率预测模型进行训练。也即,将样本数据集输入概率预测模型,输出每一组样本数据所对应的预测概率,基于预测概率、及各对象特征所标注的对象信息,计算损失函数的值;基于损失函数的值对概率预测模型中的模型参数进行更新,直至收敛,以训练得到概率预测模型。
接着,对对象特征集合间的对象特征的聚类进行说明。在实际实施时,获取得到多个特征簇中特征簇之间的相似度,当特征簇之间的相似度达到相似度阈值时,对特征簇进行合并,以得到对应各对象的特征簇。
对于任意两个特征簇,若这两个特征簇之间的相似度达到相似度阈值,那么就可以将两个特征簇合并为一个新的特征簇。需要说明的是,这两个特征簇可以是通过对对象特征集合内的对象特征进行聚合得到的特征簇,也可以是通过特征簇合并之后,得到的新的特征簇。
例如,参见图7,特征簇1与特征簇2之间的相似度为sim12,特征簇1与特征簇3之间的相似度为sim13,特征簇2和特征簇3之间的相似度为sim23,当sim12达到第二相似度阈值时,将特征簇1与特征簇2合并为合并特征簇1,当特征簇3与合并特征簇1之间的相似度达到第二相似度阈值时,就可以将特征簇3与特征簇1合并为合并特征簇2。
在实际实施时,只要存在有两个特征簇之间的相似度达到相似度阈值都会将这两个特征簇进行合并,以得到新的特征簇,直至任意两个特征簇之间的相似度均未达到相似度阈值,才确定完成特征簇的合并过程。
在实际应用中,可以通过以下方式获取两个特征簇之间的相似度:对于任意两个特征簇,第一特征簇和第二特征簇,假设第一特征簇中的特征数量为M个,第二特征簇中的对象特征数量为N个,那么分别获取第一特征簇中各对象特征、与第二特征簇中至少一个对象特征之间的相似度,共可以得到M*N个相似度;相应的,通过概率预测模型,也会得到M*N个概率;然后将得到的M*N个概率,均与概率阈值进行比较,以获取这M*N个概率中,达到概率阈值的概率的数量;假设达到概率阈值的概率的数量为K,那么,第一特征簇与第二特征簇之间的相似度为K/(M*N)。
在特征簇合并的过程中,对于整个迭代的合并过程,我们将两个簇的中间结果保存起来,对于接下来的合并,通过之前的合并结果进行计算,从而减小了访存和计算量。
例如,对于第一特征簇、第二特征簇、第三特征簇,通过表的形式记录各特征簇之间的相似度,当第一特征簇与第二特征簇合并为第一合并特征簇,那么可以通过查表的方式获取第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度,以并基于这两个相似度,得到第三特征簇与第一合并特征簇之间的相似度。
具体的,在获取各特征簇之间的相似度时,会计算第一特征簇中各对象特征、与第三特征簇中至少一个对象特征之间的第一相似度,得到t13个第一相似度,通过概率预测模型,基于各第一相似度和相应对象的位置信息,得到t13个概率,确定t13个概率中达到概率阈值的概率的数量y13,那么,第一特征簇与第三特征簇之间的相似度为t13/y13。相应的,对于第二特征簇与第三特征簇,通过相同的方法,可以获取到t23个概率,以及t23个概率中达到概率阈值的概率的数量y23,第二特征簇与第三特征簇之间的相似度为t23/y23。如此,可以基于第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度,确定第三特征簇与第一合并特征簇之间的相似度为sim=(y13+y23)/(t13+t23)。
这里,当第三特征簇中的对象特征数量为q,第一合并特征簇中对象特征数量为m+n时,若传统的方式,来获取第三特征簇与第一合并特征簇之间的相似度,那么访存次数为(m+n)*q;若采用本申请实施例所提供的公式sim=(y13+y23)/(t13+t23),来获取第三特征簇与第一合并特征簇之间的相似度,那么访存次数仅为2,由此可知,本申请实施例所提供的方法能够大幅度减小访存次数及计算量。
同时通过推导,可以进一步将一些冗余计算去除,同时大幅度提高了计算速度。也即,仅在第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度中,其中一个相似度大于第二相似度阈值,另一个小于第二相似度阈值的时候,获取第三特征簇与第一合并特征簇之间的相似度。当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均达到第二相似度阈值时,直接确定第三特征簇与第一合并特征簇之间的相似度达到第二相似度阈值;当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均未达到第二相似度阈值时,直接确定第三特征簇与第一合并特征簇之间的相似度未达到第二相似度阈值。
该技术方案的有益效果包括:
1、适用性广,可以适用于监控场景下的人脸、人体聚类,以及其他聚类对象具有时间、位置等信息的场景;
2、运算效率高,通过将对象特征划分为多个对象特征集合,对象特征集合内采用高复杂度的算法进行聚类,对象特征集合间采用特征簇合并的方式进行聚类,使得整体时间复杂度控制在O(n^2)内;
3、聚类效果和传统聚类算法相比,几乎无损失;
4、聚类速度很快,在20万对象特征的情况下,HAC算法需要6小时左右,DBSACAN算法需要7小时左右,Spectral算法需要12小时左右,而本申请实施例提供的对象特征聚类方法仅需要1小时,即可完成计算。
下面继续说明本申请实施例提供的对象特征的聚类装置455的实施为软件模块的示例性结构,图9是本申请实施例提供的对象特征的聚类装置的组成结构示意图,参见图9,对象特征的聚类装置455的软件模块可以包括:
提取模块4551,用于从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;
划分模块4552,用于基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;
第一聚类模块4553,用于分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;
获取模块4554,用于获取所述至少两个特征簇中特征簇之间的相似度;
第二聚类模块4555,用于基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇。
在一些实施例中,所述划分模块4552,还用于基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行排序,得到排序结果;
基于所述排序结果,将所述至少两个待聚类的对象特征顺序划分为至少两个对象特征集合。
在一些实施例中,所述第一聚类模块4553,还用于针对每个所述对象特征集合分别执行以下操作:
获取所述对象特征集合中对象特征之间的相似度、及各所述对象的位置信息;
通过概率预测模型,输入所述对象特征之间的相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;
根据所述概率,对所述对象特征集合中的对象特征进行聚类处理,得到对应所述对象特征集合的至少两个特征簇。
在一些实施例中,所述获取模块4554,还用于针对所述至少两个特征簇中任意两个特征簇,分别执行以下操作:
分别获取第一特征簇中各对象特征、与第二特征簇中至少一个对象特征之间的相似度;
确定获取的相似度的总数量、及达到第一相似度阈值的相似度的数量;
将达到第一相似度阈值的相似度的数量、与获取的相似度的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
在一些实施例中,所述获取模块4554,还用于针对所述至少两个特征簇中任意两个特征簇,分别执行以下操作:
分别获取第一特征簇中各对象特征、与第二特征簇中的至少一个对象特征之间的相似度;
通过概率预测模型,输入所述相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;
确定获取的概率的总数量、及达到概率阈值的概率的数量;
将达到概率阈值的概率的数量、与获取的概率的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
在一些实施例中,所述第二聚类模块4555,还用于当所述至少两个特征簇中第一特征簇与第二特征簇之间的相似度达到第二相似度阈值时,将所述第一特征簇与所述第二特征簇合并为第一合并特征簇;
确定所述至少两个特征簇中第三特征簇与所述第一合并特征簇之间的相似度达到第二相似度阈值时,将所述第三特征簇与所述第一合并特征簇合并为第二合并特征簇。
在一些实施例中,所述第二聚类模块4555,还用于当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均达到第二相似度阈值时,确定所述第三特征簇与第一合并特征簇之间的相似度达到第二相似度阈值。
在一些实施例中,所述第二聚类模块4555,还用于基于以下公式确定第三特征簇与第一合并特征簇之间的相似度:
sim=(x13+x23)/(t13+t23),
其中,sim为第三特征簇与第一合并特征簇之间的相似度;t13为第一相似度的总数量,x13为达到相似度阈值的第一相似度的数量,第一相似度为第一特征簇中对象特征与第三特征簇中对象特征之间的相似度,t23为第二相似度的总数量,x23为达到相似度阈值的第二相似度的数量,第二相似度为第二特征簇中对象特征与第三特征簇中对象特征之间的相似度。
在一些实施例中,所述获取模块,还用于通过图形处理器,获取各个特征簇之间的相似度。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图4示出的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (10)
1.一种对象特征的聚类方法,其特征在于,所述方法包括:
从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;
基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;
分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;
获取所述至少两个特征簇中特征簇之间的相似度;
基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇。
2.如权利要求1所述的方法,其特征在于,所述基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合,包括:
基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行排序,得到排序结果;
基于所述排序结果,将所述至少两个待聚类的对象特征顺序划分为至少两个对象特征集合。
3.如权利要求1所述的方法,其特征在于,所述分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,包括:
针对每个所述对象特征集合分别执行以下操作:
获取所述对象特征集合中对象特征之间的相似度、及各所述对象的位置信息;
通过概率预测模型,输入所述对象特征之间的相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;
根据所述概率,对所述对象特征集合中的对象特征进行聚类处理,得到对应所述对象特征集合的至少两个特征簇。
4.如权利要求1所述的方法,其特征在于,所述获取所述至少两个特征簇中特征簇之间的相似度,包括:
针对所述至少两个特征簇中任意两个特征簇,分别执行以下操作:
分别获取第一特征簇中各对象特征、与第二特征簇中至少一个对象特征之间的相似度;
确定获取的相似度的总数量、及达到第一相似度阈值的相似度的数量;
将达到第一相似度阈值的相似度的数量、与获取的相似度的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
5.如权利要求1所述的方法,其特征在于,所述获取所述至少两个特征簇中特征簇之间的相似度,包括:
针对所述至少两个特征簇中任意两个特征簇,分别执行以下操作:
分别获取第一特征簇中各对象特征、与第二特征簇中的至少一个对象特征之间的相似度;
通过概率预测模型,输入所述相似度、及各所述对象的位置信息,输出两个对象特征归属于同一对象的概率;
确定获取的概率的总数量、及达到概率阈值的概率的数量;
将达到概率阈值的概率的数量、与获取的概率的总数量的比值,作为第一特征簇与第二特征簇之间的相似度。
6.如权利要求1所述的方法,其特征在于,所述基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,包括:
当所述至少两个特征簇中第一特征簇与第二特征簇之间的相似度达到第二相似度阈值时,将所述第一特征簇与所述第二特征簇合并为第一合并特征簇;
确定所述至少两个特征簇中第三特征簇与所述第一合并特征簇之间的相似度达到第二相似度阈值时,将所述第三特征簇与所述第一合并特征簇合并为第二合并特征簇。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:
当第一特征簇与第三特征簇之间的相似度、及第二特征簇与第三特征簇之间的相似度均达到第二相似度阈值时,确定所述第三特征簇与第一合并特征簇之间的相似度达到第二相似度阈值。
8.如权利要求6所述的方法,其特征在于,所述方法还包括:
基于以下公式确定第三特征簇与第一合并特征簇之间的相似度:
sim=(x13+x23)/(t13+t23),
其中,sim为第三特征簇与第一合并特征簇之间的相似度;t13为第一相似度的总数量,x13为达到相似度阈值的第一相似度的数量,第一相似度为第一特征簇中对象特征与第三特征簇中对象特征之间的相似度,t23为第二相似度的总数量,x23为达到相似度阈值的第二相似度的数量,第二相似度为第二特征簇中对象特征与第三特征簇中对象特征之间的相似度。
9.如权利要求1所述的方法,其特征在于,所述获取各个特征簇之间的相似度,包括:
通过图形处理器,获取各个特征簇之间的相似度。
10.一种对象特征的聚类装置,其特征在于,包括:
提取模块,用于从至少两张包含有至少一个对象的帧图像中,提取得到至少两个待聚类的对象特征;
划分模块,用于基于所述帧图像的采集时间,对所述至少两个待聚类的对象特征进行划分,得到至少两个对象特征集合;
第一聚类模块,用于分别对各对象特征集合中的对象特征进行聚类处理,得到对应各所述对象特征集合的至少两个特征簇,所述特征簇包含至少一个对象特征;
获取模块,用于获取所述至少两个特征簇中特征簇之间的相似度;
第二聚类模块,用于基于所述相似度,对所述相似度满足相似度条件的特征簇进行合并,得到对应各个所述对象的特征簇。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010546289.2A CN111709473B (zh) | 2020-06-16 | 2020-06-16 | 对象特征的聚类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010546289.2A CN111709473B (zh) | 2020-06-16 | 2020-06-16 | 对象特征的聚类方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709473A true CN111709473A (zh) | 2020-09-25 |
CN111709473B CN111709473B (zh) | 2023-09-19 |
Family
ID=72540420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010546289.2A Active CN111709473B (zh) | 2020-06-16 | 2020-06-16 | 对象特征的聚类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709473B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149762A (zh) * | 2020-11-24 | 2020-12-29 | 北京沃东天骏信息技术有限公司 | 目标跟踪方法、目标跟踪装置及计算机可读存储介质 |
CN113313497A (zh) * | 2021-07-28 | 2021-08-27 | 北京芯盾时代科技有限公司 | 一种账户数据的风险分析方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002025574A2 (en) * | 2000-09-22 | 2002-03-28 | Http Insights Limited | Data clustering methods and applications |
US20130322740A1 (en) * | 2012-05-31 | 2013-12-05 | Lihui Chen | Method of Automatically Training a Classifier Hierarchy by Dynamic Grouping the Training Samples |
CN103902654A (zh) * | 2014-02-28 | 2014-07-02 | 小米科技有限责任公司 | 聚类方法、装置及终端设备 |
CN104166982A (zh) * | 2014-06-30 | 2014-11-26 | 复旦大学 | 基于典型相关性分析的图像优化聚类方法 |
CN109543775A (zh) * | 2018-12-18 | 2019-03-29 | 贵州联科卫信科技有限公司 | 一种基于密度聚类的面向聚类算法的特征选择方法 |
CN110046586A (zh) * | 2019-04-19 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备及存储介质 |
CN110232373A (zh) * | 2019-08-12 | 2019-09-13 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
-
2020
- 2020-06-16 CN CN202010546289.2A patent/CN111709473B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002025574A2 (en) * | 2000-09-22 | 2002-03-28 | Http Insights Limited | Data clustering methods and applications |
US20130322740A1 (en) * | 2012-05-31 | 2013-12-05 | Lihui Chen | Method of Automatically Training a Classifier Hierarchy by Dynamic Grouping the Training Samples |
CN103902654A (zh) * | 2014-02-28 | 2014-07-02 | 小米科技有限责任公司 | 聚类方法、装置及终端设备 |
CN104166982A (zh) * | 2014-06-30 | 2014-11-26 | 复旦大学 | 基于典型相关性分析的图像优化聚类方法 |
CN109543775A (zh) * | 2018-12-18 | 2019-03-29 | 贵州联科卫信科技有限公司 | 一种基于密度聚类的面向聚类算法的特征选择方法 |
CN110046586A (zh) * | 2019-04-19 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备及存储介质 |
CN110232373A (zh) * | 2019-08-12 | 2019-09-13 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
陈杰;朱娟;: "基于簇间相似度判定的自适应K均值算法", 计算机工程与设计, no. 10, pages 118 - 120 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149762A (zh) * | 2020-11-24 | 2020-12-29 | 北京沃东天骏信息技术有限公司 | 目标跟踪方法、目标跟踪装置及计算机可读存储介质 |
CN113313497A (zh) * | 2021-07-28 | 2021-08-27 | 北京芯盾时代科技有限公司 | 一种账户数据的风险分析方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111709473B (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12079696B2 (en) | Machine learning model training method and device, and expression image classification method and device | |
WO2021022521A1 (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
US20220222918A1 (en) | Image retrieval method and apparatus, storage medium, and device | |
CN111325245B (zh) | 重复图像识别方法、装置、电子设备及计算机可读存储介质 | |
CN111898703B (zh) | 多标签视频分类方法、模型训练方法、装置及介质 | |
CN114283350B (zh) | 视觉模型训练和视频处理方法、装置、设备及存储介质 | |
CN112132197A (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
CN112257801B (zh) | 图像的增量聚类方法、装置、电子设备及存储介质 | |
CN113657087B (zh) | 信息的匹配方法及装置 | |
CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
WO2023020214A1 (zh) | 检索模型的训练和检索方法、装置、设备及介质 | |
CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
CN114358109A (zh) | 特征提取模型训练、样本检索方法、装置和计算机设备 | |
CN115098732B (zh) | 数据处理方法及相关装置 | |
CN111340213B (zh) | 神经网络的训练方法、电子设备、存储介质 | |
CN111709473B (zh) | 对象特征的聚类方法及装置 | |
CN114417982A (zh) | 一种模型训练方法、终端设备及计算机可读存储介质 | |
CN113395584B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
CN113704534A (zh) | 图像处理方法、装置及计算机设备 | |
CN114708449B (zh) | 相似视频的确定方法、实例表征模型的训练方法及设备 | |
CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113743533A (zh) | 一种图片聚类方法、装置及存储介质 | |
CN113821687A (zh) | 一种内容检索方法、装置和计算机可读存储介质 | |
CN115205733B (zh) | 视频识别方法、装置、设备、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |