CN114780781B - 一种基于模糊聚类和非对称距离计算的乘积量化方法 - Google Patents

一种基于模糊聚类和非对称距离计算的乘积量化方法 Download PDF

Info

Publication number
CN114780781B
CN114780781B CN202210683090.3A CN202210683090A CN114780781B CN 114780781 B CN114780781 B CN 114780781B CN 202210683090 A CN202210683090 A CN 202210683090A CN 114780781 B CN114780781 B CN 114780781B
Authority
CN
China
Prior art keywords
vector
residual
clustering
cluster
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210683090.3A
Other languages
English (en)
Other versions
CN114780781A (zh
Inventor
刘鑫
杨志祥
丁雪峰
程佳斌
余将其
皮辉
杨小涛
熊筠轲
谈俊
郭朝霞
许雷
范俊甫
蔡烨彬
谢倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Csic Wuhan Lingjiu Hi Tech Co ltd
Original Assignee
Csic Wuhan Lingjiu Hi Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Csic Wuhan Lingjiu Hi Tech Co ltd filed Critical Csic Wuhan Lingjiu Hi Tech Co ltd
Priority to CN202210683090.3A priority Critical patent/CN114780781B/zh
Publication of CN114780781A publication Critical patent/CN114780781A/zh
Application granted granted Critical
Publication of CN114780781B publication Critical patent/CN114780781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于计算机视觉和大数据领域，提供一种基于模糊聚类和非对称距离计算的乘积量化方法，本发明方法首先对于原始向量集进行初聚类，计算其残差向量集，通过对残差子向量模糊聚类，得到隶属度矩阵；然后根据隶属度进行子向量分类；对于查询向量按照相应方式进行加权距离计算，统计每个子段距离排名序号的和。本发明在乘积量化索引子空间向量聚类中应用了模糊聚类方法，避免了硬划分因样本类别分布不均匀造成的误差，使向量的聚类更客观；在相似度度量中采用了加权非对称距离计算和距离排名统计方法，避免了因向量某一段距离计算过大而产生的检索误差。本发明方法对比原始乘积向量方法在复杂背景图片的检索中精度更高。

Description

一种基于模糊聚类和非对称距离计算的乘积量化方法
技术领域
本发明属于计算机视觉和大数据技术领域，尤其涉及一种基于模糊聚类和非对称距离计算的乘积量化方法。
背景技术
伴随着计算机和互联网快速的飞度发展，网络上的信息也呈爆炸式的增长。在具体的如智慧交通、智能安防等实用领域中，动辄就会接入数百部、万部的摄像头和光电设备，这些机器汇聚成大规模的监控网络。在大型的景区、商场等场景中，往往一天就会产生几百太字节的视频数据，那么解决在如此大量的视频数据中快速、精确的搜索到目标图片的问题，将会带来很大的实际应用价值。
基于内容的图像检索技术，主流的分为两种：一种是乘积量化方法，一种是哈希方法。图像检索任务中大多对于精度的要求要高一些，所以乘积量化的方法应用更广泛。现有乘积量化方法在向量子空间中用QMeans聚类划分子向量，如果原始数据的类别不平衡，会导致分类结果很差。相似度度量使用的是非对称距离的计算和距离排名的方法确定Topk的样本，对于分段不均匀的样本向量，会使检索精度下降。
目前的图像检索方法，主要面临两个基本问题，一是面对大量的视频、图像数据，如何进行快速的搜索。二是有些图像的背景非常复杂，如何进行精确的搜索。现有方法均会存在上述问题。
发明内容
鉴于上述问题，本发明的目的在于提供一种基于模糊聚类和非对称距离计算的乘积量化方法，旨在解决现有方法的图像搜素速度和精度均不高的技术问题。
本发明采用如下技术方案：
所述基于模糊聚类和非对称距离计算的乘积量化方法，包括下述步骤：
步骤S1、对原始向量集进行初聚类，每个簇类分别计算其残差向量集，将残差向量集中残差向量切分多段，对每段残差子向量进行模糊聚类，输出隶属度矩阵；
步骤S2、根据所述隶属度矩阵，取每个残差子向量关于每个簇类的最大若干个隶属度进行子向量分类；
步骤S3、针对查询向量，将其划分到所属的初聚类簇类中并计算残差向量，然后将残差向量划分为若干子段，通过加权计算每子段到向量子空间所有聚类中心的加权距离；
步骤S4、计算查询向量所在的簇类中所有子段的加权距离，统计每个子段距离排名序号的和，其中最大的Q个值对应的样本即查询向量的Q近邻样本。
进一步的，所述步骤S1具体过程如下：
将图片库中的m张图片均转换成n维向量形成原始向量集，将原始向量集中的m个样本向量进行初聚类，划分为g个簇类，簇中心向量为
Figure 904341DEST_PATH_IMAGE001
；
对于划分的g个簇类中的每个样本向量，计算其残差向量，形成残差向量集；
将n维的残差向量平均切分为s段，每段残差子向量的维度为
Figure 130923DEST_PATH_IMAGE002
；
针对每段残差子向量进行模糊聚类，聚类分为k类，得到k个聚类中心，每段残差子向量属于某一类的隶属度为
Figure 638127DEST_PATH_IMAGE003
，设定一个模糊聚类的目标函数J；
当前残差子向量的隶属度矩阵是一个h*k的矩阵，其中h为簇类中残差向量数量，聚类开始时，随机生成一个满足约束条件的隶属度，通过隶属度矩阵迭代以及聚类中心迭代，当目标函数J的取值趋于稳定时，停止迭代，得到最终的隶属度矩阵，其中矩阵的每一行代表一个样本，共有h个样本，矩阵的每一列每个值代表属于每个聚类的隶属度，共有k列。
进一步的，所述步骤S2具体过程如下：
根据残差子向量的隶属度矩阵，把每个残差子向量关于每个簇类的隶属度按从小到大排序，取最大的若干个隶属度进行子向量分类；
将每个簇类中的每个残差向量用数字id表示进行数字量化编码。
进一步的，所述步骤S3具体过程如下：
对于需要查询的图片，将其转化为n维向量形成查询向量，依次计算查询向量到g个簇类的聚类中心的欧氏距离，找到距其距离最短的聚类中心；
在查询向量所属的初聚类簇类中计算残差向量，把残差向量划分为若干子段，每一子段计算其到k个聚类中心的欧式距离，生成距离表。
进一步的，所述步骤S4具体过程如下：
计算查询向量所在的簇类中h个残差向量的每个子段到查询向量对应子段的距离，形成h个距离的距离集合；
把距离集合中的距离按从小到大排序，得到1到h的共h个排名序号，以排名序号给距离对应的子段打标签，每个残差向量的每个子段都有一个标签，得到h个排名序号编码的编码集合；
编码集合中，计算每个数字编码的数字之和，值按从小到大排序，形成新集合，新集合中排序前Q个值对应的样本，即为查询向量的Q近邻样本。
本发明的有益效果是：
1、现有乘积量化的子空间划分使用的QMeans聚类，其对离群数据的存在极为敏感，如果原始数据的类别不平衡，会导致分类结果很差；本发明采用模糊聚类的方法，避免了硬化分因样本类别分布不均匀造成的误差，使类簇中数据的关联度更高。
2、现有乘积量化的子空间划分使用的是非对称距离计算，其存在目标向量的量化误差；本发明采用模糊聚类后的样本隶属度进行加权距离计算，进一步减小距离计算误差，而且采用距离排名统计的方法确定近邻样本，使相似度度量结果更客观。
3、现有乘积量化方法在面对背景复杂图片的情况时，由于其聚类硬化分出错和非对称距离计算误差大，会使检索到的Q近邻样本相似度很低，本发明结合处两种改进的方法，提高了复杂背景图片的检索精度。
附图说明
图1是本发明实施例提供的基于模糊聚类和非对称距离计算的乘积量化方法的流程图；
图2是本发明实施例提供的残差子向量分类示意图；
图3是本发明实施例提供的向量量化编码示意图；
图4是本发明实施例提供的加权非对称距离计算示意图；
图5是本发明实施例提供的距离表和距离计算示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的基于模糊聚类和非对称距离计算的乘积量化方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。
步骤S1、对原始向量集进行初聚类，每个簇类分别计算其残差向量集，将残差向量集中残差向量切分多段，对每段残差子向量进行模糊聚类，输出隶属度矩阵。
本步骤主要实现对图片转化的向量进行初聚类，初聚类后的残差向量进行样本切分，对切分得到的残差子向量进行模糊聚类，得到隶属度矩阵。具体实现时，本步骤具体过程如下：
S11、将图片库中的m张图片均转换成n维向量形成原始向量集，将原始向量集中的m个样本向量进行初聚类，划分为g个簇类，簇中心向量为
Figure 211453DEST_PATH_IMAGE004
。
假设图片库中有m张图片，将每张图片均转化成n维向量，表示为
Figure 917241DEST_PATH_IMAGE005
：
Figure 314725DEST_PATH_IMAGE006
用聚类算法将原始向量集中的m个样本向量划分为g个簇类，聚类得到的簇中心向量集为
Figure 105963DEST_PATH_IMAGE007
，每个簇的簇中心向量
Figure 715936DEST_PATH_IMAGE004
表示为：
Figure 479493DEST_PATH_IMAGE008
S12、对于划分的g个簇类中的每个样本向量，计算其残差向量，形成残差向量集。
对于g个簇中的每个样本向量，计算其残差向量r，假设簇中心向量
Figure 280833DEST_PATH_IMAGE004
代表的簇中有h个原始样本向量，则其h个残差向量
Figure 28209DEST_PATH_IMAGE009
为：
Figure 441873DEST_PATH_IMAGE010
每个簇中心向量
Figure 325515DEST_PATH_IMAGE004
所代表的簇中包含的是原始样本向量的残差向量。
S13、将n维的残差向量平均切分为s段，每段残差子向量的维度为
Figure 799222DEST_PATH_IMAGE011
。
为了便于描述，初聚类中簇中心向量
Figure 768315DEST_PATH_IMAGE004
代表的簇作为样例，可知其中包含h个残差向量，设其向量空间为H，表示为：
Figure 720091DEST_PATH_IMAGE012
把n维的残差向量平均切分为s段，每个段残差子向量的维度为
Figure 22021DEST_PATH_IMAGE011
维。对于n和s，可取n=512，s=8，所有残差向量的残差子向量可表示为：
Figure 135471DEST_PATH_IMAGE013
S14、针对每段残差子向量进行模糊聚类，聚类分为k类，得到k个聚类中心，每段残差子向量属于某一类的隶属度为
Figure 857439DEST_PATH_IMAGE014
，设定一个模糊聚类的目标函数J。
残差子向量做模糊聚类，设定分为k类，那么就会得到k个聚类中心
Figure 347326DEST_PATH_IMAGE015
，每段残差子向量
Figure 471140DEST_PATH_IMAGE016
属于某一类
Figure 286649DEST_PATH_IMAGE017
的隶属度为
Figure 230335DEST_PATH_IMAGE018
，就此定义一个模糊聚类的目标函数J及其约束条件如下：
Figure 22448DEST_PATH_IMAGE019
m是隶属度因子，
Figure 735189DEST_PATH_IMAGE020
表示
Figure 456020DEST_PATH_IMAGE016
到聚类中心
Figure 887002DEST_PATH_IMAGE017
的欧氏距离。
S15、当前残差子向量的隶属度矩阵是一个h*k的矩阵，其中h为簇类中残差向量数量，聚类开始时，随机生成一个满足约束条件的隶属度，通过隶属度矩阵迭代以及聚类中心迭代，当目标函数J的取值趋于稳定时，停止迭代，得到最终的隶属度矩阵，其中矩阵的每一行代表一个样本，共有h个样本，矩阵的每一列每个值代表属于每个聚类的隶属度，共有k列。
本步骤通过隶属度矩阵迭代以及聚类中心迭代来得到隶属度矩阵，隶属度矩阵是h*k的矩阵。
隶属度
Figure 515429DEST_PATH_IMAGE018
的迭代公式为：
Figure 348256DEST_PATH_IMAGE021
聚类中心
Figure 505568DEST_PATH_IMAGE017
的迭代公式：
Figure 925310DEST_PATH_IMAGE022
类开始时，随机生成一个满足约束条件的
Figure 560691DEST_PATH_IMAGE018
，通过聚类中心迭代公式可以求得
Figure 513603DEST_PATH_IMAGE017
。重复隶属度迭代公式和聚类中心迭代公式。当目标函数J的取值趋于稳定，停止迭代。停止迭代的条件为：
Figure 576237DEST_PATH_IMAGE023
其中
Figure 716231DEST_PATH_IMAGE024
取一个极小的常数作为误差的阈值，t为迭代的轮数。当
Figure 420882DEST_PATH_IMAGE018
满足条件时，可得到最终的聚类结果。
以一段残差子向量聚类结果的隶属度矩阵为例，其中矩阵的每一行代表一个样本，共有h个样本。每一列的每个值代表属于每个聚类的隶属度，共有k列。下面为模糊聚类迭代之后输出的隶属度矩阵结果：
Figure 962722DEST_PATH_IMAGE025
例如：
Figure 461836DEST_PATH_IMAGE026
。
步骤S2、根据所述隶属度矩阵，取每个残差子向量关于每个簇类的最大若干个隶属度进行子向量分类。
比如，取每个残差子向量关于每个簇类的排名前2的隶属度进行子向量的分类。那么每个残差子向量都可以用2个数字id来表述，整个残差向量就可以用2个8位的数字id来表示。本步骤具体过程如下：
S21、根据残差子向量的隶属度矩阵，把每个残差子向量关于每个簇类的隶属度按从小到大排序，取最大的若干个隶属度进行子向量分类。
按照上述的隶属度矩阵输出结果，把每个残差子向量关于每个簇类的隶属度按从小到大排序，取最大的若干隶属度进行子段向量的分类。以最大两个隶属度为例，残差子向量分类示意图如图2所示。
按照上述的表示方法，每个类可以用一个数字id来表示，那么k个聚类可以用1到k来代表。例如图2中残差子向量1可以用
Figure 587662DEST_PATH_IMAGE027
两个id来表示，残差子向量h以
Figure 564845DEST_PATH_IMAGE028
来表示。
S22、将每个簇类中的每个残差向量用数字id表示进行数字量化编码。
把初聚类后簇中的每个残差向量所划分的8段都以数字id来表示。完整的残差向量样本就可以表示为：
Figure 226771DEST_PATH_IMAGE029
例如：
Figure 631207DEST_PATH_IMAGE030
记U和U’为模糊聚类的两个聚类中心id。
聚类中心
Figure 480215DEST_PATH_IMAGE031
所代表的g个簇类中包含的残差向量都量化为8位的数字编码。向量量化编码示意图如图3所示。
步骤S3、针对查询向量，将其划分到所属的初聚类簇类中并计算残差向量，然后将残差向量划分为若干子段，通过加权计算每子段到向量子空间所有聚类中心的加权距离。
本步骤具体过程如下：
S31、对于需要查询的图片，将其转化为n维向量形成查询向量，依次计算查询向量到g个簇类的聚类中心的欧氏距离，找到距其距离最短的聚类中心。
近似最近邻搜索的方法的结果取决于查询向量和库向量之间的距离，本实施例提出了一种加权求和的非对称距离计算方法，加权非对称距离计算示意图如图4所示。
考虑一个查询向量
Figure 261089DEST_PATH_IMAGE032
和一个库中向量
Figure 511942DEST_PATH_IMAGE033
。查询向量
Figure 352859DEST_PATH_IMAGE032
经过步骤S1得出其残差向量
Figure 689162DEST_PATH_IMAGE034
但没有进行量化编码，库向量
Figure 273727DEST_PATH_IMAGE033
用其所属的两个模糊聚类中心
Figure 880551DEST_PATH_IMAGE035
表示。由于存在量化编码的误差，向量
Figure 626790DEST_PATH_IMAGE032
与
Figure 450390DEST_PATH_IMAGE033
之间的距离为近似距离，表示为：
Figure 838646DEST_PATH_IMAGE036
其中
Figure 798512DEST_PATH_IMAGE037
为向量
Figure 981231DEST_PATH_IMAGE033
属于所有聚类的最大两个隶属度。
然后针对本实施例的需要查询的图片，将其转化为n维向量，这里标记为查询向量ρ，依次计算查询向量ρ到步骤S11中g个初聚类中心的欧氏距离，找到距其距离最短的聚类中心：
Figure 292127DEST_PATH_IMAGE038
把ρ归距离最短为那个类，然后计算其残差向量，表示为
Figure 952915DEST_PATH_IMAGE039
。
S32、在查询向量所属的初聚类簇类中计算残差向量，把残差向量划分为若干子段，每一子段计算其到k个聚类中心的欧式距离，生成距离表。
在ρ所属的初聚类的类簇中进行，设此簇类中有h个库向量的残差向量。按照S1方式把
Figure 32867DEST_PATH_IMAGE039
平均划分为8段，每一段计算其到k个聚类中心的欧式距离，生成k*8的距离表。假设
Figure 386488DEST_PATH_IMAGE040
所在的簇类中h张库图片的残差向量的量化编码为：
Figure 919100DEST_PATH_IMAGE041
那么h个残差向量每一子段到查询向量的对应子段的距离为：
Figure 882115DEST_PATH_IMAGE042
其中
Figure 816573DEST_PATH_IMAGE043
为h个残差向量的序号，
Figure 606674DEST_PATH_IMAGE044
代表向量的第几段的序号。
Figure 361004DEST_PATH_IMAGE045
表示查询向量的第
Figure 160332DEST_PATH_IMAGE044
段到
Figure 214876DEST_PATH_IMAGE046
所代表的类中心的距离。距离表和距离计算示意图如图5所示。
步骤S4、计算查询向量所在的簇类中所有子段的加权距离，统计每个子段距离排名序号的和，其中最大的Q个值对应的样本即查询向量的Q近邻样本。
本步骤具体过程如下：
S41、计算查询向量所在的簇类中h个残差向量的每个子段到查询向量对应子段的距离，形成h个距离的距离集合。
以第一子段为例，查询向量
Figure 644720DEST_PATH_IMAGE047
所在的簇类中h个残差向量的第一子段到查询向量第一子段的距离，其h个距离的距离集合为：
Figure 417504DEST_PATH_IMAGE048
S42、把距离集合中的距离按从小到大排序，得到1到h的共h个排名序号，以排名序号给距离对应的子段打标签，每个残差向量的每个子段都有一个标签，得到h个排名序号编码的编码集合。
把距离集合中的距离按从小到大排序，有1到h共h个排名序号，以排名的序号给距离对应的子段打标签，那么每个残差向量的第一子段都会有一个标签。
把h个残差向量的其余7个子段都按上述的方法打标签。那么就会得到h个排名序号编码的编码集合，表示为：
Figure 223786DEST_PATH_IMAGE049
其中
Figure 132837DEST_PATH_IMAGE050
为8位的数字编码。
S43、编码集合中，计算每个数字编码的数字之和，值按从小到大排序，形成新集合，新集合中排序前Q个值对应的样本，即为查询向量的Q近邻样本。
计算每个
Figure 500626DEST_PATH_IMAGE050
编码的8位数字之和，形成新集合，并按从小到大排序：
Figure 495127DEST_PATH_IMAGE051
那么新集合中排序前Q个值对应的库中的样本，就是查询样本的Q近邻样本。
为了便于理解，下面列举一具体计算实例过程：
假设查询向量所在的初聚类簇类中第一张原始图片的残差向量为：
Figure 105100DEST_PATH_IMAGE052
那么查询向量第一段到此残差向量第一段的距离可以计算为：
Figure 868657DEST_PATH_IMAGE053
依次计算此簇类中所有的图片的残差向量的第一段到查询向量第一段的距离：
Figure 905883DEST_PATH_IMAGE054
把这n段距离进行倒序排序，并按照排序的名次进行打标签。把此簇类中所有的图片的残差向量的其余7段，按照上述的方法进行距离计算并打标签。
假设此簇类中有2个样本排序名次8位数字编码分别为，样本1：
Figure 653259DEST_PATH_IMAGE055
，样本2：
Figure 801343DEST_PATH_IMAGE056
。
统计2个样本向量排序名次的和，样本1名次的和为24，样本2的名次的和为17。依据本方法可得出样本2的和查询向量更相似。
综上，本发明在乘积量化索引子空间向量聚类中应用了模糊聚类方法，避免了硬划分因样本类别分布不均匀造成的误差，使向量的聚类更客观；在相似度度量中采用了加权非对称距离计算和距离排名统计方法，避免了因向量某一段距离计算过大而产生的检索误差。本发明方法对比现有乘积向量方法在复杂背景图片的检索中精度更高
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于模糊聚类和非对称距离计算的乘积量化方法，其特征在于，所述方法包括下述步骤：
步骤S1、对原始向量集进行初聚类，每个簇类分别计算其残差向量集，将残差向量集中残差向量切分多段，对每段残差子向量进行模糊聚类，输出隶属度矩阵；
步骤S2、根据所述隶属度矩阵，取每个残差子向量关于每个簇类的最大若干个隶属度进行子向量分类；
步骤S3、针对查询向量，将其划分到所属的初聚类簇类中并计算残差向量，然后将残差向量划分为若干子段，通过加权计算每子段到向量子空间所有聚类中心的加权距离；
步骤S4、计算查询向量所在的簇类中所有子段的加权距离，统计每个子段距离排名序号的和，其中最大的Q个值对应的样本即查询向量的Q近邻样本；
所述步骤S1具体过程如下：
将图片库中的m张图片均转换成n维向量形成原始向量集，将原始向量集中的m个样本向量进行初聚类，划分为g个簇类，簇中心向量为
Figure DEST_PATH_IMAGE001
；
对于划分的g个簇类中的每个样本向量，计算其残差向量，形成残差向量集；
将n维的残差向量平均切分为s段，每段残差子向量的维度为
Figure 960858DEST_PATH_IMAGE002
；
针对每段残差子向量进行模糊聚类，聚类分为k类，得到k个聚类中心，每段残差子向量属于某一类的隶属度为
Figure DEST_PATH_IMAGE003
，设定一个模糊聚类的目标函数
Figure 135749DEST_PATH_IMAGE004
，其中
Figure DEST_PATH_IMAGE005
，约束条件为
Figure 348425DEST_PATH_IMAGE006
，m是隶属度因子，
Figure DEST_PATH_IMAGE007
表示残差子向量
Figure 256205DEST_PATH_IMAGE008
到聚类中心
Figure DEST_PATH_IMAGE009
的欧氏距离；
当前残差子向量的隶属度矩阵是一个h*k的矩阵，其中h为簇类中残差向量数量，聚类开始时，随机生成一个满足约束条件的隶属度，通过隶属度矩阵迭代以及聚类中心迭代，当目标函数
Figure 110898DEST_PATH_IMAGE004
的取值趋于稳定时，停止迭代，得到最终的隶属度矩阵，其中矩阵的每一行代表一个样本，共有h个样本，矩阵的每一列每个值代表属于每个聚类的隶属度，共有k列；具体的，隶属度
Figure 343558DEST_PATH_IMAGE003
的迭代公式为
Figure 399239DEST_PATH_IMAGE010
，聚类中心
Figure 215885DEST_PATH_IMAGE009
的迭代公式为
Figure DEST_PATH_IMAGE011
，停止迭代的条件为
Figure 576066DEST_PATH_IMAGE012
，其中
Figure DEST_PATH_IMAGE013
取一个极小的常数作为误差的阈值，t为迭代的轮数。
2.如权利要求1所述基于模糊聚类和非对称距离计算的乘积量化方法，其特征在于，所述步骤S2具体过程如下：
根据残差子向量的隶属度矩阵，把每个残差子向量关于每个簇类的隶属度按从小到大排序，取最大的若干个隶属度进行子向量分类；
将每个簇类中的每个残差向量用数字id表示进行数字量化编码。
3.如权利要求2所述基于模糊聚类和非对称距离计算的乘积量化方法，其特征在于，所述步骤S3具体过程如下：
对于需要查询的图片，将其转化为n维向量形成查询向量，依次计算查询向量到g个簇类的聚类中心的欧氏距离，找到距其距离最短的聚类中心；
在查询向量所属的初聚类簇类中计算残差向量，把残差向量划分为若干子段，每一子段计算其到k个聚类中心的欧式距离，生成距离表。
4.如权利要求3所述基于模糊聚类和非对称距离计算的乘积量化方法，其特征在于，所述步骤S4具体过程如下：
计算查询向量所在的簇类中h个残差向量的每个子段到查询向量对应子段的距离，形成h个距离的距离集合；
把距离集合中的距离按从小到大排序，得到1到h的共h个排名序号，以排名序号给距离对应的子段打标签，每个残差向量的每个子段都有一个标签，得到h个排名序号编码的编码集合；
编码集合中，计算每个数字编码的数字之和，值按从小到大排序，形成新集合，新集合中排序前Q个值对应的样本，即为查询向量的Q近邻样本。
CN202210683090.3A 2022-06-17 2022-06-17 一种基于模糊聚类和非对称距离计算的乘积量化方法 Active CN114780781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210683090.3A CN114780781B (zh) 2022-06-17 2022-06-17 一种基于模糊聚类和非对称距离计算的乘积量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210683090.3A CN114780781B (zh) 2022-06-17 2022-06-17 一种基于模糊聚类和非对称距离计算的乘积量化方法

Publications (2)

Publication Number Publication Date
CN114780781A CN114780781A (zh) 2022-07-22
CN114780781B true CN114780781B (zh) 2022-09-23

Family

ID=82421733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210683090.3A Active CN114780781B (zh) 2022-06-17 2022-06-17 一种基于模糊聚类和非对称距离计算的乘积量化方法

Country Status (1)

Country Link
CN (1) CN114780781B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010669B (zh) * 2023-01-18 2023-12-08 深存科技(无锡)有限公司 向量库重训练的触发方法、装置、检索服务器及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030051554A (ko) * 2003-06-07 2003-06-25 전명근 퍼지 소속도를 갖는 얼굴인식 방법
CN105023240B (zh) * 2015-07-08 2019-07-09 北京大学深圳研究生院 基于迭代投影重建的字典类图像超分辨率系统及方法
CN108427745A (zh) * 2018-03-08 2018-08-21 南京理工大学 基于优化的视觉词典与自适应软分配的图像检索方法
CN112597877B (zh) * 2020-12-21 2024-07-23 中船凌久高科(武汉)有限公司 一种基于深度学习的厂区人员异常行为检测方法
CN113536020B (zh) * 2021-07-23 2022-05-24 贝壳找房(北京)科技有限公司 数据查询的方法、存储介质和计算机程序产品

Also Published As

Publication number Publication date
CN114780781A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
Maji et al. Max-margin additive classifiers for detection
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
Gorisse et al. Locality-sensitive hashing for chi2 distance
US20210158164A1 (en) Finding k extreme values in constant processing time
CN103336795B (zh) 基于多特征的视频索引方法
Zhou et al. Scalable feature matching by dual cascaded scalar quantization for image retrieval
CN104199923B (zh) 基于最优k均值哈希算法的大规模图像库检索方法
CN110427517B (zh) 一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质
WO2001046858A1 (fr) Creation d'un indice vectoriel, recherche de vecteurs similaires et dispositifs correspondants
CN113918753A (zh) 基于人工智能的图像检索方法及相关设备
CN102890700A (zh) 一种基于体育比赛视频的相似视频片段检索方法
He et al. Bidirectional discrete matrix factorization hashing for image search
Haldar et al. Content based image retrieval using histogram, color and edge
CN114780781B (zh) 一种基于模糊聚类和非对称距离计算的乘积量化方法
CN110083732B (zh) 图片检索方法、装置及计算机存储介质
CN105760875A (zh) 基于随机森林算法的判别二进制图像特征相似实现方法
CN109918529A (zh) 一种基于树形聚类矢量量化的图像检索方法
El Abyad et al. Deep Video Hashing Using 3DCNN with BERT.
Heo et al. Shortlist selection with residual-aware distance estimator for k-nearest neighbor search
CN116662597A (zh) 一种域适应检索方法、装置、设备及介质
CN108536772B (zh) 一种基于多特征融合和扩散过程重排序的图像检索方法
WO2023065696A1 (zh) 一种最近邻搜索方法、装置、终端和存储介质
Chen et al. Effective and efficient content redundancy detection of web videos
CN104391987A (zh) 基于移动平台下大规模目标识别的方法
Pang et al. Unifying sum and weighted aggregations for efficient yet effective image representation computation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant