CN111488479B - 超图构建方法、装置以及计算机系统和介质 - Google Patents
超图构建方法、装置以及计算机系统和介质 Download PDFInfo
- Publication number
- CN111488479B CN111488479B CN201910072537.1A CN201910072537A CN111488479B CN 111488479 B CN111488479 B CN 111488479B CN 201910072537 A CN201910072537 A CN 201910072537A CN 111488479 B CN111488479 B CN 111488479B
- Authority
- CN
- China
- Prior art keywords
- matrix
- feature similarity
- similarity matrix
- objective function
- hypergraph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 280
- 238000009499 grossing Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 127
- 238000000034 method Methods 0.000 claims description 56
- 238000009792 diffusion process Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 42
- 238000012546 transfer Methods 0.000 claims description 30
- 238000005457 optimization Methods 0.000 claims description 17
- 230000002265 prevention Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000009795 derivation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种超图构建方法、装置以及计算机系统和介质，该超图构建方法包括：获取至少两个图像的图像特征；基于所述图像特征构建第一特征相似度矩阵，所述第一特征相似度矩阵的矩阵元素表征图像特征之间的相似度；对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵；基于所述第二特征相似度矩阵和近邻策略构建超图，其中，所述第二特征相似度矩阵中矩阵元素作为超图的超边的结点。
Description
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种超图构建方法、装置以及计算机系统和介质。
背景技术
得益于互联网的发展以及数码相机、图像扫描仪等图像捕捉设备的广泛普及和雅虎网络相册Flickr、脸谱Facebook等社交网站的流行，数字图像数据的规模每天正在以惊人的迅速增长。例如，中国优秀的互联网企业京东集团旗下的京东商城后台保存着上千亿张的图片，并且每天新增图片近一亿张，又例如，拥有20亿月活跃用户的Facebook，每天上传超过3亿张图片，又例如，图片分享网站Flickr在2015平均每天用户上传约200万张图片。如何高效快速的从包含丰富信息的海量图像库中准确地检索到用户感兴趣的图像，已成为信息检索领域研究的热点和难点问题。图像检索技术经过十多年的发展，目前基于内容的图像检索技术已经广泛应用于遥感测量、犯罪预防、出版业、制药业、建筑业和搜索引擎等领域。
基于超图技术可以提升图像检索性能。超图是传统图的泛化，超图的结点和普通图的结点类似，超图的边可以连接任意数量的结点。超图由于能够刻画不同对象之间的复杂关系而被广泛应用于机器学习、图像检索和模式识别中。
在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：现有技术中构建超图不准确，超图不能准确刻画真实数据结构。
发明内容
有鉴于此，本公开提供了一种能够准确刻画真实数据结构的超图构建方法、装置以及计算机系统和介质。
本公开的一个方面提供了一种超图构建方法，可以包括如下操作：首先获取至少两个图像的图像特征，然后基于所述图像特征构建第一特征相似度矩阵，所述第一特征相似度矩阵的矩阵元素表征图像特征之间的相似度，接着，对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，然后，基于所述第二特征相似度矩阵和近邻策略构建超图，其中，所述第二特征相似度矩阵中矩阵元素作为超图的超边的结点。使用平滑处理过程对超图进行优化，避免使用基于k近邻策略构建超图时由于噪声影响而产生的不鲁棒性，从而保证超图能够刻画真实的数据分布和结构信息，以便于提升基于该构建的超图进行图像检索等应用的准确度。
根据本公开的实施例，所述基于所述图像特征构建第一特征相似度矩阵可以包括如下操作：首先，获取所述至少两个图像的图像特征中任意两个图像特征之间的距离，然后，利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵。
根据本公开的实施例，所述利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵可以包括如下操作：首先，基于所述任意两个图像特征之间的距离获取高斯核，然后，根据所述高斯核的大小，基于近邻策略构建第一特征相似度矩阵，其中，所述高斯核作为所述第一特征相似度矩阵的矩阵元素。
根据本公开的实施例，所述对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵具体可以包括：基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，所述转移矩阵与所述第一特征相似度矩阵相关。
根据本公开的实施例，所述基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵可以包括如下操作：首先，基于所述第一特征相似度矩阵和对角矩阵的逆矩阵获取转移矩阵，其中对角矩阵的对角元素为第一特征相似度矩阵的各矩阵元素的和，然后，基于所述转移矩阵的转置矩阵和所述第一特征相似度矩阵获取平滑处理的第一特征相似度矩阵，接着，对所述平滑处理的第一特征相似度矩阵进行归一化处理，得到所述第二特征相似度矩阵。
根据本公开的实施例，所述方法还可以包括如下操作：重复所述对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵的过程直至达到预设条件，其中，所述预设条件包括以下至少一种：达到收敛条件、达到预设重复次数。
根据本公开的实施例，所述获取至少两个图像的图像特征包括：获取待搜索图像以及至少一个具有属性标识信息的图像的图像特征，相应地，所述方法还可以包括如下操作，首先，基于所述超图进行超图学习，得到目标函数的解，然后，基于所述目标函数的解和所述至少一个具有属性标识信息的图像的属性标识信息确定所述待搜索图像的属性信息。
根据本公开的实施例，所述目标函数为权重相关目标函数，所述权重相关目标函数的解与超图的超边的权重相关联，且超边的权重越大时对应的超边中含有相同类别结点的数目越多。也就是说，超边的权重不是固定不变的，而是与目标公式中的预测函数同时进行优化。通过对超边权重进行迭代优化，最终得到的超边权重大小可以合理的反映超边的重要性，提升目标函数的解的准确度。
根据本公开的实施例，所述目标函数还包括防止过拟合项，所述防止过拟合项包括防止过拟合参数。这样有助于提升求解的速度和准确度。
根据本公开的实施例，可以通过以下方式获取所述目标函数的解：首先，去除所述目标函数中与目标函数的解不相关的项，得到第一优化目标函数，然后，对所述第一优化目标函数进行求导并赋值零，得到所述目标函数的解析解，接着，利用所述目标函数的解析解赋值所述目标函数，得到第二优化目标函数，然后，去除所述第二目标函数中与所述防止过拟合参数不相关的项，得到第三优化目标函数，接着，对所述第三优化目标函数进行求导并赋值零，得到所述第三优化目标函数的解析解，然后，重复上述操作直至迭代收敛，得到所述目标函数的解。由于目标函数中防止过拟合参数和解耦合在一起，无法直接进行优化求解，使用交替迭代方法可以高效地求解。
本公开的另一个方面提供了一种超图构建装置，包括：特征获取模块、第一矩阵构建模块、扩散处理模块和超图构建模块，其中，所述特征获取模块用于获取至少两个图像的图像特征，所述第一矩阵构建模块用于基于所述图像特征构建第一特征相似度矩阵，所述第一特征相似度矩阵的矩阵元素表征图像特征之间的相似度，所述扩散处理模块用于对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，所述超图构建模块用于基于所述第二特征相似度矩阵和近邻策略构建超图，其中，所述第二特征相似度矩阵中矩阵元素作为超图的超边的结点。
根据本公开的实施例，所述第一矩阵构建模块可以包括：距离获取单元和矩阵构建单元，其中，所述距离获取单元用于获取所述至少两个图像的图像特征中任意两个图像特征之间的距离，所述矩阵构建单元用于利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵。
根据本公开的实施例，所述矩阵构建单元可以包括：高斯核获取子单元、矩阵构建子单元，其中，所述高斯核获取子单元用于基于所述任意两个图像特征之间的距离获取高斯核，所述矩阵构建子单元用于根据所述高斯核的大小，基于近邻策略构建第一特征相似度矩阵，其中，所述高斯核作为所述第一特征相似度矩阵的矩阵元素。
根据本公开的实施例，所述扩散处理模块可以包括：转移矩阵获取单元、扩散处理单元、归一化单元，其中，所述转移矩阵获取单元用于基于所述第一特征相似度矩阵和对角矩阵的逆矩阵获取转移矩阵，其中对角矩阵的对角元素为第一特征相似度矩阵的各矩阵元素的和，所述扩散处理单元用于基于所述转移矩阵的转置矩阵和所述第一特征相似度矩阵获取平滑处理的第一特征相似度矩阵，所述归一化单元用于对所述平滑处理的第一特征相似度矩阵进行归一化处理，得到所述第二特征相似度矩阵。
根据本公开的实施例，所述特征获取模块具体用于获取待搜索图像以及至少一个具有属性标识信息的图像的图像特征。相应地，所述方法还可以包括：超图学习模块、属性确定模块，其中，所述超图学习模块用于基于所述超图进行超图学习，得到目标函数的解，所述属性确定模块用于基于所述目标函数的解和所述至少一个具有属性标识信息的图像的属性标识信息确定所述待搜索图像的属性信息。
根据本公开的实施例，所述目标函数可以为权重相关目标函数，所述权重相关目标函数的解与超图的超边的权重相关联，且超边的权重越大时对应的超边中含有相同类别结点的数目越多。
根据本公开的实施例，所述目标函数还可以包括防止过拟合项，所述防止过拟合项包括防止过拟合参数。
根据本公开的实施例，所述超图学习模块可以包括：第一优化单元、第一求导单元、赋值单元、第二优化单元、第二求导单元和迭代单元，其中，所述第一优化单元用于去除所述目标函数中与目标函数的解不相关的项，得到第一优化目标函数，所述第一求导单元用于对所述第一优化目标函数进行求导并赋值零，得到所述目标函数的解析解，所述赋值单元用于利用所述目标函数的解析解赋值所述目标函数，得到第二优化目标函数，所述第二优化单元用于去除所述第二目标函数中与所述防止过拟合参数不相关的项，得到第三优化目标函数，所述第二求导单元用于对所述第三优化目标函数进行求导并赋值零，得到所述第三优化目标函数的解析解，所述迭代单元用于重复上述操作直至迭代收敛，得到所述目标函数的解。
本公开的另一方面提供了计算机系统，包括：一个或多个处理器以及存储装置，该存储装置用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例，可以至少部分地解决现有技术构建的超图不能准确地刻画真实世界中不同对象的关系的问题，并因此可以实现提升图像检索结果准确度的技术效果。
根据本公开的实施例，可以至少部分地解决现有技术中超边权重设置单一的问题，并因此可以实现对于那些包含相同类别样本数目较多的超边具有较大的权重，而那些包含较多不同类别样本数目的超边应给予较小的权重，从而提高超图的检索能力。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1A示意性示出了根据本公开实施例的超图构建方法、装置以及计算机系统和介质的应用场景；
图1B示意性示出了根据本公开实施例的适用超图构建方法、装置的系统架构示意图；
图1C示意性示出了基于k近邻策略构建超图示意图；
图1D示意性示出了高维空间数据的低维流行结构；
图2A示意性示出了根据本公开实施例的超图构建方法的流程图；
图2B示意性示出了根据本公开实施例的MPEG7数据集样本示例；
图2C示意性示出了根据本公开实施例的扩散处理方法的流程图；
图2D示意性示出了根据本公开实施例的应用扩散过程对相似度矩阵进行平滑化后的效果示意图；
图2E示意性示出了根据本公开实施例的对经过不同处理的相似度矩阵进行聚类的结果示意图；
图2F示意性示出了根据本公开实施例的MPEG7数据初始化相似度矩阵和扩散处理后的相似度矩阵对比；
图3A示意性示出了根据本公开另一实施例的超图构建方法的流程图；
图3B示意性示出了根据本公开实施例的获取所述目标函数的解的方法的流程图；
图3C示意性示出了基于传统的超图进行检索的检索结果示意图；
图3D示意性示出了根据本公开实施例的基于扩散处理的超图进行检索的检索结果示意图；
图4示意性示出了根据本公开实施例的超图构建装置的框图；以及
图5示意性示出了根据本公开实施例的适于实现机器人的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种用于多个机器人中每个机器人的通信方法以及能够应用该方法的机器人。该方法包括身份识别过程和信息收发过程。在身份识别过程中，每个机器人在不同时隙发送对自身进行标识的身份识别信号，并接收来自其他机器人的身份识别信号。基于接收的身份识别信号，多个机器人可以彼此相互识别。在完成身份识别之后，进入信息收发过程，多个机器人可以根据预定规则彼此通信。
图1A示意性示出了根据本公开实施例的超图构建方法、装置以及计算机系统和介质的应用场景。
如图1A所示，当用户在客户端输入图片进行搜索时，服务端会对客户端发送的图片进行特征提取，然后基于特征在数据库中进行检索，得到检索结果，然后服务端会把检索结果反馈给客户端以便于用户得知该图片中物体的属性信息，例如名称、百科信息等。
图1B示意性示出了根据本公开实施例的适用超图构建方法、装置的系统架构100示意图。需要注意的是，图1B所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1B所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如搜索类应用、购物类应用、网页浏览器应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和智能电视等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行的图片搜索提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的超图构建方法一般可以由服务器105执行。相应地，本公开实施例所提供的超图构建装置一般可以设置于服务器105中。本公开实施例所提供的超图构建方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的超图构建装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图1C示意性示出了基于k近邻策略构建超图示意图。
如图1C所示，该超图中包括结点和超边，其中，v1、v2、v3、v4、v5和v6分别为一个结点，e1、e2、e3、e4分别为一个超边，k值为2，每个超边包括3个结点。
在一个传统(简单)的图中，结点表示相应的样本，一条边连接两个相关的结点。顶点之间关系是否对称决定图是无向图还是有向图。然而简单图无法反映样本之间的复杂的高阶信息。
超图是传统图的泛化，超图的结点和普通图的结点类似，超图的边可以连接任意数量的结点。值得注意的是，简单的图只是超图的一种特殊情况，其中每个边仅允许连接两个结点。超图由于可以刻画多个对象之间的复杂高阶关系，使得基于超图的图像检索方法取得了不错的检索性能。下面简单介绍超图以及如何使用超图对图像数据进行检索。
表1超图中的符号定义
表1给出了超图中符号的定义。一个超图由顶点(属于结点)集合超边集合ε＝{e1，e2…，ed}和超边权重向量w组成。相应超边e∈ε的权重表示为w(e)默认设置为1。超图/>可以由大小为/>的指示矩阵H表示，如式(1)所示：
对于结点基于指示矩阵打定义结点的度如式(2)所示：
类似的，超边e∈ε的度定义如式(3)所示：
Dv和De分别表示以结点的度和超边的度为对角元素的对角矩阵。对角矩阵Dw表示大小为|ε|×|ε|的超边权重矩阵，其对角元素为超边的权重w(e)。
假设现需要在由n-1个图片构成的图像数据库中对一个新的图片进行检索。将所有样本进行特征抽取后即有样本矩阵其中样本xj为需要检索的图片。相应的标签向量为/>其中yj＝1并且yi≠j＝0。通过k近邻的策略构建超图，即以每一个样本作为结点，通过计算两两样本之间的距离选择其k个近邻，然后将这k+1个样本组成一条超边。最终生成一个具有n个结点的超图/>图1C展示了以6个结点为顶点根据k(如k＝2)近邻策略构建的四条超边e1，e2，e3和e4。具体来说以v1为顶点构建的超边e1中包含v1及其两个最近邻结点v3和v6。
然而，仅基于k近邻策略构建超图，会存在以下不足：首先，参数k选择不同将导致生成的相似度矩阵不同，并影响最终的检索结果；其次，距离(如欧氏距离)通常不能准确地刻画真实世界中不同对象的关系，这是因为需要度量的对象往往存在于高维空间的低维流行上，即在样本局部符合欧式空间性质，图1D示意性示出了高维空间数据的低维流行结构。因此使用欧氏距离构建k近邻超图不能准确刻画真实数据结构。
本公开在传统的超图的基础上，提出一种基于扩散过程的超图构建方法及基于扩散过程的超图检索方法。使用扩散方法构建超图，避免使用基于k近邻策略构建超图时由于噪声影响而产生的不鲁棒性，从而保证超图能够刻画真实的数据分布和结构信息。此外，在提出的基于扩散过程的超图检索方法中，超边的权重不是固定不变的，而是与目标函数中的预测函数(解)同时进行优化，通过对超边权重进行迭代优化，最终得到的超边权重大小可以合理的反映超边的重要性，有效地提升了检索结果的准确度。
图2A示意性示出了根据本公开实施例的超图构建方法的流程图。
如图2A所示，该方法包括操作S201～操作S204。
在操作S201，获取至少两个图像的图像特征。
在本实施例中，所述图像特征包括但不限于以下任意一种或多种：灰度值、颜色直方图、颜色矩、纹理特征、形状特征等。为了便于理解本公开的技术方案，以下以较容易理解的灰度值为图像特征为例进行详细说明，但是不应当理解为本公开的技术方案仅适用于以灰度值为图像特征的范围。
图2B示意性示出了根据本公开实施例的MPEG7数据集样本示例。以下以MPEG7图像匹配数据集为例具体说明。如图2B所示，MEPG7数据集包含1400张剪影图像，一共有70种形状，每种形状包含20张图片，其中，每种形状具有标注信息，如其所属的种类的名称，例如，bird-1，表示鸟类图片中的第一个图。由于MEPG7数据集包含了不同物体的轮廓信息，使用图片的灰度值作为图像特征进行后续操作。
然后，在操作S202，基于所述图像特征构建第一特征相似度矩阵，所述第一特征相似度矩阵的矩阵元素表征图像特征之间的相似度。
具体地，所述基于所述图像特征构建第一特征相似度矩阵可以包括如下操作。首先，获取所述至少两个图像的图像特征中任意两个图像特征之间的距离。然后，利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵。两个图像特征之间的距离包括但不限于以下任意一种或多种：闵可夫斯基距离、曼哈顿距离、马氏距离、欧氏距离、余弦相似度和汉明距离等。以下以欧式距离为例进行详细说明以便于理解本公开的技术方案。
其中，所述利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵可以包括如下操作：首先，基于所述任意两个图像特征之间的距离获取高斯核，然后，根据所述高斯核的大小，基于近邻策略构建第一特征相似度矩阵，其中，所述高斯核作为所述第一特征相似度矩阵的矩阵元素。
在一个具体实施例中，首先通过k近邻策略构建第一特征相似度矩阵W，样本i和样本j的相似度为W(i，j)∈[0，1]。其中W(i，j)越大表示样本间的相似度越大。在实际应用中通过高斯核构建第一特征相似度矩阵W，该第一特征相似度矩阵的表达式可以如式(4)所示：
W(i，j)＝exp(-d2(i，j)/σ2) (4)
其中d(i，j)为样本i和样本j的欧氏距离，σ控制高斯核的宽度。
在操作S203，对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，其中，所述第二特征相似度矩阵的平滑度大于所述第一特征相似度矩阵的平滑度。
在本实施例中，可以基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，所述转移矩阵与所述第一特征相似度矩阵相关。
具体地，可以对所述第一特征相似度矩阵进行扩散处理，例如，首先定义初始化的第一特征相似度矩阵W和转移矩阵P，然后迭代的对W进行扩散平滑，可以基于但不限于以下任意一种或多种方式：Global PageRank、Personalized PageRank、Graph Transduction和Tensor Graph Diffusion等方式对第一特征相似度矩阵进行扩散处理。
图2C示意性示出了根据本公开实施例的扩散处理方法的流程图。
如图2C所示，在一个具体实施例中，所述基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵可以包括操作S2031～操作S2033。
在操作S2031，基于所述第一特征相似度矩阵和对角矩阵的逆矩阵获取转移矩阵，其中对角矩阵的对角元素为第一特征相似度矩阵的各矩阵元素的和。
具体地，根据第一特征相似度矩阵按照如式(5)计算转移矩阵。
P＝D-1W (5)
其中，D为对角矩阵，对角元素
在操作S2032，基于所述转移矩阵的转置矩阵和所述第一特征相似度矩阵获取平滑处理的第一特征相似度矩阵。
具体地，对第一特征相似度矩阵进行扩散过程，使第一特征相似度矩阵平滑化，可以采用如式(6)所示的计算公式：
Wt＝WPt (6)
在操作S2033，对所述平滑处理的第一特征相似度矩阵进行归一化处理，得到所述第二特征相似度矩阵。
具体地，将平滑后的第一特征相似度矩阵Wt进行归一化，采用的公式可以如式(7)所示：
W*＝D-1Wt (7)
图2D示意性示出了根据本公开实施例的应用扩散过程对相似度矩阵进行平滑化后的效果示意图。
如图2D所示，为了便于直观地看到扩散处理过程，选取第一幅图为处理对象，第二幅图为未对第一特征相似度矩阵进行扩散处理的初始相似度矩阵，第三幅图为进行扩散处理之后的第二特征相似度矩阵。从图中可以看到最初的相似度矩阵W非常稀疏，不能准确刻画模拟数据的分布结构。经过扩散过程后的相似度矩阵W*比W更加平滑，即所述第二特征相似度矩阵的平滑度大于未对第一特征相似度矩阵进行扩散处理的初始相似度矩阵，可以很好的展示两类不同数据的类别结构信息，而这种捕捉数据真实分布的能力可以准确地提供样本间的相似性。
可选地，重复所述对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵的过程直至达到预设条件，其中，所述预设条件包括以下至少一种：达到收敛条件、达到预设重复次数。例如，该预设重复次数可以为50、100、150、200、250、300、500等。收敛条件可以为得到重复扩散处理得到的结果趋于稳定，如变化量小于设定阈值。具体地，可以重复如操作S2031至操作S2033。需要说明的是，上述重复进行扩散处理的操作也可以不同于操作S2031至操作S2033，在此不做限定。
图2E示意性示出了根据本公开实施例的对经过不同处理的相似度矩阵进行聚类的结果示意图。
为了更好的展示经过多次扩散过程平滑后的相似度矩阵W*的优异性能，将其直接用于聚类算法，观察相应设置下的聚类结果。
如图2E所示，每一幅图为对如图2D中第一幅图构建超图后进行聚类的结果。其中，第一幅是未进行扩散处理构建的超图进行聚类的结果，由左到右第二幅至第五幅是分别进行10次、50次、90次、200次扩散处理构建的超图进行聚类的结果。从图2E可以看出最终得到的相似度矩阵W*(steps＝200，表示在构建超图的过程中扩散处理200次)的聚类结果明显优于使用最初的相似度矩阵W的聚类结果(采用的K means聚类算法)，也表明经过扩散过程平滑的相似度矩阵能够更好的刻画数据的真实分布结构。
为了更好的展示经过多次扩散过程平滑后的相似度矩阵W*的优异性能，以下以MPEG7相应的相似度矩阵为例进行说明。
图2F示意性示出了根据本公开实施例的MPEG7数据初始化相似度矩阵和扩散处理后的相似度矩阵对比图。
图2F的左图展示了使用MPEG7数据集中40个类别的样本构建的第一特征相似度矩阵，图2F的右图中展示的是经过扩散过程平滑后的第二特征相似度矩阵，其中，数值越大表示相似度越高。从图2F中可以明显的看到，第一特征相似度矩阵非常稀疏，无法对不同类别样本的内在相似度进行准确度量。而在经过扩散过程平滑后的第二特征相似度矩阵可以明显地看出40个类别样本的相似度构成了块矩阵，很好的将类内和类间样本数据进行了区分。
在操作S204，基于所述第二特征相似度矩阵和近邻策略构建超图，其中，所述第二特征相似度矩阵中矩阵元素作为超图的超边的结点，第二特征相似度矩阵中矩阵元素与所述图像特征相关。
具体地，得到第二特征相似度矩阵W*之后，类似k近邻构图策略进行超图构建。即将在W*中有边连接的结点相应的构建一条超边，最终得到含有n条超边的超图。
本公开在传统的超图的基础上，使用扩散方法优化超图，避免使用基于k近邻策略构建超图时由于噪声影响而产生的不鲁棒性，从而保证超图能够刻画真实的数据分布和结构信息。
图3A示意性示出了根据本公开另一实施例的超图构建方法的流程图。
如图3A所示，所述超图构建方法还可以包括操作S305～操作S306。
该操作用于基于之前构建的超图进行图像检索。具体地，所述获取至少两个图像的图像特征包括：获取待搜索图像以及至少一个具有属性标识信息的图像的图像特征。相应地，所述方法还可以包括如下操作。
在操作S305，基于所述超图进行超图学习，得到目标函数的解。
在本实施例中，得到构建的超图后，可以利用现有的超图学习的目标函数进行超图学习。目标函数可以如式(8)所示：
其中Ω(f)是超图拉普拉斯正则化项，Remp(f)为经验损失项。λ＞0是正则化参数用于平衡上式两项的相对权重大小。超图拉普拉斯正则化项Ω(f)定义如式(9)所示：
式(9)的直观理解为：当同一超边中的所有结点所具有的标签相近，式(5)取得较小的值。
令和Δ＝I-Λ，得到整理后的超图正则化项如式(10)所示：
Ω(f)＝fTΔf (10)
其中Δ是一个半正定矩阵被称为超图拉普拉斯，f＝[f1，f2，...，fn]T定义在(0，1)区间上的预测函数(即解)。当使用均方误差损失作为经验损失项时目标函数具有如下闭式解，如式(11)所示：/>
具体地，在式(11)中假设超边的权重都是相同的为1。最终通过f实现对目标图像的检索。
在另一个实施例中，如上所述，在式(11)中假设超边的权重都是相同的为1，然而，不同超边所包含的样本类别不同，样本的重要性也不相同，在本实施例中对所述目标函数进行了优化，使得对于那些包含相同类别样本数目较多的超边应具有较大的权重，而那些包含较多不同类别样本数目的超边应给与较小的权重，从而提高超图的检索能力。具体地，所述目标函数为权重相关目标函数，所述权重相关目标函数的解与超图的超边的权重相关联，且超边的权重越大时对应的超边中含有相同类别结点的数目越多。
此外，为了防止在超图学习过程中发生过拟合现象，所述目标函数还包括防止过拟合项，所述防止过拟合项包括防止过拟合参数。
通过对构建的超图中超边的权重进行学习，权重可以自动地对超边中包含样本类别一致性进行评价，进而提高超图分类的性能。对式(9)观察发现理想情况下最具有判别性的模态特征构建的超边应当学习到较大的权重，而那些无法将不同标签样本进行区分的模态特征生成的超边权重应尽可能小。优化后的目标函数如式(12)所示：
其中，第三项为防止过拟合项。y为样本标签，如bird-1，f为目标函数的解，如bird-1。相较于如式(8)所示的目标函数，优化变量不同，且增加l2-norm范数约束。
由于目标函数中变量w和f耦合在一起，无法直接进行优化求解，可以使用交替迭代方法求解。具体地，可以通过以下操作获取所述目标函数的解。
图3B示意性示出了根据本公开实施例的获取所述目标函数的解的方法的流程图。
如图3B所示，在操作S3051，去除所述目标函数中与目标函数的解不相关的项，得到第一优化目标函数。
例如，当固定w优化f时，将目标公式中与变量f无关项去掉，得到如式(13)所示的优化问题：
在操作S3052，对所述第一优化目标函数进行求导并赋值零，得到所述目标函数的解析解。
例如，对上式f求导，并令导数为零，得到如式(14)所示的解析解：
f＝(I+λΔ)-1y (14)
在操作S3053，利用所述目标函数的解析解赋值所述目标函数，得到第二优化目标函数。
在操作S3054，去除所述第二目标函数中与所述防止过拟合参数不相关的项，得到第三优化目标函数。
例如，固定f，优化w。在如式(12)所示的目标函数中去掉与w无关项后，得到如式(15)的优化问题：
在操作S3055，对所述第三优化目标函数进行求导并赋值零，得到所述第三优化目标函数的解析解。
例如，对式(15)进行求导并令其为零得到式(15)的解析解。
在操作S3056，重复上述操作直至迭代收敛，得到所述目标函数的解。即当算法交替迭代收敛时，得到超图学习算法的解。
在操作S306，基于所述目标函数的解和所述至少一个具有属性标识信息的图像的属性标识信息确定所述待搜索图像的属性信息。
具体地，可以使用f或优化得到的f进行预测，即根据f中相应位置的元素大小将查询图像与图像数据库中的图像相似度进行排序，输出与查询图像具有较高相似性的图像作为检索结果。
以下结合图3C和图3D对基于不同的超图构建方式和不同的目标函数进行图像检索的检索结果进行示例性说明。
图3C示意性示出了基于传统的超图进行检索的检索结果示意图。
如图3C所示，展示了基于传统超图和目标函数在MPEG7图像数据库的检索情况。图中虚线左侧列为待查询图像，虚线右侧为相应的前5个检索结果，从图中可以看到，在检索bird-16的图像时，给出的检索结果的第一位虽然也是属于bird类，但是并非bird-16图像，而是bird-18图像，且前5检索结果中都没有出现bird-16图像，甚至在第3检索结果时就给出了不同类的答案。此外，当检索bat-12或crown-20时，都存在相似的检索结果不够准确的问题。
图3D示意性示出了根据本公开实施例的基于扩散处理的超图进行检索的检索结果示意图。
如图3D所示，展示了基于扩散处理的超图和优化后的目标函数在MPEG7图像数据库的检索情况。图中虚线左侧列为待查询图像，虚线右侧为相应的前5个检索结果，从图中可以看到，在检索bird-16的图像时，给出的检索结果的第一位为bird-16图像，且前5检索结果中都是属于bird类的图像，没有出现其它类的图像，甚至差异较大的bird-9也检索出来。此外，当检索bat-12或crown-20时，如图3D所示的检索结果都比如3C所示的检索结果更加准确。由此可以看出本公开提供的方法的优越性。
本公开在提出的基于扩散过程的超图检索方法中，超边的权重不是固定不变的，而是与目标函数中的预测函数同时进行优化。通过对超边权重进行迭代优化，最终得到的超边权重大小可以合理的反映超边的重要性，通过对构建的超图中超边的权重进行学习，权重可以自动地对超边中包含样本类别一致性进行评价，有助于提升基于该目标函数获取的检索结果的准确度。
图4示意性示出了根据本公开实施例的超图构建装置的框图。需要说明的是，该超图构建装置的实现方式可以参考对应的超图构建方法的相应内容，在此不做过于详细的说明。
如图4所示，超图构建装置400包括特征获取模块410、第一矩阵构建模块420、扩散处理模块430和超图构建模块440。
所述特征获取模块410用于获取至少两个图像的图像特征。
所述第一矩阵构建模块420用于基于所述图像特征构建第一特征相似度矩阵，所述第一特征相似度矩阵的矩阵元素表征图像特征之间的相似度。
所述扩散处理模块430用于对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，其中，所述第二特征相似度矩阵的平滑度大于所述第一特征相似度矩阵的平滑度。
所述超图构建模块440用于基于所述第二特征相似度矩阵和近邻策略构建超图，其中，所述第二特征相似度矩阵中矩阵元素作为超图的超边的结点，第二特征相似度矩阵中矩阵元素与所述图像特征相关。
可选地，所述第一矩阵构建模块420可以包括：距离获取单元和矩阵构建单元。
其中，所述距离获取单元用于获取所述至少两个图像的图像特征中任意两个图像特征之间的距离。两个图像特征之间的距离包括但不限于以下任意一种或多种：闵可夫斯基距离、曼哈顿距离、马氏距离、欧氏距离、余弦相似度和汉明距离等。
所述矩阵构建单元用于利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵。
在一个实施例中，所述矩阵构建单元可以包括：高斯核获取子单元和矩阵构建子单元。
其中，所述高斯核获取子单元用于基于所述任意两个图像特征之间的距离获取高斯核。
所述矩阵构建子单元用于根据所述高斯核的大小，基于近邻策略构建第一特征相似度矩阵，其中，所述高斯核作为所述第一特征相似度矩阵的矩阵元素。
可选地，所述扩散处理模块430可以包括：转移矩阵获取单元、扩散处理单元和归一化单元。
其中，所述转移矩阵获取单元用于基于所述第一特征相似度矩阵和对角矩阵的逆矩阵获取转移矩阵，其中对角矩阵的对角元素为第一特征相似度矩阵的各矩阵元素的和。
所述扩散处理单元用于基于所述转移矩阵的转置矩阵和所述第一特征相似度矩阵获取平滑处理的第一特征相似度矩阵。
所述归一化单元用于对所述平滑处理的第一特征相似度矩阵进行归一化处理，得到所述第二特征相似度矩阵。
本公开的装置可以用于图像检索，例如，所述特征获取模块410具体用于获取待搜索图像以及至少一个具有属性标识信息的图像的图像特征。相应地，所述装置还包括：超图学习模块450和属性确定模块460。
其中，所述超图学习模块450用于基于所述超图进行超图学习，得到目标函数的解。
所述属性确定模块460用于基于所述目标函数的解和所述至少一个具有属性标识信息的图像的属性标识信息确定所述待搜索图像的属性信息。
在一个实施例中，所述目标函数为权重相关目标函数，所述权重相关目标函数的解与超图的超边的权重相关联，且超边的权重越大时对应的超边中含有相同类别结点的数目越多。
可选地，所述目标函数还包括防止过拟合项，所述防止过拟合项包括防止过拟合参数。
另外，所述超图学习模块450可以包括：第一优化单元、第一求导单元、赋值单元、第二优化单元、第二求导单元和第二求导单元。
其中，所述第一优化单元用于去除所述目标函数中与目标函数的解不相关的项，得到第一优化目标函数。
所述第一求导单元用于对所述第一优化目标函数进行求导并赋值零，得到所述目标函数的解析解。
所述赋值单元用于利用所述目标函数的解析解赋值所述目标函数，得到第二优化目标函数。
所述第二优化单元用于去除所述第二目标函数中与所述防止过拟合参数不相关的项，得到第三优化目标函数。
所述第二求导单元用于对所述第三优化目标函数进行求导并赋值零，得到所述第三优化目标函数的解析解。
所述迭代单元用于重复上述操作直至迭代收敛，得到所述目标函数的解。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，特征获取模块410、第一矩阵构建模块420、扩散处理模块430、超图构建模块440、超图学习模块450和属性确定模块460中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，特征获取模块410、第一矩阵构建模块420、扩散处理模块430、超图构建模块440、超图学习模块450和属性确定模块460中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，特征获取模块410、第一矩阵构建模块420、扩散处理模块430、超图构建模块440、超图学习模块450和属性确定模块460中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图5示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，根据本公开实施例的计算机系统500包括处理器501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中，存储有系统500操作所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统500还可以包括输入/输出(I/O)接口505，输入/输出(I/O)接口505也连接至总线504。系统500还可以包括连接至I/O接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口505。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (11)
1.一种超图构建方法，包括：
获取至少两个图像的图像特征；
基于所述图像特征构建第一特征相似度矩阵，所述第一特征相似度矩阵的矩阵元素表征图像特征之间的相似度；
对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵；以及
基于所述第二特征相似度矩阵和近邻策略构建超图，其中，所述第二特征相似度矩阵中矩阵元素作为超图的超边的结点；
其中，所述对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵包括：基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，所述转移矩阵与所述第一特征相似度矩阵相关；
其中，所述基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵包括：
基于所述第一特征相似度矩阵和对角矩阵的逆矩阵获取转移矩阵，其中对角矩阵的对角元素为第一特征相似度矩阵的各矩阵元素的和；
基于所述转移矩阵的转置矩阵和所述第一特征相似度矩阵获取平滑处理的第一特征相似度矩阵；以及
对所述平滑处理的第一特征相似度矩阵进行归一化处理，得到所述第二特征相似度矩阵。
2.根据权利要求1所述的方法，其中，所述基于所述图像特征构建第一特征相似度矩阵包括：
获取所述至少两个图像的图像特征中任意两个图像特征之间的距离；以及
利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵。
3.根据权利要求2所述的方法，其中，所述利用所述任意两个图像特征之间的距离基于近邻策略构建所述第一特征相似度矩阵包括：
基于所述任意两个图像特征之间的距离获取高斯核；以及
根据所述高斯核的大小，基于近邻策略构建第一特征相似度矩阵，其中，所述高斯核作为所述第一特征相似度矩阵的矩阵元素。
4.根据权利要求1所述的方法，还包括：
重复所述对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵的过程直至达到预设条件，其中，所述预设条件包括以下至少一种：达到收敛条件、达到预设重复次数。
5.根据权利要求1所述的方法，其中：
所述获取至少两个图像的图像特征包括：获取待搜索图像以及至少一个具有属性标识信息的图像的图像特征；
所述方法还包括：
基于所述超图进行超图学习，得到目标函数的解；以及
基于所述目标函数的解和所述至少一个具有属性标识信息的图像的属性标识信息确定所述待搜索图像的属性信息。
6.根据权利要求5所述的方法，其中，所述目标函数为权重相关目标函数，所述权重相关目标函数的解与超图的超边的权重相关联，且超边的权重越大时对应的超边中含有相同类别结点的数目越多。
7.根据权利要求6所述的方法，其中，所述目标函数还包括防止过拟合项，所述防止过拟合项包括防止过拟合参数。
8.根据权利要求7所述的方法，其中，通过以下方式获取所述目标函数的解：
去除所述目标函数中与目标函数的解不相关的项，得到第一优化目标函数；
对所述第一优化目标函数进行求导并赋值零，得到所述目标函数的解析解；
利用所述目标函数的解析解赋值所述目标函数，得到第二优化目标函数；
去除所述第二优化目标函数中与所述防止过拟合参数不相关的项，得到第三优化目标函数；
对所述第三优化目标函数进行求导并赋值零，得到所述第三优化目标函数的解析解；以及
重复上述操作直至迭代收敛，得到所述目标函数的解。
9.一种超图构建装置，包括：
特征获取模块，用于获取至少两个图像的图像特征；
第一矩阵构建模块，用于基于所述图像特征构建第一特征相似度矩阵，所述第一特征相似度矩阵的矩阵元素表征图像特征之间的相似度；
扩散处理模块，用于对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，其中，所述对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵包括：基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵，所述转移矩阵与所述第一特征相似度矩阵相关；其中，所述基于转移矩阵对所述第一特征相似度矩阵进行平滑处理得到第二特征相似度矩阵包括：基于所述第一特征相似度矩阵和对角矩阵的逆矩阵获取转移矩阵，其中对角矩阵的对角元素为第一特征相似度矩阵的各矩阵元素的和；基于所述转移矩阵的转置矩阵和所述第一特征相似度矩阵获取平滑处理的第一特征相似度矩阵；以及对所述平滑处理的第一特征相似度矩阵进行归一化处理，得到所述第二特征相似度矩阵；以及
超图构建模块，用于基于所述第二特征相似度矩阵和近邻策略构建超图，其中，所述第二特征相似度矩阵中矩阵元素作为超图的超边的结点。
10.一种计算机系统，包括：
一个或多个处理器；
存储装置，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据权利要求1～8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时实现根据权利要求1～8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072537.1A CN111488479B (zh) | 2019-01-25 | 2019-01-25 | 超图构建方法、装置以及计算机系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072537.1A CN111488479B (zh) | 2019-01-25 | 2019-01-25 | 超图构建方法、装置以及计算机系统和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111488479A CN111488479A (zh) | 2020-08-04 |
| CN111488479B true CN111488479B (zh) | 2023-11-03 |
Family
ID=71796144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910072537.1A Active CN111488479B (zh) | 2019-01-25 | 2019-01-25 | 超图构建方法、装置以及计算机系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111488479B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160974B (zh) * | 2021-04-16 | 2022-07-19 | 山西大学 | 一种基于超图聚类的精神疾病生物型发掘方法 |
| CN114463602B (zh) * | 2022-04-12 | 2022-07-08 | 北京云恒科技研究院有限公司 | 一种基于大数据的目标识别的数据处理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700088A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种基于可变形图结构表示的图像集无监督共分割方法 |
| CN106886601A (zh) * | 2017-03-02 | 2017-06-23 | 大连理工大学 | 一种基于子空间混合超图学习的交叉模态检索算法 |
| CN107507195A (zh) * | 2017-08-14 | 2017-12-22 | 四川大学 | 基于超图模型的pet‑ct多模态鼻咽癌图像分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090290802A1 (en) * | 2008-05-22 | 2009-11-26 | Microsoft Corporation | Concurrent multiple-instance learning for image categorization |
| US9367879B2 (en) * | 2012-09-28 | 2016-06-14 | Microsoft Corporation | Determining influence in a network |
-
2019
- 2019-01-25 CN CN201910072537.1A patent/CN111488479B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700088A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种基于可变形图结构表示的图像集无监督共分割方法 |
| CN106886601A (zh) * | 2017-03-02 | 2017-06-23 | 大连理工大学 | 一种基于子空间混合超图学习的交叉模态检索算法 |
| CN107507195A (zh) * | 2017-08-14 | 2017-12-22 | 四川大学 | 基于超图模型的pet‑ct多模态鼻咽癌图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111488479A (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8762383B2 (en) | Search engine and method for image searching | |
| JP5749279B2 (ja) | アイテム関連付けのための結合埋込 | |
| EP3847560A1 (en) | Sketch-based image retrieval techniques using generative domain migration hashing | |
| US8737737B1 (en) | Representing image patches for matching | |
| US20170024384A1 (en) | System and method for analyzing and searching imagery | |
| CN111291765A (zh) | 用于确定相似图片的方法和装置 | |
| US20210073890A1 (en) | Catalog-based image recommendations | |
| KR20180131621A (ko) | 상표 이미지의 콘텐츠 기반 서치 및 검색 | |
| CN113657087B (zh) | 信息的匹配方法及装置 | |
| US10831818B2 (en) | Digital image search training using aggregated digital images | |
| CN112529068B (zh) | 一种多视图图像分类方法、系统、计算机设备和存储介质 | |
| Yu et al. | A content-based goods image recommendation system | |
| CN113987119A (zh) | 一种数据检索方法、跨模态数据匹配模型处理方法和装置 | |
| WO2023221790A1 (zh) | 图像编码器的训练方法、装置、设备及介质 | |
| US20170075977A1 (en) | Method and apparatus for clustering product media files | |
| CN111488479B (zh) | 超图构建方法、装置以及计算机系统和介质 | |
| US20220327678A1 (en) | Machine learning-based analysis of computing device images included in requests to service computing devices | |
| CN110633733A (zh) | 图像智能匹配方法、装置及计算机可读存储介质 | |
| Xu et al. | Improved SSD-assisted algorithm for surface defect detection of electromagnetic luminescence | |
| CN114821140A (zh) | 基于曼哈顿距离的图像聚类方法、终端设备及存储介质 | |
| Rad et al. | A multi-view-group non-negative matrix factorization approach for automatic image annotation | |
| Zhan et al. | Fast method of constructing image correlations to build a free network based on image multivocabulary trees | |
| US11436865B1 (en) | Finding similar persons in images | |
| Wang et al. | A feature extraction and similarity metric-learning framework for urban model retrieval | |
| CN110991543B (zh) | 图像感兴趣区聚类方法和装置、计算设备、和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |