CN110717539A - 基于人工智能的降维模型训练方法、检索方法及装置 - Google Patents

基于人工智能的降维模型训练方法、检索方法及装置 Download PDF

Info

Publication number
CN110717539A
CN110717539A CN201910950984.2A CN201910950984A CN110717539A CN 110717539 A CN110717539 A CN 110717539A CN 201910950984 A CN201910950984 A CN 201910950984A CN 110717539 A CN110717539 A CN 110717539A
Authority
CN
China
Prior art keywords
vector
vectors
query
candidate
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910950984.2A
Other languages
English (en)
Inventor
骆颖民
马连洋
单瀛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910950984.2A priority Critical patent/CN110717539A/zh
Publication of CN110717539A publication Critical patent/CN110717539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于人工智能的降维模型训练方法、检索方法、装置、电子设备及存储介质；方法包括：获取与待查询的多媒体信息对应的查询向量；确定所述查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，所述候选向量对应候选的多媒体信息；通过降维模型对所述查询向量进行降维处理得到降维查询向量，通过所述降维模型对所述采样向量进行降维处理得到降维采样向量；根据所述降维查询向量和所述降维采样向量构建损失函数；对所述损失函数进行梯度下降处理，并根据梯度下降处理的结果更新所述降维模型中的权重参数。通过本发明，能够提升降维模型的降维效果，并提升进行检索的准确率。

Description

基于人工智能的降维模型训练方法、检索方法及装置
技术领域
本发明涉及人工智能技术，尤其涉及一种基于人工智能的降维模型训练方法、检索方法、装置、电子设备及存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。机器学习(ML，Machine Learning)是人工智能的一个重要分支，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
向量降维是机器学习的一个应用方向，通过降维模型将高维向量转换为低维向量，并对低维向量进行后续处理，从而降低相关存储和计算资源的消耗。但是，在对向量进行降维后，向量与其他向量在低维空间中的相对位置关系通常会发生改变，导致在多媒体检索的应用场景中，根据向量在高维空间中得到的检索结果与在低维空间中得到的检索结果可能不一致。综上，在相关技术提供的方案中，将降维模型应用于检索场景的降维效果差，根据降维后向量得到的检索结果的准确性低。
发明内容
本发明实施例提供一种基于人工智能的降维模型训练方法、检索方法、装置、电子设备及存储介质，能够提升在检索场景进行向量降维的降维效果，提升根据降维后的向量进行检索的准确率。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于人工智能的降维模型训练方法，包括：
获取与待查询的多媒体信息对应的查询向量；
确定所述查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，所述候选向量对应候选的多媒体信息；
通过降维模型对所述查询向量进行降维处理得到降维查询向量，通过所述降维模型对所述采样向量进行降维处理得到降维采样向量；
根据所述降维查询向量和所述降维采样向量构建损失函数；
对所述损失函数进行梯度下降处理，并根据梯度下降处理的结果更新所述降维模型中的权重参数。
本发明实施例提供一种基于降维模型的检索方法，包括：
获取与待查询的多媒体信息对应的查询向量；
通过降维模型对所述查询向量进行降维处理，得到降维查询向量；
获取多个降维候选向量，所述降维候选向量对应候选的多媒体信息；
确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足相似度条件的相似度对应的降维候选向量确定为检索向量；
将所述检索向量对应的多媒体信息，确定为检索结果。
本发明实施例提供一种基于人工智能的降维模型训练装置，包括：
向量获取模块，用于获取与待查询的多媒体信息对应的查询向量；
采样模块，用于确定所述查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，所述候选向量对应候选的多媒体信息；
降维模块，用于通过降维模型对所述查询向量进行降维处理得到降维查询向量，通过所述降维模型对所述采样向量进行降维处理得到降维采样向量；
函数构建模块，用于根据所述降维查询向量和所述降维采样向量构建损失函数；
更新模块，用于对所述损失函数进行梯度下降处理，并根据梯度下降处理的结果更新所述降维模型中的权重参数。
本发明实施例提供一种基于降维模型的检索装置，包括：
查询向量获取模块，用于获取与待查询的多媒体信息对应的查询向量；
查询向量降维模块，用于通过降维模型对所述查询向量进行降维处理，得到降维查询向量；
候选向量获取模块，用于获取多个降维候选向量，所述降维候选向量对应候选的多媒体信息；
检索向量确定模块，用于确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足相似度条件的相似度对应的降维候选向量确定为检索向量；
结果确定模块，用于将所述检索向量对应的多媒体信息，确定为检索结果。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的降维模型训练方法，或基于降维模型的检索方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的降维模型训练方法，或基于降维模型的检索方法。
本发明实施例具有以下有益效果：
本发明实施例通过降维模型对查询向量以及相似的采样向量进行降维，并根据降维后的结果构建损失函数，从而进行梯度下降处理，更新降维模型中的权重参数，使得根据更新后的降维模型进行向量降维时，减少向量与其他向量在低维空间中的相对位置关系的变化，提升了降维模型在检索场景中的向量降维效果，同时也提升了根据降维后的向量进行相似检索的准确率。
附图说明
图1是本发明实施例提供的基于人工智能的降维模型训练系统的一个可选的结构示意图；
图2A是本发明实施例提供的服务器的一个可选的结构示意图；
图2B是本发明实施例提供的服务器的另一个可选的结构示意图；
图3是本发明实施例提供的基于人工智能的降维模型训练装置的一个可选的结构示意图；
图4A是本发明实施例提供的基于人工智能的降维模型训练方法的一个可选的流程示意图；
图4B是本发明实施例提供的基于人工智能的降维模型训练方法的另一个可选的流程示意图；
图5是本发明实施例提供的基于降维模型的检索方法的一个可选的流程示意图；
图6是本发明实施例提供的基于人工智能的降维模型训练方法的另一个可选的流程示意图；
图7是本发明实施例提供的基于降维模型的检索方法的另一个可选的流程示意图；
图8是本发明实施例提供的降维模型的一个可选的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)多媒体信息：在本文中指以至少一种媒体介质为表现形式的信息，例如，多媒体信息可以为音频、图像或视频。
2)损失函数(loss function)：用于估量模型的输出值与真实值之间的差异的函数，通常通过求取损失函数的最优解，从而训练模型。
3)梯度下降处理：求取损失函数的最优解的一种方式，通过确定损失函数对于模型参数的梯度，从而沿梯度下降的方向求解极值。
4)神经网络模型：由大量的处理单元(神经元)互相连接而形成的复杂网络系统，也是一个高度复杂的非线性动力学习系统，在本文中专用于从多媒体信息中提取特征，构成相应的表示向量。
发明人在实施本发明的过程中发现，在相关技术提供的方案中，向量降维的方式主要分为机器学习和深度学习两大类，机器学习的方式如主成分分析(P CA，PrincipalComponent Analysis)模型，PCA模型通过最大化样本在低维空间中的协方差，以此在高维特征的基础上重构出低维特征，完成高维向量到低维向量的转化；深度学习的方式如自编码器(Auto-encoder)模型，自编码器模型通过将网络结构设计成编码器(Encoder)-解码器(Decoder)结构，其中，编码器将高维向量映射到低维，解码器将低维向量映射到高维，自编码器模型通过优化从低维向量重构的高维向量与输入模型的高维向量之间的均方差，并提取编码器的输出作为高维向量在低维上的表示。但是，通过上述的方式对向量进行降维处理后，向量与其他向量在低维空间中的相对位置关系通常会发生改变，导致根据降维后的向量进行相似检索时，检索结果可能与高维空间的检索结果存在误差。综上，在相关技术提供的向量降维方案中，根据降维后的向量进行相似检索的准确率降低，不适用于多媒体检索的应用场景。
本发明实施例提供一种基于人工智能的降维模型训练方法、检索方法、电子设备及存储介质，能够提升检索场景中的降维效果，提升根据降维后向量进行检索的准确率，下面说明本发明实施例提供的电子设备的示例性应用。
参见图1，图1是本发明实施例提供的基于人工智能的降维模型训练系统100的一个可选的架构示意图，为实现支撑一个基于人工智能的降维模型应用，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，服务器200连接数据库500，其中，网络300可以是广域网或者局域网，又或者是二者的组合。
服务器200用于从数据库500获取与待查询的多媒体信息对应的查询向量，并获取多个候选向量；确定查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，候选向量对应候选的多媒体信息；通过降维模型对查询向量进行降维处理得到降维查询向量，通过降维模型对采样向量进行降维处理得到降维采样向量；根据降维查询向量和降维采样向量构建损失函数；对损失函数进行梯度下降处理，并根据梯度下降处理的结果更新降维模型中的权重参数。
终端400用于响应于用户的互动操作，将待查询的多媒体信息发送至服务器200；服务器200还用于通过神经网络模型对该多媒体信息进行特征提取处理，得到查询向量；通过更新后的降维模型对该查询向量进行降维处理，得到降维查询向量；获取多个降维候选向量，其中，降维候选向量对应候选的多媒体信息；确定降维查询向量与多个降维候选向量之间的相似度，将满足相似度条件的相似度对应的降维候选向量确定为检索向量；将检索向量对应的多媒体信息，确定为检索结果，并将检索结果发送至终端400；终端400还用于，在图形界面410(示例性示出了图形界面410-1和图形界面410-2)显示检索结果。在图1中，示例性地示出了检索结果1、检索结果2及检索结果3。
值得说明的是，在图1中以服务器200从终端400获取多媒体信息，从而进行检索得到检索结果为例，在实际应用场景中不局限于此，例如服务器200可将神经网络模型及更新完成的降维模型发送至终端400，终端400在确定待查询的多媒体信息后，在终端400本地执行特征提取及检索操作，得到检索结果。
下面继续说明本发明实施例提供的电子设备的示例性应用。电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端设备，也可以实施为服务器。下面，以电子设备为服务器为例进行说明。
参见图2A，图2A是本发明实施例提供的服务器200(例如，可以是图1所示的服务器200)的结构示意图，图2A所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2A中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的基于人工智能的降维模型训练装置可以采用软件方式实现，图2A示出了存储在存储器250中的基于人工智能的降维模型训练装置2550，其可以是程序和插件等形式的软件，包括以下软件模块：向量获取模块25501、采样模块25502、降维模块25503、函数构建模块25504及更新模块25505，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
在一些实施例中，本发明实施例提供的基于降维模型的检索装置也可以采用软件方式实现，参见图2B，图2B是本发明实施例提供的服务器200(例如，可以是图1所示的服务器200)的另一个可选的结构示意图，除了示出的基于降维模型的检索装置2551外，其余部分均可参照上文中对图2A的相关描述，此处不再赘述。对于存储在存储器250中的基于降维模型的检索装置2551，其可以是程序和插件等形式的软件，包括以下软件模块：查询向量获取模块25511、查询向量降维模块25512、候选向量获取模块25513、检索向量确定模块25514及结果确定模块25515，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的基于人工智能的降维模型训练装置及基于降维模型的检索装置可以采用硬件方式实现，作为示例，本发明实施例提供的基于人工智能的降维模型训练装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于人工智能的降维模型训练方法；本发明实施例提供的基于降维模型的检索装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于降维模型的检索方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(A SIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
本发明实施例提供的基于人工智能的降维模型训练方法及基于降维模型的检索方法可以由上述的服务器执行，也可以由终端设备(例如，可以是图1所示的终端400-1和终端400-2)执行，或者由服务器和终端设备共同执行。
下面将结合上文记载的电子设备的示例性应用和结构，说明电子设备中通过嵌入的基于人工智能的降维模型训练装置而实现基于人工智能的降维模型训练方法的过程。
参见图3和图4A，图3是本发明实施例提供的基于人工智能的降维模型训练装置2550的结构示意图，示出了通过一系列模块实现模型训练的处理流程，图4A是本发明实施例提供的基于人工智能的降维模型训练方法的流程示意图，将结合图3对图4A示出的步骤进行说明。
在步骤101中，获取与待查询的多媒体信息对应的查询向量。
查询向量从待查询的多媒体信息中提取得到，是多媒体信息的表示向量，其中，多媒体信息可为一段音频、一张图像或一段视频等，本发明实施例对此不做限定。
在一些实施例中，可以通过这样的方式实现上述的获取与待查询的多媒体信息对应的查询向量：通过神经网络模型对待查询的多媒体信息进行特征提取处理，得到查询向量；
在任意步骤之间，所述降维模型训练方法，还包括：通过所述神经网络模型对候选的多媒体信息进行特征提取处理，得到候选向量。
作为示例，参见图3，可从数据库、线上业务流或其他数据来源获取待查询的多媒体信息及候选的多媒体信息，对于待查询的多媒体信息，通过向量获取模块25501中训练好的神经网络模型进行特征提取处理，得到查询向量，其中，神经网络模型如计算机视觉组(VGG，Visual Geometry Group)模型或i nception_resnet_v2模型等，不做限定。同理，对于候选的多媒体信息，根据相同的神经网络模型进行特征提取处理，得到候选向量。上述方式通过统一的神经网络模型对不同的多媒体信息进行处理，得到查询向量和候选向量，避免了因进行特征提取的模型不同而带来的潜在差异。
在步骤102中，确定所述查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，所述候选向量对应候选的多媒体信息。
作为示例，参见图3，在采样模块25502中，确定查询向量与每个候选向量之间的相似度，本发明实施例对相似度的种类不做限定，比如相似度可为余弦相似度、欧式距离或曼哈顿距离等，为了便于理解，后文以余弦相似度进行统一说明。将满足相似度条件的余弦相似度对应的候选向量，确定为采样向量，相似度条件如在对多个余弦相似度按从大到小的顺序进行排序后，排在前列的若干个余弦相似度。
在步骤103中，通过降维模型对所述查询向量进行降维处理得到降维查询向量，通过所述降维模型对所述采样向量进行降维处理得到降维采样向量。
作为示例，参见图3，在降维模块25503中，初始化降维模型，并通过降维模型对查询向量进行降维处理得到降维查询向量，通过降维模型对采样向量进行降维处理得到降维采样向量。例如降维前的查询向量为1024维，通过降维模型对查询向量进行降维处理后，得到的降维查询向量为128维。值得说明的是，本发明实施例对应用的降维模型不做限定，例如可以是上文的应用机器学习的降维模型或应用深度学习的降维模型。
在一些实施例中，在任意步骤之间，所述降维模型训练方法还包括：通过所述降维模型对所述候选向量进行降维处理得到降维候选向量，并存储多个所述降维候选向量。
用于模型训练的候选向量同样可用于后续的基于模型的检索，故在本发明实施例中，可通过降维模型对各候选向量进行降维处理，得到降维候选向量，并存储多个降维候选向量。由于降维候选向量相较于降维前的向量来说，体积减小，故通过存储降维候选向量，能够减少存储成本。
在步骤104中，根据所述降维查询向量和所述降维采样向量构建损失函数。
作为示例，参见图3，在函数构建模块25504中，根据降维查询向量和降维采样向量构建损失函数，该损失函数的数值体现了降维查询向量与降维采样向量之间的差异程度。
在步骤105中，对所述损失函数进行梯度下降处理，并根据梯度下降处理的结果更新所述降维模型中的权重参数。
作为示例，参见图3，在更新模块25505中，对损失函数进行梯度下降处理，具体通过不断调整权重参数，使得损失函数的数值最小化，即取得最优解。当达到设定的停止条件时，确定梯度下降处理完成，根据梯度下降处理的结果，即损失函数取得最优解时对应的权重参数，来更新降维模型中原有的权重参数。
在一些实施例中，在任意步骤之间，所述降维模型训练方法还包括：将样本向量集拆分为训练向量集和验证向量集，其中，所述样本向量集内的每个向量对应一个多媒体信息；根据所述训练向量集更新所述降维模型的权重参数；根据所述验证向量集对更新后的所述降维模型进行验证，得到验证结果；当所述验证结果满足验证条件时，确定所述降维模型更新完成。
在训练降维模型时，可获取样本向量集，该样本向量集中的每个向量都对应一个多媒体信息。将样本向量集拆分为训练向量集和验证向量集，拆分比例可根据实际应用场景进行设置，如随机挑选样本向量集中80％的向量构成训练向量集，根据另外20％的向量构成验证向量集。训练向量集用于更新降维模型中的权重参数，验证向量集用于对更新后的降维模型进行验证，得到验证结果。当验证结果满足验证条件时(如在验证结果为损失函数的输出值时，验证条件为验证结果小于预设的阈值)，确定降维模型更新完成；当验证结果不满足验证条件时，再度根据训练向量集更新降维模型中的权重参数。通过上述的构建不同功能的向量集的方式，保证了降维模型的训练效果，
在一些实施例中，可以通过这样的方式实现上述的根据所述训练向量集更新所述降维模型的权重参数：遍历所述训练向量集；将遍历到的向量确定为所述查询向量，并将所述训练向量集内除所述查询向量外的向量确定为候选向量；根据所述查询向量及对应的所述候选向量更新所述降维模型的权重参数，直到遍历完成所述训练向量集。
在根据训练向量集更新降维模型的权重参数时，对训练向量集进行遍历，并将遍历到的向量确定为查询向量，并将训练向量集内除该查询向量外的向量确定为候选向量。对于确定出的查询向量及多个候选向量，按照步骤102至105的方式，更新降维模型的权重参数。重复上述过程，直到遍历完成训练向量集为止。当然，在实际应用场景中，还可设置遍历的次数，如设置遍历训练向量集5次。通过上述遍历的方式，提升了模型训练的简易度。
在一些实施例中，可以通过这样的方式实现上述的根据所述查询向量及对应的所述候选向量更新所述降维模型的权重参数：确定数量满足批处理参数的多个查询向量；根据多个所述查询向量及每个所述查询向量对应的所述候选向量，更新所述降维模型的权重参数。
本发明实施例对梯度下降处理的具体方式不做限定，例如可采用随机梯度下降算法、批量梯度下降算法或小批量梯度下降算法。一种方式是，获取预设的批处理参数(batchsize)，如256个，并确定遍历到的256个查询向量，对于每个查询向量，从对应的候选向量中确定出采样向量，然后，根据降维后的256个查询向量及对应的采样向量，构建损失函数，整体进行梯度下降处理，从而根据梯度下降处理的结果更新降维模型的权重参数。通过上述的设置批处理参数的方式，实现了梯度下降处理的效率和准确率之间的均衡。
在一些实施例中，可以通过这样的方式实现上述的根据所述验证向量集对更新后的所述降维模型进行验证，得到验证结果：遍历所述验证向量集；将遍历到的向量确定为所述查询向量，并将所述验证向量集内除所述查询向量外的向量确定为候选向量；通过更新后的所述降维模型对所述查询向量进行降维处理得到降维查询向量，通过更新后的所述降维模型对所述候选向量进行降维处理得到降维候选向量；确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足所述相似度条件的相似度对应的降维候选向量确定为输出向量；根据所述降维查询向量和所述输出向量，确定所述损失函数的损失数值；根据遍历到的各所述查询向量对应的损失数值，确定所述降维模型的验证结果。
在根据验证向量集对更新后的降维模型进行验证时，遍历验证向量集，将遍历到的向量确定为查询向量，并将验证向量集内除查询向量外的向量确定为候选向量。然后，通过更新后的降维模型，对查询向量和各候选向量进行降维处理，并确定降维查询向量与各降维候选向量之间的余弦相似度，将满足相似度条件的余弦相似度对应的降维候选向量，确定为输出向量。
根据上文已构建的损失函数，对降维查询向量和对应的输出向量进行处理，将损失函数输出的数值确定为损失数值。对于遍历到的每一个查询向量来说，都对应一个损失数值，将各损失数值进行融合处理，例如对所有的损失数值进行均值处理，得到降维模型的验证结果。在此基础上，还可遍历多次验证向量集，即进行多轮验证，将多轮验证得到的多个验证结果进行均值处理后，得到最终的验证结果。通过上述方式，有效地确定出更新后的降维模型的降维效果，便于进一步判断是否继续训练。
通过发明实施例对于图4A的上述示例性实施可知，本发明实施例通过查询向量以及相似的采样向量，对降维模型进行训练，提升了在高维空间和低维空间得到的检索结果的一致性，提升了降维模型在多媒体检索场景的降维效果。
在一些实施例中，参见图4B，图4B是本发明实施例提供的基于人工智能的降维模型训练方法的另一个可选的流程示意图，图4A示出的步骤102可以通过步骤201至步骤202实现，将结合各步骤进行说明。
在步骤201中，确定所述查询向量与多个候选向量之间的相似度，根据所述相似度对多个所述候选向量进行排序，得到排序向量集。
这里，在确定出查询向量与各候选向量之间的相似度后，按照相似度从大到小的顺序，对多个候选向量进行排序，得到排序向量集。
在步骤202中，在所述排序向量集中依次确定出T个第一采样向量、R个第二采样向量及S个第三采样向量；其中，所述T为大于1的整数，所述R及所述S均为大于0的整数。
这里，确定出的任一个第一采样向量的相似度大于任一个第二采样向量的相似度，任一个第二采样向量的相似度大于任一个第三采样向量的相似度。T、R及S的取值可根据实际应用场景进行确定，例如T＝5，R＝20，S＝38。
在一些实施例中，可以通过这样的方式实现上述的在所述排序向量集中依次确定出T个第一采样向量、R个第二采样向量及S个第三采样向量：将所述排序向量集中的前T个候选向量均确定为第一采样向量；在所述排序向量集中去除所述T个第一采样向量，并在去除后的所述排序向量集的前Z个候选向量中，确定出R个候选向量作为第二采样向量；在所述排序向量集中去除所述前Z个候选向量，并在去除后的所述排序向量集中确定出S个候选向量作为第三采样向量；其中，所述Z为大于或等于所述R的整数。
在按照相似度从大到小的顺序对候选向量进行排序，得到排序向量集的基础上，将排序向量集中的前T个候选向量均确定为第一采样向量，然后，在排序向量集中去除所有的第一采样向量，在去除后的排序向量集的前Z个候选向量中，随机挑选R个候选向量作为第二采样向量，其中，Z≥R，如在R＝20的情况下，Z可取45。然后，在排序向量集中继续去除前Z个候选向量，并在去除后的排序向量集中，随机挑选S个候选向量作为第三采样向量。通过上述方式，保证了从第一采样向量到第二采样向量，再从第二采样向量到第三采样向量相似度递减，便于后续准确构建损失函数。
图4A示出的步骤104可以通过步骤203至步骤206实现，将结合各步骤进行说明。
在步骤203中，根据所述降维查询向量、降维后的第t-1个第一采样向量及降维后的第t个第一采样向量构建第一损失项，直至得到T-1个第一损失项。
设置大于1的整数t，并将t在[2，T]的范围，以2为起点开始进行遍历，对于遍历到的每一个t，根据降维查询向量、降维后的第t-1个第一采样向量及降维后的第t个第一采样向量构建第一损失项，直至遍历完成，得到T-1个第一损失项为止。
在一些实施例中，可以通过这样的方式实现上述的根据所述降维查询向量、降维后的第t-1个第一采样向量及降维后的第t个第一采样向量构建第一损失项：确定所述降维查询向量和降维后的第t个第一采样向量之间的第一相似度，确定所述降维查询向量和降维后的第t-1个第一采样向量之间的第二相似度；根据所述第一相似度和所述第二相似度构建第一损失项，所述第一损失项用于约束所述第一相似度与所述第二相似度之间的差值最小化。
在构建第一损失项时，确定降维查询向量和降维后的第t个第一采样向量之间的第一相似度，确定降维查询向量和降维后的第t-1个第一采样向量之间的第二相似度，并根据第一相似度和第二相似度构建第一损失项。由于降维前的查询向量和第t-1个第一采样向量之间的相似度，大于降维前的查询向量和第t个第一采样向量之间的相似度，故构建第一损失项的目的在于，约束第一相似度与第二相似度之间的差值最小化，使得低维空间的相似度关系与高维空间的相似度关系尽量一致，其中，第一相似度与第二相似度之间的差值是指第一相似度减去第二相似度的结果。同理地，第二损失项和第三损失项也可根据同样的方式进行构建。通过构建损失项，提供了对降维模型的一种有效训练方式。
在步骤204中，根据所述降维查询向量、降维后的第T个第一采样向量及降维后的第r个第二采样向量构建第二损失项，直至得到R个第二损失项。
设置大于0的整数r，并将r在[1，R]的范围，以1为起点开始进行遍历，对于遍历到的每一个r，根据降维查询向量、降维后的第T个第一采样向量及降维后的第r个第二采样向量构建第二损失项，直至遍历完成，得到R个第二损失项为止。
在步骤205中，根据所述降维查询向量、降维后的第r个第二采样向量及降维后的第s个第三采样向量构建第三损失项，直至得到R×S个第三损失项。
设置大于0的整数s，并将r在[1，R]的范围，以1为起点开始进行遍历，将s在[1，R]的范围，以1为起点开始进行遍历，对于遍历到的每一个r和s，根据降维查询向量、降维后的第r个第二采样向量及降维后的第s个第三采样向量构建第三损失项，直至遍历完成所有的r和所有的s，得到R×S个第三损失项为止。
在步骤206中，根据所述T-1个第一损失项、所述R个第二损失项及所述R×S个第三损失项，构建损失函数；其中，所述t为大于1且不超过所述T的整数，所述r为大于0且不超过所述R的整数，所述s为大于0且不超过所述S的整数。
这里，将T-1个第一损失项、R个第二损失项及R×S个第三损失项进行求和，得到损失函数，当然，损失函数的构建方式并不限于求和，可根据实际应用场景进行调整。在构建损失函数后，对损失函数进行梯度下降处理，从而更新降维模型中的权重参数，使得与查询向量之间的相似度较高的候选向量在经过降维模型降维处理后，与降维查询向量之间的相似度仍然较高，即尽量减少向量与其他向量在低维空间中的相对位置关系的变化。
通过发明实施例对于图4B的上述示例性实施可知，本发明实施例通过确定出相似度递减的第一采样向量、第二采样向量及第三采样向量，并构建损失函数，从而更新降维模型的权重参数，提升了更新的有效性和准确性。
下面将结合上文记载的电子设备的示例性应用和结构，说明电子设备中通过嵌入的基于降维模型的检索装置而实现基于降维模型的检索方法的过程。
图5是本发明实施例提供的基于降维模型的检索方法的流程示意图，将结合图5示出的步骤进行说明。
在步骤301中，获取与待查询的多媒体信息对应的查询向量。
获取待查询的多媒体信息，例如，响应于用户对多媒体信息的选中操作，将被选中的多媒体信息确定为待查询的多媒体信息。根据与上文相同的神经网络模型对多媒体信息进行特征提取处理，得到查询向量。当然，也可直接获取查询向量。
在步骤302中，通过降维模型对所述查询向量进行降维处理，得到降维查询向量。
这里，通过更新完成的降维模型对查询向量进行降维处理，得到降维查询向量，经过降维后，向量的体积减少，在后续检索时消耗更少的计算资源。
在步骤303中，获取多个降维候选向量，所述降维候选向量对应候选的多媒体信息。
在一些实施例中，可以通过这样的方式实现上述的获取多个降维候选向量：通过神经网络模型对候选的多媒体信息进行特征提取处理，得到候选向量，并通过所述降维模型对所述候选向量进行降维处理，得到降维候选向量；或者，获取已存储的多个所述降维候选向量。
在仅有候选的多媒体信息的情况下，通过与上文相同的神经网络模型对候选的多媒体信息进行特征提取处理，得到候选向量，并通过更新完成的降维模型对候选向量进行降维处理，得到降维候选向量。另一种情况是，降维候选向量已预先确定并存储好，故在此直接获取已存储的多个降维候选向量。通过上述方式提升获取降维候选向量的灵活性。
在步骤304中，确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足相似度条件的相似度对应的降维候选向量确定为检索向量。
以相似度为余弦相似度为例，确定降维查询向量与各降维候选向量之间的相似度，将满足相似度条件的余弦相似度对应的降维候选向量确定为检索向量，相似度条件如在对多个余弦相似度按从大到小的顺序进行排序后，排在前列的若干个余弦相似度。
在步骤305中，将所述检索向量对应的多媒体信息，确定为检索结果。
得到检索向量后，将检索向量所表示的多媒体信息，确定为检索结果，并输出检索结果，例如，以列表形式在前端呈现作为检索结果的多媒体信息。
通过发明实施例对于图5的上述示例性实施可知，本发明实施例通过更新完成的降维模型对查询向量进行降维处理，并查询相似度满足相似度条件的检索向量，从而确定检索结果，一方面，通过对向量进行降维，减少了对向量处理所消耗的计算资源，能够大大提升检索效率；另一方面，更新完成的降维模型对于检索场景的降维效果较好，在对向量进行降维的同时，能够保证向量与其他向量在低维空间中的相对位置关系的改变较小，提升根据降维后的向量进行检索的准确率。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
参见图6，图6是本发明实施例提供的基于人工智能的降维模型训练方法的另一个可选的流程示意图。
在图6中，查询向量命名为vq，多个候选向量构成了候选向量集合Vk。首先，对候选向量集合Vk进行采样，具体地，设置参数T、R和S，T、R和S均为大于0的整数。确定候选向量集合Vk内的每一个候选向量vk与查询向量vq之间的余弦相似度，并按照余弦相似度从大到小的顺序，对候选向量集合Vk内的多个候选向量vk进行排序。
在排序完成的候选向量集合Vk中，将前T个候选向量作为第一采样向量，即{vk1,vk2,...,vkT}，然后，从候选向量集合Vk中确定出余弦相似度低于任一第一采样向量的R个候选向量，作为第二采样向量，即{vk(T+1),vk(T+2),…,vk(T+R)}，然后，从候选向量集合Vk中确定出余弦相似度低于任一第二采样向量的S个候选向量，作为第三采样向量，即{vk(T+R+1),vk(T+R+2),...,vk(T+R+S)}，完成采样。
为了便于理解，以T＝5，R＝20，S＝38为例说明采样过程。在排序完成的候选向量集合Vk中，将前5个余弦相似度最大的候选向量作为第一采样向量，即{vk1,vk2,...,vk5}，然后，在候选向量集合Vk中去除所有第一采样向量，在去除后的候选向量集合Vk的前45个候选向量中，随机挑选出20个候选向量作为第二采样向量，即{vk6,vk7,...,vk25}，然后，去除候选向量集合Vk的前45个候选向量，在候选向量集合Vk剩下的候选向量中，随机挑选38个候选向量作为第三采样向量，即{vk26,vk27,...,vk63}。
完成采样后，通过降维模型f(·)对查询向量进行降维处理，得到降维查询向量f(vq)，通过降维模型f(·)对各采样向量进行降维处理，得到降维采样向量，包括f(vk1)、f(vk2)、……。然后，根据降维查询向量及降维采样向量构建损失函数，如下：
Figure BDA0002225645270000191
在上述公式中，Loss(vq)为查询向量vq的损失函数，L(f(vq),f(vk(t-1)),f(vkt))为上文的第一损失项，L(f(vq),f(vkT),f(vkr))为上文的第二损失项，L(f(vq),f(vkr),f(vks))为上文的第三损失项。值得说明的是，在损失函数的公式中，vkt指的是第t个第一采样向量，vkr指的是第r个第二采样向量，vks指的是第s个第三采样向量。
其中，L(α,ρ,n)＝max(β(α,n)-β(α,ρ)+margin,0)，并且
值得说明的是，上述公式中的max()为最大值函数，参数α,ρ,n,x,y均不具有实际含义。margin为超参数，可根据实际应用场景进行设置，如在T＝5，R＝20，S＝38的情况下，margin可设置为0.2。
降维模型的训练目标，即为解决以下优化问题：
Figure BDA0002225645270000201
其中，i为查询向量的序号，通过对损失函数Loss(vq)进行梯度下降处理，求取损失函数Loss(vq)的最优解，并根据损失函数Loss(vq)取得最优解时对应的权重参数，更新降维模型f(·)中原有的权重参数。
在实际的训练过程中，优化器可采用Adam优化器，初始学习率可设置为0.001。以样本向量集为一个拥有2429705个向量的1024维向量集为例，其中，每一个向量都是一个多媒体信息(如视频)经特征提取处理后得到的表示向量。随机挑选样本向量集中80％数量的向量构成训练向量集，样本向量集中剩下20％数量的向量构成验证向量集。训练向量集中的每一个向量都可以作为查询向量，当将训练向量集中的某一个向量确定为查询向量时，将训练向量集中剩下的向量确定为该查询向量对应的候选向量。遍历训练向量集，并在每一次训练时，向降维模型输入256个查询向量及与每个查询向量对应的采样向量以计算损失，从而更新一次模型的参数，其中，查询向量对应的采样向量是从查询向量对应的多个候选向量中进行采样得到的，上文的256为设置的batch size。
根据训练向量集对降维模型训练完成后，进行模型验证。在模型验证的过程中，只利用验证向量集，与训练向量集相似，当将验证向量集中的一个向量确定为查询向量时，将验证向量集中剩下的向量确定为该查询向量对应的候选向量。遍历验证向量集，并得到降维模型的验证结果，该验证结果即为损失函数的输出数值。当验证结果满足验证条件，如小于预设的阈值时，确定降维模型更新完成；当验证结果不满足验证条件时，再度根据训练向量集对降维模型进行训练。
参见图7，图7是本发明实施例提供的基于降维模型的检索方法的另一个可选的流程示意图。在已对降维模型f(·)更新完成的基础上，获取查询向量vq，并通过更新完成的降维模型f(·)对查询向量vq进行降维处理，得到降维查询向量f(vq)，通过更新完成的降维模型f(·)对候选向量集合Vk中的各候选向量进行降维处理，得到的各降维候选向量构成了新的降维候选向量集合f(Vk)。确定降维查询向量f(vq)与各降维候选向量之间的余弦相似度，将满足相似度条件的余弦相似度对应的降维候选向量确定为检索结果，在实际应用场景中，还可将降维候选向量对应的多媒体信息确定为检索结果。在图7中，相似度条件的示例为数值最高的T个余弦相似度。
参见图8，图8是本发明实施例提供的降维模型的一个可选的结构示意图，以公式表示为：
f0＝tanh(W·v)
vu-1＝tanh(Bu-1·fu-1)
du-1＝tanh(Ru-1·(v-vu-1))
fu＝fu-1+du-1
在上述公式中，tanh()为激活函数，即v为输入降维模型的m维向量，
Figure BDA0002225645270000212
即fu为降维模型对v进行降维处理后，输出的n维向量，其中，m＞n，且m和n均为大于零的整数。u为降维模型的时间步长，是超参数，可根据实际应用场景进行设置，如设置u＝1。W、Bu-1及Ru-1均为降维模型的权重参数，即为模型训练的更新对象，其中，
Figure BDA0002225645270000213
应获知的是，在图8所示的降维模型中，省略了偏置项。通过上述的降维模型，实现了
Figure BDA0002225645270000214
的映射，将高维向量映射至低维空间，从而减少了相关的处理资源消耗。
结合图6、图7和图8，在检索指标变化不大的情况下，可以加快查询的速度，同时降低候选向量的存储成本。经过实验验证，在视频检索场景中，输入的待查询视频数量为78781个，视频候选集包括25万个视频，在应用1024维的向量进行检索时，检索的准确率为99.8％，检索召回总数为9016个；在应用降维后的向量，即128维的向量进行检索时，准确率为98.23％，检索召回总数为9444个。其中，检索召回总数是根据输入的视频而检索出的正确的候选视频的总数，例如视频A、B、C及D是由同一个长视频拆分出的四个短视频，视频候选集包括视频B、C、D和E，当输入的待查询的视频为A，且检索到视频B、C和E时，由于视频B和C是正确的检索结果，故将视频B和C计入检索召回总数中。实验数据具体如下表：
方法 准确率 检索召回总数
1024维(降维前) 99.8％ 9016
128维(降维后) 98.23％ 9444
在损失少量准确率，具体为1.57％的情况下，通过降维的模式，检索召回总数增加了428个，并且大大地提升了检索效率，同时，视频候选集中的视频也可用降维向量的形式进行存储，极大地降低了存储成本。
下面继续说明本发明实施例提供的基于人工智能的降维模型训练装置2550实施为软件模块的示例性结构，在一些实施例中，如图2A所示，存储在存储器250的基于人工智能的降维模型训练装置2550中的软件模块可以包括：向量获取模块25501，用于获取与待查询的多媒体信息对应的查询向量；采样模块25502，用于确定所述查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，所述候选向量对应候选的多媒体信息；降维模块25503，用于通过降维模型对所述查询向量进行降维处理得到降维查询向量，通过所述降维模型对所述采样向量进行降维处理得到降维采样向量；函数构建模块25504，用于根据所述降维查询向量和所述降维采样向量构建损失函数；更新模块25505，用于对所述损失函数进行梯度下降处理，并根据梯度下降处理的结果更新所述降维模型中的权重参数。
在一些实施例中，采样模块25502还用于：根据所述相似度对多个所述候选向量进行排序，得到排序向量集；在所述排序向量集中依次确定出T个第一采样向量、R个第二采样向量及S个第三采样向量；其中，所述T为大于1的整数，所述R及所述S均为大于0的整数。
在一些实施例中，函数构建模块25504还用于：根据所述降维查询向量、降维后的第t-1个第一采样向量及降维后的第t个第一采样向量构建第一损失项，直至得到T-1个第一损失项；根据所述降维查询向量、降维后的第T个第一采样向量及降维后的第r个第二采样向量构建第二损失项，直至得到R个第二损失项；根据所述降维查询向量、降维后的第r个第二采样向量及降维后的第s个第三采样向量构建第三损失项，直至得到R×S个第三损失项；根据所述T-1个第一损失项、所述R个第二损失项及所述R×S个第三损失项，构建损失函数；其中，所述t为大于1且不超过所述T的整数，所述r为大于0且不超过所述R的整数，所述s为大于0且不超过所述S的整数。
在一些实施例中，函数构建模块25504还用于：确定所述降维查询向量和降维后的第t个第一采样向量之间的第一相似度，确定所述降维查询向量和降维后的第t-1个第一采样向量之间的第二相似度；根据所述第一相似度和所述第二相似度构建第一损失项，所述第一损失项用于约束所述第一相似度与所述第二相似度之间的差值最小化。
在一些实施例中，采样模块25502还用于：将所述排序向量集中的前T个候选向量均确定为第一采样向量；在所述排序向量集中去除所述T个第一采样向量，并在去除后的所述排序向量集的前Z个候选向量中，确定出R个候选向量作为第二采样向量；在所述排序向量集中去除所述前Z个候选向量，并在去除后的所述排序向量集中确定出S个候选向量作为第三采样向量；其中，所述Z为大于或等于所述R的整数。
在一些实施例中，基于人工智能的降维模型训练装置2550还包括：拆分模块，用于将样本向量集拆分为训练向量集和验证向量集，其中，所述样本向量集内的每个向量对应一个多媒体信息；更新子模块，用于根据所述训练向量集更新所述降维模型的权重参数；验证模块，用于根据所述验证向量集对更新后的所述降维模型进行验证，得到验证结果；确认模块，用于当所述验证结果满足验证条件时，确定所述降维模型更新完成。
在一些实施例中，更新子模块还用于：遍历所述训练向量集；将遍历到的向量确定为所述查询向量，并将所述训练向量集内除所述查询向量外的向量确定为候选向量；根据所述查询向量及对应的所述候选向量更新所述降维模型的权重参数，直到遍历完成所述训练向量集。
在一些实施例中，更新子模块还用于：确定数量满足批处理参数的多个查询向量；根据多个所述查询向量及每个所述查询向量对应的所述候选向量，更新所述降维模型的权重参数。
在一些实施例中，验证模块还用于：遍历所述验证向量集；将遍历到的向量确定为所述查询向量，并将所述验证向量集内除所述查询向量外的向量确定为候选向量；通过更新后的所述降维模型对所述查询向量进行降维处理得到降维查询向量，通过更新后的所述降维模型对所述候选向量进行降维处理得到降维候选向量；确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足所述相似度条件的相似度对应的降维候选向量确定为输出向量；根据所述降维查询向量和所述输出向量，确定所述损失函数的损失数值；根据遍历到的各所述查询向量对应的损失数值，确定所述降维模型的验证结果。
在一些实施例中，向量获取模块25501还用于：通过神经网络模型对待查询的多媒体信息进行特征提取处理，得到查询向量；
基于人工智能的降维模型训练装置2550还包括：候选向量提取模块，用于通过所述神经网络模型对候选的多媒体信息进行特征提取处理，得到候选向量。
下面继续说明本发明实施例提供的基于降维模型的检索装置2551实施为软件模块的示例性结构，在一些实施例中，如图2B所示，存储在存储器250的基于降维模型的检索装置2551中的软件模块可以包括：查询向量获取模块25511，用于获取与待查询的多媒体信息对应的查询向量；查询向量降维模块25512，用于通过降维模型对所述查询向量进行降维处理，得到降维查询向量；候选向量获取模块25513，用于获取多个降维候选向量，所述降维候选向量对应候选的多媒体信息；检索向量确定模块25514，用于确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足相似度条件的相似度对应的降维候选向量确定为检索向量；结果确定模块25515，用于将所述检索向量对应的多媒体信息，确定为检索结果。
在一些实施例中，候选向量获取模块25513还用于：通过神经网络模型对候选的多媒体信息进行特征提取处理，得到候选向量，并通过所述降维模型对所述候选向量进行降维处理，得到降维候选向量；或者，获取已存储的多个所述降维候选向量。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图4A或图4B示出的基于人工智能的降维模型训练方法，或如图5示出的基于降维模型的检索方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本发明实施例，一方面，提升了降维模型在检索场景中的降维效果，根据降维模型进行向量降维后，向量与其他向量在低维空间中的相对位置关系的改变较小，保证了高维空间和低维空间的检索结果的一致性，提升了根据降维后的向量进行检索的准确率；并且，通过进行向量降维，从而对更低维度的向量进行后续处理，加快了检索效率，极大地降低了存储成本。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种基于人工智能的降维模型训练方法，其特征在于，包括：
获取与待查询的多媒体信息对应的查询向量；
确定所述查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，所述候选向量对应候选的多媒体信息；
通过降维模型对所述查询向量进行降维处理得到降维查询向量，通过所述降维模型对所述采样向量进行降维处理得到降维采样向量；
根据所述降维查询向量和所述降维采样向量构建损失函数；
对所述损失函数进行梯度下降处理，并根据梯度下降处理的结果更新所述降维模型中的权重参数。
2.根据权利要求1所述的降维模型训练方法，其特征在于，所述将满足相似度条件的相似度对应的候选向量确定为采样向量，包括：
根据所述相似度对多个所述候选向量进行排序，得到排序向量集；
在所述排序向量集中依次确定出T个第一采样向量、R个第二采样向量及S个第三采样向量；
其中，所述T为大于1的整数，所述R及所述S均为大于0的整数。
3.根据权利要求2所述的降维模型训练方法，其特征在于，所述根据所述降维查询向量和所述降维采样向量构建损失函数，包括：
根据所述降维查询向量、降维后的第t-1个第一采样向量及降维后的第t个第一采样向量构建第一损失项，直至得到T-1个第一损失项；
根据所述降维查询向量、降维后的第T个第一采样向量及降维后的第r个第二采样向量构建第二损失项，直至得到R个第二损失项；
根据所述降维查询向量、降维后的第r个第二采样向量及降维后的第s个第三采样向量构建第三损失项，直至得到R×S个第三损失项；
根据所述T-1个第一损失项、所述R个第二损失项及所述R×S个第三损失项，构建损失函数；
其中，所述t为大于1且不超过所述T的整数，所述r为大于0且不超过所述R的整数，所述s为大于0且不超过所述S的整数。
4.根据权利要求3所述的降维模型训练方法，其特征在于，所述根据所述降维查询向量、降维后的第t-1个第一采样向量及降维后的第t个第一采样向量构建第一损失项，包括：
确定所述降维查询向量和降维后的第t个第一采样向量之间的第一相似度，确定所述降维查询向量和降维后的第t-1个第一采样向量之间的第二相似度；
根据所述第一相似度和所述第二相似度构建第一损失项，所述第一损失项用于约束所述第一相似度与所述第二相似度之间的差值最小化。
5.根据权利要求2所述的降维模型训练方法，其特征在于，所述在所述排序向量集中依次确定出T个第一采样向量、R个第二采样向量及S个第三采样向量，包括：
将所述排序向量集中的前T个候选向量均确定为第一采样向量；
在所述排序向量集中去除所述T个第一采样向量，并在去除后的所述排序向量集的前Z个候选向量中，确定出R个候选向量作为第二采样向量；
在所述排序向量集中去除所述前Z个候选向量，并在去除后的所述排序向量集中确定出S个候选向量作为第三采样向量；
其中，所述Z为大于或等于所述R的整数。
6.根据权利要求1所述的降维模型训练方法，其特征在于，还包括：
将样本向量集拆分为训练向量集和验证向量集，其中，所述样本向量集内的每个向量对应一个多媒体信息；
根据所述训练向量集更新所述降维模型的权重参数；
根据所述验证向量集对更新后的所述降维模型进行验证，得到验证结果；
当所述验证结果满足验证条件时，确定所述降维模型更新完成。
7.根据权利要求6所述的降维模型训练方法，其特征在于，所述根据所述训练向量集更新所述降维模型的权重参数，包括：
遍历所述训练向量集；
将遍历到的向量确定为所述查询向量，并将所述训练向量集内除所述查询向量外的向量确定为候选向量；
根据所述查询向量及对应的所述候选向量更新所述降维模型的权重参数，直到遍历完成所述训练向量集。
8.根据权利要求7所述的降维模型训练方法，其特征在于，所述根据所述查询向量及对应的所述候选向量更新所述降维模型的权重参数，包括：
确定数量满足批处理参数的多个查询向量；
根据多个所述查询向量及每个所述查询向量对应的所述候选向量，更新所述降维模型的权重参数。
9.根据权利要求6所述的降维模型训练方法，其特征在于，所述根据所述验证向量集对更新后的所述降维模型进行验证，得到验证结果，包括：
遍历所述验证向量集；
将遍历到的向量确定为所述查询向量，并将所述验证向量集内除所述查询向量外的向量确定为候选向量；
通过更新后的所述降维模型对所述查询向量进行降维处理得到降维查询向量，通过更新后的所述降维模型对所述候选向量进行降维处理得到降维候选向量；
确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足所述相似度条件的相似度对应的降维候选向量确定为输出向量；
根据所述降维查询向量和所述输出向量，确定所述损失函数的损失数值；
根据遍历到的各所述查询向量对应的损失数值，确定所述降维模型的验证结果。
10.根据权利要求1至9任一项所述的降维模型训练方法，其特征在于，
所述获取与待查询的多媒体信息对应的查询向量，包括：
通过神经网络模型对待查询的多媒体信息进行特征提取处理，得到查询向量；
所述降维模型训练方法，还包括：
通过所述神经网络模型对候选的多媒体信息进行特征提取处理，得到候选向量。
11.一种基于权利要求1至10任一项所述的降维模型的检索方法，其特征在于，包括：
获取与待查询的多媒体信息对应的查询向量；
通过降维模型对所述查询向量进行降维处理，得到降维查询向量；
获取多个降维候选向量，所述降维候选向量对应候选的多媒体信息；
确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足相似度条件的相似度对应的降维候选向量确定为检索向量；
将所述检索向量对应的多媒体信息，确定为检索结果。
12.一种基于人工智能的降维模型训练装置，其特征在于，包括：
向量获取模块，用于获取与待查询的多媒体信息对应的查询向量；
采样模块，用于确定所述查询向量与多个候选向量之间的相似度，将满足相似度条件的相似度对应的候选向量确定为采样向量，其中，所述候选向量对应候选的多媒体信息；
降维模块，用于通过降维模型对所述查询向量进行降维处理得到降维查询向量，通过所述降维模型对所述采样向量进行降维处理得到降维采样向量；
函数构建模块，用于根据所述降维查询向量和所述降维采样向量构建损失函数；
更新模块，用于对所述损失函数进行梯度下降处理，并根据梯度下降处理的结果更新所述降维模型中的权重参数。
13.一种基于降维模型的检索装置，其特征在于，包括：
查询向量获取模块，用于获取与待查询的多媒体信息对应的查询向量；
查询向量降维模块，用于通过降维模型对所述查询向量进行降维处理，得到降维查询向量；
候选向量获取模块，用于获取多个降维候选向量，所述降维候选向量对应候选的多媒体信息；
检索向量确定模块，用于确定所述降维查询向量与多个所述降维候选向量之间的相似度，将满足相似度条件的相似度对应的降维候选向量确定为检索向量；
结果确定模块，用于将所述检索向量对应的多媒体信息，确定为检索结果。
14.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10任一项所述的基于人工智能的降维模型训练方法，或权利要求11所述的基于降维模型的检索方法。
15.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至10任一项所述的基于人工智能的降维模型训练方法，或权利要求11所述的基于降维模型的检索方法。
CN201910950984.2A 2019-10-08 2019-10-08 基于人工智能的降维模型训练方法、检索方法及装置 Pending CN110717539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910950984.2A CN110717539A (zh) 2019-10-08 2019-10-08 基于人工智能的降维模型训练方法、检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910950984.2A CN110717539A (zh) 2019-10-08 2019-10-08 基于人工智能的降维模型训练方法、检索方法及装置

Publications (1)

Publication Number Publication Date
CN110717539A true CN110717539A (zh) 2020-01-21

Family

ID=69212255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910950984.2A Pending CN110717539A (zh) 2019-10-08 2019-10-08 基于人工智能的降维模型训练方法、检索方法及装置

Country Status (1)

Country Link
CN (1) CN110717539A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680519A (zh) * 2020-04-28 2020-09-18 平安科技（深圳）有限公司 基于降维桶模型的文本翻译方法及装置
CN111737586A (zh) * 2020-08-19 2020-10-02 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680519A (zh) * 2020-04-28 2020-09-18 平安科技（深圳）有限公司 基于降维桶模型的文本翻译方法及装置
CN111737586A (zh) * 2020-08-19 2020-10-02 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10579922B2 (en) Deep learning using alternating direction method of multipliers
CN108875752A (zh) 图像处理方法和装置、计算机可读存储介质
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN111444967A (zh) 生成对抗网络的训练方法、生成方法、装置、设备及介质
CN110413888B (zh) 一种书籍推荐方法及装置
Li et al. MRMR-based ensemble pruning for facial expression recognition
CN112418059B (zh) 一种情绪识别的方法、装置、计算机设备及存储介质
WO2022140900A1 (zh) 个人知识图谱构建方法、装置及相关设备
JP2022502762A (ja) ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム
CN111782826A (zh) 知识图谱的信息处理方法、装置、设备及存储介质
CN111985243B (zh) 情感模型的训练方法、情感分析方法、装置及存储介质
CN113297410A (zh) 一种图像检索方法、装置、计算机设备及存储介质
WO2024067373A1 (zh) 一种数据处理方法及相关装置
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
CN110717539A (zh) 基于人工智能的降维模型训练方法、检索方法及装置
CN110781377A (zh) 一种文章推荐方法、装置
CN114329029A (zh) 对象检索方法、装置、设备及计算机存储介质
CN114358109A (zh) 特征提取模型训练、样本检索方法、装置和计算机设备
CN114492451B (zh) 文本匹配方法、装置、电子设备及计算机可读存储介质
CN113569018A (zh) 问答对挖掘方法及装置
CN114757310B (zh) 情感识别模型及其训练方法、装置、设备及可读存储介质
CN116957006A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN111816276B (zh) 患教教程推荐方法、装置、计算机设备和存储介质
CN110377915B (zh) 文本的情感分析方法、装置、存储介质及设备
CN113821610A (zh) 信息匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40019600

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination