CN108509493A - 一种ar视觉搜索推荐服务方法 - Google Patents

Abstract

本发明提供一种AR视觉搜索推荐服务方法，包括：S1，接收业务终端发送的图像信息，并根据图像信息对边缘侧图像数据库进行检索，获取与图像信息匹配的第一推荐信息以及图像信息与第一推荐信息间的相似度；S2，若相似度大于或等于预先设定的相似度阈值，则将第一推荐信息作为最优推荐信息发送给业务终端；否则，将图像信息发送到云服务器端，以使得云服务器端能够根据图像信息对云端图像数据库进行检索，获取并返回与图像信息匹配的第二推荐信息；接收云服务器端返回的第二推荐信息，并将第二推荐信息作为最优推荐信息发送给业务终端。本发明提供的方法，优化了待检索资源的存储机制，降低了云服务器端的部署成本，提高了用户体验。

Description

一种AR视觉搜索推荐服务方法

技术领域

本发明涉及增强现实技术领域，尤其涉及一种AR视觉搜索推荐服务方法。

背景技术

增强现实(Augmented Reality，AR)，是一种将真实世界信息与虚拟世界信息“无缝”集成的新技术，通过计算机对真实世界中一定时间空间范围内很难体验到的实体信息(如视觉信息，听觉信息等)进行仿真和模拟，将虚拟的信息应用到真实世界中，从而被人类感官所感知，达到超越现实的感官体验。

增强现实技术具有广泛的商业应用前景，如沉浸式购物、视觉辅助定位、交互服务资讯推荐和视觉搜索推荐服务等等，其中真实视觉内容理解计算、虚拟内容搜索、图像资源传输等多项时延敏感性任务，直接影响了基于增强现实的视觉搜索推荐服务质量。

以增强现实技术为背景的视觉搜索推荐服务，能够很好的提取位置相关的信息进行个性化的搜索推荐，即将基于位置感知的增强现实终端设备作为视觉搜索的全新入口和途径，在理解计算视觉内容的同时，辅以位置信息，进一步挖掘具有位置地域特点的服务或电子商务等活动，并最终将个性化的视觉搜索推荐结果呈现到用户的增强现实终端设备上，实现在增强现实场景下的情境感知(Context Awareness)的视觉搜索推荐服务模式。

目前基于增强现实的图像搜索服务，多数的解决方案为移动端提取图像并在云端进行资源检索，部分基于增强现实的视觉搜索服务的解决方案也是同样。该类图像或视频检索服务的解决流程，多是将简单的图像上传至云端进行分析、检索和提取，极大的缓解了终端设备本机进行图像理解和提取特征的计算任务压力，从而把终端设备性能主要用于增强现实的虚实结合、三维模型渲染等复杂矩阵运算操作。

虽然云端服务器相比用户终端设备具有更高性能的配置，能够优化视觉搜索的结果。然而在日益剧增的海量图像资源场景下，云端服务器的部署成本与资源存储都是一个不可忽视的问题。此外，时延敏感性的增强现实视觉搜索服务的请求提交、资源检索和回传，也直接影响了用户的视觉交互体验。

发明内容

本发明为解决现有技术中存在的云端服务器部署成本、资源存储问题和时延问题，提供了一种AR视觉搜索推荐服务方法。

一方面，本发明提出一种AR视觉搜索推荐服务方法，包括：S1，接收业务终端发送的图像信息，并根据所述图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息以及所述图像信息与第一推荐信息间的相似度；S2，若所述相似度大于或等于预先设定的相似度阈值，则将所述第一推荐信息作为最优推荐信息发送给所述业务终端；否则，将所述图像信息发送到云服务器端，以使得所述云服务器端能够根据所述图像信息对云端图像数据库进行检索，获取并返回与所述图像信息匹配的第二推荐信息；接收所述云服务器端返回的第二推荐信息，并将所述第二推荐信息作为最优推荐信息发送给所述业务终端。

优选地，所述步骤S1还包括：接收所述业务终端发送的定位信息；提取所述图像信息的图像语义特征；根据所述定位信息和图像语义特征对位置服务数据库进行检索，获取与所述定位信息和图像语义特征匹配的位置服务推荐信息；对应地，所述步骤S2还包括：将所述位置服务推荐信息与最优推荐信息结合生成个性化推荐信息，将所述个性化推荐信息发送给所述业务终端。

优选地，所述步骤S1进一步包括：接收业务终端发送的图像信息；提取所述图像信息的图像特征，并根据所述图像特征生成检索特征码；通过比较所述检索特征码和所述边缘侧图像数据库的索引码表中各图像的特征码，获取所述边缘侧图像数据库中与所述图像信息匹配的第一推荐信息；计算所述图像信息与第一推荐信息间的相似度。

优选地，所述提取所述图像信息的图像特征，进一步包括：基于滑动窗口、非极大值抑制、视觉显著性检测、注意力机制和特征权重调整中的至少一种从所述图像信息中提取图像物理特征；基于视觉语义嵌入、长短期记忆网络、基于卷积神经网络和循环神经网络的图像标注中的至少一种从所述图像信息中提取图像语义特征。

优选地，当所述相似度大于或等于预先设定的相似度阈值时，还包括：S3，将所述图像信息和图像特征发送到所述云服务器端，以使得所述云服务器端能够基于所述图像信息和图像特征进行增量学习，获取并返回新增图像特征码；接收所述云服务器端返回的所述新增图像特征码，并将所述新增图像特征码加入所述边缘侧图像数据库的索引码表中。

优选地，还包括：S3，根据所述边缘侧图像数据库中各图像被匹配的次数和/或频率对所述索引码表中各图像的特征码的顺序进行排列。

优选地，还包括：检测边缘服务器端的网络状态和/或计算性能，并根据所述网络状态和/或计算性能调整所述边缘服务器端的信息传输速度和/或频率。

另一方面，本发明提出一种AR视觉搜索推荐服务方法，包括：S1，向边缘服务器端发送图像信息，以使得所述边缘服务器端能够根据所述图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息以及所述图像信息与第一推荐信息间的相似度，并根据所述相似度则将所述第一推荐信息或云服务器端获取的第二推荐信息作为最优推荐信息并返回；S2，接收所述边缘服务器端返回的所述最优推荐信息。

优选地，所述步骤S1还包括：根据定位信息获取各边缘服务器端与业务终端间的距离，选择距离最近的边缘服务器端，并向所述边缘服务器端发送所述图像信息和定位信息。

再一方面，一种AR视觉搜索推荐服务方法，包括：若边缘服务器端根据业务终端发送的图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息与所述图像信息间的相似度小于预先设定的相似度阈值，则接收所述边缘服务器端发送的图像信息，根据所述图像信息对云端图像数据库进行检索，获取所述图像信息匹配的第二推荐信息，并将所述第二推荐信息返回所述边缘服务器端。

本发明提供的一种AR时间搜索推荐服务方法，通过边缘服务器端获取推荐信息，减轻了视觉搜索推荐服务的时延性，合理优化了待检索资源的存储机制，降低了云服务器端的部署成本，提高了视觉搜索推荐服务的效率和用户体验。

附图说明

图1为本发明具体实施例的一种AR视觉搜索推荐服务方法的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

目前，基于AR的视觉搜索推荐服务，多是通过业务终端将图像上传至云服务器端进行分析、检索和提取，虽然缓解了业务终端的计算任务压力，但是经由云端进行检索和回传造成的延时直接影响了用户的视觉交互体验，同时云端服务器的部署成本与资源存储都导致了视觉搜索推荐服务的高昂成本。

针对上述问题，本发明提出在业务终端和云服务器端之间加入边缘服务器端，并分别基于边缘服务器端、业务终端和云服务器端三方对AR视觉搜索推荐服务方法进行阐述。

首先，针对边缘服务器端的AR视觉搜索推荐服务方法进行如下说明：

图1为本发明具体实施例的一种AR视觉搜索推荐服务方法的流程示意图，如图1所示，一种AR视觉搜索推荐服务方法，包括：S1，接收业务终端发送的图像信息，并根据所述图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息以及所述图像信息与第一推荐信息间的相似度；S2，若所述相似度大于或等于预先设定的相似度阈值，则将所述第一推荐信息作为最优推荐信息发送给所述业务终端；否则，将所述图像信息发送到云服务器端，以使得所述云服务器端能够根据所述图像信息对云端图像数据库进行检索，获取并返回与所述图像信息匹配的第二推荐信息；接收所述云服务器端返回的第二推荐信息，并将所述第二推荐信息作为最优推荐信息发送给所述业务终端。

具体地，首先，业务终端将需要进行视觉搜索推荐服务的图像信息发送到边缘服务器端。

边缘服务器端接收所述图像信息，并根据所述图像信息，在所述边缘服务器端自带的边缘侧图像数据库中进行检索，查找与所述图像信息相匹配的数据信息，即第一推荐信息。本发明具体实施例中，所述第一推荐信息为所述边缘侧图像数据库中与所述图像信息相匹配的图像或者视频，但不限于此。

其次，边缘服务器端对所述图像信息和第一推荐信息间的相似度进行计算。

随后，边缘服务器端对所述相似度进行判断：

若所述相似度大于或等于预先设定的相似度阈值，则认为所述第一推荐信息满足视觉搜索推荐服务的匹配要求，边缘服务器端将所述第一推荐信息作为最优推荐信息直接返回到业务终端。

若所述相似度小于预先设定的相似度阈值，则认为所述第一推荐信息不满足视觉搜索推荐服务的匹配要求，边缘服务器端将所述业务终端发送的图像信息再发送给云服务器端。

云服务器端接收到所述边缘服务器端发送的图像信息后，根据所述图像信息在所述云服务器端自带的云端图像数据库中进行检索，查找与所述图像信息相匹配的数据信息，即第二推荐信息。本发明具体实施例中，所述第二推荐信息为所述云端图像数据库中与所述图像信息相匹配的图像或者视频，但不限于此。

随后，云服务器端将所述第二推荐信息返回所述边缘服务器端，所述边缘服务器端接收到所述第二推荐信息后，将所述第二推荐信息作为最优推荐信息返回到业务终端。

最后，业务终端对接收到的最优推荐信息进行虚实加载，完成视觉搜索推荐服务。

本发明具体实施例中，通过边缘服务器端获取推荐信息，减轻了视觉搜索推荐服务的时延性，合理优化了待检索资源的存储机制，降低了云服务器端的部署成本，提高了视觉搜索推荐服务的效率和用户体验。

基于上述具体实施例，一种AR视觉搜索推荐服务方法，所述步骤S1还包括：接收所述业务终端发送的定位信息；提取所述图像信息的图像语义特征；根据所述定位信息和图像语义特征对位置服务数据库进行检索，获取与所述定位信息和图像语义特征匹配的位置服务推荐信息；对应地，所述步骤S2还包括：将所述位置服务推荐信息与最优推荐信息结合生成个性化推荐信息，将所述个性化推荐信息发送给所述业务终端。

具体地，在上述基于边缘服务器端的AR视觉搜索推荐服务的基础上，本发明具体实施例加入了基于定位信息的个性化推荐方法，包括：

首先，业务终端在向边缘服务器端发送图像信息的同时，还向所述边缘服务器端发送定位信息。

边缘服务器端接收到上述图像信息和定位信息后，提取所述图像信息的图像语义特征。本发明具体实施例中，所述图像语义特征的提取方法包括但不限于图片标注(image2text、image2sentence)、视觉问答(Visual Question Answering，VQA)、编码-解码模型(Encoder-Decoder)、AM模型(Attention Model)、隐语义模型(Latent SemanticAnalysis)和word2vec等方法中的至少一种。

随后，边缘服务器端应用定位信息和根据图像信息获取的图像语义特征，对边缘服务器端自带的位置服务数据库进行检索，获取位置服务推荐信息。其中，所述位置服务数据库即LBS数据库，LBS是指通过电信移动运营商的无线电通讯网络或外部定位方式，获取移动终端用户的位置信息，在GIS平台的支持下，为用户提供相应服务的一种增值业务。本发明具体实施例中。所述位置服务推荐信息为所述位置服务数据库中与所述定位信息和图像语义特征相匹配的数据信息。

对应地，所述步骤S2中，在获取了最优推荐信息后，边缘服务器端将所述最优推荐信息与上一步骤中获取的位置服务推荐信息相结合，生成个性化推荐信息，将所述个性化推荐信息发送给所述业务终端。

本发明具体实施例中，通过定位信息和图像语义特征获取位置服务推荐信息，优化了检索效果，实现了个性化推荐，提高了用户体验。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，所述步骤S1进一步包括：接收业务终端发送的图像信息；提取所述图像信息的图像特征，并根据所述图像特征生成检索特征码；通过比较所述检索特征码和所述边缘侧图像数据库的索引码表中各图像的特征码，获取所述边缘侧图像数据库中与所述图像信息匹配的第一推荐信息；计算所述图像信息与第一推荐信息间的相似度。

具体地，边缘服务器端接收图像信息，根据所述图像信息，检索第一推荐信息并获取所述图像信息和第一推荐信息间的相似度的方法，进一步包括：

首先，边缘服务器端接收业务终端发送的图像信息。

其次，边缘服务器端从所述图像信息中提取其对应的图像特征，并根据所述图像特征生成对应的检索特征码。

接着，边缘服务器端根据所述检索特征码，与所述边缘服务器端自带的边缘侧图像数据库对应的索引码表中每一图像的特征码进行匹配，获取与所述检索特征码匹配的索引码表中的特征码对应的图像，并将所述图像作为第一推荐信息。

最后，计算所述图像信息与第一推荐信息间的相似度。本发明具体实施例中，计算相似度的方法包括但不限于欧几里得距离、余弦相似度和二值特征码的汉明距离等。

本发明具体实施例中，给出了基于边缘服务器端获取第一推荐信息的具体方法，为不经过云服务器端直接提供视觉搜索推荐服务提供了可能，有助于降低时延性，提高用户体验。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，所述提取所述图像信息的图像特征，进一步包括：基于滑动窗口、非极大值抑制、视觉显著性检测、注意力机制和特征权重调整中的至少一种从所述图像信息中提取图像物理特征；基于视觉语义嵌入、长短期记忆网络、基于卷积神经网络和循环神经网络的图像标注中的至少一种从所述图像信息中提取图像语义特征。

具体地，所述图像物理特征和图像语义特征构成了所述图像特征。

其中，所述非极大值抑制(non maximum suppression，NMS)，其本质是搜索局部极大值，抑制非极大值元素。非极大值抑制在很多计算机视觉任务中都有广泛应用，如边缘检测和目标检测等。

所述视觉显著性检测(Visual saliency detection)指通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)。

所述注意力机制(Attention mechanism)在序列学习任务上具有巨大的提升作用。在编解码器框架内，通过在编码段加入注意力模型，对源数据序列进行数据加权变换，或者在解码端引入注意力模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。

视觉-语义嵌入(Visual-Semantic Embedding)，需要将图像及语句表示成一个固定长度的向量，进而嵌入到同一个矢量空间中，通过该空间中的近邻搜索可以实现图像和语句的匹配、检索等。

长短期记忆网络(Long-Short Term Memory，LSTM)是递归神经网络(RecurrentNeutral Network，RNN)的一种，能够学习长期依赖关系。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，当所述相似度大于或等于预先设定的相似度阈值时，还包括：S3，将所述图像信息和图像特征发送到所述云服务器端，以使得所述云服务器端能够基于所述图像信息和图像特征进行增量学习，获取并返回新增图像特征码；接收所述云服务器端返回的所述新增图像特征码，并将所述新增图像特征码加入所述边缘侧图像数据库的索引码表中。

具体地，当所述相似度大于或等于预先设定的相似度阈值时，即边缘服务器端检索生成的第一推荐信息满足匹配要求，未经过云服务器端进行检索，直接将第一推荐信息作为最优推荐信息回传至业务终端的情况下，还需要执行如下步骤：

边缘服务器端将业务终端发送的图像信息和从所述图像信息中提取的图像特征发送到云服务器端。

云服务器端接收到上述图像信息和图像特征后，基于所述图像信息和图像特征进行增量学习，并将增量学习获取的新增图像特征码返回到所述边缘服务器端。本发明具体实施例中，通过迁移学习、少量学习、一次学习或零次学习实现对增量学习模型的训练，但不限于此。

其中，迁移学习(Transfer learning)是一种把已经训练好的模型参数迁移到新的模型来帮助新模型训练的方法，通过迁移学习能够将已经学到的模型参数分享给新模型，从而加快并优化模型的学习效率。少量学习(few-shot learning)为极少量样本的迁移任务。一次学习(one-shot learning)和零次学习(zero-shot learning)是迁移学习的两种极端行书，只有一个标注样本的迁移任务被称为一次学习，没有标注样本的迁移任务被称为零次学习。

随后，边缘服务器端接收所述云服务器端返回的新增图像特征码，并将所述新增图像特征码加入到所述边缘侧图像数据库的索引码表中。

本发明具体实施例中，通过进行增量训练，有效提高了资源匹配度，有助于缩短同类图像信息的再次检索时间，提供视觉搜索推荐服务效率。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，还包括：S3，根据所述边缘侧图像数据库中各图像被匹配的次数和/或频率对所述索引码表中各图像的特征码的顺序进行排列。

具体地，在完成基于图像信息的视觉搜索推荐服务后，边缘服务器端对其自带的边缘侧图像数据库中各图像被匹配的次数和/或频率进行统计，随后根据统计数据对所述索引码表中各图像对应的特征码进行排序。例如，按照被匹配的次数从大到小的顺序对缩影码表中的特征码进行排列。

本发明具体实施例中，整合了索引码表中特征码顺序，有助于提高边缘服务器端的检索效率。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，还包括：检测边缘服务器端的网络状态和/或计算性能，并根据所述网络状态和/或计算性能调整所述边缘服务器端的信息传输速度和/或频率。

具体地，在基于边缘服务器端执行视觉搜索推荐服务时，需要边缘服务器端对自身的网络状态和/或计算性能进行检测，并根据所述网络状态和/或计算性能对应调整边缘服务器端的信息传输速度和/或信息传输频率。

例如，边缘服务器端判断当前的计算性能满负荷，则对应降低边缘服务器端与云服务器端间的信息传输速度。

本发明具体实施例中，通过进行性能检测实现了信息传输的动态调整，有助于提高边缘服务器端的处理效率。

基于上述任一具体实施例，以下具体实施例针对业务终端的AR视觉搜索推荐服务方法进行如下说明：

一种AR视觉搜索推荐服务方法，包括：S1，向边缘服务器端发送图像信息，以使得所述边缘服务器端能够根据所述图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息以及所述图像信息与第一推荐信息间的相似度，并根据所述相似度则将所述第一推荐信息或云服务器端获取的第二推荐信息作为最优推荐信息并返回；S2，接收所述边缘服务器端返回的所述最优推荐信息。

具体地，首先，业务终端将需要进行视觉搜索推荐服务的图像信息发送到边缘服务器端。

边缘服务器端接收所述图像信息，并根据所述图像信息，在所述边缘服务器端自带的边缘侧图像数据库中进行检索，查找与所述图像信息相匹配的数据信息，即第一推荐信息。本发明具体实施例中，所述第一推荐信息为所述边缘侧图像数据库中与所述图像信息相匹配的图像或者视频，但不限于此。

其次，边缘服务器端对所述图像信息和第一推荐信息间的相似度进行计算。

随后，边缘服务器端对所述相似度进行判断：

若所述相似度大于或等于预先设定的相似度阈值，则认为所述第一推荐信息满足视觉搜索推荐服务的匹配要求，边缘服务器端将所述第一推荐信息作为最优推荐信息直接返回到业务终端。

若所述相似度小于预先设定的相似度阈值，则认为所述第一推荐信息不满足视觉搜索推荐服务的匹配要求，边缘服务器端将所述业务终端发送的图像信息再发送给云服务器端。

云服务器端接收到所述边缘服务器端发送的图像信息后，根据所述图像信息在所述云服务器端自带的云端图像数据库中进行检索，查找与所述图像信息相匹配的数据信息，即第二推荐信息。本发明具体实施例中，所述第二推荐信息为所述云端图像数据库中与所述图像信息相匹配的图像或者视频，但不限于此。

随后，云服务器端将所述第二推荐信息返回所述边缘服务器端，所述边缘服务器端接收到所述第二推荐信息后，将所述第二推荐信息作为最优推荐信息返回到业务终端。

最后，业务终端接收所述边缘服务器端返回的最优推荐信息，并对所述最优推荐信息进行虚实加载，完成视觉搜索推荐服务。

本发明具体实施例中，通过边缘服务器端获取推荐信息，减轻了视觉搜索推荐服务的时延性，合理优化了待检索资源的存储机制，降低了云服务器端的部署成本，提高了视觉搜索推荐服务的效率和用户体验。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，所述步骤S1还包括：根据定位信息获取各边缘服务器端与业务终端间的距离，选择距离最近的边缘服务器端，并向所述边缘服务器端发送所述图像信息和定位信息。

具体地，业务终端还能够获取当前的定位信息，并根据所述定位信息选取距离所述业务终端最近的边缘服务器端，向所述边缘服务器端发送图像信息和定位信息。本发明具体实施例中，向最近的边缘服务器端发送信息，有助于提高传输效率和回传效率，能够有效降低时延性并提高用户体验。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，所述步骤S1前还包括：获取图像信息。

具体地，业务终端能够调用摄像装置采集图像，随后对摄像装置采集的图像或业务终端自带图像进行解析、压缩等预处理操作。最后将经过预处理的图像信息发送到边缘服务器端。

基于上述任一具体实施例，以下具体实施例针对云服务器端的AR视觉搜索推荐服务方法进行如下说明：

一种AR视觉搜索推荐服务方法，包括：若边缘服务器端根据业务终端发送的图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息与所述图像信息间的相似度小于预先设定的相似度阈值，则接收所述边缘服务器端发送的图像信息，根据所述图像信息对云端图像数据库进行检索，获取所述图像信息匹配的第二推荐信息，并将所述第二推荐信息返回所述边缘服务器端。

具体地，首先，业务终端将需要进行视觉搜索推荐服务的图像信息发送到边缘服务器端。

边缘服务器端接收所述图像信息，并根据所述图像信息，在所述边缘服务器端自带的边缘侧图像数据库中进行检索，查找与所述图像信息相匹配的数据信息，即第一推荐信息。本发明具体实施例中，所述第一推荐信息为所述边缘侧图像数据库中与所述图像信息相匹配的图像或者视频，但不限于此。

其次，边缘服务器端对所述图像信息和第一推荐信息间的相似度进行计算。

随后，边缘服务器端对所述相似度进行判断：

若所述相似度大于或等于预先设定的相似度阈值，则认为所述第一推荐信息满足视觉搜索推荐服务的匹配要求，边缘服务器端将所述第一推荐信息作为最优推荐信息直接返回到业务终端。

若所述相似度小于预先设定的相似度阈值，则认为所述第一推荐信息不满足视觉搜索推荐服务的匹配要求，边缘服务器端将所述业务终端发送的图像信息再发送给云服务器端。

云服务器端接收到所述边缘服务器端发送的图像信息后，根据所述图像信息在所述云服务器端自带的云端图像数据库中进行检索，查找与所述图像信息相匹配的数据信息，即第二推荐信息。本发明具体实施例中，所述第二推荐信息为所述云端图像数据库中与所述图像信息相匹配的图像或者视频，但不限于此。

随后，云服务器端将所述第二推荐信息返回所述边缘服务器端，所述边缘服务器端接收到所述第二推荐信息后，将所述第二推荐信息作为最优推荐信息返回到业务终端。

最后，业务终端对接收到的最优推荐信息进行虚实加载，完成视觉搜索推荐服务。

本发明具体实施例中，通过边缘服务器端获取推荐信息，减轻了视觉搜索推荐服务的时延性，合理优化了待检索资源的存储机制，降低了云服务器端的部署成本，提高了视觉搜索推荐服务的效率和用户体验。

基于上述任一具体实施例，一种AR视觉搜索推荐服务方法，当所述相似度大于或等于预先设定的相似度阈值时，还包括：接收所述边缘服务器端发送的图像信息和图像特征，基于所述图像信息和图像特征进行增量学习，获取新增图像特征码并将所述新增图像特征码返回所述边缘服务器端，以使得所述边缘服务器端能够将所述新增图像特征码加入边缘侧图像数据库的索引码表中。

具体地，当所述相似度大于或等于预先设定的相似度阈值时，即边缘服务器检索生成的第一推荐信息满足匹配要求，未经过云服务器端进行检索，直接将第一推荐信息作为最优推荐信息回传至业务终端的情况下，还需要执行如下步骤：

边缘服务器将业务终端发送的图像信息和从所述图像信息中提取的图像特征发送到云服务器端。

云服务器端接收到上述图像信息和图像特征后，基于所述图像信息和图像特征进行增量学习，并将增量学习获取的新增图像特征码返回到所述边缘服务器。本发明具体实施例中，通过迁移学习、少量学习、一次学习或零次学习实现对增量学习模型的训练，但不限于此。

其中，迁移学习(Transfer learning)是一种把已经训练好的模型参数迁移到新的模型来帮助新模型训练的方法，通过迁移学习能够将已经学到的模型参数分享给新模型，从而加快并优化模型的学习效率。少量学习(few-shot learning)为极少量样本的迁移任务。一次学习(one-shot learning)和零次学习(zero-shot learning)是迁移学习的两种极端行书，只有一个标注样本的迁移任务被称为一次学习，没有标注样本的迁移任务被称为零次学习。

随后，边缘服务器端接收所述云服务器端返回的新增图像特征码，并将所述新增图像特征码加入到所述边缘侧图像数据库的索引码表中。

本发明具体实施例中，通过进行增量训练，有效提高了资源匹配度，有助于缩短同类图像信息的再次检索时间，提供视觉搜索推荐服务效率。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种AR视觉搜索推荐服务方法，其特征在于，包括：

S1，接收业务终端发送的图像信息，并根据所述图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息以及所述图像信息与第一推荐信息间的相似度；

S2，若所述相似度大于或等于预先设定的相似度阈值，则将所述第一推荐信息作为最优推荐信息发送给所述业务终端；

否则，将所述图像信息发送到云服务器端，以使得所述云服务器端能够根据所述图像信息对云端图像数据库进行检索，获取并返回与所述图像信息匹配的第二推荐信息；

接收所述云服务器端返回的第二推荐信息，并将所述第二推荐信息作为最优推荐信息发送给所述业务终端。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1还包括：

接收所述业务终端发送的定位信息；提取所述图像信息的图像语义特征；

根据所述定位信息和图像语义特征对位置服务数据库进行检索，获取与所述定位信息和图像语义特征匹配的位置服务推荐信息；

对应地，所述步骤S2还包括：

将所述位置服务推荐信息与最优推荐信息结合生成个性化推荐信息，将所述个性化推荐信息发送给所述业务终端。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

接收业务终端发送的图像信息；

提取所述图像信息的图像特征，并根据所述图像特征生成检索特征码；

通过比较所述检索特征码和所述边缘侧图像数据库的索引码表中各图像的特征码，获取所述边缘侧图像数据库中与所述图像信息匹配的第一推荐信息；

计算所述图像信息与第一推荐信息间的相似度。

4.根据权利要求3所述的方法，其特征在于，所述提取所述图像信息的图像特征，进一步包括：

基于滑动窗口、非极大值抑制、视觉显著性检测、注意力机制和特征权重调整中的至少一种从所述图像信息中提取图像物理特征；基于视觉语义嵌入、长短期记忆网络和基于卷积神经网络与循环神经网络的图像标注中的至少一种从所述图像信息中提取图像语义特征。

5.根据权利要求3所述的方法，其特征在于，当所述相似度大于或等于预先设定的相似度阈值时，还包括：

S3，将所述图像信息和图像特征发送到所述云服务器端，以使得所述云服务器端能够基于所述图像信息和图像特征进行增量学习，获取并返回新增图像特征码；

接收所述云服务器端返回的所述新增图像特征码，并将所述新增图像特征码加入所述边缘侧图像数据库的索引码表中。

6.根据权利要求3所述的方法，其特征在于，还包括：

S3，根据所述边缘侧图像数据库中各图像被匹配的次数和/或频率对所述索引码表中各图像的特征码的顺序进行排列。

7.根据权利要求1至6中任一权利要求所述的方法，其特征在于，还包括：

检测边缘服务器端的网络状态和/或计算性能，并根据所述网络状态和/或计算性能调整所述边缘服务器端的信息传输速度和/或频率。

8.一种AR视觉搜索推荐服务方法，其特征在于，包括：

S1，向边缘服务器端发送图像信息，以使得所述边缘服务器端能够根据所述图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息以及所述图像信息与第一推荐信息间的相似度，并根据所述相似度则将所述第一推荐信息或云服务器端获取的第二推荐信息作为最优推荐信息并返回；

S2，接收所述边缘服务器端返回的所述最优推荐信息。

9.根据权利要求8所述的方法，其特征在于，所述步骤S1还包括：

根据定位信息获取各边缘服务器端与业务终端间的距离，选择距离最近的边缘服务器端，并向所述边缘服务器端发送所述图像信息和定位信息。

10.一种AR视觉搜索推荐服务方法，其特征在于，包括：

若边缘服务器端根据业务终端发送的图像信息对边缘侧图像数据库进行检索，获取与所述图像信息匹配的第一推荐信息与所述图像信息间的相似度小于预先设定的相似度阈值，则接收所述边缘服务器端发送的图像信息，根据所述图像信息对云端图像数据库进行检索，获取所述图像信息匹配的第二推荐信息，并将所述第二推荐信息返回所述边缘服务器端。