CN113297475A - 商品对象信息搜索方法、装置及电子设备 - Google Patents

Abstract

本申请实施例公开了商品对象信息搜索方法、装置及电子设备，所述方法包括：接收用户的商品对象搜索请求；在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供商品对象搜索结果；接收用户针对所述搜索结果反馈的交互信息；根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。通过本申请实施例，能够更高效、准确地提供符合用户意图的搜索结果。

Description

商品对象信息搜索方法、装置及电子设备

技术领域

本申请涉及信息搜索技术领域，特别是涉及商品对象信息搜索方法、装置及电子设备。

背景技术

随着网络资源越来越丰富，如何让用户从海量的信息及服务资源中能既准确又快速地找到诉求变得越来越重要。而随着深度卷积神经网络的兴起，带有视觉查询的图像搜索或CBIR(Content-based image retrieval，基于内容的图像检索)引起了人们的极大兴趣。“以图搜图”就属于其中一种典型的应用。所谓的“以图搜图”是用户通过上传图片或输入图片的URL(Uniform Resource Locator，统一资源定位器)地址，从而搜索到互联网上与这张图片相似的其他图片资源，同时也可以获取到这张图片相关的信息。这种“以图搜图”功能对比传统的文字搜索有着明显的优势，在不同行业的垂直搜索领域也有着不同的用法。其中，在商品对象信息服务系统中，可以实现“以图搜商品”。例如，如果有人在国外看到一件心仪的商品，却无法知道在国内如何购买，则首先对该商品进行拍照，然后可以打开其手机等终端设备中安装的商品对象信息服务系统的客户端，并通过图片搜索按钮，输入商品的照片，之后便可以在搜索结果中获得与该照片中的商品相关的多个商品对象的信息。

这种以图搜商品的功能为用户带来了很大的便利，但是，在实际应用中，用户通常需要很长时间，才能在众多的搜索结果中找到他们想要的商品。而在输入的图片并不能完全反应其搜索意图的情况下，更是有可能无法从搜索结果中找到真正想要的商品。

因此，如何更高效、准确地提供符合用户意图的搜索结果，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了商品对象信息搜索方法、装置及电子设备，能够更高效、准确地提供符合用户意图的搜索结果。

本申请提供了如下方案：

一种商品对象信息搜索方法，包括：

接收用户的商品对象搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供商品对象搜索结果；

接收用户针对所述搜索结果反馈的交互信息；

根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。

一种商品对象信息搜索方法，包括：

接收用户的商品对象搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

根据所述查询条件数据发起检索，以提供对应的商品对象搜索结果。

一种信息搜索方法，包括：

接收用户的搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供搜索结果；

接收用户针对所述搜索结果反馈的交互信息；

根据所述交互信息重新发起检索，以更新所述搜索结果。

一种信息搜索方法，包括：

接收用户的搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

根据所述查询条件数据发起检索，以提供对应的搜索结果。

一种商品对象信息搜索装置，包括：

第一搜索请求接收单元，用于接收用户的商品对象搜索请求；

第一搜索结果提供单元，用于在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供商品对象搜索结果；

第一交互信息接收单元，用于接收用户针对所述搜索结果反馈的交互信息；

第一搜索结果更新单元，用于根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。

一种商品对象信息搜索装置，包括：

第一搜索请求接收单元，用于接收用户的商品对象搜索请求；

第一语音输入信息接收单元，用于在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

第一查询条件数据构造单元，用于根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

第一搜索结果提供单元，用于根据所述查询条件数据发起检索，以提供对应的商品对象搜索结果。

一种信息搜索装置，包括：

第二搜索请求接收单元，用于接收用户的搜索请求；

第二搜索结果提供单元，用于在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供搜索结果；

第二交互信息接收单元，用于接收用户针对所述搜索结果反馈的交互信息；

第二搜索结果更新单元，用于根据所述交互信息重新发起检索，以更新所述搜索结果。

一种信息搜索装置，包括：

第二搜索请求接收单元，用于接收用户的搜索请求；

第二语音输入信息接收单元，用于在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

第二查询条件数据构造单元，用于根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

第二搜索结果提供单元，用于根据所述查询条件数据发起检索，以提供对应的搜索结果。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，在接收到具体的商品对象搜索请求后，可以在对目标物体的视觉信息进行连续性实时采集的状态下，首先根据采集到的视觉输入信息提供商品对象搜索结果，并且可以接收用户针对所述搜索结果反馈的交互信息，根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。通过这种方式，可以在同一次搜索过程中，通过输入交互信息的方式触发新的检索过程，并实现对商品对象搜索结果的更新，使之更接近用户所需要的状态。因此，可以简化用户操作，缩短搜索路径，从而更高效、准确地提供符合用户意图的搜索结果。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的系统架构的示意图；

图2是本申请实施例提供的第一方法的流程图；

图3-1至3-3是本申请实施例提供的界面的示意图；

图4是本申请实施例提供的第二方法的流程图；

图5是本申请实施例提供的第三方法的流程图；

图6是本申请实施例提供的第四方法的流程图；

图7是本申请实施例提供的第一装置的示意图；

图8是本申请实施例提供的第二装置的示意图；

图9是本申请实施例提供的第三装置的示意图；

图10是本申请实施例提供的第四装置的示意图；

图11是本申请实施例提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，首先针对商品对象信息系统中的搜索场景，提供了商品对象搜索方法。为了便于理解本申请实施例提供的方案所达到的技术效果，下面首先对现有技术中的“以图搜图”的场景进行介绍。在现有技术中，用户可以通过搜索入口输入一张图片，或者指定图片的URL地址，之后，搜索引擎就可以构造出具体的查询条件数据(通常可以称为query)，并基于该构造出的query进行检索，给出搜索结果。用户在获取到具体的搜索结果之后，如果发现由于输入的图片不足以准确地表达自己的全部需求，而导致大部分的搜索结果都不完全符合用户需求，则通常只能退回到搜索入口页面，重新输入另一张更能准确表达用户需求的图片，并通过手动方式重新发起新的搜索过程。

例如，某用户在某橱窗中看到一件衣服，想要在网上搜索同款，于是可以对该衣服进行拍照，并通过相关应用程序的搜索入口发起搜索。此时，该应用程序可以根据具体的照片构造出查询条件数据，例如，通过对照片进行图像识别，确定出这件衣服是一件女士衬衫，并且具有以下特征：白色，有蕾丝花边，尖领，等等。进而可以根据上述识别结果，生成结构化的向量，以作为构造出的query发起检索，相应的，得到的检索结果中，就可以包括符合上述各项特征的商品对象信息。但是，实际上用户可能只是喜欢这件衣服的颜色、款式、有蕾丝花边等特征，关于衣领，该用户更想要的是圆领，而不是尖领。然而，按照上述图片发起搜索后，得到的搜索结果中，可能大部分都是尖领。此时，如果用户想要获得更准确的搜索结果，只能另外找一张颜色、款式等跟之前照片中的衣服相似，但衣领是圆领的衣服图片，再重新发起搜索。但是实际上，这种图片可能无法找到，或者即使能够找到，可能也需要花费大量的时间，以至于用户最终可能会放弃对商品对象的搜索。

针对上述情况，本申请实施例提供了相应的解决方案。在该解决方案中，用户发起搜索请求后，可以启动对目标物体的连续性的视觉信息实时采集。例如，可以通过手机等移动终端设备的取景器组件，对目标物体进行取景，或者，还可以通过VR(虚拟现实)眼镜设备对目标物体进行取景，等等。在这种连续取景的状态下，可以有两种不同的处理方式。一种方式下，可以首先根据采集到的视觉输入信息通过商品对象搜索结果，同时在该状态下与用户进行交互。也即，用户可以在看到初始的搜索结果之后，根据实际情况输入具体的交互信息，以进一步明确自己的意图。相应的，搜索引擎则可以通过接收到的交互信息，对搜索结果进行更新，以使其更符合用户需求。

也就是说，由于对视觉输入信息的采集是持续进行的，因此，使得输入的图像信息不是某个图片或者某段预先拍摄好的视频，而是实时采集并且可以动态变化的视觉信息。这样，在根据视觉输入信息提供出一批搜索结果之后，用户可以根据实际看到的搜索结果，进行进一步的交互，以使得搜索引擎进一步了解用户的意图，并更新搜索结果。交互的方式可以有多种，例如，具体可以包括通过语音输入的方式进一步明确自己的意图，或者，还可以通过调整取景的视角或距离等，使得视觉输入信息发生变化，从而更突出自己所关心的特征，或者对某些细节特征进行放大，以使得搜索引擎能够更准确地识别，或者将之前未能被采集到的特征进入到采集范围，等等。通过这种方式，可以在同一次搜索过程中，通过多种方式发起交互，每次交互，都可以触发对商品对象搜索结果的更新，使之更接近用户所需要的状态。因此，可以简化用户操作，缩短检索路径。

其中，由于交互信息可以是语音输入信息，或者改变视角或者距离等条件后，产生变化的视觉输入信息，而视觉输入信息中可以包括图像信息，或者在某些情况下还可能包括文字信息等；另外，在可选的方式下，还可以结合历史搜索结果中商品对象的图像、文本描述信息等，进行query的重新构造，并实现对商品对象搜索结果的更新。因此，还可以实现多模态搜索。这种多模态不仅可以包括同时运用多种不同形式的数据进行搜索，还可以包括不同时刻在不同视角、距离下采集到的不同的视觉输入信息进行的搜索。通过这种多模态搜索，也有利于帮助用户更高效地搜索到符合需求的信息。

另一种方式下，也可以在连续性实时采集视觉输入信息的过程中，通过接收用户输入的语音输入信息来获取用户更多的需求信息，从而可以将采集到的视觉输入信息与接收到的语音输入信息相结合，给出对应的搜索结果。例如，可以同时根据视觉输入信息的识别处理结果，以及对语音输入信息的识别处理结果，进行对查询条件数据的构造，以此提供搜索结果。这种方式下，通过将实时采集的视觉输入信息与语音输入信息相结合，可以实现多模态搜索，从而提升搜索结果与用户需求的匹配度。当然，在该方式下，用户也可以根据搜索结果进行进一步交互，相应的，搜索引擎也可以根据交互信息对之前给出的商品对象搜索结果进行更新。

例如，同样是在前述例子中，如果用户看到一件衣服，对其大部分特征都比较感兴趣，只是其中小部分特征不符合用户需求，例如，并不喜欢尖领，而是想要圆领，等等。则在本申请实施例中的第一种实现方式下，可以在启动搜索后，开始对该衣服的视觉信息进行连续性实时采集。在利用采集到的视觉输入信息展示出一批搜索结果后，用户如果发现搜索结果中给出的结果大部分都是尖领，则可以通过语音输入的方式，输入“我不想要尖领，我要圆领”等等，以此触发对搜索结果的更新。或者，如果发现搜索结果中并没有包含某个关键的特征(例如，有蕾丝花边等)，则还可以通过改变视角等方式，使得实时采集的视觉输入信息发生变化，从而使得该关键特征更为突出，并以此触发对搜索结果的更新。

另一种方式下，还可以在开始对该衣服的视觉信息进行连续性实时采集之后，直接通过语音输入的方式，对视觉输入信息进行修改或者补充，例如，语音输入信息可以为“帮我搜这件衣服同款，但我不想要尖领，我要圆领”，从而将两方面的输入信息相结合，使得搜索引擎在构造查询条件数据时，不是直接将用图像中识别出的“尖领”来构造结构化的向量，而是将“尖领”改成“圆领”之后，再用来构造结构化的向量。向量中其他维度上的属性值则仍然可以采用图像中的识别结果来进行确定。这样，综合图像识别以及语音识别结果构造出的查询条件数据，能够更完整更准确地体现用户的搜索需求，因此，有利于给出更准确、更符合用户需求的搜索结果。

从系统架构角度而言，本申请实施例可以在商品对象信息系统提供的应用程序中提供相应的搜索功能。具体的，参见图1，该应用程序可以是手机等移动终端设备端的应用程序，或者，还可以是VR(虚拟现实)眼镜端的应用程序。其中，对于前者，可以在应用程序的首页等界面中提供搜索入口，其中，具体的搜索入口可以与传统的以文字或者图片作为输入信息的搜索入口相区别，使得用户可以通过该特殊的搜索入口发起搜索请求。发起搜索请求后，可以启动手机等移动终端设备中的取景器组件，以便对用户指定的目标物体的视觉信息进行连续性实时采集。另外，移动终端设备通常都配备有麦克风等音频输入组件，因此，使得用户还可以在实时采集视觉信息的过程中，通过语音输入的方式进行交互，或者，通过语音输入的方式对视觉输入信息进行修改或补充，等等。

对于VR眼镜端的场景，具体的应用程序可以预先安装在VR眼镜中，另外还可以在VR眼镜中对启动搜索的方式进行配置。例如，可以包括通过特殊手势进行启动，或者，通过语音方式启动，等等。这样，在用户佩戴VR眼镜的过程中，如果对看到的某件物品感兴趣，则可以通过手势或者语音等方式，启动VR眼镜中相关应用程序中的搜索功能。相应的，便可以通过该VR眼镜实现对目标物体的视觉信息的连续性实时采集。另外，由于VR眼镜也可以带有麦克风功能，因此，还可以在实时采集视觉信息的过程中，通过语音输入的方式进行交互，包括通过语音输入的方式对视觉输入信息进行修改或补充，或者，还可以通过转动头部等方式，来改变视觉输入信息的采集视角，等等。这里需要说明的是，具体在VR眼镜中运行的应用程序还可以与手机端的应用程序进行联动，使得VR眼镜端的应用程序侧重于对信息的采集以及展示，在本申请实施例中还可以包括交互式搜索，而关于具体的下单等操作，可以通过手机端应用程序完成，等等。

下面对本申请实施例提供的具体实现方案进行详细介绍。

实施例一

该实施例一首先针对前述第一种实现方式(也即，先根据视觉输入信息提供搜索结果，然后通过接收交互信息对搜索结果进行更新)，提供了一种商品对象信息搜索方法，参见图2，该方法具体可以包括：

S201：接收用户的商品对象搜索请求；

在移动终端设备关联的应用程序中实现相关搜索功能的情况下，可以在应用程序的相关界面中提供搜索入口。如前文所述，该搜索入口可以与传统的用于输入搜索关键词或者图片的入口相区别，例如，具体实现时，可以在界面中提供用于输入搜索关键词的输入框，以及用于输入图片的第一操作选项，另外，还可以提供用于连续性实时采集视觉信息的第二操作选项，用户可以根据实际需求，选择具体的搜索方式发起搜索。其中，如果点击第二操作选项，则可以启动本申请实施例中提供的搜索功能。启动该搜索功能后，便可以自动启动移动终端设备中的取景器组件，开始对目标物体的视觉信息进行连续性实时采集。

在VR眼镜端关联的应用程序中实现相关搜索功能的情况下，由于VR眼镜中安装的应用程序大部分情况可以后台运行，并且能够支持为具体应用程序配置手势或者语音指令等，以用于启动应用程序中的某项具体功能。因此，在本申请实施例中，也可以预先对VR眼镜中的相关应用程序进行配置，这样，在用户佩戴该VR眼镜的过程中，便可以通过对应的手势或者语音指令等，启动本申请实施例中的搜索功能。启动该搜索功能后，便可以通过该VR眼镜，对目标物体的视觉信息进行连续性实时采集。

其中，目标物体可以是用户指定的物体，具体可以是用户通过移动终端摄像头等对准的物体，或者，通过VR眼镜对准的物体，等等。所谓的连续性实时采集，也即，对目标物体的视觉信息进行捕获，但是不需要通过按下拍摄按钮等方式生成照片或者视频，而是将这种处于捕获状态、动态变化的流式视觉信息，作为视觉输入信息。

S202：在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供商品对象搜索结果；

在上述连续性实时采集的状态下，首先可以根据采集到的视觉输入信息提供商品对象搜索结果。具体的，可以对视觉输入信息进行识别处理，并根据识别处理结果构造查询条件数据(query)，然后，根据该查询条件数据提供搜索结果。其中，对视觉输入信息进行识别处理时，具体可以包括对视觉输入信息中的图像信息进行识别处理，如果图像中还包括文字，则还可以进行OCR(光学字符识别)识别，并对OCR识别结果进行自然语言处理。根据具体的识别处理结果可以识别出目标物体在多个维度上的属性值。例如，前述例子中，目标物体是某件衣服，则具体的维度可以包括衣服的整体描述(例如，属性值可以为女士衬衫)、颜色(例如，属性值可以为白色)、衣袖类别(例如，属性值为长袖)、装饰物(例如，属性值为蕾丝花边)、衣领(例如，属性值为尖领)，等等。可以根据上述识别处理结果生成查询条件数据，例如，具体的查询条件数据可以是根据上述多个维度上的属性值确定出的结构化的向量。然后，以利用该向量发起检索，获得初始的商品对象搜索结果。

S203：接收用户针对所述搜索结果反馈的交互信息；

由于初始的商品对象搜索结果可能不够准确，因此，在本申请实施例中，还可以在上述对目标物体的视觉信息进行连续性实时采集的状态下，接收用户针对已经给出的搜索结果反馈的交互信息，以进一步明确用户的需求。其中，具体的交互信息可以包括语音输入信息，或者还可以包括通过改变视觉信息的采集视角或者距离等，使得视觉输入信息发生变化的交互信息，等等。

具体实现时，还可以在交互的过程中为用户提供提示信息，以帮助用户更高效地通过交互的方式获得想要的搜索结果。例如，在对目标物体进行连续性实时采集的过程中，可以在图像采集界面中提供以下提示：“您可以通过语音的方式告诉我您的更多搜索要求”。或者，还可以提示用户在进行语音输入时，将具体输入的内容聚焦在某些具体的信息维度上，例如，提示信息可以为：“颜色不符合您的要求？”，用户如果回答“是”，还可以继续提示用户说出其实际喜欢的颜色，如果用户回答“不是”，还可以基于其他信息维度进行提问，例如“材质？”，等等。这样，可以通过与用户之间进行问答的方式，帮助用户更有效地进行语音输入。

S204：根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。

在接收到具体的交互信息后，可以根据所述交互信息重新发起检索，以实现对初始的商品对象搜索结果的更新。其中，在本申请实施例中，具体对商品对象搜索结果的更新主要可以是，通过对所述交互信息进行识别处理，对根据所述视觉输入信息构建的第一查询条件数据进行更改，生成第二查询条件数据，然后，根据所述第二查询条件数据重新发起检索，以更新所述商品对象搜索结果。也就是说，可以根据用户在一次搜索过程中的交互信息，由系统自动触发对新的查询条件数据的构造，并发起新的检索，而不需要用户退回到首页中通过提交新的图片等方式手动发起新的检索，以此提升搜索效率，通过一轮或者多轮的交互，可以使得搜索结果逐渐接近用户的需求。

其中，第一查询条件也就是在用户输入具体的交互信息之前，单纯根据视觉输入信息给出搜索结果时，所构造的查询条件数据。具体在构造该第一查询条件数据时，可以是根据具体的深度卷积神经网络系统等图像识别算法，对视觉输入信息中的图像信息进行识别处理，以从中识别出具体目标物体的整体描述，还可以识别出物体在多个维度上的属性值。其中，整体描述主要是对目标物体所属的类目等进行识别，其中，具体所能识别出的类目的层级，也可以根据算法结构等进行确定。例如，如果目标物体是一件衣服，则可以识别到男装、女装等，或者，还可以进一步识别出女士衬衫、男士T恤等更细粒度的类目，等等。关于多个维度上的属性值，具体则可以包括款式、颜色、袖型、领型、是否有蕾丝，等等。

另外，具体的视觉输入信息中还可能包括一些文字内容，例如，用户是在对着橱窗中的某件衣服进行取景，则具体采集到的视觉输入信息中除了包括衣服本体的图像之外，还可能会包括价签信息，等等。此时，具体在对视觉输入信息进行识别处理时，还可以对所述视觉输入信息中包含的文字进行OCR(Optical Character Recognition，光学字符识别)识别后，对所述OCR识别结果进行自然语言处理。通过对这种字符进行识别处理，也可以得到具体目标物体在一些维度上的属性值。

通过对视觉输入信息进行图像识别处理、文字识别处理等，得到的识别处理结果可以用于构造第一查询条件数据，进而可以根据第一查询条件发起检索，以获得初始的商品对象搜索结果。其中，在一种具体实现方式下，具体构造出的第一查询条件可以包括结构化的向量，这种结构化的向量中便可以包括目标物体在多个维度上的属性值，这种属性值也就是前述通过对视觉输入信息进行识别处理后确定的。通过将这种结构化的向量作为检索系统的查询条件输入，也即query，可以检索出符合查询条件的一批搜索结果，并通过客户端的界面进行展示。

其中，在本申请实施例中，具体对搜索结果的展示方式也可以与现有技术中有所不同。具体的，在现有技术中，通常是在用户在搜索框中输入关键词或者图片之后，给出搜索结果页面，在搜索结果页面中以列表等形式对各条搜索结果进行展示。但是，在本申请实施例中，由于是在对视觉信息进行连续性的实时采集的状态下给出搜索结果，并与用户进行交互，因此，而用户在交互过程中，可能需要根据实际看到的搜索结果，以及当前采集到的视觉输入信息的情况，来输入具体的交互信息。因此，在本申请实施例中，可以在用于对连续性实时采集到的视觉输入信息进行展示的界面上层，提供搜索结果展示区域，所述搜索结果展示区域中包括多个资源位，以用于展示商品对象的摘要信息。也就是说，在展示搜索结果时，可以是以实时取景过程中的动态变化界面为背景，以此方便用户通过将搜索结果与实时的视觉输入信息进行对比等方式，确定出如何进行交互信息的输入，能够更有效地修改查询条件数据，进而使得更新后的搜索结果更符合自己的需求。

例如，如果用户在某实体店铺中看到一款衣服之后，主要对其蕾丝花边的花型比较感兴趣，于时拿出手机对着该衣服进行取景，在取景界面的上层即可查看到搜索结果。用户看到一批搜索结果之后可能发现大部分都没有体现该特征，此时，该用户可以通过观察背景发现，其取景的图像中对蕾丝花边这一特征体现的并不明显，于时可以通过调整拍摄角度，或者拉近拍摄距离等方式，使得该特征在图像中体现的更突出，以此触发系统自动进行查询条件数据的重构，这样，重新检索后给出的搜索结果中可以更多的体现蕾丝花边这一特征。

具体实现时，具体的交互信息的形式可以有多种，其中一种实现方式下，考虑到移动端的应用场景，具体的交互信息可以是语音输入信息。例如，某用户当前在一个家居家具类的店铺中看到一款沙发，想要在网上搜索同款，则可以在手机等移动终端设备中启动相关的应用程序，并通过相关界面中提供的交互式搜索的入口，发起具体的搜索过程。之后，可以对该沙发进行连续性的实时采集，相应的，该应用程序可以对采集到的视觉输入信息进行关键帧提取、图像识别处理、字符识别处理等，构造出第一查询条件数据，并给出相应的搜索结果。

例如，如图3-1所示，基于视觉输入信息提供的搜索结果可以如31处所示(具体的搜索结果是以连续性实时采集的动态图像为背景进行展示)。其中，“主体所在位置”就代表从视觉输入图像中识别出的目标物体的主体图像所在的位置，当然，在具体实现时，视觉输入图像中除了目标物体的主体图像之外还会包括一些相关的背景图像，具体内容主要是由目标物体所在的物理空间的情况决定的，图中未示出。“主体识别信息”具体可以是指所识别出的目标物体的整体描述，例如，如果目标物体是一件衣服，则主体识别信息可能是女士衬衫，等等。具体的资源位中可以包括多个商品对象的摘要信息，具体可以包括商品对象的主图、价格等。

同时，为了便于用户通过语音的方式进行交互，还可以在界面中提供用于进行语音输入的操作选项，使得用户可以通过长按该操作选项等方式进行语音输入。或者，也可以默认启动语音接收功能，并提示用户可以随时通过语音输入的方式进行交互。例如，具体的提示信息可以是如图3-1中的32处所示的“请说，我在聆听”，等等。这样，用户不需要手动启动语音输入，在需要时直接说出自己想要表达的内容即可。在用户说出具体的语音输入信息后，还可以在界面中展示出具体的语音识别结果，例如，如图3-2中的33处所示，“搜黄色的款式”，相应的，具体的搜索结果会发生对应的更新，例如，主要展示处具有黄色属性值的商品对象搜索结果，等等。

在这种交互信息为语音输入信息的情况下，具体在可以在第一查询条件数据基础上进行修改，以生成第二查询条件数据。具体的，在一种实现方式下，具体的第一查询条件数据可以是结构化的向量，该向量中主要可以包括所述目标物体在多个维度上的属性值，这些维度上的属性值就可以是通过对所述视觉输入信息进行识别处理后确定的。在这种情况下，在接收到具体的语音输入信息后，首先可以对语音输入信息进行识别处理结果，包括将语音内容识别成文本，再对文本内容进行自然语言理解处理，等等。之后，可以根据具体的识别处理结果，对所述向量中一个或多个维度上的属性值进行修改，以生成所述第二查询条件数据。

例如，在前述例子中，从具体视觉输入信息中识别出的目标物体的属性值包括，衬衫、短袖、白色、尖领，等等。但是用户在查看到搜索结果之后，输入的语音输入信息为“我不要尖领，要圆领”，则可以将“尖领”修改为“圆领”，其他维度上的属性值不变，以此重新构造出查询条件数据，也即第二查询条件数据。在查询条件数据发生变化之后，可以发起新的检索，并展示出新的搜索结果。

这里需要说明的是，在用户通过语音输入的方式进行交互的情况下，具体的交互意图也可能不仅仅是对查询条件进行修改，还可能是需要对当前的搜索结果进行操作，例如，包括对当前搜索结果进行筛选，重新排序，刷新或对进行展示窗口的搜索结果进行批量更换，等等。因此，具体实现时，在接收到语音输入类型的交互信息之后，还可以根据具体对语音输入信息的识别处理结果，确定用户的交互意图，然后，再根据具体的意图识别结果，确定进一步的处理方式。

如果识别出的交互意图确实是对查询条件进行修改，可以按照前文所述的方式，根据语音输入信息的识别处理结果对第一查询条件数据进行更改，生成第二查询条件数据，然后，根据所述第二查询条件数据重新发起检索，以更新所述商品对象搜索结果。但是，如果根据所述语音输入信息判断出用户的交互意图为对所述商品对象搜索结果进行操作，则可以根据具体的语音输入信息的识别处理结果，确定用户所需的操作方式信息。例如，具体是需要对搜索结果进行筛选还是刷新，等等。然后，按照所述操作方式信息对所述商品对象搜索结果进行操作处理后，实现对搜索结果的更新。

例如，在根据视觉输入信息展示出一批搜索结果之后，用户可以说“我只想看白色的”，则可以对搜索结果进行筛选，将白色之外的其他颜色的商品对象信息过滤掉之后再进行展示。或者，用户也可以进行负反馈，例如，可以说“我不想要白色的”，则可以将白色过滤掉，只展示其他颜色的商品对象，等等。

需要说明的是，具体在对用户的交互意图进行识别时，可以有多种方式。例如，具体可以在对语音输入信息进行语音识别之后，通过对语音识别结果进行语义理解，然后可以根据于以理解的结果确定出用户的交互意图。其中，具体的语音识别算法以及语义理解算法，并不属于本申请实施例保护的重点，这里不再进行详述。

除了语音输入之外，另一种具体的交互信息可以包括：通过改变采集视角和/或距离的方式，对视觉输入信息进行改变的交互信息。此时，具体在生成第二查询条件数据，具体可以是根据改变后的视觉输入信息对应的识别处理结果，重新进行查询条件数据的构造，以生成所述第二查询条件数据。也就是说，由于视觉输入信息发生了改变，因此，可以直接根据改变后的视觉输入信息对应的识别处理结果，重新构造查询条件数据，以此触发新一轮的检索。

这里需要说明的是，在本申请实施例中，由于视觉输入信息是在连续性实时采集的，因此，具体对视觉输入信息的识别处理操作也可以是一直在进行的，例如，可以每隔几秒钟重新进行关键帧抽取，以及具体的图像识别处理，等等。在每进行一次识别处理之后，都可以将识别处理结果与上一次的识别处理结果进行比对，如果发现存在明显的差异，则可以认为采集的视角或者距离等发生了变化，进而确定用户执行了改变视觉输入信息这种形式的交互，因此，可以触发对查询条件数据的重新构造，以及触发新一轮的检索。

当然，具体实现时，除了语音输入以及上述改变采集视角、距离等方式的交互之外，还可以进行其他形式的交互，例如，包括手势，或者“摇动”终端设备，等等。

需要说明的是，无论是何种形式的交互信息，都可以在一次搜索过程中进行多次，并且每接收到一次交互信息，都可以触发一次查询条件数据重构以及重新检索。因此，本申请实施例中，可以在一次搜索过程中通过交互的方式，多次调整查询条件数据，以此使得搜索结果逐渐接近用户的实际需求。

另外，在具体实现时，在根据交互信息生成第二查询条件数据的过程中，还可以对已经获得的搜索结果中的商品对象信息进行识别处理，以便利用所述商品对象信息对应的识别处理结果以及所述交互信息的识别处理结果，对所述第一查询条件数据进行更改，以生成所述第二查询条件数据。例如，具体的搜索结果中通常可以包括商品对象的图片、视频、文本等多种类型的描述信息。因此，这些信息也可以用来影响新一轮的搜索结果。具体的，可以对搜索结果中的商品对象关联的图像和/或文本描述信息进行识别处理，这样，再结合具体采集到的视觉输入信息，或者语音输入信息，等等，可以进一步体现出多模态的特点，以提升构造出的查询条件数据的质量。

需要说明的是，在一种情况下，如果在对目标物体的视觉信息进行连续性实时采集的状态下，未接收到具体的交互信息，例如，用户没有进行具体的语音输入，也没有明显地改变视觉信息的采集视角或者距离等，则还可以按照目标时间间隔重新根据实时采集到的视觉输入信息发起检索，以便对商品对象搜索结果进行更新。这里需要说明的是，由于具体对视觉输入信息的识别处理是在周期性的重复进行的，理论上讲，不同时刻的视觉输入信息识别处理结果都不是完全相同的(只是相对于上一时刻的识别处理结果产生的变化并没有达到某阈值，因此，没有被认定为执行了改变视觉输入信息的交互)，因此，按照不同时刻的识别处理结果构造出的查询条件数据也不同，相应的，可以得到不同的搜索结果。

另外，具体在视觉信息采集界面上层的展示区域对搜索结果进行展示时，具体搜索结果展示区域的位置可以是固定的，或者，在另一种方式下，由于在对目标物体进行连续性实时采集的过程中提供搜索结果并于用户进行交互，而在此过程中目标物体对应的主体图像在界面中的位置可能会发生变化，因此，在可选的实现方式中，还可以根据目标物体的主体图像在所述界面中的位置，确定所述搜索结果展示区域的位置。例如，如图3-3所示，当识别出目标物体的主体图像在图中所示的位置时，具体的搜索结果展示区域也可以展示在该位置附近。另外，搜索结果展示区域的位置还可以跟随所述主体图像的位置而变化，当主体图像的位置发生变化时，搜索结果展示区域的位置也可以随之发生变化。

另外，具体在搜索结果展示区域中对搜索结果中的多个商品对象进行展示时，还可以在具体的资源位中提供目标功能模块对应的操作选项，以便通过所述操作选项获取对应功能模块提供的信息。也就是说，用户不仅可以从搜索结果展示区域查看到具体符合搜索条件的搜索结果，还可以获得更多功能模块的操作入口，使得搜索结果展示区域还可以起到功能分流的作用。例如，具体的功能模块可以包括用于搜索同款商品对象的功能模块(例如，简称“搜同款”)，用于搜索商品对象相关知识信息的功能模块(例如，简称“搜百科”)，用于搜索商品对象搭配信息的功能模块(例如，简称“搜搭配”)，或者，用于在指定维度上进行搜索的功能模块(例如，简称“搜色彩”等)，等等。

总之，通过本申请实施例，在接收到具体的商品对象搜索请求后，可以在对目标物体的视觉信息进行连续性实时采集的状态下，首先根据采集到的视觉输入信息提供商品对象搜索结果，并且可以接收用户针对所述搜索结果反馈的交互信息，根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。通过这种方式，可以在同一次搜索过程中，通过输入交互信息的方式触发新的检索过程，并实现对商品对象搜索结果的更新，使之更接近用户所需要的状态。因此，可以简化用户操作，缩短搜索路径，从而更高效、准确地提供符合用户意图的搜索结果。

实施例二

在该实施例二中，主要针对本申请实施例提供的第二种实现方式，提供了一种商品对象信息搜索方法，也即，在开始对目标物体的视觉信息进行连续性实时采集之后，可以不是直接给出搜索结果，而是等到用户输入具体的语音输入信息之后，结合视觉输入信息以及语音输入信息，共同进行查询条件数据的构造，并发起检索。这样，使得语音输入信息可以作为视觉输入信息的补充或者修正，构造出的查询条件数据可以更准确地反应用户的诉求。具体的，参见图4，该方法具体可以包括：

S401：接收用户的商品对象搜索请求；

该步骤可以与实施例一中的步骤S201相同，这里不再详述。

S402：在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

在该实施例二中，接收到具体的交互式搜索请求之后，同样可以首先对目标物体的视觉信息进行连续性实时采集，并且可以在该状态下接收用户的语音输入信息。在接收到该语音输入信息之后，再结合视觉输入信息以及语音输入信息，共同进行查询条件数据的构造。其中，对语音输入信息的接收方式也可以有多种，例如，可以在视觉信息采集界面中提供用于开启语音输入的操作选项，或者，还可以在启动视觉输入信息采集之后，自动开启语音输入功能，使得用户可以直接进行语音输入，等等。具体实现时，在该实施例二中，还可以在开始进行视觉信息采集之后，在视觉信息采集界面中提供提示信息，例如提示用户可以通过语音输入的方式输入更多的搜索需求信息，等等。

S403：根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

在接收到具体的语音输入信息之后，可以根据视觉输入信息以及所述语音输入信息，构造查询条件数据。具体实现时，可以通过对所述视觉输入信息进行识别处理，获得第一识别处理结果，通过对所述语音输入信息进行识别处理，获得第二识别处理结果，然后，通过将所述第二识别处理结果映射到所述第一识别处理结果中，构造所述查询条件数据。

具体的，第一识别处理结果可以包括：所述目标物体在多个维度上的属性值。这样，具体在将第二识别处理结果映射到所述第一识别处理结果中时，可以根据所述第二识别处理结果，对其中部分维度上的属性值进行修改，然后根据所述第一识别处理结果以及对所述部分维度上的属性值的修改结果，构造结构化的向量，以作为所述查询条件数据。其中，具体对所述视觉输入信息进行识别处理时，可以对所述视觉输入信息中的图像信息进行识别处理，如果图像中还包括字符，则还可以对所述视觉输入信息中包含的文字进行OCR识别后，对所述OCR识别结果进行自然语言处理。可见，在构造查询条件数据的过程中，可以将图像信息、文本信息、语音输入信息等多模态的信息相结合，因此，有利于提升查询条件数据的质量。

S404：根据所述查询条件数据发起检索，以提供对应的商品对象搜索结果。

在构造出具体的查询条件数据之后，便可以发起具体的检索，并提供对应的商品对象搜索结果。其中，具体实现时，对搜索结果进行展示时可以与实施例一中提供的方案相同，也即，可以在视觉信息采集界面的上层提供搜索结果展示区域，并在该区域中的多个资源位中对搜索结果的摘要信息进行展示。

另外，在展示出上述搜索结果之后，还可以进一步接收到用户针对搜索结果反馈的交互信息，此时，还可以根据所述交互信息重新发起检索，以实现对所述商品对象搜索结果的更新。其中，具体的交互信息的形式以及具体重新检索的触发方式等都可以与实施例一中提供的方案相同，并且，也同样可以发起多次交互，以此不断修正搜索结果，以使得搜索结果逐渐接近用户的实际需求。

总之，通过该实施例二，在接收到搜索请求后，可以开始对目标物体的视觉信息进行连续性实时采集，之后，可以不是直接给出搜索结果，而是等到用户输入具体的语音输入信息之后，结合视觉输入信息以及语音输入信息，共同进行查询条件数据的构造，并发起检索。这样，使得语音输入信息可以作为视觉输入信息的补充或者修正，构造出的查询条件数据可以更准确地反应用户的诉求，相应的，也可以使得搜索结果更符合用户需求。

实施例三

在前述实施例中，主要是针对商品对象信息搜索的场景，提供了将连续性实时采集的视觉信息与语音等交互信息相结合的方式，提供搜索结果并更新。而在实际应用中，在其他的搜索场景中，例如，综合性的搜索引擎系统的搜索场景，或者，对一些图像库(例如，用户手机等终端设备本地保存的照片库等)进行搜索的场景，等等，也可以使用本申请实施例提供的方案，实现具体的信息搜索过程。具体实现时，同样可以先根据视觉信息提供初始的搜索结果，再根据进一步输入的交互信息，重新发起检索，并实现对搜索结果的更新。或者，也可以直接根据视觉信息以及语音输入的信息提供搜索结果，当然，后续也可以根据接收到的更多交互信息对搜索结果进行更新。

因此，该实施例三首先针对上述第一种方式，提供了一种信息搜索方法，参见图5，该方法可以包括：

S501：接收用户的搜索请求；

S502：在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供搜索结果；

S503：接收用户针对所述搜索结果反馈的交互信息；

S504：根据所述交互信息重新发起检索，以更新所述搜索结果。

实施例四

该实施例四同样是针对前述第二种实现方式，提供了另一种信息搜索方法，参见图6，该方法可以包括：

S601：接收用户的搜索请求；

S602：在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

S603：根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

S604：根据所述查询条件数据发起检索，以提供对应的搜索结果。

另外，由于传统的索引库中，通常是以文本标签的形式为具体的信息建立索引，例如，图片索引库中，每个图片可以对应各自的文本标签。而在本申请实施例中，在根据视觉输入信息以及语音输入信息进行查询条件构造，并获得搜索结果的过程中，还可以根据具体的语音输入信息，为索引库中与具体搜索结果对应的信息添加语音标签。例如，对于某图片索引库，具体的图片不仅可以具有文本标签，还可以具有语音标签，这样，具体在通过语音方式对该图片库进行检索时，可以通过与语音标签比对等方式提供搜索结果，而不再需要进行语音识别等处理，以此提升搜索效率。

关于上述实施例二至四中的未详述部分，可以参见实施例一中的记载，这里不再赘述。

需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。

与实施例一相对应，本申请实施例还提供了一种商品对象信息搜索装置，参见图7，该装置可以包括：

第一搜索请求接收单元701，用于接收用户的商品对象搜索请求；

第一搜索结果提供单元702，用于在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供商品对象搜索结果；

第一交互信息接收单元703，用于接收用户针对所述搜索结果反馈的交互信息；

第一搜索结果更新单元704，用于根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。

其中，所述搜索结果更新单元具体可以包括：

查询条件数据更改子单元，用于通过对所述交互信息进行识别处理，对根据所述视觉输入信息构建的第一查询条件数据进行更改，生成第二查询条件数据；

检索重启子单元，用于根据所述第二查询条件数据重新发起检索，以更新所述商品对象搜索结果。

具体的，所述交互信息包括语音输入信息；

所述第一查询条件数据包括结构化的向量，所述向量中包括所述目标物体在多个维度上的属性值，所述多个维度上的属性值是通过对所述视觉输入信息进行识别处理后确定的；

此时，所述查询条件数据更改子单元具体可以用于：

根据语音输入信息的识别处理结果，对所述向量中一个或多个维度上的属性值进行修改，以生成所述第二查询条件数据。

另外，该装置还可以包括：

操作方式确定单元，用于如果根据所述语音输入信息判断出用户的交互意图为对所述商品对象搜索结果进行操作，则确定所需的操作方式信息；

操作处理单元，用于按照所述操作方式信息对所述商品对象搜索结果进行操作处理后，实现对搜索结果的更新。

其中，所述操作方式信息包括：对所述当前搜索结果进行筛选，重新排序，刷新或对进行展示窗口的搜索结果进行批量更换。

另外，所述交互信息包括：通过改变采集视角和/或距离的方式，对所述视觉输入信息进行改变的交互信息；

此时，所述查询条件数据更改子单元具体可以用于：

根据改变后的视觉输入信息对应的识别处理结果，重新进行查询条件数据的构造，以生成所述第二查询条件数据。

另外，该装置还可以包括：

搜索结果识别处理单元，用于对所述搜索结果中的商品对象信息进行识别处理，以便利用所述商品对象信息对应的识别处理结果以及所述交互信息的识别处理结果，对所述第一查询条件数据进行更改，以生成所述第二查询条件数据。

具体的，所述搜索结果识别处理单元具体可以用于：

对所述搜索结果中的商品对象关联的图像和/或文本描述信息进行识别处理。

另外，所述搜索结果更新单元还可以用于：

如果在对目标物体的视觉信息进行连续性实时采集的状态下，未接收到所述交互信息，则按照目标时间间隔重新根据实时采集到的视觉输入信息发起检索，以便对商品对象搜索结果进行更新。

具体的，所述搜索结果提供单元具体可以用于：

对所述视觉输入信息中的图像信息进行识别处理，和/或，对所述视觉输入信息中包含的文字进行光学字符识别OCR识别后，对所述OCR识别结果进行自然语言处理，得到的识别处理结果用于构造查询条件数据，以获得所述商品对象搜索结果。

另外，该装置还可以包括：

搜索结果展示单元，用于在用于对连续性实时采集到的视觉输入信息进行展示的界面上层，提供搜索结果展示区域，所述搜索结果展示区域中包括多个资源位，以用于展示商品对象的摘要信息。

具体的，该装置还可以包括：

展示区域位置确定单元，用于根据目标物体的主体图像在所述界面中的位置，确定所述搜索结果展示区域的位置。

其中，所述搜索结果展示区域的位置跟随所述主体图像的位置而变化。

另外，该装置还可以包括：

操作选项提供单元，用于在所述资源位中展示所述商品对象的摘要信息时，在所述资源位中提供目标功能模块对应的操作选项，以便通过所述操作选项获取对应功能模块提供的信息。

具体的，所述商品对象搜索请求包括：通过移动终端设备关联的第一应用程序发起的商品对象搜索请求，以便通过所述移动终端设备的取景器组件，对目标物体进行连续性的视觉信息实时采集。

或者，所述商品对象搜索请求包括：通过虚拟现实AR眼镜设备关联的第二应用程序发起的商品对象搜索请求，以便通过所述AR眼镜设备对目标物体进行连续性的视觉信息实时采集。

与实施例二相对应，本申请实施例还提供了一种商品对象信息搜索装置，参见图8，该装置可以包括：

第一搜索请求接收单元801，用于接收用户的商品对象搜索请求；

第一语音输入信息接收单元802，用于在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

第一查询条件数据构造单元803，用于根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

第一搜索结果提供单元804，用于根据所述查询条件数据发起检索，以提供对应的商品对象搜索结果。

具体的，所述查询条件数据构造单元可以包括：

第一识别处理子单元，用于通过对所述视觉输入信息进行识别处理，获得第一识别处理结果；

第二识别处理子单元，用于通过对所述语音输入信息进行识别处理，获得第二识别处理结果；

映射子单元，用于通过将所述第二识别处理结果映射到所述第一识别处理结果中，构造所述查询条件数据。

具体的，所述第一识别处理结果包括：所述目标物体在多个维度上的属性值；

所述映射子单元具体可以用于：

根据所述第二识别处理结果，对其中部分维度上的属性值进行修改，根据所述第一识别处理结果以及对所述部分维度上的属性值的修改结果，构造结构化的向量，以作为所述查询条件数据。

具体的，所述第一识别处理子单元可以用于：

对所述视觉输入信息中的图像信息进行识别处理，和/或，对所述视觉输入信息中包含的文字进行光学字符识别OCR识别后，对所述OCR识别结果进行自然语言处理。

另外，该装置还可以包括：

搜索结果更新单元，用于如果在提供所述商品对象搜索结果之后，还接收到用户针对所述搜索结果反馈的交互信息，则根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。

与实施例三相对应，本申请实施例还提供了一种信息搜索装置，参见图9，该装置可以包括：

第二搜索请求接收单元901，用于接收用户的搜索请求；

第二搜索结果提供单元902，用于在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供搜索结果；

第二交互信息接收单元903，用于接收用户针对所述搜索结果反馈的交互信息；

第二搜索结果更新单元904，用于根据所述交互信息重新发起检索，以更新所述搜索结果。

与实施例四相对应，本申请实施例还提供了一种信息搜索装置，参见图10，该装置可以包括：

第二搜索请求接收单元1001，用于接收用户的搜索请求；

第二语音输入信息接收单元1002，用于在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

第二查询条件数据构造单元1003，用于根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

第二搜索结果提供单元1004，用于根据所述查询条件数据发起检索，以提供对应的搜索结果。

具体实现时，该装置还可以包括：

语音标签添加单元，用于根据所述语音输入信息，为索引库中与所述搜索结果对应的信息添加语音标签。

另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。

以及一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。

其中，图11示例性的展示出了电子设备的架构，例如，设备1100可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。

参照图11，设备1100可以包括以下一个或多个组件：处理组件1102，存储器1104，电源组件1106，多媒体组件1108，音频组件1110，输入/输出(I/O)的接口1112，传感器组件1114，以及通信组件1116。

处理组件1102通常控制设备1100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1102可以包括一个或多个处理器1120来执行指令，以完成本公开技术方案提供的方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理部件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。

存储器1104被配置为存储各种类型的数据以支持在设备1100的操作。这些数据的示例包括用于在设备1100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1106为设备1100的各种组件提供电力。电源组件1106可以包括电源管理系统，一个或多个电源，及其他与为设备1100生成、管理和分配电力相关联的组件。

多媒体组件1108包括在设备1100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括一个前置摄像头和/或后置摄像头。当设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括一个麦克风(MIC)，当设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括一个扬声器，用于输出音频信号。

I/O接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1114包括一个或多个传感器，用于为设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到设备1100的打开/关闭状态，组件的相对定位，例如所述组件为设备1100的显示器和小键盘，传感器组件1114还可以检测设备1100或设备1100一个组件的位置改变，用户与设备1100接触的存在或不存在，设备1100方位或加速/减速和设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1116被配置为便于设备1100和其他设备之间有线或无线方式的通信。设备1100可以接入基于通信标准的无线网络，如WiFi，或2G、3G、4G/LTE、5G等移动通信网络。在一个示例性实施例中，通信部件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备1100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1104，上述指令可由设备1100的处理器1120执行以完成本公开技术方案提供的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的商品对象信息搜索方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种商品对象信息搜索方法，其特征在于，包括：

接收用户的商品对象搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供商品对象搜索结果；

接收用户针对所述搜索结果反馈的交互信息；

根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述交互信息重新发起检索，包括：

通过对所述交互信息进行识别处理，对根据所述视觉输入信息构建的第一查询条件数据进行更改，生成第二查询条件数据；

根据所述第二查询条件数据重新发起检索，以更新所述商品对象搜索结果。

3.根据权利要求2所述的方法，其特征在于，

所述交互信息包括语音输入信息；

所述第一查询条件数据包括结构化的向量，所述向量中包括所述目标物体在多个维度上的属性值，所述多个维度上的属性值是通过对所述视觉输入信息进行识别处理后确定的；

所述生成第二查询条件数据，包括：

根据语音输入信息的识别处理结果，对所述向量中一个或多个维度上的属性值进行修改，以生成所述第二查询条件数据。

4.根据权利要求2所述的方法，其特征在于，

所述交互信息包括：通过改变采集视角和/或距离的方式，对所述视觉输入信息进行改变的交互信息；

所述生成第二查询条件数据，包括：

根据改变后的视觉输入信息对应的识别处理结果，重新进行查询条件数据的构造，以生成所述第二查询条件数据。

5.根据权利要求2所述的方法，其特征在于，还包括：

对所述搜索结果中的商品对象信息进行识别处理，以便利用所述商品对象信息对应的识别处理结果以及所述交互信息的识别处理结果，对所述第一查询条件数据进行更改，以生成所述第二查询条件数据。

6.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

在用于对连续性实时采集到的视觉输入信息进行展示的界面上层，提供搜索结果展示区域，所述搜索结果展示区域中包括多个资源位，以用于展示搜索结果中的多个商品对象的摘要信息。

7.一种商品对象信息搜索方法，其特征在于，包括：

接收用户的商品对象搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

根据所述查询条件数据发起检索，以提供对应的商品对象搜索结果。

8.一种信息搜索方法，其特征在于，包括：

接收用户的搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供搜索结果；

接收用户针对所述搜索结果反馈的交互信息；

根据所述交互信息重新发起检索，以更新所述搜索结果。

9.一种信息搜索方法，其特征在于，包括：

接收用户的搜索请求；

在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

根据所述查询条件数据发起检索，以提供对应的搜索结果。

10.一种商品对象信息搜索装置，其特征在于，包括：

第一搜索请求接收单元，用于接收用户的商品对象搜索请求；

第一搜索结果提供单元，用于在对目标物体的视觉信息进行连续性实时采集的状态下，根据采集到的视觉输入信息提供商品对象搜索结果；

第一交互信息接收单元，用于接收用户针对所述搜索结果反馈的交互信息；

第一搜索结果更新单元，用于根据所述交互信息重新发起检索，以更新所述商品对象搜索结果。

11.一种商品对象信息搜索装置，其特征在于，包括：

第一搜索请求接收单元，用于接收用户的商品对象搜索请求；

第一语音输入信息接收单元，用于在对目标物体的视觉信息进行连续性实时采集的状态下，接收语音输入信息；

第一查询条件数据构造单元，用于根据所述连续性实时采集到的视觉输入信息以及所述语音输入信息，构造查询条件数据；

第一搜索结果提供单元，用于根据所述查询条件数据发起检索，以提供对应的商品对象搜索结果。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9任一项所述的方法的步骤。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至9任一项所述的方法的步骤。

Images