CN111078925A - 物品识别和搜索方法、系统以及图像处理设备和介质 - Google Patents

Abstract

本发明公开了物品识别和搜索方法、系统以及图像处理设备和介质。一种物品识别和搜索方法，包括：经由用户的搜索触发动作，向用户提供“搜索”组件；接收到用户对“搜索”组件的触发动作后，向用户提供截取面板以供用户截取所浏览的图片中感兴趣的物品所在的区域而形成截图；向搜索引擎发送搜索请求和所述截图；以及在接收到搜索引擎返回的与感兴趣的物品相关的搜索结果之后，向用户呈现所述搜索结果，其中，所述搜索结果是由搜索引擎经过对所述截图进行特征提取以及针对所提取的特征，在相关的信息数据库中进行搜索而得到的搜索结果。本发明的物品识别和搜索方法与系统能够极大提高搜索效率，为用户提供便捷高效的服务体验。

Description

物品识别和搜索方法、系统以及图像处理设备和介质

技术领域

本发明涉及图像处理领域，尤其涉及物品识别和搜索方法、系统以及图像处理设备和介质。

背景技术

用户在浏览信息时，尤其在浏览图片信息的过程中，可能会对其中的某些信息(例如图片里的物品)感兴趣，想要继续识别和检索，但是因为信息是在图片里，有些信息并不能够很容易和及时地准确识别出来以及用户能够具有足够的信息来进一步检索，或者即便能够最后识别和检索得到，但是需要花费过多的时间精力。

例如，用户在浏览图片的过程中，可能会对图片中的某件物品感兴趣，比如看到明星身上的服装，也想了解或者购买同款服装，这个时候只能去找人询问或者自己在网络上盲目搜索，甚至有时候嫌麻烦直接放弃；而且，经常费时费力表达需求，并不一定能得到解答。另外，网上经常能够看到有人询问某某同款服装/饰品等类似的问题，网络上也有很多某某同款的商品，这充分说明用户对于自己感兴趣的信息有强烈的继续识别和搜索的需求，也充分说明该问题目前没有妥善得当的解决方法，或者说现有的解决方法也比较低效，无法充分满足用户需求。

综上可知，现有技术无法提供高效便捷的技术方案来解决以上问题。

发明内容

为了解决以上问题之一，本发明提供了图像识别和搜索方法、系统以及图像处理设备和介质。

本发明提出一种新的高效便捷的技术方案，用以当用户看到感兴趣的图片时，提供图片识别和搜索能力，而无需用户等待和/或询问，便可即时向用户提供图片中类似物品的搜索结果，以最大可能地帮助用户找到同款物品或相关信息，或者类似的满意的物品及其相关信息，以便满足用户需求。

本发明提供一种物品识别和搜索方法，包括：经由用户的搜索触发动作，向用户提供“搜索”组件；接收到用户对“搜索”组件的触发动作后，向用户提供截取面板以供用户截取所浏览的图片中感兴趣的物品所在的区域而形成截图；向搜索引擎发送搜索请求和所述截图；以及在接收到搜索引擎返回的与感兴趣的物品相关的搜索结果之后，向用户呈现所述搜索结果，其中，所述搜索结果是由搜索引擎经过对所述截图进行特征提取以及针对所提取的特征，在相关的信息数据库中进行搜索而得到的搜索结果。

可选地，在向用户呈现搜索结果之前，对所述搜索结果进行预定处理。

本发明提供一种物品识别和搜索系统，包括：客户端，被配置为：经由用户的搜索触发动作而向用户提供“搜索”组件；在接收到用户对“搜索”组件的触发动作后，向用户提供截取面板以供用户截取所浏览的图片中感兴趣的区域而形成截图；向搜索引擎发送搜索请求和所述截图；以及在接收到搜索引擎返回的搜索结果之后，向用户呈现所述搜索结果，以及搜索引擎，被配置为：对所述截图进行特征提取，并且针对所提取的特征，在相关的信息数据库中进行搜索以得到所述搜索结果。

可选地，所述物品识别和搜索系统还包括服务端，所述服务端被配置为向所述客户端提供服务。

可选地，所述搜索引擎位于所述服务端或者独立于所述服务端。

可选地，所述客户端还被配置为在向用户呈现搜索结果之前，对所述搜索结果进行预定处理。

本发明提供一种数据处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述方法之一。

本发明提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被语音处理设备的处理器执行时，使所述处理器执行上述方法之一。

本发明的物品识别和搜索方法与系统能够极大提高搜索效率，为用户提供便捷高效的服务体验。

通过本发明提供的这样的创新的解决方案，让用户在有这类需求时，不用离开客户端，只需轻轻触发(比如轻轻点击)，便可立刻向用户提供许多类似的物品搜索结果及其相关信息，而无需等待，无需询问，无需用户自己思考搜索词，最大可能最快速地帮助用户找到同款物品及其相关信息，或者类似满意的商品或者相关信息，从而达到了解、购买的目的，满足用户需求。

相比于现有技术，通过本发明提供的技术方案，能够极大地提升用户体验，大大节省用户的宝贵时间，且能最大可能地帮助用户找到想要的物品和/或其相关信息，能够给用户眼前一亮的感觉。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。

图1示出了根据本发明的一个示例性实施例的物品识别和搜索方法的示意性流程图。

图2给出了根据本发明的一个示例性实施例的物品识别和搜索系统的示意性框图。

图3给出了根据本发明的另一个示例性实施例的物品识别和搜索方法的示意性流程图。

图4给出了根据本发明的一个示例性实施例的图像处理设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以按各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。

如前面在背景技术中所述，当用户在网站或者APP(例如UC的手机客户端)上浏览信息(例如图片)时，可能有普通网页、信息流文章、看图模式等场景。

如果用户对正在浏览的信息(例如正在浏览的图片中的物品)感兴趣，希望进一步确认和了解该信息的内容，尤其图片里的信息，例如图片里的物品，目前并没有高效便捷的方法能够满足用户这样的需求。

鉴于此，本发明提供了一种新的高效便捷的物品识别和搜索方法以及相应的系统。

图1示出了根据本发明的一个示例性实施例的物品识别和搜索方法的示意性流程图。

图2示出了根据本发明的一个示例性实施例的物品识别和搜索系统的示意性框图。

以下将参照图1和图2来描述根据本发明的一个示例性实施例的物品识别和搜索方法和系统。

在步骤S101，当用户对浏览的网络信息(例如在客户端101浏览图片，对浏览的图片里的物品)感兴趣时，经由用户的搜索触发动作，向用户提供“搜索”功能组件。

举例说明，当用户对浏览的图片里的物品或商品感兴趣时，可以通过用户的点击或长按该图片之类的触发动作，以使得在弹出的面板中提供“搜索图中物品”之类的组件(例如菜单或对话框等)。

在步骤S102，在用户触发上述的“搜索”功能组件之后，向用户提供截取面板以供用户截取所浏览的图片中感兴趣的区域，例如感兴趣的物品在所浏览的图片中所占的区域。

然后，在步骤S103，在截取操作之后，可以向搜索引擎103发送搜索请求来执行搜索功能。

这里，搜索引擎103可以位于服务端102上，如图2所示。

或者，搜索引擎103也可以在服务端103之外，即，搜索引擎也可以独立于服务端，如图2所示。

可选地，可以由客户端101向服务端102中的搜索引擎103发送搜索请求，也可以由客户端101直接向独立于服务端102的搜索引擎103发送搜索请求和所述截图。

可选地，上述的截取操作之后，也可以通过用户的点击“开始”组件的触发操作来开始搜索用户感兴趣的相关物品，也可以在截取操作完成之后直接开始搜索。

可选地，在搜索相关物品的过程，可以向用户提供搜索进度显示。

可选地，在发送的搜索请求中，可以包括或者附带在步骤S102中由用户截取的截图(例如，上传用户截取的该截图)，其中含有用户感兴趣的物品或信息。

可选地，也可以由客户端101向服务端102发送搜索请求，在服务端102收到来自客户端101的搜索请求后，再向搜索引擎103请求数据。

接着，在步骤S104，搜索引擎103对步骤S103中的搜索请求中包含的截图进行特征提取，并针对提取的特征，在相关的信息数据库中进行搜索，并将搜索到的与感兴趣的物品可能最相似的物品或者其相关信息(例如构造、质地、位置、价格等信息)搜索结果返回。

这里，搜索引擎103得到的搜索结果可以发送给服务端102，再由服务端102发送给客户端。

或者，也可以由搜索引擎103直接将搜索结果发送给客户端101。

在步骤S105，收到搜索引擎103返回的结果后，把搜索结果呈现给用户。

这里，在呈现给用户之前，客户端101可以对返回的搜索结果进行一些所需的预处理(例如，剪辑、美化等)，以便例如更方便或者更美观地展示给用户。

可选地，用户可以在看到展示的搜索结果后，点击感兴趣的物品，更进一步地可以点击了解、收藏、下单、购买等等，以便满足需求。

这里，客户端101、服务端102和/或搜索引擎103之间的通信可以通过网络通信(例如有线网络、无线网络等)、也可以通过点到点的通信等方式来实现，本发明对于实现它们之间通信的方式不作任何限制。

如图2所示，本发明提供一种物品识别和搜索系统100，其可以包括客户端101和搜索引擎103。

其中，客户端101被配置为：经由用户的搜索触发动作而向用户提供“搜索”组件；在接收到用户对“搜索”组件的触发动作后，向用户提供截取面板以供用户截取所浏览的图片中感兴趣的区域而形成截图；向搜索引擎发送搜索请求和所述截图；以及在接收到搜索引擎返回的搜索结果之后，向用户呈现所述搜索结果。

其中，搜索引擎103被配置为：对所述截图进行特征提取，并且针对所提取的特征，在相关的信息数据库中进行搜索以得到所述搜索结果。

另外，所述物品识别和搜索系统还可以包括服务端102，所述服务端102被配置为向所述客户端101提供服务。

可选地，所述搜索引擎103可以位于所述服务端103上或者独立于所述服务端103。

可选地，客户端101还被配置为在向用户呈现搜索结果之前，对由搜索引擎返回的搜索结果进行预定处理。

另外，需要注意，上面所提及的客户端和服务端和/或搜索引擎互相协作和通信来实现本发明的技术方案的方式不是必须的，它们仅仅是为了便于理解起见而举出的一个具体实例。也就是说，本发明不一定必须要使用客户端和服务端分立的方式来实现，而是也可以按照集中式的方式来实现，比如浏览、搜索和呈现功能均在一个实体(例如智能化设备)上实现，而不需要借助另外的实体。也就是说，本发明并不局限于是采用分布式的方式还是集中式的方式来实现。

图3给出了根据本发明的另一个示例性实施例的物品识别和搜索方法的实例性的流程图。

①用户在客户端中浏览图片，包括普通网页、信息流文章、看图模式等场景；

②如果用户对图片中的物品感兴趣，可以长按该图片，在弹出的面板中，点击“搜索图中商品”；

③在截图面板中，截取感兴趣的物品所在图片区域，点击开始搜索(可提供搜索进度)；

④客户端向服务端接口发起请求，上传用户的截图区域；

⑤服务端接口收到请求后，向特定的商品搜索引擎接口请求数据；

⑥搜索引擎接口对上传的图片进行特征提取，返回最为相似的搜索结果数据；

⑦服务端收到搜索引擎的结果后，通过HTTP协议，把搜索结果返回给客户端，客户端将商品结果展示给用户；

⑧用户可以在搜索结果页，点击感兴趣的商品，点击了解、收藏、下单、购买等等，满足需求，从而结束流程。

在本发明中，结合用户参与，利用客户端中用户所见的图片，便可即时搜索出类似物品及其相关信息，而且其实现只需一套非常便捷的交互流程，例如“长按图片+点击选项+截取图片+发起搜索”，大大提升了用户体验。

本发明的物品识别和搜索方法与系统能够极大提高搜索效率，为用户提供便捷高效的服务体验。

通过本发明提供的这样的创新的解决方案，让用户在有这类需求时，不用离开客户端，只需轻轻触发(比如轻轻点击)，便可立刻向用户提供许多类似的物品搜索结果及其相关信息，而无需等待，无需询问，无需用户自己思考搜索词，最大可能最快速地帮助用户找到同款物品及其相关信息，或者类似满意的商品或者相关信息，从而达到了解、购买的目的，满足用户需求。

相比于现有技术，通过本发明提供的技术方案，能够极大地提升用户体验，大大节省用户的宝贵时间，且能最大可能地帮助用户找到想要的物品和/或其相关信息，能够给用户眼前一亮的感觉。

图4示出了根据本发明的一种实施方式的图像处理设备的结构示意图。

参见图4，图像处理设备1包括存储器10和处理器20。

处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器10上存储有可处理代码，当可处理代码被处理器20处理时，可以使处理器20执行上文述及的方法之一。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法中任何一种方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种物品识别和搜索方法，其特征在于，包括：

经由用户的搜索触发动作，向用户提供“搜索”组件；

接收到用户对“搜索”组件的触发动作后，向用户提供截取面板以供用户截取所浏览的图片中感兴趣的物品所在的区域而形成截图；

向搜索引擎发送搜索请求和所述截图；以及

在接收到搜索引擎返回的与感兴趣的物品相关的搜索结果之后，向用户呈现所述搜索结果，

其中，所述搜索结果是由搜索引擎经过对所述截图进行特征提取以及针对所提取的特征，在相关的信息数据库中进行搜索而得到的搜索结果。

2.根据权利要求1所述的物品识别和搜索方法，其特征在于，在向用户呈现搜索结果之前，对所述搜索结果进行预定处理。

3.一种物品识别和搜索系统，其特征在于，包括：

客户端，被配置为：

经由用户的搜索触发动作而向用户提供“搜索”组件；在接收到用户对“搜索”组件的触发动作后，向用户提供截取面板以供用户截取所浏览的图片中感兴趣的区域而形成截图；

向搜索引擎发送搜索请求和所述截图；以及

在接收到搜索引擎返回的搜索结果之后，向用户呈现所述搜索结果，以及

搜索引擎，被配置为：

对所述截图进行特征提取，并且针对所提取的特征，在相关的信息数据库中进行搜索以得到所述搜索结果。

4.根据权利要求3所述的物品识别和搜索系统，其特征在于，所述物品识别和搜索系统还包括服务端，所述服务端被配置为向所述客户端提供服务。

5.根据权利要求4所述的物品识别和搜索系统，其特征在于，其中所述搜索引擎位于所述服务端或者独立于所述服务端。

6.根据权利要求3所述的物品识别和搜索系统，其特征在于，所述客户端还被配置为在向用户呈现搜索结果之前，对所述搜索结果进行预定处理。

7.一种图像处理设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～2中任何一项所述的方法。

8.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被图像处理设备的处理器执行时，使所述处理器执行如权利要求1～2中任何一项所述的方法。

Images