CN109962975A - 基于物体识别的信息推送方法、装置、电子设备及系统 - Google Patents

Abstract

本发明公开了一种基于物体识别的信息推送方法、装置、电子设备及系统，该方法包括：将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联；服务器获取所述用户终端通过所述客户端的所述物体供应商的用户界面发送的包含物体的待识别图像；所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果；所述服务器根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。本方法利用深度学习的图像识别算法，直接通过物体图像识别对物体进行识别，以物体信息为基础向用户推送物体相关资料。另外，利用深度学习还可以向用户提供更丰富、更具有个性化的信息，大大提高了用户体验。

Description

基于物体识别的信息推送方法、装置、电子设备及系统

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种基于物体识别的信息推送方法、装置、电子设备及系统。

背景技术

在日常生活中，人们通常都是通过阅读说明书来了解一件产品或者商品的功能、操作方法等。随着电子信息技术发展，纸质说明书凸显出环境污染、资源浪费、不便查阅、不利于保存、更新和维护的缺点，越来越多的产品开始采用电子说明书。然而，现在的电子说明书功能和形式都比较单一且固定，用户体验不佳。

发明内容

有鉴于此，本发明提出了一种基于物体识别的信息推送方法、装置及系统。

第一方面，本发明实施例提供了一种基于物体识别的信息推送方法，该方法包括：将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联；服务器获取所述用户终端通过所述客户端的所述物体供应商的用户界面发送的包含物体的待识别图像；所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果；所述服务器根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

第二方面，本发明实施例提供了一种基于物体识别的信息推送方法，该方法包括：用户终端获取物体的待识别图像；所述用户终端将所述待识别图像通过用户终端的客户端的所述物体供应商的用户界面发送给服务器，服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询与所述物体对应的关联信息；所述用户终端通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

第三方面，本发明实施例提供了一种基于物体识别的信息推送方法，该方法包括：服务器将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联；用户终端获取物体的待识别图像，并将所述待识别图像通过所述客户端的所述物体供应商的用户界面发送给所述服务器；所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询所述物体对应的关联信息；所述用户终端通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

第四方面，本发明实施例提供了一种基于物体识别的信息推送装置，该装置应用于服务器，所述装置包括关联建立模块、第一获取模块、第一识别模块以及第一推送模块。所述关联建立模块用于将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联。所述第一获取模块用于获取所述用户终端通过所述客户端的所述物体供应商的用户界面发送的包含物体的待识别图像。所述第一识别模块用于利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果。所述第一推送模块用于根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

第五方面，本发明实施例提供了一种基于物体识别的信息推送装置，该装置应用于用户终端，所述装置包括第二获取模块、第二发送模块以及第二显示模块。所述第二获取模块用于获取物体的待识别图像。所述第二发送模块用于将所述待识别图像通过用户终端的客户端的所述物体供应商的用户界面发送给服务器，所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询与所述物体对应的关联信息。所述第二显示模块用于通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

第六方面，本发明实施例提供了一种基于物体识别的信息推送系统，所述信息推送系统包括用户终端和服务器。所述用户终端用于获取物体的待识别图像，并将所述待识别图像通过所述客户端的所述物体供应商的用户界面发送给所述服务器。所述服务器用于利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

第七方面，本发明实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；一个或多个应用程序；其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行本申请任意实施例提供的基于物体识别的信息推送的方法。

第八方面，本发明实施例提供了一种计算机可读取存储介质，计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行本申请任意实施例提供的基于物体识别的信息推送的方法。

相对于现有技术，本发明实施例提出了一种基于物体识别的信息推送方法、装置、电子设备及系统，该方法将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联；服务器获取所述用户终端通过所述客户端的所述物体供应商的用户界面发送的包含物体的待识别图像；利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果；根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。本方法利用深度学习的图像识别算法，直接通过物体图像识别对物体进行识别，以物体信息为基础向用户推送物体相关资料，用户只需要获取物体的图像就可以得到与物体相关的信息，不需要再去查找，另外，利用深度学习还可以向用户提供更丰富、更具有个性化的信息；且对物体进行识别后可以向特定用户推送物体相关资料，避免了无关用户同时接收不需要的相关资料，大大提高了用户体验。

为使本发明的上述目的、特征和优点能够更明显易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种网络系统的环境示意图；

图2示出了本申请一实施例提出的一种基于物体识别的信息推送方法流程图；

图3示出了本申请一实施例提出的用户终端与物体供应商的沟通渠道示意图；

图4示出了本申请一实施例提出的物体识别网络模型的训练过程流程图；

图5示出了本申请另一实施例提出的一种基于物体识别的信息推送方法流程图；

图6示出了本申请再一实施例提出的一种基于物体识别的信息推送方法流程图；

图7示出了本申请再一实施例提出的一种基于物体识别的信息推送方法的一种时序图；

图8示出了图7所示实施例中第一帐号与第二帐号成功建立关联的界面图；

图9示出了图7所示实施例中第一帐号接收关联信息的界面示意图；

图10示出了图7所示实施例中第一帐号从关联信息中选取目标关联信息的界面示意图；

图11示出了本申请实施例提出的一种基于物体识别的信息推送装置的结构框图；

图12示出了本申请实施例提出的一种基于物体识别的信息推送装置的结构框图；

图13示出了本申请实施例提出的一种基于物体识别的信息推送系统的结构示意图；

图14示出了本申请实施例提出的用于执行根据本申请实施例的基于物体识别的信息推送方法的电子设备的结构框图；

图15示出了本申请实施例提出的用于保存或者携带实现根据本申请实施例的基于物体识别的信息推送方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为了便于详细说明本申请方案，下面先将结合附图对本申请所应用环境进行介绍。

本发明下述实施例如无特别说明均可应用于如图1所示的环境10中，该环境10可以包括用户终端11和服务器12。

服务器12通过有线或无线网络与用户终端11连接、其中，用户终端11可以包括：PC(personal computer)电脑、平板电脑、手机、笔记本电脑、智能电视、机顶盒、车载终端、移动互联网设备(MID，mobileinternet device)、智能穿戴式设备或其他类型的终端设备。

本发明实施例中用户终端11可以安装有网页浏览器或应用客户端，所述客户端可以是应用程序客户端，也可以是网页客户端，在此不作限定，另外终端设备可以是任何具备通信和存储功能的设备。本发明实施例中，用户终端11和服务器12能够通过通信网络直接连接。用户终端11和服务器12可以在WIFI(无线保真)网络、2G/3G/4G/5G网络或局域网中建立通信连接。

本发明实施例中用户终端11可以通过不同的即时通信客户端与服务器12进行信息交互，这些即时通信客户端携带有用户的个人信息，例如，个人信息可以包括用户的手机号码、身份信息、用户名、家庭地址、邮箱地址以及其他一些个人信息。

本实施例中的服务器12可以包括WEB服务器、验证服务器等多个服务器12，也可以是一个服务器12。

目前消费者在购买到物品以后难以长期保管物品说明书，在不需要说明书的时候无处安放，在需要的时候却无法及时获取，另外物品生产制造商经过多层分销后难以接触到物品的终端消费者，这也导致终端消费者无法与供应商建立沟通渠道。

本申请利用深度学习的图像识别技术对图像中的物品进行识别，辨别出图像中的物品种类，利用这个结果推送物品售后使用和维护的信息，用户可以简单方便的与制造商进行沟通，很大程度上可以增强用户的体验。信息推送是一项以数据挖掘、自然语言处理以及互联网等多门技术为基础的综合性方向。将合适的信息推送给合适的人，是一项极具挑战的工作，这个过程需要对信息作充分的分析，并对人的兴趣行为做细致的刻画，并对两者进行有效匹配。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟忍耐进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。

下面将结合附图具体描述本申请的各实施例。

请参阅图2，本申请一实施例提出的一种基于物体识别的信息推送方法，该方法包括：

步骤S110：将用户终端的客户端的第一帐号与物体供应商在客户端中对应的第二帐号建立关联。

用户可以通过用户终端的客户端的第一帐号将包含物体的待识别图像发送给服务器，也可以事先与物体的供应商在客户端中对应的第二帐号进行绑定(通过关注等方式)，建立联系，即用户终端可以通过所述物体供应商的用户界面上传待识别图像到服务器。

在另一些实施例中，也可以在所述服务器获取到所述物体识别结果之后，将所述用户终端的客户端的第一帐号与物体的供应商在客户端中对应的第二帐号建立关联。而将所述用户终端的客户端的第一帐号与所述物体的供应商在客户端中对应的第二帐号建立联系可以包括：向所述用户终端的客户端发送所述物体的供应商在客户端中对应的第二帐号；当获取到所述用户终端针对所述第二帐号进行的关联操作时，将所述用户终端的客户端的第一帐号与所述物体的供应商在客户端中对应的第二帐号建立关联。当所述服务器检测到所述物体的供应商在客户端中对应的第二帐号有所述物体对应的关联信息更新时，将更新的关联信息发送给所述用户终端的客户端的第一帐号。

步骤S120：服务器获取用户终端通过客户端的物体供应商的用户界面发送的包含物体的待识别图像。

如果用户终端的客户端的第一帐号与物体的供应商在客户端中对应的第二帐号建立关联是通过即时通信客户端建立的，所述关联即为沟通渠道。用户终端可通过即时通信客户端发送待识别图像。如图3所示，通过图3可知，即时通信客户端可以包括微信、微博、Line、手机彩信、QQ号、小米帐号以及Facebook帐号等。从图3可以看出如果用户使用的即时通信客户端工具是微信那么需要通过微信公众号与供应商建立联系；如果用户使用的即时通信客户端是微博那么需要通过微博与供应商建立联系；如果用户使用的即时通信客户端是Line那么需要通过Line与供应商建立联系；如果用户使用的即时通信客户端是手机彩信那么需要通过手机彩信与供应商建立联系；如果用户使用的即时通信客户端是QQ号那么需要通过QQ服务号与供应商建立联系；如果用户使用的即时通信客户端是小米帐户那么需要通过网站与供应商建立联系；如果用户使用的即时通信客户端是Facebook那么需要通过Facebook专页与供应商建立联系。

用户购买或者通过其他渠道获得物体后，可以在物体说明书中查找如何与供应商通过即时通信客户端建立联系，例如，供应商可以将其微信公众号打印在物体说明书中，当用户获取到物体后就可以获取到相应的供应商的微信公众号，用户可以手动关注所述微信公众号也可以通过扫描关注，具体如何进行关注这里就不进行详细描述，用户关注供应商公众号以后就和供应商建立起了关联。

包含物体的待识别图像可以由用户终端采集获得，也是用户终端本地存储的或者从网络下载的包含物体的待识别图像，这里不做限制。

需要说明的是，所述包含物体的待识别图像，不仅可以是包含物体的待识别图片，还可以是包含物体的视频图像，所述视频图像主要根据待识别物体拍摄的。

步骤S130：服务器利用深度学习对待识别图像进行识别，获取到物体的识别结果。

服务器在获取到待识别图像后，可以利用预先建立的模型对待识别图像进行识别。本实施例中服务器预先建立有训练好的模型，具体的训练过程可以如图4所示。

步骤S131：构建数据集获取一批包含物体的图像。

所述服务器获取所述物体在不同光照环境下的参考图像，并根据所述参考图像构建数据集。所述数据集可以通过手动拍摄获取，也可以利用网络爬虫从互联网中获取分类目标不同尺度、位置、光照下的图片数据集，并将相关图片自动转换成固定尺寸、固定格式的图片，例如，将相关图片自动转换成32*32的jpg图片。根据深度学习的要求，本申请实施例的每个分类目标可以采集一万张以上的图片数据以获得较好的效果。需要说明的是，如果构建的数据集不足，可以通过图像处理获取更多的数据集，例如，可以对已经构建的数据集进行滤波、加噪等处理。

步骤S132：分别标注出所述图像中物体的种类和位置。

利用标注工具将图片数据集转换成一定格式的XML文件，目前最常用的标注工具是Labelmg，用户可以根据自己的需求选择合适的工具，另外XML的格式可以和PASCAL VOC的格式相同。利用标注工具对图像进行标注之前对数据集中的物体进行一个明确的分类，例如，智能家居数据集通常包含冰箱、洗衣机、电视以及空调等，在进行标注的时候不仅要明确数据集物体的分类，还要明确如何进行标注以及明确如果遇到不规则物体的时候应该如何进行标注，目前存在的标注工具主要以矩形框为主，通过标注以后就可以自动获取到物体在图像中的位置。

需要说明的是，本实施例在进行标注的时候，对物体的类别进行标注的同时，还可以对物体的属性进行一定的标注，例如，可以对智能家居的型号或者厂家进行标注，具体选择哪种属性进行标注这里就不进行明确的限制。

步骤S133：用带有标注的图像训练物体识别的网络模型。

所述服务器通过所述数据集构建所述物体识别的网络模型，即将带有标注的图像输入到神经网络中进行训练，所述带有标注的图像包括图像数据集和文本数据集，所述图像数据集可以是JPG格式，主要是获取的图像数据集，而文本数据集则是通过标注获取的XML文件，其主要存储的是标注信息，即物体的类别、位置信息以及其他属性信息。

利用带有标注的图像训练深度学习物体检测模型可以包括：使用多层卷积神经网络提取图像的特征；把图像特征再次分块，提取多个候选区域；计算分类错误的损失函数，迭代更新网络参数。本实施例可以通过FasterR-CNN、YOLO、SSD等检测算法将图像中的检测出来，然后通过AlexNet/VGG16/GoogLeNet/ResNe等多层卷积神经网络提取物体图像的特征。本实施例的多层卷积神经网络为一些列的卷积、激励、池化和全连接等过程，即先将图像输入到卷积层对物体图像的特征进行一步步的抽取得到目标特征图，通过池化层对获取到的目标特征进行进一步的特征提取，避免获取到的特征产生过拟合现象，常用的池化方法有一般池化、最大池化和平均池化。在多层卷积神经网络的最后加入全连接层用来将前面提取的特征综合起来，其在整个卷积神经网络中起到“分类器”的作用。由此经过卷积、池化与全连接就可以提取到图像的特征。

将多层卷积神经网络获取图像特征进行再次分块，在分块后的图像特征中提取多个候选区域，所述候选区域主要是待识别物体所在的区域，将所述候选区域提取出来并将其用于物体图像的识别，候选区域的个数可以根据具体情况进行提取，例如，本实施例中将图像特征分块后可提取200-3000个候选区域。

损失函数用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，通常损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构函数重要组成部分，模型的结果风险函数包括经验风险项和正则项。

本实施例中所述损失函数为分类函数，其主要由正样本的平均损失和负样本的平均损失叠加产生，常见的损失函数有对数损失函数、平方损失函数、指数损失函数、Hinge损失函数、0-1损失函数以及绝对值损失函数等，需要说明的是，所述平方损失函数也叫最小二乘法，其是线性回归的一种也是损失函数最常用的一种。

通过不断重复步骤S133迭代更新网络参数，直到损失函数达到理想状态，或者迭代次数达到最大时，获取到最理想的物体的识别网络模型。

步骤S134：将训练好的网络模型进行保存。

通过步骤S133的不断训练与学习获取到最优网络模型，将所述最优网络模型存储于服务器上，另外，所述最优网络模型不是固定不变的，而是在一种特定情况下是最优的，当数据集增多或者神经网络参数发生改变时所述最优网络模型也会发生改变。

当服务器获取到待识别图像后，可以利用上述训练好的网络模型对待识别图像进行识别，具体的识别过程可以包括：将待识别图像输入到训练好的网络模型中进行识别；输出物体的识别结果。服务器将获取到的待识别图像输入到图4的步骤S133获取的网络模型中进行识别，所述物体识别的网络模型存储于服务器中。

本实施例通过训练好的模型可以自动对输入的待识别图像进行识别，如此可以获取到待识别图像中物体的类别。例如，服务器接收到一张包含冰箱的图像，将所述图像输入到训练好的网络模型中，所述训练好的网络模型可以自动对所述物体进行识别，并将识别结果输出，通常输出的结果可以是物体的类别、物体的概率或者物体的其他属性。例如，物体的型号、物体所述的供应商或者物体的生产日期等。

另外，如果用户终端输入一张图像后无法获取到识别结果或者识别到的结果是完全错误的，其原因可能是构建数据集时没有构建所述类别或者构建数据集时所述类别的数据量太少，导致多层卷积神经网络没有获取到足够的特征，无法对所述类别的图像进行识别。例如，在构建数据集的时候如果没有包含电视图像的数据集或者电视图像的数据集很少，那么获取到的物体检测模型就不能对输入的电视图像进行正确有效的识别。另外，如果用户终端上传的物体图像不是对应的供应商所提供的，也是无法对其进行识别的或者识别的结果是错误。

需要说明的是，在物体识别方面用户可以手动输入物体信息，也可以通过二维码、小程序码、商标或者物体图案等标志对物体进行识别，具体使用哪种方式这里不做明确限制。

步骤S140：服务器根据识别结果查询与物体对应的关联信息，并将关联信息发送给第一帐号，以使其显示于与第一帐号相关联的第二帐号的用户界面。

服务器利用深度学习获取到物体的识别结果后，可以根据该识别结果查找与其对应的关联信息，本实施例中一个识别结果对应一个关联信息，因此识别结果和关联信息通过一一对应的关系存储器服务器中，获取到识别结果后就可以获取到其对应的关联信息。服务器获取到物体对应的关联信息后可以将该关联信息发送给用户终端对应的第一帐号上，这是第一帐号获取的关联信息可以是一个关联信息类型选择列表，用户获取到该列表后，可以根据自身需求进行选择目标关联信息类型，用户选择以后用户终端上就会显示与第一帐号相关联的第二帐号的用户界面，换句话说，第二帐号提供的用户界面就可以被第一帐号对应的用户查阅。

另外，在构建数据集的时候，每个物体类别对应一个关联信息，所述物体关联信息存储于物体数据库中，该物体数据库用于存储不同物体的关联信息。所述关联信息不是固定不变的，而是可以根据用户喜好随时进行调整的，同时也可以根据物体的不断更新对其所述关联信息进行调整，详细情况这里就不在进行赘述了。

利用步骤S130可以获取待识别图像的识别结果，利用所述识别结果查询与所述物体对应的关联信息，在步骤S131构建数据集的时候，已对物体和物体的关联信息进行了一一对应的处理，因此获取到物体的类别就可以通过查找获取到所述物体对应的关联信息，即服务器可以根据识别结果查询与所述物体对应的关联信息。获取到物体对应的关联信息后服务器将所述关联信息以列表的形式发送给用户终端的客户端的第一帐号，以使其现实于与第一帐号相关联的第二帐号的用户界面。

服务器根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述用户终端对应的第一帐号后，还包括：所述服务器根据所述识别结果，向所述第一帐号发送关联信息类型选择请求，以使所述第二帐号的所述用户界面显示与所述识别结果对应的关联信息类型。接收所述用户终端通过所述客户端的所述物体供应商的用户界面发送的目标关联信息类型，根据所述识别结果查询与所述物体对应且属于所述目标关联信息类型的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

上述关联信息类型包括电子资源的链接URL、网页地址或网址或在线视频网址、直接下发的电子文档或图片或视频文件、客户服务的联系信息以及由用户指定的其他信息等。所述电子资源的链接URL指向一个电子文档，这个电子文档可以是PDF格式、Word格式或者TXT格式，所述电子资源的链接URL也可以指向一些图片文件或者视频文件。所述电子资源、图像或视频文件可以是物体的说明书、物体的安装视频、物体的使用教学以及物体的保修记录等。另外，客户服务的联系方式可以包括电话号码、手机号码、邮寄地址、社交媒体信息等，所述社交媒体信息包括微信、微博、QQ、Line、Facebook以及whatsup等。

本申请实施例提出了一种基于物体识别的信息推送方法，服务器先将用户终端的客户端的第一帐号与物体供应商在客户端中对应的第二帐号建立关联，然后在此关联的基础上服务号可以获取用户终端通过客户端的物体供应商的用户界面发送的包含物体的待识别图像，接着服务器可以利用深度学习对接受到的该待识别图像进行识别，进而获取到物体的识别结果，最后服务器可以根据该识别结果查询与物体对应的关联信息，并将该关联信息发送给用户终端对应的第一帐号上，以使其显示与第一帐号相关联的第二帐号的用户界面。本方法利用深度学习的图像识别算法，直接通过物体图像识别对物体进行识别，以物体信息为基础向用户推送物体相关资料，用户只需要获取物体的图像就可以得到与物体相关的信息，不需要再去查找，另外，利用深度学习还可以向用户提供更丰富、更具有个性化的信息，大大提高了用户体验。

请参阅图5，本申请另一实施例提出的一种基于物体识别的信息推送方法，该方法包括：

步骤S210：用户终端获取物体的待识别图像。

用户终端获取物体的待识别图像，所述待识别图像可以通过拍摄设备进行拍摄，所述拍摄设备可以是摄像头；以及相机、手机、平板电脑等带有摄像头的各种设备；且其拍摄的对象可以为用户进行识别的物体的适用对象，比如空调、电视、洗衣机等。所述待识别图像还可以直接从电子设备的图像库中获取，换句话说，所述待识别图像可以通过拍摄设备直接获取，也可以在电子设备的图像库中获取，这两种获取待识别的图像方式各有利弊，在这里不做明确的限定，用户可以根据自己的实际情况进行选择。

用户终端获取物体的待识别图像后获取所述物体的供应商在客户端中对应的第二帐号信息，所述第二帐号信息可以在供应商提供的说明书中查找，也可以通过搜索软件进行查找。例如，供应商可以将第二帐号信息打印在物体说明书中，当用户获取到物体后就可以获取到相应的供应商在客户端中对应的第二帐号信息，用户可以手动关注所述第二帐号也可以通过扫描关注，具体如何进行关注这里就不进行详细描述，用户关注供应商在客户端中对应的第二帐号以后就和供应商建立起了关联。

用户终端响应针对所述第二帐号进行的关联操作，将所述关联操作发送给服务器，所述服务器将所述用户终端的客户端的第一帐号与所述物体的供应商在所述客户端中对应的第二帐号建立关联。

步骤S220：用户终端将待识别图像通过用户终端的客户端的物体供应商的用户界面发送给服务器，服务器利用深度学习对待识别图像进行识别，获取到物体的识别结果，根据识别结果查询与物体对应的关联信息。

步骤S230：用户终端通过客户端的第一帐号接收关联信息，并使其显示于与第一帐号相关联的客户端的第二帐号的用户界面。

用户终端的客户端的第一帐号接收服务器发送的关联信息类型选择请求后，用户可以根据用户终端显示的关联信息类型选择目标关联信息类型。当用户做出选择后，第一帐号将所述目标关联信息类型发送至服务器，服务器根据所述识别结果查询与所述物体对应且属于所述目标关联信息类型的关联信息。用户终端接收并显示服务器发送的所述关联信息，用户根据所述关联信息完成对物体的进一步了解。

需要说明的是，用户终端接收到所述关联信息后可以根据需求将用户信息与物体进行绑定，所述用户信息可以为身份信息，绑定以后，用户终端可以收到更多和物体相关的信息。例如，兴趣论坛、联动方案、售后维修以及硬件设备系统更新监控，所有即时通信客户端上的物体相关的信息都可以共享。

请参阅图6，本申请再一实施例提出的一种基于物体识别的信息推送方法，本实施例以用户终端与服务器之间的交互为主描述本方法，该方法可以包括一下步骤：

步骤S301：服务器将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联。

步骤S302：用户终端获取物体的待识别图像，并将待识别图像通过客户端的物体供应商的用户界面发送给服务器。

所述用户终端获取物体的待识别图像，并将所述待识别图像通过所述客户端的所述物体供应商的用户界面发送给服务器之前包括：获取所述物体的供应商在所述客户端中对应的第二帐号信息，并将所述用户终端的客户端的第一帐号与所述物体的供应商在所述客户端中对应的第二帐号建立关联。

步骤S303：服务器获取用户终端通过客户端的物体供应商的用户界面发送的包含物体的待识别图像。

步骤S304：服务器利用深度学习对待识别图像进行识别，获取到物体的识别结果。

步骤S305：服务器根据识别结果，向第一帐号发送关联信息类型选择请求，以使第二帐号的用户界面显示与识别结果对应的关联信息类型。

步骤S306：用户终端通过客户端的物体供应商的用户界面发送目标关联信息类型至服务器。

步骤S307：服务器根据识别结果查询与物体对应且属于目标关联信息类型的关联信息。

步骤S308：用户终端通过客户端的第一帐号接收关联信息，并使其显示于与第一帐号相关联的客户端的第二帐号的用户界面。

本实施例中可以利用深度学习实现对物体的识别，即用户终端的客户端的第一帐号将获取的物体图像上传至服务器，服务器可以利用深度学习对物体图像进行识别，并利用所述识别结果查询物体的关联信息，用户终端的客户端的第一帐号获取到所述关联信息后可以根据需求选取所需的物体信息。另外供应商可以根据用户的需求进行后续的跟进，例如，供应商对应的第二帐号可以根据用户需求即时向用户终端对应的第一帐号发送物体的更新信息、维修信息或者物体相关的其他信息。

图7为本实施例提供的一种基于物体识别的信息推送方法的一种时序图，本实施例中以用户终端运行于电子设备上的即时通信客户端为例进行说明。下面将结合图6和图7本实施例进行更进一步的详细说明。

假设用户获取到某物品后，先获取到供应商在客户端中对应的第二帐号，将用户终端的客户端的第一帐号与物品的供应商在客户端中对应的第二帐号建立关联，图8示出图7所示实施例中第一帐号与第二帐号成功建立关联的界面图，从图8可以看出用户在获取到供应商的第二帐号后，可以通过即时通信将用户终端的客户端的第一帐号与物体供应商在客户端中对应的第二帐号建立联系，建立联系成功后服务器可以向第一帐号发送一个关联成功信息，所述关联成功信息可以根据用户需求进行设定。例如，可以将其设置为“欢迎使用，请根据需求选择以下三个菜单栏，我们将随时为您服务”。

用户终端第一帐号通过上述关联将包含物品的待识别图像发送至服务器，服务器接收到第一帐号发送的包含物体的待识别图像后，利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，并利用所述识别结果查询与所述物体对应的关联信息，并将获取到的关联信息发送至用户终端的第一帐号。图9示出了图7所示实施例中第一帐号接收关联信息的界面示意图。所述关联信息可以为服务器发送的关联信息类型选择请求，可以包括物品说明书、物品安装视频、物品使用教学、物品保修记录、物品故障咨询等，所述关联信息具体包括哪些内容这里不做明确限制，可以根据用户喜好进行增删。

用户终端的客户端的第一帐号接收到上述关联信息类型选择请求后可以选择目标关联信息类型，如图10所示。服务器可以根据第一帐号发送的请求查询与物品对应且属于目标关联信息类型的关联信息，并将所述关联信息发送至用户终端的客户端的第一帐号。例如，用户选择的是说明书，则服务器就将说明书相关的信息发送至第一帐号。

另外，所述用户终端接收并显示与所述物体对应的关联信息后可以包括：用户终端的客户端的第一帐号根据所述关联信息选择目标关联信息；或者所述用户终端的客户端的第一帐号将所述物体与所述用户终端的身份信息进行绑定，进一步获取物体的关联信息，即供应商对应的第二帐号可以即时发送更新的关联信息至第一帐号。

本申请实施例提出了一种基于物体识别的信息推送方法，服务器和终端设备通过相互协调而完成信息的推送，即本方法利用深度学习的图像识别算法对物体进行识别，并以物体信息为基础向用户推送物体相关资料，用户只需要获取物体的图像就可以得到与物体相关的信息，不需要再去查找。另外，服务器利用深度学习还可以向用户提供更丰富、更具有个性化的信息，大大提高了用户体验。

请参阅图11，本申请实施例提出的一种基于物体识别的信息推送装置400，运行于服务器，该装置包括关联建立模块410，第一获取模块420，第一识别模块430，第一推送模块440。

关联建立模块410，用于将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联。

第一获取模块420，用于获取所述用户终端通过所述客户端的所述物体供应商的用户界面发送的包含物体的待识别图像。

第一识别模块430，用于利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果。

利用深度学习对待识别图像进行识别，获取到物体的识别结果之前第一识别模块430可以先获取物体在不同光照环境下的参考图像，并根据参考图像构建数据集，然后通过数据集构建物体识别的网络模型，并将网络模型存储起来。

第一推送模块440，用于根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

第一推送模块440可以根据识别结果向所述第一帐号发送关联信息类型选择请求，以使所述第二帐号的所述用户界面显示与所述识别结果对应的关联信息类型。另外，第一推送模块440可以接收所述用户终端通过所述客户端的所述物体供应商的用户界面发送的目标关联信息类型，根据所述识别结果查询与所述物体对应且属于所述目标关联信息类型的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

本实施例中物体对应的关联信息存储于物体数据库中，而该物体数据库用于存储不同物体的关联信息，所述关联信息可以以列表的形式发送至用户终端的第一帐号。

以上各模块可以是由软件代码实现，此时，上述的各模块可存储于服务器的存储器内，以上各模块同样可以由硬件例如集成电路芯片实现。

本实施例对基于物体识别的信息推送装置400的各功能模块实现各自功能的具体过程，请参阅图1至图10所示实施例中描述的具体内容，在此不再赘述。

本实施例提供的基于物体识别的信息推送装置，可以实时向用户发送物体的使用技巧与维护技巧，且可以根据时间或社会热点推送物体相关信息，本实施例装置同时可以在用户需要的时候，直接就物体的使用和维护问题进行沟通。

请参阅图12，本申请实施例提出的一种基于物体识别的信息推送装置500，运行于用户终端，该装置包括第二获取模块510，第二发送模块520，第二显示模块模块530。

第二获取模块510，用于获取物体的待识别图像。

第二获取模块510还用于获取所述物体的供应商在所述客户端中对应的第二帐号信息。同时可以响应针对所述第二帐号进行的关联操作，将所述关联操作发送给服务器，所述服务器将所述用户终端的客户端的第一帐号与所述物体的供应商在所述客户端中对应的第二帐号建立关联。

第二发送模块520，用于将所述待识别图像通过用户终端的客户端的所述物体供应商的用户界面发送给服务器，所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询与所述物体对应的关联信息。

第二显示模块530，用于通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

该模块用于接收服务器发送的关联信息类型选择请求；显示与识别结果对应的关联信息类型；将用户选择的目标关联信息类型发送至服务器，服务器根据识别结果查询与物体对应且属于目标关联信息类型的关联信息；用户终端通过所述客户端的第一帐号接收与所述物体对应且属于所述目标关联信息类型的关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

请参阅图13，本申请一实施例提出的一种基于物体识别的信息推送系统600，该信息推送系统600包括用户终端610和服务器620。

用户终端610，用于获取物体的待识别图像，并将所述待识别图像通过用户终端的客户端的所述物体供应商的用户界面发送给服务器，所述用户终端还用于接收并显示与所述物体对应的关联信息。

服务器620，用于利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询所述物体对应的关联信息并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

需要说明的是，本发明实施例的系统中各设备的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，在此不赘述。

请参阅图14，本申请实施例提出的基于物体识别的信息推送方法的电子设备的结构框图。该电子设备700可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备700可以包括一个或多个如下部件：处理器710、存储器720、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器720中并被配置为由一个或多个处理器710执行，一个或系统的指令多个程序配置用于执行如前述方法实施例所描述的方法。

处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。

存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端电子设备700在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图15，本申请实施例提出的用于保存或者携带实现根据本申请实施例的基于物体识别的信息推送的程序代码的存储单元。该计算机可读存储介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (13)

1.一种基于物体识别的信息推送方法，其特征在于，包括：

将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联；

服务器获取所述用户终端通过所述客户端的所述物体供应商的用户界面发送的包含物体的待识别图像；

所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果；

所述服务器根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

2.根据权利要求1所述的方法，其特征在于，所述服务器根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面，包括：

所述服务器根据所述识别结果，向所述第一帐号发送关联信息类型选择请求，以使所述第二帐号的所述用户界面显示与所述识别结果对应的关联信息类型；

接收所述用户终端通过所述客户端的所述物体供应商的用户界面发送的目标关联信息类型，根据所述识别结果查询与所述物体对应且属于所述目标关联信息类型的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

3.根据权利要求1所述的方法，其特征在于，所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果之前包括：

所述服务器获取所述物体在不同光照环境下的参考图像，并根据所述参考图像构建数据集；

所述服务器通过所述数据集构建所述物体识别的网络模型，并将所述网络模型存储起来。

4.根据权利要求1所述的方法，其特征在于，所述物体对应的关联信息存储于物体数据库中，所述物体数据库用于存储不同物体的关联信息，所述关联信息以列表的形式发送给用户终端。

5.一种基于物体识别的信息推送方法，其特征在于，包括：

用户终端获取物体的待识别图像；

所述用户终端将所述待识别图像通过用户终端的客户端的所述物体供应商的用户界面发送给服务器，所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询与所述物体对应的关联信息；

所述用户终端通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述物体的供应商在所述客户端中对应的第二帐号信息；

响应针对所述第二帐号进行的关联操作，将所述关联操作发送给服务器，所述服务器将所述用户终端的客户端的第一帐号与所述物体的供应商在所述客户端中对应的第二帐号建立关联。

7.根据权利要求5所述的方法，其特征在于，所述用户终端通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面，包括：

接收所述服务器发送的关联信息类型选择请求；

显示与所述识别结果对应的关联信息类型；

将用户选择的目标关联信息类型发送至所述服务器，所述服务器根据所述识别结果查询与所述物体对应且属于所述目标关联信息类型的关联信息；

所述用户终端通过所述客户端的第一帐号接收与所述物体对应且属于所述目标关联信息类型的关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

8.一种基于物体识别的信息推送方法，其特征在于，包括：

服务器将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联；

用户终端获取物体的待识别图像，并将所述待识别图像通过所述客户端的所述物体供应商的用户界面发送给所述服务器；

所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询所述物体对应的关联信息；

所述用户终端通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

9.一种基于物体识别的信息推送装置，其特征在于，运行于服务器，所述装置包括：

关联建立模块，用于将用户终端的客户端的第一帐号与物体供应商在所述客户端中对应的第二帐号建立关联；

第一获取模块，用于获取所述用户终端通过所述客户端的所述物体供应商的用户界面发送的包含物体的待识别图像；

第一识别模块，用于利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果；

第一推送模块，用于根据所述识别结果查询与所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

10.一种基于物体识别的信息推送装置，其特征在于，运行于用户终端，所述装置包括：

第二获取模块，用于获取物体的待识别图像；

第二发送模块，用于将所述待识别图像通过用户终端的客户端的所述物体供应商的用户界面发送给服务器，所述服务器利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询与所述物体对应的关联信息；

第二显示模块，用于通过所述客户端的第一帐号接收所述关联信息，并使其显示于与所述第一帐号相关联的所述客户端的第二帐号的用户界面。

11.一种基于物体识别的信息推送系统，其特征在于，所述系统包括用户终端和服务器：

所述用户终端用于获取物体的待识别图像，并将所述待识别图像通过所述客户端的所述物体供应商的用户界面发送给所述服务器；

所述服务器用于利用深度学习对所述待识别图像进行识别，获取到所述物体的识别结果，根据所述识别结果查询所述物体对应的关联信息，并将所述关联信息发送给所述第一帐号，以使其显示于与所述第一帐号相关联的所述第二帐号的用户界面。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-8任一所述的方法。

13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一所述的方法。