CN109993623A - 基于图像识别的物品信息展示方法、系统及电子设备 - Google Patents

Abstract

本发明公开了一种基于图像识别的物品信息展示方法、系统、电子设备及存储介质，该方法包括以下步骤：实时获取摄像头所采集的录像数据并把录像数据解码成图片序列；将解码得到的图片序列进行预处理后传送给物品识别模型以识别物品名称；根据识别结果，查找数据库中与该识别结果匹配的物品数据信息；根据物品数据信息向用户展示该物品的信息，信息包括：名称、市面平均价格、属性、使用方法和/或新鲜度。该方法通过图像识别得到物品名称，然后查询数据库中对应的物品数据信息，从而将物品的相关信息，如名称、市面平均价格、属性、使用方法和/或新鲜度等展示给用户，方便用户了解物品的价格、属性、使用方法以及品质。

Description

基于图像识别的物品信息展示方法、系统及电子设备

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于图像识别的物品信息展示方法、系统、电子设备及计算机可读存储介质。

背景技术

现如今，很多人从小就没下过厨，根本不会做菜，可能连各类蔬菜都不认识，更别提知道哪些蔬菜大概什么价位了。当处于家中时，有父母做饭，不用操心。现在很多年轻人都会外出到大城市例如北上广深等地方工作，自己出门在外，不会做饭，很多人通常会选择叫外卖。但是，外卖无法得知商家是如何烹饪的，某些不良商家可能添加了地沟油、使用一些劣质食材等等，会对人体健康有害。为了健康着想，许多人还是想要尽可能地自己做饭，比较安全并且还节省开支，但是对于从未下过厨的人来说，如何选购食材，如何判断食材的价格是否合理，这些均是难题，一不小心可能就被人坑了。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种基于图像识别的物品信息展示方法，其能自动识别出物品名称并向用户展示所识别的物品的信息。

本发明的目的之二在于提供一种基于图像识别的物品信息展示系统，其能自动识别出物品名称并向用户展示所识别的物品的信息。

本发明的目的之三在于提供一种电子设备，其能自动识别出物品名称并向用户展示所识别的物品的信息。

本发明的目的之四在于提供一种计算机可读存储介质，该存储介质运行时能实现自动识别出物品名称并向用户展示所识别的物品的信息。

本发明的目的之一采用如下技术方案实现：

一种基于图像识别的物品信息展示方法，包括以下步骤：

实时获取摄像头所采集的录像数据并把录像数据解码成图片序列；

将解码得到的图片序列传送给物品识别模型以供所述物品识别模型识别物品名称；

根据所述物品识别模型的识别结果，查找数据库中与该识别结果匹配的物品数据信息；

根据所述物品数据信息向用户展示该物品的信息，所述信息包括：名称、市面平均价格、属性、使用方法和/或新鲜度。

进一步地，还包括：调用网上商城的价格查询接口，根据所识别出的物品名称查询该物品在网上商城的价格并显示所查询到的价格。

进一步地，还包括：在查询到物品价格后，生成该物品在网上商城的购买链接并推送给用户。

进一步地，所述物品识别模型为食材识别模型；所述属性指食物的四性，所述四性具体为热性、温性、凉性及寒性。

进一步地，所述使用方法具体指：该食材可用于烹饪的各种菜式及每个菜式所对应的烹饪方式。

本发明的目的之二采用如下技术方案实现：

一种基于图像识别的物品信息展示系统，包括：

图片获取单元，用于实时获取摄像头所采集的录像数据并把录像数据解码成图片序列；

识别单元，用于将解码得到的图片序列传送给物品识别模型以供所述物品识别模型识别物品名称；

匹配单元，用于根据所述物品识别模型的识别结果，查找数据库中与该识别结果匹配的物品数据信息；

信息展示单元，用于根据所述物品数据信息向用户展示该物品的信息，所述信息包括：名称、市面平均价格、属性、使用方法和/或新鲜度。

进一步地，还包括：网购价格查询单元，用于调用网上商城的价格查询接口，根据所识别出的物品名称查询该物品在网上商城的价格并显示所查询到的价格。

进一步地，还包括：购买链接生成单元，用于在查询到物品价格后，生成该物品在网上商城的购买链接并推送给用户。

进一步地，所述识别单元所采用的物品识别模型为食材识别模型；所述信息展示单元所展示的属性指食物的四性，所述四性具体为热性、温性、凉性及寒性。

进一步地，所述信息展示单元所展示的使用方法具体指：该食材可用于烹饪的各种菜式及每个菜式所对应的烹饪方式。

本发明的目的之三采用如下技术方案实现：

一种电子设备，包括处理器和存储器，所述存储器存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序并运行以实现如上述的基于图像识别的物品信息展示方法。

本发明的目的之四采用如下技术方案实现：

一种计算机可读存储介质，所述存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如上述的基于图像识别的物品信息展示方法。

相比现有技术，本发明的有益效果在于：

该方法通过图像识别得到物品名称，然后查询数据库中对应的物品数据信息，从而将物品的相关信息，如名称、市面平均价格、属性、使用方法和/或新鲜度等展示给用户，方便用户了解物品的价格、属性、使用方法以及品质。

附图说明

图1为本发明提供的一种基于图像识别的物品信息展示方法的流程示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

请参阅图1，其为一种基于图像识别的物品信息展示方法的流程示意图，具体包括以下步骤：

S1、实时获取摄像头所采集的录像数据并把录像数据解码成图片序列；

S2、将解码得到的图片序列进行预处理后传送给物品识别模型以供所述物品识别模型识别物品名称；

S3、根据所述物品识别模型的识别结果，查找数据库中与该识别结果匹配的物品数据信息；

S4、根据所述物品数据信息向用户展示该物品的信息，所述信息包括：名称、市面平均价格、属性、使用方法和/或新鲜度。

通过该方法，用户只需打开摄像头对物品进行摄像，处理器自动将摄像头所采集的录像数据进行解码，使其变成一张张连续的图片序列，对图片序列进行预处理后将其传送给物品识别模型，待物品识别模型识别出物品名称之后，再根据物品名称查找数据库中是否有匹配的物品数据信息，然后将该物品的信息展示给用户查看，方便用户了解物品的价格、属性、使用方法以及品质。

该物品识别模型可以是识别一些日常生活用品的，例如用来识别一些电器、化妆品之类的。此时，向用户展示的信息只需要包括名称、市面平均价格、使用方法以及属性就可以了，例如识别到一款隔离霜，信息内容则可包括：名称——某某隔离霜，市面平均价格——单价为多少钱，使用方法——在进行基础护肤如爽肤水、保湿霜之后擦涂，属性——彩妆品。当用户在逛商场时，遇到一些不太了解的物品，用户则可根据这些信息来了解自身是否需要此物品，并且可以比较商场中该物品的售价是高于还是低于市面上的均价，从而判断该物品是否划算。

需要说明的是，在本实施例中，该物品识别模型主要是用于识别食材，例如蔬菜、肉类产品等，用于解决某些对烹饪以及食材一无所知的用户购买食材时不清楚名称和价格的问题。此时，向用户展示的信息需要包括：市面平均价格、使用方法、属性及新鲜度。

其中，使用方法指该食材可用于烹饪的各种菜式及每个菜式所对应的烹饪方式，例如识别出食材名称为土豆，则使用方法具体为：可使用土豆进行烹饪的各种菜式：土豆焖排骨、土豆小饼、黑胡椒香肠烤土豆丝、椒香土豆丝饼、空气炸锅烤薯条、剁椒蒸土豆、芝士焗土豆泥、土豆牛肉饭等等，并且每个菜式均具有对应的烹饪方式，用户可从所有的菜式中挑选自己想吃的菜，然后再根据该菜式的烹饪方式中所提及的原材料去进行采购。

其次，属性指食材的四性——热性、温性、凉性及寒性。例如某些人是寒性体质，则不适宜食用太多寒性或凉性的食物，但是很多人不知道食材究竟是热性的还是寒性的，可能会吃到自身不适宜多吃的食物，从而导致一些病症。热性的食物吃多了容易上火，而寒性的食物吃多了可能会导致胃寒等疾病，在某段时间，用户可能吃多了热气的食物导致上火，此时不宜再吃热性的食物，反倒可选择一些凉性的食物，降降火气。因此，本发明所提供的方法可以向用户展示食物的属性，用户可根据该食物的属性自行判断目前自身的身体状况是否合适吃该食物，该方法可避免用户在不知情的情况下吃了当前身体状况不适宜吃的食物，导致出现一些病症或者加重先前的病症。

此外，众所周知，水果蔬菜类放久了容易变得不新鲜，水果蔬菜不新鲜的话会影响口感；并且，当新鲜度降低到某个程度时，水果蔬菜体内会产生大量的亚硝酸盐，亚硝酸盐上一种致癌物，长期食用容易导致癌症。一些蔬菜类的新鲜度可能可以比较直观地感受到，但是对于一些肉眼比较难判断的蔬菜以及水果，可能肉眼看着表面觉得不错，但是实际上已经存放已久，已经变得不新鲜了，而通过图像识别可以检测到物品表面的细节，对于一些肉眼比较难观察到的地方，图像识别可以识别出来，因此，本实施例所提供的方法还会显示食材的新鲜度，并且当新鲜度降低到某一程度时，提示用户不宜食用，用户可根据所识别的新鲜度以及自身对新鲜度的要求来判断是否购买，避免高价购买到一些不新鲜的水果蔬菜，物不所值。

该物品识别模型采用卷积神经网络构建，要实现新鲜度的识别，该物品识别模型需要采用细粒度图像识别技术。目前，精细化分类的方法主要有以下两类：一是，基于图像重要区域定位的方法：该方法集中探讨如何利用弱监督的信息自动找到图像中有判别力的区域，从而达到精细化分类的目的。二是，基于图像精细化特征表达的方法：该方法提出使用高维度的图像特征(如：bilinear vector)对图像信息进行高阶编码，以达到准确分类的目的。在本实施例中，物品识别模型主要是基于Recurrent Attention ConvolutionalNeural Network(RA-CNN，基于递归注意力模型的卷积神经网络)网络结构来进行构建。RA-CNN网络可以更精准地找到图像中有判别力的子区域，然后采用高分辨率、精细化特征描述这些区域，进而大大提高精细化物体分类的精度。通过收集每种蔬菜处于不同新鲜度状态下的图片，按照新鲜度分成几个类别，保存为一个训练样本集，然后使用该训练样本集对深度学习的卷积神经网络模型进行训练，该模型拟合后就成为一个可以识别出每种蔬菜以及该蔬菜的新鲜度的物品识别模型。作为一种优选的实施方式，还包括：调用网上商城的价格查询接口，根据所识别出的物品名称查询该物品在网上商城的价格并显示所查询到的价格。通过此方式，可实现自动获取网上商城的价格以供用户参考，当网上商城的价格更加实惠时，用户可选择到网上进行购买。

需要说明的是，先前所提到的市面平均价格是指该物品在各个商铺的售价的平均值，商铺既可为线下实体商铺，也可为线上网店；一般上，每个商铺的定价是会存在差异的，因此，向用户提供的是售价的平均值，以供用户判断该物品当前的售价在日常中是否算是比较实惠的价格；有些商家会通过提价然后进行打折，以此来吸引顾客，让顾客深以为自己以一个超级实惠的价格购买了物品，但其实不然，个别商家提价再打折的价格可能比市面上的均价还要高出许多，消费者若是不知道则很容易被商家的噱头所吸引而做了冤大头；但是，若是用户使用本发明所提供的方法，则可了解到物品在市面上的均价，不会陷入商家的虚假噱头中。而该自动链接到网上商城的价格是网上商城的实时价格，并不是市面上的均价，有可能网上商城正在搞特价，商品价格可能会比平时要低好多，可节省用户的开销。

作为一种优选的实施方式，还包括：在查询到物品价格后，生成该物品在网上商城的购买链接并推送给用户。在查询到物品在网上商城的价格的同时，还会将该物品的购买链接推送给用户，具体是通过调用API接口来返回购买链接。在用户得知网上商城的价格之后，发现网上购买会比在当前的菜市场或者超市购买会实惠得多，用户自然而然地就产生在网上购买的心思，通过本发明所提供的方法，用户想要在网上购买的话直接点击购买链接即可。

优选地，还可设置该链接为点击之后直接触发将商品加入购物车并形成订单的指令，点击该链接最后呈现在用户面前的页面是订单确认购买页面，用户只需进行支付操作即可，不需要进行将商品加入购物车等操作，方便快捷。

优选地，本发明所提供的方法还可包括以下步骤：当用户识别出某食材比如土豆之后，然后根据所展示的信息中的烹饪菜式选择了其中一种菜式例如土豆焖排骨，当用户点击土豆焖排骨时，调用网上商城的商品添加购物车接口，按照土豆焖排骨的烹饪方式中的原材料的名称以及份量将商品添加至购物车，并将购物车页面推送给用户。当用户在烹饪菜式中看到想吃的菜式时，其并不一定对那道菜式的所有原材料都了解，比如若是当前所在的菜市场没有排骨，那用户可能会出现不知道去哪里购买排骨的情况，按照现有的技术，用户需自行百度查询那里可以购买，需要耗费时间和精力，并且，可能查到的地方距离用户比较远，如此一来，对于用户来说是极其不便利的。而通过本发明所提供的该方法步骤，无需用户自行查找原材料以及亲自去购买，可直接在网上购买，可节约用户查询菜品原材料的时间与精力，方便用户。

其次，由于数据库中的菜品数据信息中的原材料份量是一个固定的份量，而在实际生活中，可能会出现用餐人数所需要的份量与菜品数据信息中的份量不匹配的情况。因此，还可在加入购物车之前还可提示用户输入用餐人数，然后根据用餐人数来确定购买的份量。在本实施例中，只需将每个菜式的烹饪方式中的原材料的份量均设为单人份即可，然后乘以用户所设定的用餐人数即可得到所需购买的份量。

此外，购买商品通常是以重量来计算的，但是也有某些商品会在生产时直接根据重量来设定不同的商品规格大小，因此，在将商品添加到购物车时，遇到设定了商品规格的原材料，选择与所需购买的份量最接近的商品规格即可。另外，对于一些商品规格固定的原材料，若是有一种原材料的商品规格比所需购买的份量要多，则其他某种原材料的商品规格可选择比所需购买的份量略小的，以均衡整个菜品的份量，避免份量过多而造成浪费。当然了，对于某些商城也可能出现可以自定义重量进行购买的，此时则直接按照原材料所需购买的份量进行购买即可。

优选地，在将商品加入购物车之后，还可直接形成订单，直接推送订单的确认购买页面给用户，用户只需进行支付操作即可。

本发明所提供的基于图像识别的物品信息展示方法主要是以代码为载体，通过APP的形式来呈现，可安装在电子设备中，用户只需要持有电子设备，打开APP，然后开启摄像头对准需识别的物品即可得到物品的相关信息，例如某食材的使用方法，并且还可链接到网上商城查询该物品在网上商城中的价格，还可形成其在网上商城上的购买链接，或者直接形成购买订单，大大方便了用户的生活，减少很多不必要的时间与精力，并且，通过价格比对，可节省用户的开销。

本发明还提供了一种基于图像识别的物品信息展示系统，包括：

图片获取单元，用于实时获取摄像头所采集录像数据并把录像数据解码成图片序列；

识别单元，用于将解码得到的图片序列传送给物品识别模型以供所述物品识别模型识别物品名称；

匹配单元，用于根据所述物品识别模型的识别结果，查找数据库中与该识别结果匹配的物品数据信息；

信息展示单元，用于根据所述物品数据信息向用户展示该物品的信息，所述信息包括：名称、市面平均价格、属性、使用方法和/或新鲜度。

作为一种优选的实施方式，还包括：网购价格查询单元，用于调用网上商城的价格查询接口，根据所识别出的物品名称查询该物品在网上商城的价格并显示所查询到的价格。

作为一种优选的实施方式，还包括：购买链接生成单元，用于在查询到物品价格后，生成该物品在网上商城的购买链接并推送给用户。优选地，该购买链接可直接生成订单，具体为点击该购买链接之后直接触发将商品加入购物车并形成订单的指令，点击该链接最后呈现在用户面前的页面是订单确认购买页面，用户只需进行支付操作即可，不需要进行将商品加入购物车等操作，方便快捷。

作为一种优选的实施方式，所述识别单元所采用的物品识别模型为食材识别模型；所述信息展示单元所展示的属性指食物的四性，所述四性具体为热性、温性、凉性及寒性。

作为一种优选的实施方式，所述信息展示单元所展示的使用方法具体指：该食材可用于烹饪的各种菜式及每个菜式所对应的烹饪方式。

优选地，本系统还可包括菜式原材料购买单元，用于当用户点击对应的菜式时，调用网上商城的商品添加购物车接口，按照该菜式的烹饪方式中的原材料名称以及对应的份量将商品添加至购物车，并将购物车页面推送给用户。

其次，由于数据库中的菜品数据信息中的原材料份量是一个固定的份量，而在实际生活中，可能会出现用餐人数所需要的份量与菜品数据信息中的份量不匹配的情况。因此，该系统还可包括购买份量确定单元，用于在将商品加入购物车之前提示用户输入用餐人数，然后根据用餐人数以及原材料的单人份量来确定购买的份量。在本实施例中，只需将每个菜式的烹饪方式中的原材料的份量均设为单人份即可，然后乘以用户所设定的用餐人数即可得到所需购买的份量。优选地，该系统还可包括订单形成单元，用于在商品加入购物车之后，直接形成订单并推送该订单的确认购买页面给用户，用户只需进行支付操作即可。

本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序并运行以实现如上述的基于图像识别的物品信息展示方法。

此外，还提供了一种计算机可读存储介质，所述存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如上述的基于图像识别的物品信息展示方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (12)

1.一种基于图像识别的物品信息展示方法，其特征在于，包括以下步骤：

实时获取摄像头所采集的录像数据并把录像数据解码成图片序列；

将解码得到的图片序列传送给物品识别模型以供所述物品识别模型识别物品名称；

根据所述物品识别模型的识别结果，查找数据库中与该识别结果匹配的物品数据信息；

根据所述物品数据信息向用户展示该物品的信息，所述信息包括：名称、市面平均价格、属性、使用方法和/或新鲜度。

2.如权利要求1所述的基于图像识别的物品信息展示方法，其特征在于，所述物品识别模型为食材识别模型；所述属性指食物的四性，所述四性具体为热性、温性、凉性及寒性。

3.如权利要求2所述的基于图像识别的物品信息展示方法，其特征在于，所述使用方法具体指：该食材可用于烹饪的各种菜式及每个菜式所对应的烹饪方式。

4.如权利要求1至3任一项所述的基于图像识别的物品信息展示方法，其特征在于，还包括：调用网上商城的价格查询接口，根据所识别出的物品名称查询该物品在网上商城的价格并显示所查询到的价格。

5.如权利要求4所述的基于图像识别的物品信息展示方法，其特征在于，还包括：在查询到物品价格后，生成该物品在网上商城的购买链接并推送给用户。

6.一种基于图像识别的物品信息展示系统，其特征在于，包括：

图片获取单元，用于实时获取摄像头所采集的录像数据并把录像数据解码成图片序列；

识别单元，用于将解码得到的图片序列传送给物品识别模型以供所述物品识别模型识别物品名称；

匹配单元，用于根据所述物品识别模型的识别结果，查找数据库中与该识别结果匹配的物品数据信息；

信息展示单元，用于根据所述物品数据信息向用户展示该物品的信息，所述信息包括：名称、市面平均价格、属性、使用方法和/或新鲜度。

7.如权利要求6所述的基于图像识别的物品信息展示系统，其特征在于，所述识别单元所采用的物品识别模型为食材识别模型；所述信息展示单元所展示的属性指食物的四性，所述四性具体为热性、温性、凉性及寒性。

8.如权利要求7所述的基于图像识别的物品信息展示系统，其特征在于，所述信息展示单元所展示的使用方法具体指：该食材可用于烹饪的各种菜式及每个菜式所对应的烹饪方式。

9.如权利要求6至8任一项所述的基于图像识别的物品信息展示系统，其特征在于，还包括：

网购价格查询单元，用于调用网上商城的价格查询接口，根据所识别出的物品名称查询该物品在网上商城的价格并显示所查询到的价格。

10.如权利要求9所述的基于图像识别的物品信息展示系统，其特征在于，还包括：

购买链接生成单元，用于在查询到物品价格后，生成该物品在网上商城的购买链接并推送给用户。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序并运行以实现如权利要求1至5任一项所述的基于图像识别的物品信息展示方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如权利要求1至5任一项所述的基于图像识别的物品信息展示方法。