CN111563518B - 基于边缘计算的菜品图像识别方法及装置 - Google Patents

Abstract

本申请公开了一种基于边缘计算的菜品图像识别方法，包括：获取待识别菜品的图像信息；将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；获取所述边缘计算设备返回的菜品识别信息。采用上述方法，以解决现有技术存在的在断网或网络环境不好的情况下，无法通过云端图像识别进行下单操作的问题。

Description

基于边缘计算的菜品图像识别方法及装置

技术领域

本申请涉及计算机技术领域，具体涉及一种基于边缘计算的菜品图像识别方法、装置、电子设备和计算机可读取存储介质；本申请还涉及一种基于边缘计算的菜品图像识别系统。

背景技术

目前，很多的自选式食堂快餐店采用的点餐方式为：前厅依次划分多个有序档口，不同档口售卖不同类型和不同价格的菜品，顾客通过排队陆续在不同档口自行选择商品放入餐盘，排队至档口终端的收银台，由点餐员进行下单结账。

随着人力成本的持续飙高以及智能化概念的引入，市场上一部分快餐食堂商户开始采用前厅自助点餐收银的经营模式，即收银台放置一台自助终端，由顾客自助进行下单结算，以节省点餐下单环节的人力成本。

现有技术的自助点餐收银的主要方案为：智能点餐设备通过时时网络接口向云端图片识别服务器发送商品图片，云端图像识别服务器识别商品图片后将识别到的商品的标识信息通过网络接口返回给智能点餐终端，智能点餐终端将接口返回的商品的标识信息解析后，自动加入购物车。

现有技术的自助点餐收银的方法中，云端图像识别服务对网络有较强的依赖，在断网或网络环境不好的情况下，无法通过云端图像识别进行下单操作。

发明内容

本发明实施例提供一种基于边缘计算的菜品图像识别方法、电子设备及存储设备，以解决现有技术存在的在断网或网络环境不好的情况下，无法通过云端图像识别进行下单操作的问题。

第一方面，本发明实施例提供一种基于边缘计算的菜品图像识别方法，包括：

获取待识别菜品的图像信息；

将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；

获取所述边缘计算设备返回的菜品识别信息。

作为一种实施方式，所述的菜品图像识别方法，还包括：

将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息；

将所述差异信息发送到所述边缘计算设备。

作为一种实施方式，所述获取待识别菜品的图像信息，包括：

利用摄像头对点餐菜品进行数据采集，获取待识别菜品的图像信息。

作为一种实施方式，所述将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别，包括：

在本地局域网中进行查询，获得边缘计算设备的地址信息，所述边缘计算设备用于在本地进行菜品图像识别；

根据上述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别。

作为一种实施方式，所述将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息，包括：

将所述菜品识别信息与真实菜品标识信息进行对比，判断所述菜品识别信息与真实菜品标识信息是否匹配；

若匹配，则进行点餐菜品的支付操作；

若不匹配，则获得差异信息。

第二方面，本发明实施例提供一种基于边缘计算的菜品图像识别装置，包括：

获取单元，用于获取待识别菜品的图像信息；

发送单元，用于将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；

返回单元，用于获取所述边缘计算设备返回的菜品识别信息。

作为一种实施方式，所述菜品图像识别装置还包括差异单元，所述差异单元用于：

将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息；

将所述差异信息发送到所述边缘计算设备。

作为一种实施方式，所述获取单元，具体用于：

利用摄像头对点餐菜品进行数据采集，获取待识别菜品的图像信息。

作为一种实施方式，所述发送单元，具体用于：

在本地局域网中进行查询，获得边缘计算设备的地址信息，所述边缘计算设备用于在本地进行菜品图像识别；

根据上述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别。

作为一种实施方式，所述差异单元还用于：

将所述菜品识别信息与真实菜品标识信息进行对比，判断所述菜品识别信息与真实菜品标识信息是否匹配；

若匹配，则进行点餐菜品的支付操作；

若不匹配，则获得差异信息。

第三方面，本发明实施例提供一种电子设备，所述电子设备包括：

处理器；

存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行第一方面中的任意一项所述方法。

第四方面，本发明实施例提供一种电子设备，所述电子设备包括：

处理器；

存储器，用于存储程序，计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，执行第一方面中的任意一项所述方法。

第五方面，本发明实施例提供一种基于边缘计算的菜品图像识别方法，包括：

获取处于相同网络环境的目标设备发送的待识别菜品的图像信息；

对所述图像信息进行特征提取，获取所述图像信息的特征值数据；

根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息；

将所述菜品识别信息发送到所述目标设备。

作为一种实施方式，所述菜品图像识别方法，还包括：

获取所述目标设备返回的所述菜品识别信息与真实菜品标识信息之间的差异信息；

根据所述差异信息，校正所述图像信息的特征值数据，获得所述图像的校正特征值数据。

作为一种实施方式，所述菜品图像识别方法，还包括：

将所述图像信息以及所述校正特征值数据发送到云端图片识别服务器。

作为一种实施方式，所述相同网络环境，包括如下相同网络环境中的至少一种：

相同的无线局域网；

相同的有线局域网；

相同的蓝牙局域网；

相同的Zigbee局域网。

作为一种实施方式，所述对所述图像信息进行特征提取，获取所述图像信息的特征值数据，包括：

利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；

将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；

根据所述压缩特征映射数据，获取所述图像信息的特征值数据。

作为一种实施方式，所述根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息，包括：

根据所述特征值数据在数据库中进行查询，获得查询结果数据；

对所述查询结果数据进行解析，获得待识别菜品的菜品识别信息。

作为一种实施方式，所述的菜品图像识别方法，还包括：

获取云端图片识别服务器发送的图片识别机器学习模型的更新参数信息；

根据所述更新参数信息，更新图片识别机器学习模型的参数。

第六方面，本发明实施例提供一种基于边缘计算的菜品图像识别装置，包括：

图像获取单元，用于获取处于相同网络环境的目标设备发送的待识别菜品的图像信息；

特征获取单元，用于对所述图像信息进行特征提取，获取所述图像信息的特征值数据；

标识获得单元，用于根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息；

标识发送单元，用于将所述菜品识别信息发送到所述目标设备。

作为一种实施方式，所述菜品图像识别装置，还包括校正获得单元，所述校正获得单元用于：

获取所述目标设备返回的所述菜品识别信息与真实菜品标识信息之间的差异信息；

根据所述差异信息，校正所述图像信息的特征值数据，获得所述图像的校正特征值数据。

作为一种实施方式，所述的菜品图像识别装置，还包括特征发送单元，所述特征发送单元用于：

将所述图像信息以及所述校正特征值数据发送到云端图片识别服务器。

作为一种实施方式，所述相同网络环境，包括如下相同网络环境中的至少一种：

相同的无线局域网；

相同的有线局域网；

相同的蓝牙局域网；

相同的Zigbee局域网。

作为一种实施方式，所述特征获取单元，具体用于：

利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；

将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；

根据所述压缩特征映射数据，获取所述图像信息的特征值数据。

作为一种实施方式，所述标识获得单元，具体用于：

根据所述特征值数据在数据库中进行查询，获得查询结果数据；

对所述查询结果数据进行解析，获得待识别菜品的菜品识别信息。

作为一种实施方式，所述菜品图像识别装置，还包括更新参数单元，所述更新参数单元用于：

获取云端图片识别服务器发送的图片识别机器学习模型的更新参数信息；

根据所述更新参数信息，更新图片识别机器学习模型的参数。

第七方面，本发明实施例提供一种电子设备，所述电子设备包括：

处理器；

存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行第五方面中任意一项所述方法。

第八方面，本发明实施例提供一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，执行第五方面中任意一项所述方法。

第九方面，本发明实施例提供一种基于边缘计算的菜品图像识别方法，包括：

获取边缘计算设备发送的待识别菜品的图像信息和所述图像信息的特征值数据；

根据所述图像信息以及所述特征值数据，获取图片识别机器学习模型的更新参数信息；

将所述更新参数信息发送到所述边缘计算设备。

第十方面，本发明实施例提供一种基于边缘计算的菜品图像识别系统，包括目标设备，边缘计算设备和云端图片识别服务器；

所述目标设备用于，获取待识别菜品的图像信息；将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；获取所述边缘计算设备返回的菜品识别信息；

所述边缘计算设备用于，获取处于相同网络环境的目标设备发送的待识别菜品的图像信息；对所述图像信息进行特征提取，获取所述图像信息的特征值数据；根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息；将所述菜品识别信息发送到所述目标设备；

所述云端图片识别服务器用于，获取边缘计算设备发送的待识别菜品的图像信息和所述图像信息的特征值数据；根据所述图像信息以及所述特征值数据，获得图片识别机器学习模型的更新参数信息；将所述参数信息发送到所述边缘计算设备。

与现有技术相比，本发明具有以下优点：

本发明提供的基于边缘计算的菜品图像识别方法，包括：获取待识别菜品的图像信息；将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；获取所述边缘计算设备返回的菜品识别信息。采用本申请提供的方法，利用处于相同网络环境的边缘计算设备识别菜品图像，从而解决了现有技术存在的在断网或网络环境不好的情况下，无法通过云端图像识别进行下单操作的问题。

附图说明

图1是本发明提供的一种基于边缘计算的菜品图像识别方法的应用场景的系统实施例示意图。

图2是本发明第一实施例提供的一种基于边缘计算的菜品图像识别方法的流程图。

图3是本发明第一实施例提供的一种将菜品数据加入购物车的示意图。

图4是本发明第二实施例提供的菜品图像识别装置的示意图。

图5是本发明第五实施例提供的一种基于边缘计算的菜品图像识别方法的流程图。

图6是本发明第六实施例还提供的一种菜品图像识别装置的示意图。

图7是本发明第九实施例提供的一种基于边缘计算的菜品图像识别方法的流程图。

图8是本发明第十实施例提供一种基于边缘计算的菜品图像识别系统的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

为了使本领域的技术人员更好的理解本发明方案，首先对本发明的具体应用场景实施例进行详细描述。

如图1所示，其为本发明提供的一种基于边缘计算的菜品图像识别方法的应用场景的系统实施例示意图。

本方案需要利用两台本地的POS收银机在线智能设备(单设备要求需要联网)，设备A和设备B。其中，设备A(可直连接局域网)上运行一个能点餐并且带有摄像头识别图片的APP应用，设备B(间断性有网)上运行一个可接收A设备图片数据的APP机器学习的服务，并可间断性连接云图片识别服务器。通过A设备识别图片和POS收银机上的菜品对应作为特征传输到B设备上进行自我学习，提高B设备的本地识别准确率，并输出特征值到云图片识别服务器提高云识别准确率。

本系统实施例，主要包括如下步骤：

获取菜品图片。该步骤由设备A执行。

传输菜品图片到本地机器学习服务器(设备B)；

设备B返回图片所属菜品的标示，并自动代入菜品到购物车；

纠错。该步骤由服务人员手工完成，服务人员判别收到的所属菜品的标示是否是真实的菜品，如果不是，则进行手动纠正。

在手动纠正后，传输纠错结果到本地机器学习服务器作为再次学习的特征。

本发明第一实施例提供一种基于边缘计算的菜品图像识别方法，以下结合图2对本发明第一实施例提供的一种基于边缘计算的菜品图像识别方法进行详细说明。本实施例提供的所述方法可以由图1中的设备A执行。

如图2所示，在步骤S201中，获取待识别菜品的图像信息。

所述获取待识别菜品的图像信息，包括：

利用摄像头对点餐菜品进行数据采集，获取待识别菜品的图像信息。

如图1所示，商户在POS机智能设备A上安装一个APP，此APP拥有摄像头可进行菜品图片拍摄并且可传数据至设备A进行图片数据保存。当客户将菜品端至摄像头处，服务员手动打开摄像头进行图片数据采集。

如图2所示，在步骤S202中，将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别。

所述将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别，包括：

在本地局域网中进行查询，获得边缘计算设备的地址信息，所述边缘计算设备用于在本地进行菜品图像识别；

根据上述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别。

所述边缘计算设备即图1中的设备B。设备A和设备B都位于相同的局域网中，因此网络状况良好。

商户在POS机智能设备B上安装一个APP，此APP拥有机器学习图片识别服务，可接收图片数据并通过本地机器学习解析图片，并通过特征值对比，查询到本地服务器图片特征对应的菜品标示，通过局域网传输将图片对应的菜品标示数据返回至设备A上的APP。

如图2所示，在步骤S203中，获取所述边缘计算设备返回的菜品识别信息。

所述菜品识别信息即菜品的品种，如红烧排骨等。

设备A解析到识别后的菜品标示(菜品识别信息)，从本地查询出菜品识别信息相对应的菜品数据，自动加入购物车并计算相应菜品价格。请参考图3，其为加入购物车的示意图。

所述菜品图像识别方法，还包括：

将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息；

将所述差异信息发送到所述边缘计算设备。

所述将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息，包括：

将所述菜品识别信息与真实菜品标识信息进行对比，判断所述菜品识别信息与真实菜品标识信息是否匹配；

若匹配，则进行点餐菜品的支付操作；

若不匹配，则获得差异信息。

获取到本地机器学习服务的菜品识别信息后，服务员观察菜品数据和图片数据是否匹配，如果匹配即可以走正常下单流程进行下单支付，如果数据不匹配，服务员手动将错误菜品删除并加入正确菜品后下单支付，并同时将纠错后的数据参入本地机器学习图片识别服务器中，校正特征数据并保存在本地服务中，以便相同图片数据识别更准确，在不断学习中提高识别率。

与上述第一实施例提供的一种基于边缘计算的菜品图像识别方法相对应的，本发明第二实施例还提供了一种菜品图像识别装置。

如图4所示，所述菜品图像识别装置，包括：

获取单元401，用于获取待识别菜品的图像信息；

发送单元402，用于将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；

返回单元403，用于获取所述边缘计算设备返回的菜品识别信息。

作为一种实施方式，所述菜品图像识别装置还包括差异单元，所述差异单元用于：

将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息；

将所述差异信息发送到所述边缘计算设备。

作为一种实施方式，所述获取单元，具体用于：

利用摄像头对点餐菜品进行数据采集，获取待识别菜品的图像信息。

作为一种实施方式，所述发送单元，具体用于：

在本地局域网中进行查询，获得边缘计算设备的地址信息，所述边缘计算设备用于在本地进行菜品图像识别；

根据上述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别。

作为一种实施方式，所述差异单元还用于：

将所述菜品识别信息与真实菜品标识信息进行对比，判断所述菜品识别信息与真实菜品标识信息是否匹配；

若匹配，则进行点餐菜品的支付操作；

若不匹配，则获得差异信息。

需要说明的是，对于本发明第二实施例提供的装置的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

与上述第一实施例提供的一种基于边缘计算的菜品图像识别方法相对应的，本发明第三实施例提供一种电子设备，所述电子设备包括：

处理器；

存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行第一方面中的任意一项所述方法。

需要说明的是，对于本发明第三实施例提供的电子设备的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

与上述第一实施例提供的一种基于边缘计算的菜品图像识别方法相对应的，本发明第四实施例提供一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，执行本发明第一实施例中的任意一项所述方法。

需要说明的是，对于本发明第四实施例提供的计算机可读取存储介质的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

本发明第五实施例提供一种基于边缘计算的菜品图像识别方法，请参考图5，其为本申请提供的一种基于边缘计算的菜品图像识别方法的流程图。以下结合图5进行详细说明。本实施例提供的所述方法可以由图1中的设备B执行。

如图5所示，在步骤S501，获取处于相同网络环境的目标设备发送的待识别菜品的图像信息。

所述目标设备可以是图1中的设备A。

所述相同网络环境，包括如下相同网络环境中的至少一种：

相同的无线局域网；

相同的有线局域网；

相同的蓝牙局域网；

相同的Zigbee局域网。

如图5所示，在步骤S502，对所述图像信息进行特征提取，获取所述图像信息的特征值数据。

所述对所述图像信息进行特征提取，获取所述图像信息的特征值数据，包括：

利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；

将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；

根据所述压缩特征映射数据，获取所述图像信息的特征值数据。

以上步骤是利用卷积神经网络进行特征提取的常用技术手段，这里就不再进行详细说明了。

如图5所示，在步骤S503，根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息。

根据所述特征值数据在数据库中进行查询，获得查询结果数据；

对所述查询结果数据进行解析，获得待识别菜品的菜品识别信息。

所述数据库中可以存储菜品识别信息和菜品图像信息的特征值数据。

如图5所示，在步骤S504，将所述待识别菜品识别信息发送到所述目标设备。

如图1中所示，商户在POS机智能设备B上安装一个APP，此APP拥有机器学习图片识别服务，可接收图片数据并通过本地机器学习解析图片，并通过特征值对比，查询到本地服务器图片特征对应的菜品标示，通过局域网传输将图片对应的菜品标示数据返回至APP。

所述的菜品图像识别方法，还包括：

获取所述目标设备返回的所述菜品识别信息与真实菜品标识信息之间的差异信息；

根据所述差异信息，校正所述图像信息的特征值数据，获得所述图像的校正特征值数据。

作为一种实施方式，所述的菜品图像识别方法，还包括：

将所述图像信息以及所述校正特征值数据发送到云端图片识别服务器。

如图1中所示，获取到本地机器学习服务的菜品标示数据后，服务员观察菜品数据和图片数据中是否匹配，如果匹配即可以走正常下单流程进行下单支付，如果数据不匹配，服务员手动将错误菜品删除并加入正确菜品后下单支付，并同时将纠错后的数据参入本地机器学习图片识别服务器中，校正特征数据并保存在本地服务中，以便相同图片数据识别更准确，在不断学习中提高识别率。

将纠错后的数据结果传输到本地机器学习服务器，解析数据后对特征再次学习，并将学习结果在有网的情况下传输到云学习服务器，以便于提高云学习服务器识别图片的能力和准确性。

与上述第五实施例提供的一种基于边缘计算的菜品图像识别方法相对应的，本发明第六实施例还提供了一种菜品图像识别装置。请参考图6，其为本申请第六实施例提供的菜品图像识别装置的示意图。

菜品图像识别装置，包括：

图像获取单元601，用于获取处于相同网络环境的目标设备发送的待识别菜品的图像信息。

特征获取单元602，用于对所述图像信息进行特征提取，获取所述图像信息的特征值数据。

标识获得单元603，用于根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息。

标识发送单元604，用于将所述菜品识别信息发送到所述目标设备。

作为一种实施方式，所述菜品图像识别装置，还包括校正获得单元，所述校正获得单元用于：

获取所述目标设备返回的所述菜品识别信息与真实菜品标识信息之间的差异信息；

根据所述差异信息，校正所述图像信息的特征值数据，获得所述图像的校正特征值数据。

作为一种实施方式，所述的菜品图像识别装置，还包括特征发送单元，所述特征发送单元用于：

将所述图像信息以及所述校正特征值数据发送到云端图片识别服务器。

作为一种实施方式，所述相同网络环境，包括如下相同网络环境中的至少一种：

相同的无线局域网；

相同的有线局域网；

相同的蓝牙局域网；

相同的Zigbee局域网。

作为一种实施方式，所述特征获取单元，具体用于：

利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；

将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；

根据所述压缩特征映射数据，获取所述图像信息的特征值数据。

作为一种实施方式，所述标识获得单元，具体用于：

根据所述特征值数据在数据库中进行查询，获得查询结果数据；

对所述查询结果数据进行解析，获得待识别菜品的菜品识别信息。

作为一种实施方式，所述菜品图像识别装置，还包括更新参数单元，所述更新参数单元用于：

获取云端图片识别服务器发送的图片识别机器学习模型的更新参数信息；

根据所述更新参数信息，更新图片识别机器学习模型的参数。

与上述第五实施例提供的一种基于边缘计算的菜品图像识别方法相对应的，本发明第七实施例还提供了一种电子设备，所述电子设备包括：

处理器；

存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行第五实施例中任意一项所述方法。

需要说明的是，对于本发明第七实施例提供的电子设备的详细描述可以参考对本申请第五实施例的相关描述，这里不再赘述。

本发明第八实施例还提供了一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，执行本发明第五实施例中任意一项所述方法。

需要说明的是，对于本发明第八实施例提供的计算机可读取存储介质的详细描述可以参考对本申请第五实施例的相关描述，这里不再赘述。

本发明第九实施例提供了一种基于边缘计算的菜品图像识别方法，请参考图7，其为本申请提供的一种基于边缘计算的菜品图像识别方法的流程图。以下结合图7进行详细说明。本实施例提供的所述方法可以由图1中的云图片识别端执行。

如图7所示，在步骤S701，获取边缘计算设备发送的待识别菜品的图像信息和所述图像信息的特征值数据。

云图片识别端获取边缘计算设备发送的待识别菜品的图像信息和所述图像信息的特征值数据。根据这些信息进行学习参数的调整更新。

如图7所示，在步骤S702，根据所述图像信息以及所述特征值数据，获取图片识别机器学习模型的更新参数信息。

云图片识别端根据所述图像信息以及所述特征值数据，获取图片识别机器学习模型的更新参数信息。

如图7所示，在步骤S703，将所述更新参数信息发送到所述边缘计算设备。

云图片识别端在图片识别机器学习模型的更新参数信息后，将所述更新参数信息发送到所述边缘计算设备。

采用本实施例提供的方法，具有如下技术效果。原有识别菜品点餐系统因为和网络情况强相关，在网络情况不好的情况下，效率低的问题。通过在商户处搭建图像识别边缘服务器，提前在特定时间并且网络优的情况下无感知无阻塞式下行或者上行边缘服务器学习数据，增强云端服务学习能力并加强与云端的联系，加速局域网业务流程识别速度和响应速度。机器学习服务器，通过局域网连接，在离线状态下也可使用高效图像识别，且不影响商户的正常流转。

本发明第十实施例提供一种基于边缘计算的菜品图像识别系统，请参考图8，其为本发明第十实施例提供一种基于边缘计算的菜品图像识别系统的示意图。该系统包括目标设备801，边缘计算设备802和云端图片识别服务器803；

所述目标设备801用于，获取待识别菜品的图像信息；将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；获取所述边缘计算设备返回的菜品识别信息；

所述边缘计算设备802用于，获取处于相同网络环境的目标设备发送的待识别菜品的图像信息；对所述图像信息进行特征提取，获取所述图像信息的特征值数据；根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息；将所述待识别菜品的菜品识别信息发送到所述目标设备；

所述云端图片识别服务器803用于，获取边缘计算设备发送的待识别菜品的图像信息和所述图像信息的特征值数据；根据所述图像信息以及所述特征值数据，获得图片识别机器学习模型的更新参数信息；将所述参数信息发送到所述边缘计算设备。

需要说明的是，对于本发明第十实施例提供的基于边缘计算的菜品图像识别系统的详细描述可以参考对本申请第一、第五及第九实施例的相关描述，这里不再赘述。

采用本发明第十实施例提供的系统，大大减少了对人工和网络识别的依赖。局域网内通过本地机器学习服务，识别菜品，提高点餐转化率，并在纠错中不断重复学习特征和验证特征的过程中，提高本地机器学习识别图片的识别率和正确率。

增强了本地识别数据的准确性的同时，网络条件稳定的情况下，在商户无感知的并不影响正常使用的情况下，将特征值上传到云机器学习平台，提高了本地机器学习的能力，又将云平台的能力纳入本地学习，并完善云机器学习能力，便于更精确的识别出图片中的菜品，大大提高了餐饮行业视图点餐效率和准确性。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (15)

1.一种基于边缘计算的菜品图像识别方法，其特征在于，应用于商户的POS机设备A，所述方法包括：

获取待识别菜品的图像信息；

将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别，包括：在本地局域网中进行查询，获得边缘计算设备的地址信息，所述边缘计算设备用于在本地进行菜品图像识别；根据所述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，所述边缘计算设备为所述商户的POS机设备B，所述POS机设备A和所述POS机设备B位于相同的局域网中；

获取所述边缘计算设备返回的菜品识别信息。

2.根据权利要求1所述的菜品图像识别方法，其特征在于，还包括：

将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息；

将所述差异信息发送到所述边缘计算设备。

3.根据权利要求2所述的菜品图像识别方法，其特征在于，所述将所述菜品识别信息与真实菜品标识信息进行对比，获得差异信息，包括：

将所述菜品识别信息与真实菜品标识信息进行对比，判断所述菜品识别信息与真实菜品标识信息是否匹配；

若匹配，则进行点餐菜品的支付操作；

若不匹配，则获得差异信息。

4.根据权利要求1所述的菜品图像识别方法，其特征在于，所述获取待识别菜品的图像信息，包括：

利用摄像头对点餐菜品进行数据采集，获取待识别菜品的图像信息。

5.一种基于边缘计算的菜品图像识别装置，其特征在于，应用于商户的POS机设备A，所述装置包括：

获取单元，用于获取待识别菜品的图像信息；

发送单元，用于将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别，包括：在本地局域网中进行查询，获得边缘计算设备的地址信息，所述边缘计算设备用于在本地进行菜品图像识别；根据所述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别，所述边缘计算设备为所述商户的POS机设备B，所述POS机设备A和所述POS机设备B位于相同的局域网中；

返回单元，用于获取所述边缘计算设备返回的菜品识别信息。

6.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行如权利要求1-4任意一项所述方法。

7.一种计算机可读取存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，执行如权利要求1-4任意一项所述方法。

8.一种基于边缘计算的菜品图像识别方法，其特征在于，应用于商户的POS机设备B，所述方法包括：

获取处于相同网络环境的目标设备发送的待识别菜品的图像信息，所述目标设备为所述商户的POS机设备A，所述POS机设备A和所述POS机设备B位于相同的局域网中；

对所述图像信息进行特征提取，获取所述图像信息的特征值数据，包括：利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；根据所述压缩特征映射数据，获取所述图像信息的特征值数据；

根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息，包括：根据所述特征值数据在数据库中进行查询，获得查询结果数据；对所述查询结果数据进行解析，获得待识别菜品的菜品识别信息；

将所述菜品识别信息发送到所述目标设备。

9.根据权利要求8所述的菜品图像识别方法，其特征在于，还包括：

获取所述目标设备返回的所述菜品识别信息与真实菜品标识信息之间的差异信息；

根据所述差异信息，校正所述图像信息的特征值数据，获得所述图像的校正特征值数据。

10.根据权利要求9所述的菜品图像识别方法，其特征在于，还包括：

将所述图像信息以及所述校正特征值数据发送到云端图片识别服务器。

11.根据权利要求8所述的菜品图像识别方法，其特征在于，所述相同网络环境，包括如下相同网络环境中的至少一种：

相同的无线局域网；

相同的有线局域网；

相同的蓝牙局域网；

相同的Zigbee局域网。

12.根据权利要求8所述的菜品图像识别方法，其特征在于，还包括：

获取云端图片识别服务器发送的图片识别机器学习模型的更新参数信息；

根据所述更新参数信息，更新图片识别机器学习模型的参数。

13.一种基于边缘计算的菜品图像识别装置，其特征在于，应用于商户的POS机设备B，所述装置包括：

图像获取单元，用于获取处于相同网络环境的目标设备发送的待识别菜品的图像信息，所述目标设备为所述商户的POS机设备A，所述POS机设备A和所述POS机设备B位于相同的局域网中；

特征获取单元，用于对所述图像信息进行特征提取，获取所述图像信息的特征值数据，包括：利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；根据所述压缩特征映射数据，获取所述图像信息的特征值数据；

标识获得单元，用于根据所述特征值数据进行查询，获得待识别菜品的菜品识别信息，包括：根据所述特征值数据在数据库中进行查询，获得查询结果数据；对所述查询结果数据进行解析，获得待识别菜品的菜品识别信息；

标识发送单元，用于将所述菜品识别信息发送到所述目标设备。

14.一种基于边缘计算的菜品图像识别方法，其特征在于，所述方法包括：

获取边缘计算设备发送的待识别菜品的图像信息和所述图像信息的特征值数据，其中，由POS机设备A在本地局域网中进行查询，获得边缘计算设备的地址信息，根据所述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，所述边缘计算设备用于在本地进行菜品图像识别，所述边缘计算设备为商户的POS机设备B，所述POS机设备A和所述POS机设备B位于相同的局域网中；

根据所述图像信息以及所述特征值数据，获取图片识别机器学习模型的更新参数信息；

将所述更新参数信息发送到所述边缘计算设备；

其中，所述图像信息的特征值数据按照下述方式获得：利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；根据所述压缩特征映射数据，获取所述图像信息的特征值数据。

15.一种基于边缘计算的菜品图像识别系统，其特征在于，包括目标设备，边缘计算设备和云端图片识别服务器；

所述目标设备用于，获取待识别菜品的图像信息；将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别，包括：在本地局域网中进行查询，获得边缘计算设备的地址信息，所述边缘计算设备用于在本地进行菜品图像识别；根据所述地址信息，将所述图像信息发送到处于相同网络环境的边缘计算设备，其中，所述边缘计算设备用于本地图像识别；获取所述边缘计算设备返回的菜品识别信息，所述目标设备为商户的POS机设备A；

所述边缘计算设备用于，获取处于相同网络环境的目标设备发送的待识别菜品的图像信息；对所述图像信息进行特征提取，获取所述图像信息的特征值数据，包括：利用卷积神经网络的卷积层，针对所述图像信息进行特征提取，获得所述图像信息的特征映射数据；将所述特征映射数据输入所述卷积神经网络的池化层进行池化处理，获得所述图像信息的压缩特征映射数据；根据所述压缩特征映射数据，获取所述图像信息的特征值数据；根据所述特征值数据进行查询，获得待识别菜品的菜品标识信息，包括：根据所述特征值数据在数据库中进行查询，获得查询结果数据；对所述查询结果数据进行解析，获得待识别菜品的菜品识别信息；将所述菜品识别信息发送到所述目标设备，所述边缘计算设备为所述商户的POS机设备B，所述POS机设备A和所述POS机设备B位于相同的局域网中；

所述云端图片识别服务器用于，获取边缘计算设备发送的待识别菜品的图像信息和所述图像信息的特征值数据；根据所述图像信息以及所述特征值数据，获得图片识别机器学习模型的更新参数信息；将所述参数信息发送到所述边缘计算设备。