CN112686220B - 商品识别方法及装置、计算设备、计算机存储介质 - Google Patents

Abstract

本发明公开了一种商品识别方法及装置、计算设备、计算机存储介质，该方法包括：获取经拍摄得到的目标图像；对所述目标图像进行检测，得到至少一个目标子图像以及图像类别；根据所述图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像；其中，第一商品图像携带有文本信息；若属于第一商品图像，对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息；若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息；整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。本发明拍摄携带有文本信息的图像替代拍摄实际商品进行收银识别，节省了等待时间，提升了门店的运营效率。

Description

商品识别方法及装置、计算设备、计算机存储介质

技术领域

本发明涉及智慧门店技术领域，具体涉及一种商品识别方法及装置、计算设备、计算机存储介质。

背景技术

智慧门店是基于物联网和云计算技术为门店量身打造的智能管理系统，通过客户自主点餐系统、服务呼叫系统、后厨互动系统、智慧收银系统以及信息管理系统可显著地节约用工数量、降低经营成本、提升管理绩效。

现有技术中，在智慧收银的场景中，发现在诸如海鲜店、大排档、面馆等快餐门店，如需使用智慧收银系统，需要等菜品制作完成之后，将制作好的菜品交给智慧收银系统进行识别，然后再进行结算。然而，对于这种快餐门店来说，这样收银方式浪费了等待时间，导致动线拥堵，大大影响了门店的运营效率。在这类场景中，存在利用菜品制作的时间，仍旧能够进行收银结算的现实需求。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的商品识别方法及装置、计算设备、计算机存储介质。

根据本发明实施例的一个方面，提供了一种商品识别方法，包括：

获取经拍摄得到的目标图像；

对所述目标图像进行检测，得到至少一个目标子图像以及图像类别；

根据所述图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像；其中，第一商品图像携带有文本信息；

若属于第一商品图像，对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息；

若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息；

整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

在一种可选的方式中，针对属于第一商品图像的目标子图像，所述方法还包括：获取目标子图像的有序位置信息，根据所述有序位置信息得到目标子图像的方向信息；

所述对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息进一步包括：对该目标子图像分别进行文本识别，得到文本信息；根据该目标子图像的方向信息和所述文本信息，得到对应的第一商品的商品信息。

在一种可选的方式中，所述对所述目标图像进行检测，得到至少一个目标子图像以及图像类别进一步包括：

对所述目标图像进行特征提取，得到目标特征图；

对所述目标特征图进行定位检测，得到至少一个目标子图像；

对所述目标特征图进行类别检测，得到至少一个目标子图像的图像类别。

在一种可选的方式中，在所述得到对应的第一商品的商品信息，和/或，得到对应的第二商品的商品信息之后，所述方法还包括：

将所述第一商品的商品信息和/或所述第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正。

在一种可选的方式中，所述将所述第一商品的商品信息和/或所述第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正进一步包括：

针对任一第一商品的商品信息和/或第二商品的商品信息，将商品信息与目标门店的商品信息库内的商品信息进行相似度匹配，得到相似度最高的商品信息库内的商品信息作为校正后的商品信息。

在一种可选的方式中，所述方法还包括：训练得到检测网络、文本识别网络和/或图像识别网络；

所述对所述目标图像进行检测，得到至少一个目标子图像以及图像类别具体为：将所述目标图像输入至训练得到的检测网络中，得到至少一个目标子图像以及图像类别；

所述对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息具体为：将该目标子图像输入至文本识别网络中，得到对应的第一商品的商品信息；

所述对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息具体为：将该目标子图像输入至图像识别网络中，得到对应的第二商品的商品信息。

在一种可选的方式中，所述方法还包括：

获取样本图像集合，其中样本图像包含至少一个第一样本商品和至少一个第二样本商品；

对所述样本图像集合中的各个样本图像进行标注，任一样本图像的标注信息包括：所述至少一个第一样本商品的文本检测框的有序位置信息、类别信息和商品信息，以及所述至少一个第二样本商品的检测框的位置信息、类别信息和商品信息。

在一种可选的方式中，第一样本商品的文本检测框是样本图像中第一样本商品记录的文本信息的外接矩形框，第二样本商品的检测框是样本图像中第二样本商品的外接矩形框。

在一种可选的方式中，所述文本检测框的有序位置信息具体为所述文本检测框的存在先后排列顺序的四个顶点的图像坐标信息，或者，所述文本检测框的中心点的图像坐标信息以及存在先后排列顺序的四个顶点相对于中心点的图像坐标偏移量信息；其中，所述先后排列顺序根据第一样本商品记录的文本信息的阅读方向而确定；

所述检测框的位置信息具体为所述检测框的四个顶点的图像坐标信息，或者，所述检测框的中心点的图像坐标信息以及四个顶点相对于中心点的图像坐标偏移量信息。

在一种可选的方式中，所述获取样本图像集合进一步包括：

采集第一样本商品图像集合和第二样本商品图像集合；

将第一样本商品图像与第二样本商品图像进行随机合成，得到样本图像集合。

在一种可选的方式中，所述训练得到检测网络进一步包括：根据样本图像以及样本图像的标注信息对检测网络进行训练，得到训练后的检测网络。

在一种可选的方式中，所述训练得到文本识别网络进一步包括：

根据所述至少一个第一样本商品的文本检测框的有序位置信息，从样本图像中分割得到所述至少一个第一样本商品的文本检测框对应的至少一个第一样本商品子图；

根据第一样本商品子图以及商品信息对文本识别网络进行训练，得到训练后的文本识别网络。

在一种可选的方式中，所述训练得到图像识别网络进一步包括：

根据所述至少一个第二样本商品的检测框的位置信息，从样本图像中分割得到所述至少一个第二样本商品的检测框对应的至少一个第二样本商品子图；

根据第二样本商品子图以及商品信息对图像识别网络进行训练，得到训练后的图像识别网络。

在一种可选的方式中，在所述对应的第一商品的商品信息之后，所述方法还包括：

向后厨系统发送包含所述第一商品的商品信息的通知消息，以供所述后厨系统进行商品制作。

根据本发明实施例的另一方面，提供了一种商品识别装置，包括：

图像获取模块，用于获取经拍摄得到的目标图像；

检测模块，用于对所述目标图像进行检测，得到至少一个目标子图像以及图像类别；根据所述图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像；其中，第一商品图像携带有文本信息；

文本识别模块，用于若属于第一商品图像，对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息；

图像识别模块，用于若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息；

结算模块，用于整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

在一种可选的方式中，所述装置还包括：方向检测模块，用于获取属于第一商品图像的目标子图像的有序位置信息，根据所述有序位置信息得到目标子图像的方向信息；

所述文本识别模块进一步用于：对该目标子图像分别进行文本识别，得到文本信息；根据该目标子图像的方向信息和所述文本信息，得到对应的第一商品的商品信息。

在一种可选的方式中，所述检测模块进一步用于：

对所述目标图像进行特征提取，得到目标特征图；

对所述目标特征图进行定位检测，得到至少一个目标子图像；

对所述目标特征图进行类别检测，得到至少一个目标子图像的图像类别。

在一种可选的方式中，所述装置还包括：校正模块，用于将所述第一商品的商品信息和/或所述第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正。

在一种可选的方式中，所述校正模块具体用于：针对任一第一商品的商品信息和/或第二商品的商品信息，将商品信息与目标门店的商品信息库内的商品信息进行相似度匹配，得到相似度最高的商品信息库内的商品信息作为校正后的商品信息。

在一种可选的方式中，所述装置还包括：训练模块，用于训练得到检测网络、文本识别网络和/或图像识别网络；

所述检测模块具体用于：将所述目标图像输入至训练得到的检测网络中，得到至少一个目标子图像以及图像类别；

所述文本识别模块具体用于：将该目标子图像输入至文本识别网络中，得到对应的第一商品的商品信息；

所述图像识别模块具体用于：将该目标子图像输入至图像识别网络中，得到对应的第二商品的商品信息。

在一种可选的方式中，所述装置还包括：样本处理模块，用于获取样本图像集合，其中样本图像包含至少一个第一样本商品和至少一个第二样本商品；对所述样本图像集合中的各个样本图像进行标注，任一样本图像的标注信息包括：所述至少一个第一样本商品的文本检测框的有序位置信息、类别信息和商品信息，以及所述至少一个第二样本商品的检测框的位置信息、类别信息和商品信息。

在一种可选的方式中，第一样本商品的文本检测框是样本图像中第一样本商品记录的文本信息的外接矩形框，第二样本商品的检测框是样本图像中第二样本商品的外接矩形框。

在一种可选的方式中，所述文本检测框的有序位置信息具体为所述文本检测框的存在先后排列顺序的四个顶点的图像坐标信息，或者，所述文本检测框的中心点的图像坐标信息以及存在先后排列顺序的四个顶点相对于中心点的图像坐标偏移量信息；其中，所述先后排列顺序根据第一样本商品记录的文本信息的阅读方向而确定；

所述检测框的位置信息具体为所述检测框的四个顶点的图像坐标信息，或者，所述检测框的中心点的图像坐标信息以及四个顶点相对于中心点的图像坐标偏移量信息。

在一种可选的方式中，所述样本处理模块进一步用于：

采集第一样本商品图像集合和第二样本商品图像集合；

将第一样本商品图像与第二样本商品图像进行随机合成，得到样本图像集合。

在一种可选的方式中，所述训练模块进一步用于：根据样本图像以及样本图像的标注信息对检测网络进行训练，得到训练后的检测网络。

在一种可选的方式中，所述训练模块进一步用于：

根据所述至少一个第一样本商品的文本检测框的有序位置信息，从样本图像中分割得到所述至少一个第一样本商品的文本检测框对应的至少一个第一样本商品子图；

根据第一样本商品子图以及商品信息对文本识别网络进行训练，得到训练后的文本识别网络。

在一种可选的方式中，所述训练模块进一步用于：

根据所述至少一个第二样本商品的检测框的位置信息，从样本图像中分割得到所述至少一个第二样本商品的检测框对应的至少一个第二样本商品子图；

根据第二样本商品子图以及商品信息对图像识别网络进行训练，得到训练后的图像识别网络。

在一种可选的方式中，所述装置还包括：通知模块，用于向后厨系统发送包含所述第一商品的商品信息的通知消息，以供所述后厨系统进行商品制作。

根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述商品识别方法对应的操作。

根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述商品识别方法对应的操作。

根据本发明实施例提供的商品识别方法及装置，通过对目标图像进行图像检测，得到对应的目标子图像，然后对每个目标子图像进行区分，若属于第一商品图像，则进行文本识别得到待结算的第一商品的商品信息，若属于第二商品图像，则进行图像识别得到待结算的第二商品的商品信息，进而整合进行自动收银结算处理。本发明实施例中，针对一些非实际商品，拍摄携带有文本信息的图像替代拍摄实际商品进行收银识别，节省了等待时间，提升了门店的运营效率。本发明实施例提供的方法适用于海鲜店、大排档、面馆等快餐门店，扩展了智慧收银系统在餐饮场景或其它具有相同需求的商业场景的使用范围，提升了智慧收银系统的适用性。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明一实施例提供的商品识别方法的流程图；

图2示出了本发明另一实施例提供的商品识别方法的流程图；

图3示出了本发明又一实施例提供的训练网络方法的流程图；

图4示出了本发明实施例中竹签单品的示意图；

图5示出了本发明实施例中样本图像的示意图；

图6示出了本发明再一实施例提供的商品识别方法的流程图；

图7示出了本发明实施例提供的商品识别装置的结构示意图；

图8示出了本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了满足一些门店中存在的利用菜品制作的时间仍旧能够进行收银结算的需求，本发明实施例提供了一种应用于智慧收银系统的自动收银解决方案，该解决方案通过拍摄携带有文本信息的图像替代拍摄实际商品进行收银识别。一种可选的实施方式是，利用一表面记录有文本信息的商品载体替代商品本身进行收银结算，该商品载体具体为商品的替代物品，在商品载体的表面记录商品名称或商品编号等文本信息。举例来说，商品载体可以为竹签，竹签表面上预先写有商品名称或商品编号，还可写有商品价格等信息，在海鲜、面馆、大排档等快餐餐饮场所，顾客根据现场菜品样品自行选择所需要的菜品，然后选取写有菜品名称、菜品价格的竹签，拿到自助收银机器处，使自助收银机器识别竹签上写有的内容，进行收银结算处理。

应当理解的是，本发明实施例所应用的商品范围不仅限于是菜品，还可以是其它实际出售的物品或服务，如现场制作的饮品、手工艺品，或者是美容美发服务等；本发明实施例对商品载体的外形形状和材质不作限定，商品载体可以是签状物、牌状物或其他形状物品，在下面的各个实施例中，商品具体以菜品为例进行说明，商品载体具体以竹签为例进行说明。

图1示出了本发明一实施例提供的商品识别方法的流程图，如图1所示，该方法包括以下步骤：

步骤101，获取经拍摄得到目标图像。

当顾客在门店场所中决定购买一些目标菜品之后，选取目标菜品对应的竹签，竹签表面记录有文本信息。可选地，该文本信息包含商品名称或商品编号，还可包含商品价格等信息。为了便于顾客选取，竹签表面记录有菜品名称。顾客将选取的竹签放置到自助收银机器的摄像头下方，摄像头拍摄这些竹签得到目标图像。后台系统获取经拍摄得到的目标图像，进行后续的检测分析。

步骤102，对目标图像进行检测，得到至少一个目标子图像以及图像类别。

在获取到目标图像之后，对目标图像进行检测，该检测过程包含定位检测和类别检测。其中，定位检测的目的是检测出单个商品的子图像，单个商品的子图像称为目标子图像。本实施例中，在检测过程中，感兴趣的目标区域是商品图像区域，定位包含商品图像区域的目标检测框，进行前景和背景的分割，最终得到每个商品图像区域，分别存储为目标子图像。类别检测的目的是检测出目标检测框所属的类别，进而确定依据目标检测框分割出的目标子图像的图像类别。本实施例中，图像类别用于区分实际商品类和非实际商品类（如商品载体）。

步骤103，根据图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像；其中，第一商品图像携带有文本信息。

针对任一目标子图像，根据图像类别判断其属于第一商品图像还是属于第二商品图像。若图像类别表明为非实际商品类，则目标子图像属于第一商品图像；若图像类别表明为实际商品类，则目标子图像属于第二商品图像。

步骤104，若属于第一商品图像，对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息。

针对属于第一商品图像的目标子图像，对其进行文本识别，得到所记录的文本信息，根据文本信息，得到第一商品的商品信息。

以竹签为例，由于竹签表面记录的信息为文本信息，对对应的目标子图像进行识别可以采取文本识别技术，可选地，采取OCR（Optical Character Recognition，光学字符识别）识别技术识别目标子图像中的文本。如果竹签表面记录的是菜品名称，那么识别结果为文字，根据文字识别结果得到竹签对应的菜品的菜品名称。如果竹签表面记录的是菜品编号，那么识别结果为数字，进一步将数字与目标门店内的菜单信息进行匹配，得到竹签对应的菜品的菜品详情信息。

步骤105，若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息。

针对属于第二商品图像的目标子图像，对其进行图像识别。本实施例对所采取的图像识别技术不作限定，例如可以采取特征匹配、模型识别等技术。

本实施例对步骤104和步骤105的先后执行顺序不作限定。

为了进一步提升菜品信息识别的准确性，在得到识别结果之后，本实施例还包括：将识别结果与菜品名称进行匹配，以获得准确的菜品名称。具体匹配方式为：将识别结果与目标门店的菜品信息库进行匹配，根据匹配结果对识别结果进行校正，校正为准确的菜品名称。

步骤106，整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

在得到待结算的商品的商品信息之后，后台系统将商品信息发送给收银系统，以供收银系统根据商品信息进行结算处理。另外，后台系统还可以向后厨系统发送包含第一商品的商品信息的通知消息，以供后厨系统进行商品制作。

在一种实际场景中，顾客可能会针对同一菜品点多份，则顾客可选取记录同一菜品名称的多个竹签，本实施例在识别时，识别出多个相同的菜品名称，在这种情况下，收银系统会统计对应竹签的下单个数，按照相应的份数进行收银结算；同时，也会将份数通知给后厨系统，以供后厨系统按份数进行菜品制作。

根据本发明实施例提供的商品识别方法，通过对目标图像进行图像检测，得到对应的目标子图像，然后对每个目标子图像进行区分，若属于第一商品图像，则进行文本识别得到待结算的第一商品的商品信息，若属于第二商品图像，则进行图像识别得到待结算的第二商品的商品信息，进而整合进行自动收银结算处理。本发明实施例中，针对一些非实际商品，拍摄携带有文本信息的图像替代拍摄实际商品进行收银识别，节省了等待时间，提升了门店的运营效率。本发明实施例提供的方法适用于海鲜店、大排档、面馆等快餐门店，扩展了智慧收银系统在餐饮场景或其它具有相同需求的商业场景的使用范围，提升了智慧收银系统的适用性。

图2示出了本发明另一实施例提供的商品识别方法的流程图，如图2所示，该方法包括以下步骤：

步骤201，获取经拍摄得到的目标图像。

顾客在门店场所中选取了一些目标菜品对应的竹签，另外还选购了一些现有的商品，顾客将竹签和商品一起放置到自助收银机器的摄像头下方，摄像头拍摄竹签和商品得到目标图像。

步骤202，对目标图像进行检测，得到至少一个目标子图像以及图像类别。

作为一种可选的实施方式，本步骤具体包括：对目标图像进行特征提取，得到目标特征图；对目标特征图进行定位检测，得到至少一个目标子图像；对目标特征图进行类别检测，得到至少一个目标子图像的图像类别。

首先，对目标图像进行特征提取，得到目标特征图。该步骤是将目标图像进行特征化，以便于后续定位检测和类别检测基于相应的特征进行检测。

其次，对目标特征图进行定位检测，得到至少一个目标子图像。本步骤目的是定位目标检测框，目标检测框涵盖的是感兴趣的商品图像区域，根据目标检测框的位置信息进行图像分割，得到每个商品图像区域，分别存储为目标子图像。将目标检测框的位置信息存储为目标子图像的位置信息。

然后，对目标特征图进行类别检测，得到至少一个目标子图像的图像类别。类别检测的目的是检测出目标检测框所属的类别，进而确定依据目标检测框分割出的目标子图像的图像类别。本实施例中，图像类别用于区分实际商品类和非实际商品类（如商品载体）。

可选地，为了进一步估计商品载体的姿态，本实施例所定位的每个商品的目标检测框包含两种类型的检测框：水平矩形框和旋转矩形框。其中，旋转矩形框是引入了姿态估计的商品的外接矩形框，水平矩形框是旋转矩形框的最小外接水平矩形框。本实施例中，如不考虑实际商品的姿态，仅考虑商品载体的姿态，那么对于实际商品，关注水平矩形框即可；对于商品载体，关注旋转矩形框即可。

以竹签为例，为了解决竹签任意角度放置导致的文本识别较难的问题，本实施例将姿态估计引入进来，并将姿态估计创造性的用于文本阅读方向检测。通过上述定位检测，可检测出竹签表面记录的文本信息的外接矩形框（也称文本检测框），该外接矩形框为旋转矩形框，该旋转矩形框的旋转角度与竹签的放置角度有关。因此，对于竹签类商品载体，上述定位检测输出的目标子图像的位置信息具体为有序位置信息，该有序位置信息可以为旋转矩形框的四个顶点的图像坐标信息，而且四个顶点存在先后排列顺序，该先后排列顺序表征了目标子图像携带的文本信息的阅读方向。

步骤203，根据图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像。

针对任一目标子图像，根据图像类别判断其属于第一商品图像还是属于第二商品图像。若图像类别表明为非实际商品（如商品载体），则目标子图像属于第一商品图像；若图像类别表明为实际商品，则目标子图像属于第二商品图像。

步骤204，若属于第一商品图像，则获取目标子图像的有序位置信息，根据所述有序位置信息得到目标子图像的方向信息；对该目标子图像分别进行文本识别，得到文本信息；根据该目标子图像的方向信息和所述文本信息，得到对应的第一商品的商品信息。

本实施例中，对于第一商品图像，获取定位检测输出的目标子图像的有序位置信息，根据有序位置信息得到目标子图像的方向信息，该方向信息具体为文本信息的阅读方向信息。

以竹签为例，通过上述定位检测，可检测出竹签表面记录的文本信息的外接矩形框的有序位置信息。该有序位置信息可以为旋转矩形框的四个顶点的图像坐标信息，而且四个顶点存在先后排列顺序，该先后排列顺序表征了竹签图像携带的文本信息的阅读方向。

可选地，采取OCR识别技术识别目标子图像中的文本信息。在识别出文本信息之后，基于所确定的文本信息的阅读方向，确定商品信息。如果竹签表面记录的是菜品名称，那么识别结果为数个文字，按方向信息组合数个文字得到竹签对应的菜品的菜品名称。如果竹签表面记录的是菜品编号，那么识别结果为数个数字，按方向信息组合数个数字得到竹签对应的菜品的菜品编号，进一步将菜品编号与目标门店内的菜单信息进行匹配，得到竹签对应的菜品的菜品详情信息。

步骤205，若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息。

针对第二商品图像，采取图像识别技术进行识别。本实施例对所采取的图像识别技术不作限定，例如可以采取特征匹配、模型识别等技术。

本实施例对步骤204和步骤205的先后执行顺序不作限定。

步骤206，将第一商品的商品信息和/或第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正。

为了进一步提升商品信息识别的准确性，在得到文本识别和/或图像识别结果之后，本步骤将识别出的商品信息与目标门店的商品信息库进行匹配，以获得准确的商品信息。

具体地，针对任一第一商品的商品信息和/或第二商品的商品信息，将识别出的商品信息与目标门店的商品信息库内的商品信息进行相似度匹配，得到相似度最高的商品信息库内的商品信息作为校正后商品信息。以菜品名称为例，将识别出的菜品名称与菜单中的菜品名称做相似度匹配，可选地，相似度计算可采取归一化编辑距离计算，两个菜品名称的归一化编辑距离越小，相似度越高。本步骤通过匹配对文本识别和/或图像识别结果进行校正，提升了识别准确率。

步骤207，整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

将识别出的商品进行整合，得到待结算的商品，将待结算的商品的商品信息发送给收银系统，以供收银系统进行收银结算。另外，将步骤203识别出的第一商品的商品信息发送给后厨系统，以通知后厨系统进行商品制作。

本发明实施例提供的商品识别方法适用于混合结算识别场景，通过对目标图像进行图像检测，得到对应的目标子图像，然后对每个目标子图像进行区分，若属于第一商品图像，则进行文本识别得到待结算的第一商品的商品信息，若属于第二商品图像，则进行图像识别得到待结算的第二商品的商品信息，进而整合进行自动收银结算处理。本发明实施例利用商品载体替代商品本身进行收银识别，节省了等待时间，提升了门店的运营效率。本发明实施例提供的方法适用于海鲜店、大排档、面馆等快餐门店，扩展了智慧收银系统在餐饮场景或其它具有相同需求的商业场景的使用范围，提升了智慧收银系统的适用性。本发明实施例支持商品载体和商品的混合结算，实现了商品载体和商品一次性结算处理，满足了餐饮场景的实际需求。

在本发明又一实施例中，可通过训练网络实现上述图像检测和文本/图像识别，该实施例分别离线训练过程和在线结算过程两个过程，下面分别对这两个过程进行详细介绍。

图3示出了本发明又一实施例提供的训练网络方法的流程图，该方法为离线训练过程，如图3所示，该方法包括以下步骤：

步骤301，获取样本图像集合，对样本图像集合中的各个样本图像进行标注。

采集样本图像获取样本图像集合。其中，样本图像包含至少一个第一样本商品和至少一个第二样本商品。其中，第一样本商品为非实际商品（如商品载体），第二样本商品为实际商品。采集样本图像可以通过拍摄大量的不同实际商品与不同商品载体的组合而得到。

作为本发明一种可选的实施方式，为了减少样本图像采集的工作量，可以仅对商品载体进行拍摄，得到大量商品载体的单品图，然后从商品载体的单品图中将商品载体图像分割出来，得到第一样本商品图像集合；对实际商品图像进行拍摄，得到大量实际商品图像的单品图或组合图，得到第二样本商品图像集合。然后，将第一样本商品图像与第二样本商品图像进行随机合成，得到样本图像集合。本实施例通过算法自动合成样本图像，减少了数据采集和标注的规模，节省了成本，便于落地实现。

图4示出了本发明实施例中竹签单品的示意图。如图4所示，对竹签拍摄得到竹签单品图，竹签上记录有菜品名称，从竹签单品图中分割出竹签图像。图5示出了本发明实施例中样本图像的示意图。如图5所示，将竹签图像与实际商品图像进行随机合成，得到样本图像，该样本图像中包含3个竹签51、52、53和1个实际的商品50。利用该合成方法，可以得到大量的样本图像。

在得到样本图像之后，对样本图像进行标注。任一样本图像的标注信息包括：至少一个第一样本商品的文本检测框的有序位置信息、类别信息和商品信息，以及至少一个第二样本商品的检测框的位置信息、类别信息和商品信息。其中，第一样本商品的文本检测框是样本图像中第一样本商品记录的文本信息的外接矩形框，可选地，第一样本商品的文本检测框是旋转矩形框；第二样本商品的检测框是样本图像中第二样本商品的外接矩形框，可选地，第二样本商品的检测框为水平矩形框。

第一样本商品的文本检测框的有序位置信息具体为文本检测框的存在先后排列顺序的四个顶点的图像坐标信息，或者，文本检测框的中心点的图像坐标信息以及存在先后排列顺序的四个顶点相对于中心点的图像坐标偏移量信息；其中，先后排列顺序根据第一样本商品记录的文本信息的阅读方向而确定；

第二样本商品的检测框的位置信息具体为检测框的四个顶点的图像坐标信息，或者，检测框的中心点的图像坐标信息以及四个顶点相对于中心点的图像坐标偏移量信息。

如图5所示，针对商品50，需要标注商品的检测框的位置信息，可选地，标注商品的检测框的四个顶点（a，b，c，d）的图像坐标信息作为商品的位置信息，另外，还需标注商品信息和类别信息，商品信息可选为商品名称字符串，类别信息可选为实际商品类别。对于第二样本商品的检测框，其四个顶点的图像坐标信息为无序的。

针对竹签51、52、53，需要标注竹签上文本检测框的有序位置信息，可选地，标注文本检测框的四个顶点的图像坐标信息作为文本检测框的有序位置信息。竹签51、52、53上文本检测框的四个顶点分别为（A1，B1，C1，D1），（A2，B2，C2，D2），（A3，B3，C3，D3）。另外，还需标注商品信息和类别信息，商品信息可选为商品名称字符串，类别信息可选为非实际商品类别。对于第一样本商品的文本检测框，其四个顶点的图像坐标信息为有序的。

步骤302，对检测网络进行训练。

根据样本图像以及样本图像的标注信息对用于进行图像检测的检测网络进行训练，得到训练后的检测网络。

具体地，将样本图像输入到检测网络中，将第一样本商品的文本检测框的有序位置信息和第二样本商品的检测框的位置信息作为检测网络的监督信息，对检测网络进行训练，使得检测网络对检测第一样本商品的文本检测框和第二样本商品的检测框的位置进行学习，最终得到训练完成的检测网络。

步骤303，对文本识别网络进行训练。

根据至少一个第一样本商品的文本检测框的有序位置信息，从样本图像中分割得到至少一个第一样本商品的文本检测框对应的至少一个第一样本商品子图；根据第一样本商品子图以及商品信息对文本识别网络进行训练，得到训练后的文本识别网络。

以图5为例，根据竹签51、52、53的文本检测框的有序位置信息，从样本图像中分割出相应的竹签子图；将竹签子图输入到文本识别网络中，将竹签子图对应的预先标注的菜品名称字符串（即商品信息）作为文本识别网络的监督信息，对文本识别网络进行训练，得到训练完成的文本识别网络。

步骤304，对图像识别网络进行训练。

根据至少一个第二样本商品的检测框的位置信息，从样本图像中分割得到至少一个第二样本商品的检测框对应的至少一个第二样本商品子图；根据第二样本商品子图以及商品信息对图像识别网络进行训练，得到训练后的图像识别网络。

以图5为例，根据商品50的检测框的位置信息，从样本图像中分割出相应的商品子图；将商品子图输入到图像识别网络中，将商品子图对应的预先标注的商品名称字符串（即商品信息）作为图像识别网络的监督信息，对图像识别网络进行训练，得到训练完成的图像识别网络。

本实施例对步骤303和步骤304的先后执行顺序不作限定。

在一种具体实施方式中，检测网络、文本识别网络和图像识别网络可以是三个独立的网络，分别进行训练得到。

在另一种具体实施方式中，检测网络、文本识别网络和图像识别网络可以分别作为三个网络分支组合在一起进行训练。具体地，在上述步骤302中，首先将样本图像输入到检测网络分支中，将第一样本商品的文本检测框的有序位置信息和第二样本商品的检测框的位置信息作为检测网络分支的监督信息，对检测网络分支进行训练，得到检测网络分支输出的图像检测分割结果，该图像检测分割结果包含至少一个第一样本商品的文本检测框对应的至少一个第一样本商品子图以及至少一个第二样本商品的检测框对应的至少一个第二样本商品子图；在上述步骤303中，将检测网络分支输出的至少一个第一样本商品子图分别输入到文本识别网络分支中，将预先标注的第一样本商品子图对应的商品信息作为文本识别网络分支的监督信息，对文本识别网络分支进行训练；在上述步骤304中，将检测网络分支输出的至少一个第二样本商品的检测框对应的至少一个第二样本商品子图分别输入到图像识别网络分支中，将预先标注的第二样本商品子图对应的商品信息作为图像识别网络分支的监督信息，对图像识别网络分支进行训练。最终得到具备检测和识别功能的训练网络。

图6示出了本发明再一实施例提供的商品识别方法的流程图，该实施例具体为基于上述离线训练过程得到的训练网络所实施的在线结算过程，如图6所示，该方法包括以下步骤：

步骤601，获取经拍摄得到的目标图像。

步骤602，将目标图像输入至训练得到的检测网络中，得到至少一个目标子图像以及图像类别。

以图5为待检测的目标图像为例，将该目标图像输入至检测网络中，得到的输出结果为商品50的四个顶点（a，b，c，d）的图像坐标信息和图像类别（实际商品类），以及竹签51、52、53的四个顶点（A1，B1，C1，D1），（A2，B2，C2，D2），（A3，B3，C3，D3）的图像坐标信息和图像类别（非实际商品类），其中竹签51、52、53的四个顶点的排列顺序是有序的。

根据商品50的四个顶点（a，b，c，d）的图像坐标信息，对目标图像进行分割处理，得到商品50对应的目标子图像；根据竹签51、52、53的四个顶点（A1，B1，C1，D1），（A2，B2，C2，D2），（A3，B3，C3，D3）的图像坐标信息，对目标图像进行分割处理，得到竹签51、52、53对应的目标子图像。

步骤603，根据图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像。

步骤604，若属于第一商品图像，则获取该目标子图像的有序位置信息，根据有序位置信息得到目标子图像的方向信息；将该目标子图像输入至文本识别网络中，结合方向信息得到对应的第一商品的商品信息。

步骤605，若属于第二商品图像，则将该目标子图像输入至图像识别网络中，得到对应的第二商品的商品信息。

本实施例对步骤604和步骤605的先后执行顺序不作限定。

步骤606，将第一商品的商品信息和/或第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正。

针对任一第一商品的商品信息和/或第二商品的商品信息，将识别出的商品信息与目标门店的商品信息库内的商品信息进行相似度匹配，得到相似度最高的商品信息库内的商品信息作为校正后商品信息。以菜品名称为例，将识别出的菜品名称与菜单中的菜品名称做相似度匹配，可选地，相似度计算可采取归一化编辑距离计算，两个菜品名称的归一化编辑距离越小，相似度越高。本步骤通过匹配对文本识别和/或图像识别结果进行校正，提升了识别准确率。

步骤607，整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

将待结算的商品的商品信息发送给收银系统，以供收银系统进行收银结算。另外，将文本识别网络识别出的第一商品的商品信息发送给后厨系统，以通知后厨系统进行商品制作。

在本发明实施例提供的商品识别方法中，利用商品载体替代商品本身进行收银识别，节省了等待时间，提升了门店的运营效率。本发明实施例提供的方法适用于混合结算识别场景，实现了商品载体和商品一次性结算处理，满足了餐饮场景的实际需求。本发明实施例提供的方法适用于海鲜店、大排档、面馆等快餐门店，扩展了智慧收银系统在餐饮场景或其它具有相同需求的商业场景的使用范围，提升了智慧收银系统的适用性。

在上述离线训练过程中，样本采集工作可以简化为单品图的采集，由算法自动合成样本图像，减少了数据采集和标注的规模，节省了成本，便于落地实现。在混合结算场景中，检测网络可以一并检测出商品载体和商品，输出各自的检测结果，使得文本识别网络和图像识别网络能够共用检测网络的检测结果，以较低的计算代价实现了混合结算。

本发明实施例融合特定目标检测和通用文字识别技术，商品载体的外观样式固定，但商品载体上的文本不固定。固定的外观样式保证算法在不同商户都可取得同样的高准确性和高鲁棒性；不固定的文本便于一家商户的落地成果可快速复制到多家商户，也便于商户增减菜品。

本发明实施例将姿态估计引入进来，并将姿态估计创造性的用于文本阅读方向检测，解决了竹签任意角度放置导致的文本识别困难的问题。检测网络即可以计算出文本检测框的图像坐标信息，也可以计算出文字阅读方向，无需对多个可能方向都进行文本识别，节省了计算资源，加快了推理速度。

本发明实施例还通过匹配对文本识别和/或图像识别结果进行校正，而不是把文本识别和/或图像识别结果直接作为输出结果，提高了算法的准确性和鲁棒性。

本发明实施例中竹签采用正反面相同的设计，避免了用户把签放反，减少算法的复杂度，又可以提升用户体验的流畅度。

本发明上述图3和图4所示实施例提供的方案适用于混合结算识别场景。应当理解的是，针对非混合结算识别场景（目标图像包含商品载体，不包含商品），在离线训练阶段可以采集包含商品载体而不包含商品的样本图像，对检测网络和文本识别网络进行训练，无需训练图像识别网络；对应的，在在线结算阶段，利用检测网络进行图像分割检测，利用文本识别网络进行文本识别，无需图像识别网络。该非混合结算识别场景也属于本发明的保护范围。

图7示出了本发明实施例提供的商品识别装置的结构示意图。如图7所示，该装置700包括：

图像获取模块701，用于获取经拍摄得到的目标图像；

检测模块702，用于对所述目标图像进行检测，得到至少一个目标子图像以及图像类别；根据所述图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像；其中，第一商品图像携带有文本信息；

文本识别模块703，用于若属于第一商品图像，对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息；

图像识别模块704，用于若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息；

结算模块705，用于整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

在一种可选的方式中，所述装置还包括：方向检测模块706，用于获取属于第一商品图像的目标子图像的有序位置信息，根据所述有序位置信息得到目标子图像的方向信息；

所述文本识别模块703进一步用于：对该目标子图像分别进行文本识别，得到文本信息；根据该目标子图像的方向信息和所述文本信息，得到对应的第一商品的商品信息。

在一种可选的方式中，所述检测模块702进一步用于：

对所述目标图像进行特征提取，得到目标特征图；

对所述目标特征图进行定位检测，得到至少一个目标子图像；

对所述目标特征图进行类别检测，得到至少一个目标子图像的图像类别。

在一种可选的方式中，所述装置还包括：校正模块707，用于将所述第一商品的商品信息和/或所述第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正。

在一种可选的方式中，所述校正模块707具体用于：针对任一第一商品的商品信息和/或第二商品的商品信息，将商品信息与目标门店的商品信息库内的商品信息进行相似度匹配，得到相似度最高的商品信息库内的商品信息作为校正后的商品信息。

在一种可选的方式中，所述装置还包括：训练模块708，用于训练得到检测网络、文本识别网络和/或图像识别网络；

所述检测模块702具体用于：将所述目标图像输入至训练得到的检测网络中，得到至少一个目标子图像以及图像类别；

所述文本识别模块703具体用于：将该目标子图像输入至文本识别网络中，得到对应的第一商品的商品信息；

所述图像识别模块704具体用于：将该目标子图像输入至图像识别网络中，得到对应的第二商品的商品信息。

在一种可选的方式中，所述装置还包括：样本处理模块709，用于获取样本图像集合，其中样本图像包含至少一个第一样本商品和至少一个第二样本商品；对所述样本图像集合中的各个样本图像进行标注，任一样本图像的标注信息包括：所述至少一个第一样本商品的文本检测框的有序位置信息、类别信息和商品信息，以及所述至少一个第二样本商品的检测框的位置信息、类别信息和商品信息。

在一种可选的方式中，第一样本商品的文本检测框是样本图像中第一样本商品记录的文本信息的外接矩形框，第二样本商品的检测框是样本图像中第二样本商品的外接矩形框。

在一种可选的方式中，所述文本检测框的有序位置信息具体为所述文本检测框的存在先后排列顺序的四个顶点的图像坐标信息，或者，所述文本检测框的中心点的图像坐标信息以及存在先后排列顺序的四个顶点相对于中心点的图像坐标偏移量信息；其中，所述先后排列顺序根据第一样本商品记录的文本信息的阅读方向而确定；

所述检测框的位置信息具体为所述检测框的四个顶点的图像坐标信息，或者，所述检测框的中心点的图像坐标信息以及四个顶点相对于中心点的图像坐标偏移量信息。

在一种可选的方式中，所述样本处理模块709进一步用于：

采集第一样本商品图像集合和第二样本商品图像集合；

将第一样本商品图像与第二样本商品图像进行随机合成，得到样本图像集合。

在一种可选的方式中，所述训练模块708进一步用于：根据样本图像以及样本图像的标注信息对检测网络进行训练，得到训练后的检测网络。

在一种可选的方式中，所述训练模块708进一步用于：

根据所述至少一个第一样本商品的文本检测框的有序位置信息，从样本图像中分割得到所述至少一个第一样本商品的文本检测框对应的至少一个第一样本商品子图；

根据第一样本商品子图以及商品信息对文本识别网络进行训练，得到训练后的文本识别网络。

在一种可选的方式中，所述训练模块708进一步用于：

根据所述至少一个第二样本商品的检测框的位置信息，从样本图像中分割得到所述至少一个第二样本商品的检测框对应的至少一个第二样本商品子图；

根据第二样本商品子图以及商品信息对图像识别网络进行训练，得到训练后的图像识别网络。

在一种可选的方式中，所述装置还包括：通知模块710，用于向后厨系统发送包含所述第一商品的商品信息的通知消息，以供所述后厨系统进行商品制作。

根据本发明实施例提供的商品识别装置，通过对目标图像进行图像检测，得到对应的目标子图像，然后对每个目标子图像进行区分，若属于第一商品图像，则进行文本识别得到待结算的第一商品的商品信息，若属于第二商品图像，则进行图像识别得到待结算的第二商品的商品信息，进而整合进行自动收银结算处理。本发明实施例中，针对一些非实际商品，拍摄携带有文本信息的图像替代拍摄实际商品进行收银识别，节省了等待时间，提升了门店的运营效率。本发明实施例提供的方法适用于海鲜店、大排档、面馆等快餐门店，扩展了智慧收银系统在餐饮场景或其它具有相同需求的商业场景的使用范围，提升了智慧收银系统的适用性。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的商品识别方法。

图8示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图8所示，该计算设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。

其中：

处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。

通信接口804，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器802，用于执行程序810，具体可以执行上述商品识别方法实施例中的相关步骤。

具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。

处理器802可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序810具体可以用于使得处理器802执行上述任意方法实施例中的商品识别方法。程序810中各步骤的具体实现可以参见上述商品识别方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (17)

1.一种商品识别方法，其特征在于，包括：

获取经拍摄得到的目标图像；

对所述目标图像进行检测，得到至少一个目标子图像以及图像类别；

根据所述图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像；其中，第一商品图像携带有文本信息；若图像类别表明为非实际商品类，则目标子图像属于第一商品图像；若图像类别表明为实际商品类，则目标子图像属于第二商品图像；

若属于第一商品图像，对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息；

若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息；

整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

2.根据权利要求1所述的方法，其特征在于，针对属于第一商品图像的目标子图像，所述方法还包括：获取目标子图像的有序位置信息，根据所述有序位置信息得到目标子图像的方向信息；

所述对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息进一步包括：对该目标子图像分别进行文本识别，得到文本信息；根据该目标子图像的方向信息和所述文本信息，得到对应的第一商品的商品信息。

3.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行检测，得到至少一个目标子图像以及图像类别进一步包括：

对所述目标图像进行特征提取，得到目标特征图；

对所述目标特征图进行定位检测，得到至少一个目标子图像；

对所述目标特征图进行类别检测，得到至少一个目标子图像的图像类别。

4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述得到对应的第一商品的商品信息，和/或，得到对应的第二商品的商品信息之后，所述方法还包括：

将所述第一商品的商品信息和/或所述第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一商品的商品信息和/或所述第二商品的商品信息与目标门店的商品信息库进行匹配，根据匹配结果对第一商品的商品信息和/或第二商品的商品信息进行校正进一步包括：

针对任一第一商品的商品信息和/或第二商品的商品信息，将商品信息与目标门店的商品信息库内的商品信息进行相似度匹配，得到相似度最高的商品信息库内的商品信息作为校正后的商品信息。

6.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：训练得到检测网络、文本识别网络和/或图像识别网络；

所述对所述目标图像进行检测，得到至少一个目标子图像以及图像类别具体为：将所述目标图像输入至训练得到的检测网络中，得到至少一个目标子图像以及图像类别；

所述对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息具体为：将该目标子图像输入至文本识别网络中，得到对应的第一商品的商品信息；

所述对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息具体为：将该目标子图像输入至图像识别网络中，得到对应的第二商品的商品信息。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取样本图像集合，其中样本图像包含至少一个第一样本商品和至少一个第二样本商品；

对所述样本图像集合中的各个样本图像进行标注，任一样本图像的标注信息包括：所述至少一个第一样本商品的文本检测框的有序位置信息、类别信息和商品信息，以及所述至少一个第二样本商品的检测框的位置信息、类别信息和商品信息。

8.根据权利要求7所述的方法，其特征在于，第一样本商品的文本检测框是样本图像中第一样本商品记录的文本信息的外接矩形框，第二样本商品的检测框是样本图像中第二样本商品的外接矩形框。

9.根据权利要求7所述的方法，其特征在于，所述文本检测框的有序位置信息具体为所述文本检测框的存在先后排列顺序的四个顶点的图像坐标信息，或者，所述文本检测框的中心点的图像坐标信息以及存在先后排列顺序的四个顶点相对于中心点的图像坐标偏移量信息；其中，所述先后排列顺序根据第一样本商品记录的文本信息的阅读方向而确定；

所述检测框的位置信息具体为所述检测框的四个顶点的图像坐标信息，或者，所述检测框的中心点的图像坐标信息以及四个顶点相对于中心点的图像坐标偏移量信息。

10.根据权利要求7所述的方法，其特征在于，所述获取样本图像集合进一步包括：

采集第一样本商品图像集合和第二样本商品图像集合；

将第一样本商品图像与第二样本商品图像进行随机合成，得到样本图像集合。

11.根据权利要求7所述的方法，其特征在于，所述训练得到检测网络进一步包括：根据样本图像以及样本图像的标注信息对检测网络进行训练，得到训练后的检测网络。

12.根据权利要求7所述的方法，其特征在于，所述训练得到文本识别网络进一步包括：

根据所述至少一个第一样本商品的文本检测框的有序位置信息，从样本图像中分割得到所述至少一个第一样本商品的文本检测框对应的至少一个第一样本商品子图；

根据第一样本商品子图以及商品信息对文本识别网络进行训练，得到训练后的文本识别网络。

13.根据权利要求7所述的方法，其特征在于，所述训练得到图像识别网络进一步包括：

根据所述至少一个第二样本商品的检测框的位置信息，从样本图像中分割得到所述至少一个第二样本商品的检测框对应的至少一个第二样本商品子图；

根据第二样本商品子图以及商品信息对图像识别网络进行训练，得到训练后的图像识别网络。

14.根据权利要求1所述的方法，其特征在于，在所述对应的第一商品的商品信息之后，所述方法还包括：

向后厨系统发送包含所述第一商品的商品信息的通知消息，以供所述后厨系统进行商品制作。

15.一种商品识别装置，其特征在于，包括：

图像获取模块，用于获取经拍摄得到的目标图像；

检测模块，用于对所述目标图像进行检测，得到至少一个目标子图像以及图像类别；根据所述图像类别，判断任一目标子图像是否属于第一商品图像或第二商品图像；其中，第一商品图像携带有文本信息；若图像类别表明为非实际商品类，则目标子图像属于第一商品图像；若图像类别表明为实际商品类，则目标子图像属于第二商品图像；

文本识别模块，用于若属于第一商品图像，对该目标子图像分别进行文本识别，得到对应的第一商品的商品信息；

图像识别模块，用于若属于第二商品图像，对该目标子图像分别进行图像识别，得到对应的第二商品的商品信息；

结算模块，用于整合识别得到的第一商品和/或第二商品的商品信息，进行结算处理。

16.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-14中任一项所述的商品识别方法对应的操作。

17.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-14中任一项所述的商品识别方法对应的操作。

Images