CN111832590B - 物品识别方法和系统 - Google Patents

Abstract

本公开提供了一种物品识别方法和系统，涉及图像识别领域。该方法包括：获取一个或多个待识别图像，其中，待识别图像中包括一个或多个待识别的物品；利用训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值；在概率大于阈值的情况下，识别各物品的类别。本公开能够提高物品识别的准确性和效率。

Description

物品识别方法和系统

技术领域

本公开涉及图像识别领域，尤其涉及一种物品识别方法和系统。

背景技术

在餐厅结算系统中，需要先识别出菜品，然后根据菜品对应的价格进行结算。相关技术中，可以基于计算机视觉技术识别菜品。例如，通过传感器触发图像采集装置对菜品进行拍照，然后进行菜品识别；或者，对图像采集装置采集的每一张图像进行处理，识别出图像中的菜品信息。

发明内容

发明人发现，通过传感器触发图像采集装置对菜品进行拍照，然后进行菜品识别的方式，由于需要配置传感器，导致成本增长，并且，当识别区域有杂物时，会造成误触发，另外，在顾客在识别区域放置好托盘后，传感器从开始响应到状态稳定需要一段时间，因此，会有触发时延，影响客户体验。

而对采集到的每一张图像进行识别，对服务器的算法要求较高，并且，对所有图像进行识别也会影响识别的准确度。

本公开要解决的一个技术问题是，提供一种物品识别方法和系统，能够提高物品识别的准确性。

根据本公开一方面，提出一种物品识别方法，包括：获取一个或多个待识别图像，其中，待识别图像中包括一个或多个待识别的物品；利用训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值；在概率大于阈值的情况下，识别各物品的类别。

在一些实施例中，若连续多个待识别图像中，第一个图像清晰并且包含完整物品的概率大于第一阈值，且其他图像清晰并且包含完整物品的概率大于第二阈值，则对连续多个图像中的第一个图像中包含的物品进行类别识别。

在一些实施例中，训练预识别模型包括：将样本图像中图像清晰并且包含完整物品的图像标注为正样本图像，将样本图像中不属于正样本图像的图像标注为负样本图像；基于正样本图像和负样本图像对预识别模型进行训练，以便根据训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值。

在一些实施例中，识别各物品的类别包括：将待识别图像输入至物品检测模型，提取待识别图像中各物品对应的区域信息和第一级类别；确定第一级类别中的有效类别；将待识别图像中属于有效类别的物品的区域信息输入至物品识别模型，提取各区域信息对应的物品特征，将各区域信息对应的物品特征与物品特征库中的物品特征进行比对，确定待识别图像中各物品的第二级类别。

在一些实施例中，训练物品检测模型和物品识别模型包括：对样本图像中的物品对应的区域信息和第一级类别进行标注，生成第一标注信息，基于样本图像和第一标注信息对物品检测模型进行训练，以便根据训练好的物品检测模型，确定待识别图像中各物品对应的区域信息和第一级类别；对样本图像中的有效类别物品的区域信息对应的物品特征进行标注生成第二标注信息，基于样本图像和第二标注信息对物品识别模型进行训练，以便根据训练好的物品识别模型提取待识别图像中各物品的区域信息对应的物品特征。

在一些实施例中，确定预定时间内物品特征库中的有效物品特征；将各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定待识别图中各物品的第二级类别。

在一些实施例中，确定各物品的物品特征与物品特征库中的物品特征的最小距离；若最小距离小于等于距离阈值，则将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别；若最小距离大于距离阈值，则向用户提示是否需要输入物品类别和属性信息；若需要输入物品类别和属性，则增加物品类别和属性信息，否则，将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

在一些实施例中，根据各物品的类别匹配对应的属性信息。

在一些实施例中，在匹配属性信息后，响应于用户修改物品的类别对应的属性信息，将待识别图像标注为训练图像或测试图像，以便基于待识别图像对物品检测模型和物品识别模型进行训练或测试。

在一些实施例中，基于物品检测模型确定各物品的尺寸信息，根据各物品的类别和尺寸匹配对应的属性信息；判断待识别图像中多个物品是否满足物品组合，若多个物品满足物品组合，则匹配物品组合对应的属性信息；判断待识别图像中多个物品对应的属性和，是否满足预设条件，若满足预设条件，则根据预设条件对属性和进行处理；确定物品匹配属性信息的匹配时间，根据匹配时间确定各物品对应的属性信息。

根据本公开的另一方面，还提出一种物品识别系统，包括：图像获取模块，被配置为获取一个或多个待识别图像，其中，待识别图像中包括一个或多个待识别的物品；预识别模块，被配置为利用训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值；物品确定模块，被配置为在概率大于阈值的情况下，识别各物品的类别。

在一些实施例中，预识别模块还被配置为若连续多个待识别图像中，第一个图像清晰并且包含完整物品的概率大于第一阈值，且其他图像清晰并且包含完整物品的概率大于第二阈值，则将连续多个图像中的第一个图像发送至物品确定模块；物品确定模块被配置为对连续多个图像中的第一个图像中包含的物品进行类别识别。

在一些实施例中，预识别模块还被配置为将样本图像中图像清晰并且包含完整物品的图像标注为正样本图像，将样本图像中不属于正样本图像的图像标注为负样本图像；基于正样本图像和负样本图像对预识别模型进行训练，以便根据训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值。

在一些实施例中，物品确定模块包括：物品检测模块，被配置为将待识别图像输入至物品检测模型，基于物品检测模型提取待识别图像中各物品对应的区域信息和第一级类别；物品管理模块，被配置为确定第一级类别中的有效类别；物品识别模块，被配置为将待识别图像中属于有效类别的物品的区域信息输入至物品识别模型，基于物品识别模型提取各区域信息对应的物品特征，将各区域信息对应的物品特征与物品特征库中的物品特征进行比对，确定待识别图像中各物品的第二级类别。

在一些实施例中，物品管理模块，被配置为确定第一级类别中的有效类别；物品检测模块，被配置为将待识别图像输入至物品检测模型，提取待识别图像中各物品对应的区域信息和第一级类别，调用物品管理模块，将属于有效类别的物品的区域信息输入至物品识别模块；物品识别模块还被配置为对样本图像中的有效类别物品的区域信息对应的物品特征进行标注生成第二标注信息，基于样本图像和第二标注信息对物品识别模型进行训练，以便根据训练好的物品识别模型提取待识别图像中各物品的区域信息对应的物品特征。

在一些实施例中，物品管理模块被配置为确定预定时间内物品特征库中的有效物品特征；物品识别模块还被配置为将各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定待识别图中各物品的第二级类别。

在一些实施例中，物品识别模块被配置为确定各物品的物品特征与物品特征库中的物品特征的最小距离；若最小距离小于等于距离阈值，则将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别；若最小距离大于距离阈值，则向用户提示是否需要输入物品类别和属性信息；若需要输入物品类别和属性，则增加物品类别和属性信息，否则，将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

在一些实施例中，属性匹配单元，被配置为根据各物品的类别匹配对应的属性信息。

在一些实施例中，物品管理模块还被配置为在匹配属性信息后，响应于用户修改物品的类别对应的属性信息，将待识别图像标注为训练图像或测试图像，以便基于待识别图像对物品检测模型和物品识别模型进行训练或测试。

在一些实施例中，属性匹配单元还被配置为以下至少一项：根据各物品的类别和尺寸匹配对应的属性信息，其中，物品检测模块还被配置为基于物品检测模型确定各物品的尺寸信息；判断待识别图像中多个物品是否满足物品组合，若多个物品满足物品组合，则匹配物品组合对应的属性信息；判断待识别图像中多个物品对应的属性和，是否满足预设条件，若满足预设条件，则根据预设条件对属性和进行处理；确定物品匹配属性信息的匹配时间，根据匹配时间确定各物品对应的属性信息。

根据本公开的另一方面，还提出一种物品识别系统，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上述的方法。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的方法的步骤。

与现有技术相比，本公开实施例对图像清晰并且包含完整物品的概率大于阈值的图像中的各物品进行识别，而不是对所有图像都进行物品识别，能够提高识别系统的准确性以及识别效率。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开物品识别方法的一些实施例的流程示意图。

图2为本公开物品识别方法的另一些实施例的流程示意图。

图3为本公开物品识别系统的一些实施例的结构示意图。

图4为本公开物品识别系统的另一些实施例的结构示意图。

图5为本公开物品识别系统的另一些实施例的结构示意图。

图6为本公开物品识别系统的另一些实施例的结构示意图。

图7为本公开物品识别系统的另一些实施例的结构示意图。

图8为本公开物品识别系统的另一些实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

图1为本公开物品识别方法的一些实施例的流程示意图。

在步骤110，获取一个或多个待识别图像，其中，待识别图像中包括一个或多个待识别的物品。例如，在餐厅中，顾客购买了一份菜和一碗米饭，可以将菜和米饭放置到识别区域，通过摄像头拍摄识别区域，可以得到包含菜和米饭的图像。

在步骤120，利用训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值。

在一些实施例中，可以预先训练预识别模型，收集一定数量的样本图像，并对样本图像进行分类，例如，将样本图像中图像清晰并且包含完整物品的图像标注为正样本图像，将样本图像中不属于正样本图像的图像标注为负样本图像，基于正样本图像和负样本图像对预识别模型进行训练。

例如，顾客购买了一份菜和一碗米饭，先将菜和米饭放置到托盘中，然后将托盘放置到识别区域。在用户放置托盘的过程中，托盘是不断移动的，如果图像采集装置采集图像时，托盘恰好还未完全进入到识别区域，则图像中托盘是不完整的，例如，有部分菜品未被采集到，或者，部分菜品只被采集到一小部分，这会影响后续识别的准确性。并且，托盘在移动过程中，采集到的图像带有运动模糊，这也会影响后续识别的准确性。因此，排除无效图像，只对包含完整托盘并且图像清晰的图像进行菜品识别。

在顾客正常结算过程中，采集一定数量的识别区域的图像，包括区域内无托盘的图像、托盘刚进入识别区域的图像、托盘一半进入识别区域的图像、托盘完全进入识别区域的图像，然后将图像进行分类，将图像清晰并且图像中托盘完全进入识别区域的图像标注为正样本图像，将其他图像标注为负样本图像，然后根据正负样本图像训练预识别模型。如果顾客没有用到托盘，则将图像清晰，并且包含完整菜品、饮料等计价商品的图像标注为正样本图像，其他图像标注为负样本图像，然后对预识别模型进行训练。

在步骤130，在概率大于阈值的情况下，识别各物品的类别。即该实施例中，不是对所有图像都进行物品类别识别，而是先判断图像是否符合要求，对符合要求的图像进行物品识别。

在上述实施例中，对图像清晰并且包含完整物品的概率大于阈值的图像中的各物品进行识别，而不是对所有图像都进行物品识别，能够提高识别系统的准确性以及识别效率。

在一些实施例中，为了进一步减少图像处理负担，若连续多个待识别图像中，各图像清晰并且包含完整物品的概率都大于阈值，则对连续多个图像中的第一个图像中包含的物品进行类别识别。

在一些实施例中，为了进一步减少图像处理负担以及提高系统稳定性，若连续多个待识别图像中，第一个图像清晰并且包含完整物品的概率大于第一阈值，且其他图像清晰并且包含完整物品的概率大于第二阈值，则对连续多个图像中的第一个图像中包含的物品进行类别识别。

例如，计算当前图像清晰并且包含完整物品的概率，在判断出第一个图像清晰并且包含完整物品的概率大于0.9的图像的情况下，对该第一个图像包含的物品进行类别识别，在第二至第N张图像清晰并且包含完整物品的概率都大于0.1的情况下，不对该第二至第N张图像进行处理。

图2为本公开物品识别方法的另一些实施例的流程示意图。

在步骤210，获取一个或多个待识别图像，其中，待识别图像中包括一个或多个待识别的物品。

在步骤220，利用训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值。

在步骤230，在概率大于阈值的情况下，将待识别图像输入至物品检测模型，基于物品检测模型提取待识别图像中各物品对应的区域信息和第一级类别。其中，第一级类别指物品所属的大类，例如菜品类、水果类、饮料类。

在一些实施例中，可以预先训练物品检测模型，对样本图像中的物品对应的区域信息和第一级类别进行标注，生成第一标注信息，基于样本图像和第一标注信息对物品检测模型进行训练。

在餐厅中，识别区域可能存在菜品、酸奶、水果、饮料等计价物品，也可能存在钥匙、工牌、钱包、手机、筷子、勺子、手等不计价物品。因此，可以先确定图像中各物品的大类，以便去除无效类别。

在训练物品检测模型时，将收集的图像中的物品标注为菜品、酸奶、水果、饮料、钥匙、工牌、钱包、手机、筷子、勺子、手等类别。然后将图像输入至物品检测模型进行训练，在训练好物品检测模型后，当输入一张图像时，物品检测模型可以输出图像中各物品的区域信息和类别信息。

在步骤240，根据配置信息确定第一级类别中的有效类别。例如，对与不计价物品，有概率被被误为计价物品，因此，需要去除不计价物品的类别，仅保留计价物品的类别，避免误识。

在步骤250，将待识别图像中属于有效类别的物品的区域信息输入至物品识别模型，基于物品识别模型提取各区域信息对应的物品特征，将各区域信息对应的物品特征与物品特征库中的物品特征进行比对，确定待识别图像中各物品的第二级类别。其中，第二级类别可以对应物品的具体信息。例如，某菜品具体为炒青椒还是炒白菜。

在一些实施例中，对样本图像中的有效类别物品的区域信息对应的物品特征进行标注生成第二标注信息，基于样本图像和第二标注信息对物品识别模型进行训练。

例如，对待出售的菜品进行注册，先采集该菜品的图像，将该图像输入至物品检测模块，物品检测模型输出该菜品的区域信息和类别，然后，将该菜品的区域信息对应的菜品特征进行标注，然后输入至物品识别模型，训练该物品识别模型；并将菜品特征存入特征库，当将某菜品对应的区域信息输入至物品识别模型时，物品识别模型调用特征库，将输出的菜品特征与特征库中保存的菜品特征进行比对，识别出该菜品对应的具体信息，例如，该菜品是炒白菜还是炒青椒。

在上述实施例中，先对图像进行预识别，去除不符合要求的图像，然后识别符合要求的图像中各物品的大类，去除无效类别，仅识别属于有效类别的物品的区域信息对应的物品特征，根据物品特征能够识别出具体物品，提高物品识别的准确性。

在本公开的另一些实施例中，确定预定时间内物品特征库中的有效物品特征；将各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定待识别图中各物品的第二级类别。

例如，物品特征库中保存了各个时期各菜品的特征，但不同季节，构成某一菜品的蔬菜可能略有差别，或者，在某些时段，某些菜品不再售卖，因此，可以将当前不参与售卖的菜品特征设置为无效特征，参与售卖的菜品特征设置为有效特征，因此，在识别菜品时，将待识别的菜品特征与特征库中有效菜品特征进行比对，确定该菜品具体为什么菜品。

在上述实施例中，将各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定待识别图中各物品的第二级类别，能够减少物品识别过程中的干扰，进一步提高识别的准确率。

在本公开的一些实施例中，在将物品特征与特征库的物品特征进行比对时，先确定各物品的物品特征与物品特征库中的物品特征的最小距离；若最小距离小于等于距离阈值，则将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别；若最小距离大于距离阈值，则向用户提示是否需要输入物品类别和属性信息；若需要输入物品类别和属性，则增加物品类别和属性信息，否则，将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

其中，距离例如为欧式距离，距离的大小代表相似度的大小，距离越小，说明待识别物品的物品特征与物品特征库中的物品特征越相似，在距离超过距离阈值时，说明物品特征库中可能不包含待识别物品的特征，因此，可以向用户提示是否需要输入物品类别和属性信息，若用户进行输入，则说明需要注册一个新物品，若用户没有进行输入，则将与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

在本公开的另一些实施例中，在识别出各物品的类别后，匹配该物品对应的属性信息。在一些实施例中，属性信息例如为价格。例如，识别出某菜品为炒白菜后，则可以匹配该菜品对应的价格，在结算时，若有多个菜品，则可以对多个菜品进行结算。

在该实施例中，由于提高了物品识别的准确性，因此，能够更加准确的匹配物品的属性信息。在属性信息为价格信息时，能够提高商品结算的准确性。

在本公开的另一些实施例中，在匹配属性信息后，响应于用户修改物品的类别对应的属性信息，将待识别图像标注为训练图像或测试图像，以便基于待识别图像对物品检测模型和物品识别模型进行训练或测试。例如，识别出某菜品为炒白菜，并且匹配出炒白菜的价格，但在实际计算时，用户修改了结算价格，则说明该菜品被识别错误，因此，可以将包含该菜品的图像作为训练图像或测试图像，并利用该图像对物品检测模型和物品识别模型进行训练或测试，通过模型的自动迭代，可以提高模型的识别的准确性。

在本公开的另一些实施例中，基于物品检测模型确定各物品的尺寸信息，根据各物品的类别和尺寸匹配对应的属性信息。例如，属性信息为价格，针对大小份的菜品，可以计算大小份菜品的尺寸边界，即大份菜品尺寸的平均值和小份菜品的平均值。将识别出的菜品的尺寸与尺寸边界进行比对，确定识别出的菜品是大份菜还是小份菜，然后匹配对应的价格。

在本公开的另一些实施例中，判断待识别图像中多个物品是否满足物品组合，若多个物品满足物品组合，则匹配物品组合对应的属性信息。例如，在餐厅结算时，配置了套餐信息，若单独点一份炒白菜15元，单独点一碗米饭2元，同时点一份炒白菜和一份米饭16元，则识别出图像中包含炒白菜和米饭后，需要匹配16元的价格。

在本公开的另一些实施例中，判断待识别图像中多个物品对应的属性和，是否满足预设条件，若满足预设条件，则根据预设条件对属性和进行处理。例如，餐厅在售卖菜品时，可能存在满赠活动，例如，满20送饮料，因此，在识别出的多个菜品对应的价格之和大于20元，则可以赠送饮料。

在本公开的另一些实施例中，确定物品匹配属性信息的匹配时间，根据匹配时间确定各物品对应的属性信息。例如，在餐厅结算时，可以配置折扣时段以及折扣力度，判断确定菜品匹配价格的时间是否在折扣时段，若是，则可以将菜品与折扣时段对应的折扣价格进行匹配。

图3为本公开物品识别系统的一些实施例的结构示意图。该系统包括图像获取模块310、预识别模块320和物品确定模块330。

图像获取模块310被配置为获取一个或多个待识别图像，其中，待识别图像中包括一个或多个待识别的物品。

预识别模块320被配置为利用训练好的预识别模型，判断待识别图像清晰并且包含完整物品的概率是否大于阈值。

在一些实施例中，可以预先训练预识别模型，收集一定数量的样本图像，并对样本图像进行分类，例如，将样本图像中图像清晰并且包含完整物品的图像标注为正样本图像，将样本图像中不属于正样本图像的图像标注为负样本图像，基于正样本图像和负样本图像对预识别模型进行训练。

物品确定模块330被配置为在概率大于阈值的情况下，识别各物品的类别。即该实施例中，不是对所有图像都进行物品类别识别，而是先判断图像是否符合要求，对符合要求的图像进行物品识别。

在上述实施例中，对图像清晰并且包含完整物品的概率大于阈值的图像中的各物品进行识别，而不是对所有图像都进行识别，能够提高识别系统的准确性以及识别效率。

在本公开的另一些实施例中，预识别模块320还被配置为若连续多个待识别图像中，第一个图像清晰并且包含完整物品的概率大于第一阈值，且其他图像清晰并且包含完整物品的概率大于第二阈值，则将连续多个图像中的第一个图像发送至物品确定模块330；物品确定模块330被配置为对连续多个图像中的第一个图像中包含的物品进行类别识别。

例如，计算当前图像清晰并且包含完整物品的概率，在判断出第一个图像清晰并且包含完整物品的概率大于0.9的图像的情况下，对该第一个图像包含的物品进行类别识别，在第二至第N张图像清晰并且包含完整物品的概率都大于0.1的情况下，不对该第二至第N张图像进行处理，能够减少物品识别系统的处理负担以及提高系统稳定性。

图4为本公开物品识别系统的另一些实施例的结构示意图。该系统中物品确定模块330包括物品检测模块331、物品管理模块332和物品识别模块333。

物品检测模块331被配置为将待识别图像输入至物品检测模型，基于物品检测模型提取待识别图像中各物品对应的区域信息和第一级类别，调用物品管理模块，并将属于有效类别的物品的区域信息输入至物品识别模块333。其中，第一级类别指物品所属的大类，例如菜品类、水果类、饮料类。

在一些实施例中，可以预先训练物品检测模型，对样本图像中的物品对应的区域信息和第一级类别进行标注，生成第一标注信息，基于样本图像和第一标注信息对物品检测模型进行训练。

物品管理模块332被配置为确定第一级类别中的有效类别。在餐厅中，识别区域可能存在菜品、酸奶、水果、饮料等计价物品，也可能存在钥匙、工牌、钱包、手机、筷子、勺子、手等不计价物品。因此，在识别出物品的第一级类别后，先去除无效类别，仅保留有效类别。

物品识别模块333被配置为将待识别图像中属于有效类别的物品的区域信息输入至物品识别模型，基于物品识别模型提取各区域信息对应的物品特征，将各区域信息对应的物品特征与物品特征库中的物品特征进行比对，确定待识别图像中各物品的第二级类别。其中，第二级类别可以对应物品的具体信息。例如，某菜品具体为炒青椒还是炒白菜。

在一些实施例中，对样本图像中的有效类别物品的区域信息对应的物品特征进行标注生成第二标注信息，基于样本图像和第二标注信息对物品识别模型进行训练。

在上述实施例中，先对图像进行预识别，去除不符合要求的图像，然后识别符合要求的图像中各物品的大类，去除无效类别，仅识别属于有效类别的物品的区域信息对应的物品特征，根据物品特征能够识别出具体物品，提高物品识别的准确性。

在本公开的另一些实施例中，物品管理模块332还被配置为确定预定时间内物品特征库中的有效物品特征。物品识别模块333还被配置为将各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定待识别图中各物品的第二级类别。

例如，物品特征库中保存了各个时期各菜品的特征，但不同季节，构成某一菜品的蔬菜可能略有差别，或者，在某些时段，某些菜品不再售卖，因此，可以将当前不参与售卖的菜品特征设置为无效特征，参与售卖的菜品特征设置为有效特征，因此，在识别菜品时，将待识别的菜品特征与特征库中有效菜品特征进行比对，确定该菜品具体为什么菜品。

在上述实施例中，将各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定待识别图中各物品的第二级类别，能够减少物品识别过程中的干扰，进一步提高识别的准确率。

在本公开的另一些实施例中，物品识别模块333被配置为确定各物品的物品特征与物品特征库中的物品特征的最小距离；若最小距离小于等于距离阈值，则将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别；若最小距离大于距离阈值，则向用户提示是否需要输入物品类别和属性信息；若需要输入物品类别和属性，则增加物品类别和属性信息，否则，将物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

其中，距离例如为欧式距离，距离的大小代表相似度的大小，距离越小，说明待识别物品的物品特征与物品特征库中的物品特征越相似，在距离超过距离阈值时，说明物品特征库中可能不包含待识别物品的特征，因此，可以向用户提示是否需要输入物品类别和属性信息，若用户进行输入，则说明需要注册一个新物品，若用户没有进行输入，则将与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

在本公开的另一些实施例中，如图5所示，该系统还包括属性匹配单元510，被配置为根据各物品的类别匹配对应的属性信息。在一些实施例中，属性信息例如为价格。例如，识别出某菜品为炒白菜后，则可以匹配该菜品对应的价格，在结算时，若有多个菜品，则可以对多个菜品进行结算。

在该实施例中，由于提高了物品识别的准确性，因此，能够更加准确的匹配物品的属性信息。在属性信息为价格信息时，能够提高商品结算的准确性。

在本公开的另一些实施例中，物品管理模块332还被配置为在匹配属性信息后，响应于用户修改物品的类别对应的属性信息，将待识别图像标注为训练图像或测试图像，以便基于待识别图像对物品检测模型和物品识别模型进行训练或测试。例如，识别出某菜品为炒白菜，并且匹配出炒白菜的价格，但在实际计算时，用户修改了结算价格，则说明该菜品被识别错误，因此，可以将包含该菜品的图像作为训练图像或测试图像，并利用该图像对物品检测模型和物品识别模型进行训练或测试，通过模型的自动迭代，可以提高模型的识别的准确性。

在本公开的另一些实施例中，属性匹配单元510还被配置为根据各物品的类别和尺寸匹配对应的属性信息，其中，物品检测模块331还被配置为基于物品检测模型确定各物品的尺寸信息。例如，属性信息为价格，针对大小份的菜品，可以计算大小份菜品的尺寸边界，即大份菜品尺寸的平均值和小份菜品的平均值。将识别出的菜品的尺寸与尺寸边界进行比对，确定识别出的菜品是大份菜还是小份菜，然后匹配对应的价格。

在本公开的另一些实施例中，属性匹配单元510还被配置为判断待识别图像中多个物品是否满足物品组合，若多个物品满足物品组合，则匹配物品组合对应的属性信息。

在本公开的另一些实施例中，属性匹配单元510还被配置为判断待识别图像中多个物品对应的属性和，是否满足预设条件，若满足预设条件，则根据预设条件对属性和进行处理。

在本公开的另一些实施例中，属性匹配单元510还被配置为确定物品匹配属性信息的匹配时间，根据匹配时间确定各物品对应的属性信息。

下面将以物品识别系统应用到餐厅结算领域为例对本公开进行介绍。

如图6所示，该实施例中包括注册模块610、预识别模块620、物品检测模块630、物品识别模块640、物品管理模块650、搜索模块660、特征库670和结算模块680。结算模块680对应属性匹配单元510。

首先，需要在系统中注册各种商品，注册模块610调用摄像头，采集结算区域的图像，为了后续识别准确，在注册菜品、饮料等计价商品时，结算区域仅放置一件商品，例如，仅放置一盘炒白菜。注册模块610将图像输入至物品检测模块630，检测该商品的区域信息，并将区域信息发送至物品识别模块640，提取该商品的特征，然后将特征存入特征库670中。

在顾客结账时，将商品拿到结算台，结算模块680调用摄像头拍摄图像后，摄像头将图像发送至预识别模块620判断该图像是否可用，即判断该图像清晰并且包含完整商品的概率是否大于阈值，以及该图像是否为连续多个大于阈值的图像中的第一张图像，若是，则将该图像发送至物品检测模块630。物品检测模块630检测该图像中包含的各物品的类别并输出各物品对应的区域信息。在拍摄商品时，无需使用传感器触发摄像头，因此，降低了成本，并且相对于设置传感器，提高了响应效率。

在菜品注册和菜品识别时，都需要对采集到的图像进行菜品检测。菜品注册台通常是放在后厨内部，方便餐厅人员注册菜品。但是后厨通常比较杂乱，可能会有一些无关的东西出现在注册台附近，如果不能过滤非菜品等非计价商品，那么就有可能将非计价商品录入到特征库中，引起误识。菜品识别时，采集到的图像除了包含菜品外，往往还包含筷子、勺子、工牌、手机、钱包、手等物品，这些非计价商品有概率被检测为菜品，引起误识。调用物品管理模块650，能够去除非计价物品，解决商品检测易受干扰的问题。

物品管理模块650可以配置哪些种类为非计价商品。例如，比如有些餐厅有饮料售卖，有些餐厅没有饮料售卖，那么餐厅可以根据实际情况配置饮料是否参与计价。再比如餐厅有送水果的活动，那么可以配置水果不参与计价。另外，物品管理模块650中可以配置钥匙、工牌、钱包、手机、筷子、勺子、手等为不计价物品。

一个餐厅在一个时段售卖的菜品可能有数十道，一年售卖的菜品种类可能成千上万，而特征库中也保存着等量的菜品特征，其中不乏一些非常相似的菜品。如果用全量特征库去实现菜品识别，容易引起误识。因此，物品管理模块650还可以将当前不参与售卖的商品的特征设置为无效特征。例如，在物品管理模块650录入每天每个时段售卖的菜品及其价格，并通过定时器触发菜单同步。同步时，首先会将特征库中所有的商品特征置为无效，然后根据录入的菜单信息，将当前时段售卖的商品的特征置为有效，得到有效商品特征库和无效商品特征库，解决相似商品易误识的问题。物品管理模块650还可以处理每日订单数据，统计菜品的出售情况以及顾客的订单信息等。

物品识别模块640确定计价类别商品的区域信息对应的特征信息，并通过搜索模块660调用特征库670，在特征库670找到与该商品特征最接近的特征，以便物品识别模块640输出该商品对应的具体类别，并将商品信息发送至结算模块680。

基于菜品识别的结算系统通常需要在开餐前完成菜品注册。但是在餐厅实际使用中，有些菜品，例如临时菜是在开餐后一段时间才供应，这些临时菜无法在开餐前完成注册，因此临时菜在结算时，是无法识别的。

在一些实施例中，若物品识别模块640确定与该商品特征与特征库670中距离最近的特征的距离大于距离阈值，则可以向用户进行提示，例如提示结算员是否注册临时菜。若注册，则通过输入菜名和价格完成临时菜的注册，并将菜品信息发送至结算模块680，若不注册，则按当前识别结果将菜品信息发送至结算模块680。该实施例能够解决无法识别临时菜的问题。

结算模块680按照商品类别和价格进行结算。

餐厅有些菜品有不同大小的规格，大小份的价格不同，比如大份八宝粥6元，小份八宝粥3元。但是大小份的菜品除了尺寸上的差异之外，外观形态基本相似，因此，需要识别出菜品的尺寸信息，并在结算模块680中设置大小份菜品价格。餐厅在售卖菜品时，可能存在套餐优惠的活动，比如清汤拉面单价9元，牛肉片单价9元，清汤拉面和牛肉片组合套餐16元，因此，在识别出菜品后，需要判断菜品是否满足套餐设定，需要在结算模块680中设置套餐价格。有些餐厅在特定时段，例如，在傍晚，可能对某些菜品进行打折，因此，还需要在结算模块680中配置打折时段和打折力度。在某些餐厅会有满赠活动，因此，还可以在结算模块680中设置满赠信息。

在上述实施例中，由于提高了商品识别的准确性，因此，能够提高商品结算的准确性，提高用户体验以及降低商品结算的成本。

在另一些实施例中，该系统还包括IoT(物联网)平台6100、标注平台6110和算法服务器6120。在进行结算时，若用户修改了结算价格，则说明图像中的商品识别错误。物品管理模块650将识别错误的图像伤处至IoT平台6100，IoT平台6100将当日的错误数据提交给标注平台6110，标注平台6100完成标注后将标注好的数据返回给算法服务器6120。算法服务器6120将标注数据随机分为训练集和测试集，并进行模型训练、模型测试，提高模型迭代效率。在注册商品之前，通过算法服务器6120对商品识别过程中的各个模型进行训练。

在一些实施例中，注册模块610、预识别模块620和结算模块680可以设置在客户端；物品检测模块630、物品识别模块640、物品管理模块650、搜索模块660和特征库670可以设置在服务器，另外，客户端中的模块可以通过业务模块690与服务器中的模块进行通信；IoT平台6100、标注平台6110和算法服务器6120可以设置在云端。

图7为本公开物品识别系统的另一些实施例的结构示意图。该系统包括存储器710和处理器720，其中：存储器710可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1、2所对应实施例中的指令。处理器720耦接至存储器710，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器720用于执行存储器中存储的指令。

在一些实施例中，还可以如图8所示，该系统800包括存储器810和处理器820。处理器820通过BUS总线830耦合至存储器810。该系统800还可以通过存储接口840连接至外部存储装置850以便调用外部数据，还可以通过网络接口860连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够提高物品识别的准确性。

在另一些实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (20)

1.一种物品识别方法，包括：

获取一个或多个待识别图像，其中，所述待识别图像中包括一个或多个待识别的物品；

利用训练好的预识别模型，判断所述待识别图像清晰并且包含完整物品的概率是否大于阈值；

在所述概率大于阈值的情况下，识别各物品的类别，包括：

将所述待识别图像输入至物品检测模型，基于所述物品检测模型提取所述待识别图像中各物品对应的区域信息和第一级类别；

确定所述第一级类别中的有效类别；

将所述待识别图像中属于有效类别的物品的区域信息输入至物品识别模型，基于所述物品识别模型提取各区域信息对应的物品特征，将所述各区域信息对应的物品特征与物品特征库中的物品特征进行比对，确定所述待识别图像中各物品的第二级类别。

2.根据权利要求1所述的物品识别方法，还包括：

若连续多个待识别图像中，第一个图像清晰并且包含完整物品的概率大于第一阈值，且其他图像清晰并且包含完整物品的概率大于第二阈值，则对连续多个图像中的第一个图像中包含的物品进行类别识别。

3.根据权利要求1所述的物品识别方法，其中，训练所述预识别模型包括：

将样本图像中图像清晰并且包含完整物品的图像标注为正样本图像，将所述样本图像中不属于正样本图像的图像标注为负样本图像；

基于所述正样本图像和所述负样本图像对预识别模型进行训练，以便根据训练好的预识别模型，判断所述待识别图像清晰并且包含完整物品的概率是否大于阈值。

4.根据权利要求1所述的物品识别方法，其中，训练所述物品检测模型和所述物品识别模型包括：

对样本图像中的物品对应的区域信息和第一级类别进行标注，生成第一标注信息，基于所述样本图像和所述第一标注信息对所述物品检测模型进行训练，以便根据训练好的所述物品检测模型，确定所述待识别图像中各物品对应的区域信息和第一级类别；

对所述样本图像中的有效类别物品的区域信息对应的物品特征进行标注生成第二标注信息，基于所述样本图像和所述第二标注信息对所述物品识别模型进行训练，以便根据训练好的所述物品识别模型提取所述待识别图像中各物品的区域信息对应的物品特征。

5.根据权利要求1所述的物品识别方法，其中，

确定预定时间内物品特征库中的有效物品特征；

将所述各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定所述待识别图中各物品的第二级类别。

6.根据权利要求1所述的物品识别方法，其中，

确定各物品的物品特征与所述物品特征库中的物品特征的最小距离；

若所述最小距离小于等于距离阈值，则将所述物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别；

若所述最小距离大于距离阈值，则向用户提示是否需要输入物品类别和属性信息；

若需要输入物品类别和属性，则增加物品类别和属性信息，否则，将所述物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

7.根据权利要求1所述的物品识别方法，还包括：

根据各物品的类别匹配对应的属性信息。

8.根据所述权利要求7所述的物品识别方法，还包括：

在匹配属性信息后，响应于用户修改物品的类别对应的属性信息，将所述待识别图像标注为训练图像或测试图像，以便基于所述待识别图像对所述物品检测模型和所述物品识别模型进行训练或测试。

9.根据权利要求7所述的物品识别方法，还包括以下至少一个步骤：

基于所述物品检测模型确定各物品的尺寸信息，根据各物品的类别和尺寸匹配对应的属性信息；

判断所述待识别图像中多个物品是否满足物品组合，若多个物品满足物品组合，则匹配所述物品组合对应的属性信息；

判断所述待识别图像中多个物品对应的属性和，是否满足预设条件，若满足预设条件，则根据预设条件对属性和进行处理；

确定物品匹配属性信息的匹配时间，根据匹配时间确定各物品对应的属性信息。

10.一种物品识别系统，包括：

图像获取模块，被配置为获取一个或多个待识别图像，其中，所述待识别图像中包括一个或多个待识别的物品；

预识别模块，被配置为利用训练好的预识别模型，判断所述待识别图像清晰并且包含完整物品的概率是否大于阈值；

物品确定模块，被配置为在所述概率大于阈值的情况下，识别各物品的类别，所述物品确定模块包括：

物品管理模块，被配置为确定第一级类别中的有效类别；

物品检测模块，被配置为将所述待识别图像输入至物品检测模型，提取所述待识别图像中各物品对应的区域信息和第一级类别，调用所述物品管理模块，将属于有效类别的物品的区域信息输入至物品识别模块；

物品识别模块，被配置为将所述待识别图像中属于有效类别的物品的区域信息输入至物品识别模型，提取各区域信息对应的物品特征，将所述各区域信息对应的物品特征与物品特征库中的物品特征进行比对，确定所述待识别图像中各物品的第二级类别。

11.根据权利要求10所述的物品识别系统，其中，

所述预识别模块还被配置为若连续多个待识别图像中，第一个图像清晰并且包含完整物品的概率大于第一阈值，且其他图像清晰并且包含完整物品的概率大于第二阈值，则将连续多个图像中的第一个图像发送至所述物品确定模块；

所述物品确定模块被配置为对连续多个图像中的第一个图像中包含的物品进行类别识别。

12.根据权利要求10所述的物品识别系统，其中，

所述预识别模块还被配置为将样本图像中图像清晰并且包含完整物品的图像标注为正样本图像，将所述样本图像中不属于正样本图像的图像标注为负样本图像；基于所述正样本图像和所述负样本图像对预识别模型进行训练，以便根据训练好的预识别模型，判断所述待识别图像清晰并且包含完整物品的概率是否大于阈值。

13.根据权利要求10所述的物品识别系统，其中，

所述物品检测模块还被配置为对样本图像中的物品对应的区域信息和第一级类别进行标注，生成第一标注信息，基于所述样本图像和所述第一标注信息对所述物品检测模型进行训练，以便根据训练好的所述物品检测模型，确定所述待识别图像中各物品对应的区域信息和第一级类别；

所述物品识别模块还被配置为对所述样本图像中的有效类别物品的区域信息对应的物品特征进行标注生成第二标注信息，基于所述样本图像和所述第二标注信息对所述物品识别模型进行训练，以便根据训练好的所述物品识别模型提取所述待识别图像中各物品的区域信息对应的物品特征。

14.根据权利要求10所述的物品识别系统，其中，

所述物品管理模块被配置为确定预定时间内物品特征库中的有效物品特征；

所述物品识别模块还被配置为将所述各区域信息对应的物品特征与物品特征库中的有效物品特征进行比对，确定所述待识别图中各物品的第二级类别。

15.根据权利要求10所述的物品识别系统，其中，

所述物品识别模块被配置为确定各物品的物品特征与所述物品特征库中的物品特征的最小距离；若所述最小距离小于等于距离阈值，则将所述物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别；若所述最小距离大于距离阈值，则向用户提示是否需要输入物品类别和属性信息；若需要输入物品类别和属性，则增加物品类别和属性信息，否则，将所述物品特征库中与各物品对应的物品特征距离最近的物品特征对应的类别作为各物品的第二级类别。

16.根据权利要求10所述的物品识别系统，还包括：

属性匹配单元，被配置为根据各物品的类别匹配对应的属性信息。

17.根据权利要求16所述的物品识别系统，其中，

所述物品管理模块还被配置为在匹配属性信息后，响应于用户修改物品的类别对应的属性信息，将所述待识别图像标注为训练图像或测试图像，以便基于所述待识别图像对所述物品检测模型和所述物品识别模型进行训练或测试。

18.根据权利要求16所述的物品识别系统，其中，所述属性匹配单元还被配置为以下至少一项：

根据各物品的类别和尺寸匹配对应的属性信息，其中，所述物品检测模块还被配置为基于所述物品检测模型确定各物品的尺寸信息；

判断所述待识别图像中多个物品是否满足物品组合，若多个物品满足物品组合，则匹配所述物品组合对应的属性信息；

判断所述待识别图像中多个物品对应的属性和，是否满足预设条件，若满足预设条件，则根据预设条件对属性和进行处理；

确定物品匹配属性信息的匹配时间，根据匹配时间确定各物品对应的属性信息。

19.一种物品识别系统，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至9任一项所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至9任一项所述的方法的步骤。