CN109741551A - 一种商品识别结算方法、装置及系统 - Google Patents

Abstract

本说明书提供了一种商品识别结算方法、装置以及系统。所述方法包括：获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；其中，所述置信度集用于描述所述图像区域对应的至少一个商品标识的置信度；对所述图像区域进行文字识别，获得所述图像区域的文字信息；基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。本申请通过采集的多维度数据信息，修正置信度集，增加了识别效率以及识别准确度，提高了实用性和用户体验感。

Description

一种商品识别结算方法、装置及系统

技术领域

本说明书涉及商品自助结算技术领域，尤其涉及一种商品识别结算方法、装置及系统。

背景技术

消费者在购物场所购买完商品后需要结算消费金额。利用红外扫描设备来扫描商品条码进行商品识别是一种常见的自助结算方式，但此方式存在步骤麻烦、用户学习成本高等缺点。目前还存在一种基于机器学习的视频图像商品识别结算技术，但该技术在商品品类数较多的时候识别准确度尚存在问题，同时视频图像识别技术在商品叠加、遮挡的时候存在无法识别的情况。

发明内容

为克服相关技术中存在的问题，本说明书提供了一种商品识别结算方法、装置及设备。

根据本说明书实施例的第一方面，提供一种商品识别结算方法，所述方法包括：

获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；其中，所述置信度集用于描述所述图像区域对应的至少一个商品标识的置信度；

对所述图像区域进行文字识别，获得所述图像区域的文字信息；

基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

根据本说明书实施例的第二方面，提供一种商品识别结算装置，所述装置包括：

获取单元，获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

处理单元，将对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；对所述图像区域进行文字识别，获得所述图像区域的文字信息；基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

根据本说明书实施例的第三方面，提供一种商品识别结算设备，所述设备包括：

处理器和存储器；

所述存储器用于存储可执行的计算机指令；

所述处理器用于执行所述计算机指令时实现以下步骤：

获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；其中，所述置信度集用于描述所述图像区域对应的至少一个商品标识的置信度；

对所述图像区域进行文字识别，获得所述图像区域的文字信息；

基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

本说明书的实施例提供的技术方案可以包括以下有益效果：能够将不同种类的商品统一放置在结算台上，由用户调整商品分布，通过对商品图像进行预处理，得到各商品在图像中所占区域，进而能够准确地确定商品的个数，对各图像区域进行识别，得到每个图像区域对应商品的置信度集；且将各图片区域的关键文字信息和/或条码信息进行提取，通过上述采集的多维度数据信息，以及识别得到的置信度集，综合判断得到各图像区域对应的商品，增加了识别效率以及识别准确度，提高了实用性和用户体验感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本说明书一示例性实施例示出的一种商品识别结算方法的流程图。

图2是本说明书一示例性实施例示出的一种商品识别结算装置的逻辑框图。

图3是本说明书一示例性实施例示出的一种商品识别结算设备的逻辑框图。

图4是本说明书一示例性实施例示出的所述商品图像中各个图像区域的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

商品识别结算广泛应用于生活中的大型超市或小型便利店中。目前的商品识别结算方式基本通过红外条码扫描器实现，即基于人工将商品条码对准红外条码扫描器进行扫描确定对应商品的种类或标识；随着图像识别技术的发展，可通过识别商品图像或局部图像来确定对应商品的种类或标识，但目前，基于图像识别技术来对商品结算，该技术在商品品类数较多、同时识别多类商品的时候识别准确度尚存在问题，同时视频图像识别技术在商品叠加、遮挡的时候存在无法识别的情况。

为了解决采用图像识别技术在商品品类数较多，识别多类商品的时候识别准确度低的问题，本说明书提供了一种商品识别结算方法，所述方法可用于实现商品识别自助结算的装置或设备，所述商品识别结算方法的流程图如图1所述，包括步骤：

S102、获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

S104、对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；其中，所述置信度集用于描述所述图像区域对应的至少一个商品标识的置信度；

S106、对所述图像区域进行文字识别，获得所述图像区域的文字信息；

S108、基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

在本实施例中，用户可以将需要结算的多件商品放置商品结算台上，可通过在商品结算台的上方的摄像头通过俯拍的角度获取商品图像，作为例子，可选用结构光摄像头进行拍摄，获取商品图像，对商品图像进行图像分割处理时可灵活选择分割算法，常用的分割算法有灰度算法或通过机器学习算法对商品图像学习，本所明书不对图像分割算法作限制，对图像分割处理后，得到商品结算台上各个商品在商品图像中对应的图像区域。结算台上放置商品时，商品可以部分而不是全部被其他商品遮挡，以确保结算台上的商品能够与分割出的图像区域分别一一对应。比如商品结算台上有4件商品，则分别分割出对应的4个图像区域。

作为一个本实施例，可以利用机器学习模型对分割后的图像区域进行图像的分类识别，得到与各个图像区域对应的置信度集，其中置信度集中分别包括了用于描述各个图像区域分别对应的商品标识的至少一个置信度；其中商品标识可以是商品的具体型号；其中，该机器学习模型的输入可以是商品局部图像，输出可以是与商品局部图像对应的商品标识以及该商品标识的置信度。比如4个图像区域中区域1识别出来的置信度集为：U:89％，A：86％，S:75％，H：55％，K：40％﹒﹒﹒；其中，该置信度集代表了该区域1可能是商品标识U的概率为89％，区域1可能是商品标识为A的概率为86％，以此类推。

现实情况中，同类商品可能对应有不同型号，比如有10斤的大米，也有20斤的大米，50斤的大米，尽管他们对应统一品牌，但是其对应的商品型号不同，即商品标识不同；因此，通过图像识别得到商品标识可能不能分辨出同类商品不同型号或分辨错，比如在对10斤大米的商品图像识别后，识别的商品标识对应的是20斤大米。

为避免这种情况，在一个实施例中，可以通过获取重量传感器采集到的商品总的重量信息，并加上一定的裕度，作为重量筛选值，比较该重量筛选值与各个置信度集中商品标识对应的商品的重量，若各个置信度集中商品标识对应的具体商品的重量大于该重量筛选值，则将该商品标识从其所属图像区域对应的置信度集中删除；否则，则将该商品标识仍保留在其所属图像区域对应的置信度集中，以便将明显重量不合法的置信度集中的商品标识筛除。比如4个商品的总重量为26斤，4个图像区域中区域1识别出来的置信度集为：U:89％，A：86％，S:75％，H：55％，K：40％﹒﹒﹒；而对应商品标识S对应的商品重量为30斤，大于26斤，则将S筛除，得到区域1对应的置信度集为：U:89％，A：86％，H：55％，K：40％﹒﹒﹒。

另外，同样为了提高准确性以及缩小待定商品标识的搜索范围，在一个实施例中，通过获取红外摄像头采集的尺寸信息，利用商品尺寸对置信度集中的商品标识进行筛选。具体做法可以是：利用红外摄像头对商品进行拍照，再依据结构光测距原理对拍照获得的信息处理，得到商品结算台上每个商品的长宽高尺寸，获取结算台上全部商品对应的长宽高尺寸中的最大边，并加上一定裕度作为尺寸筛选值，比较该尺寸筛选值与各个置信度集中商品标识对应的商品的尺寸，若各个置信度集中商品标识对应的具体商品的尺寸大于该尺寸筛选值，则将该商品标识从其所属图像区域对应的置信度集中删除；否则，则将该商品标识仍保留在其所属图像区域对应的置信度集中。比如4个商品中测量得到每个商品的长宽高尺寸，取其中商品尺寸中最大的边，假设为20cm，加上5cm的裕度，即将25cm作为尺寸筛选值，4个图像区域中区域1识别出来的置信度集为：U:89％，A：86％，S:75％，H：55％，K：40％﹒﹒﹒；而对应商品标识U对应的最大边尺寸为28cm，大于25cm，则将U筛除，得到区域1对应的置信度集为：A：86％，S:75％，H：55％，K：40％﹒﹒﹒；以此类推，对其他图像区域对应的置信度集进行处理。

值得说明，利用重量信息筛选置信度集以及利用尺寸信息筛选置信度集的方案可以分别单独的应用在不同的例子中，也可以同时搭配使用。

在各个图像区域中，部分图像区域可能存在文字信息或者条形码信息，其中，对分割后的图像区域分别进行文字信息识别，可基于OCR技术分别识别提取与图像区域对应的关键文字信息，具体为，取图像区域中有文字的地方进行比对，取文字的时候整段文字可以不用全识别，仅识别10字以内连续清楚的关键文字信息；比如四个图像区域中，在区域1和区域3中分别识别出来“可口可乐”和“薯条”的文字信息。

另外，在图像识别时，还可以对分割后的图像区域分别进行条形码识别，并将识别出的条形码关联至对应的图像区域；举个例子，在四个图像区域中，在区域2中检测出了条形码，识别该条形码对应的是商品标识B，则将商品标识关联至图像区域2。

本实施例中，基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定；具体而言，就是基于不同的判断顺序或筛选顺序，筛选出最可信的各个图像区域分别对应的商品标识。

在不同的设计者可以根据不同的应用场景或实际需要设计不同的预设策略。例如，可以设定“是否关联有条形码”的优先级高于置信度和文字信息的优先级。假如图像识别识别到条形码，由于已经将图像区域中条形码对应的商品标识关联至对应图像区域，则该图像区域对应的商品型号已经确定，因此可以将该已关联的图像区域纳入已确定区域；故在一个实施例中，该预设策略可以包括：如果所述图像区域识别出条形码，则根据图像识别出的条形码对应的商品标识确定所述图像区域对应的商品标识；如果所述图像区域未识别出条形码，则根据所述置信度和/或所述文字信息确定所述图像区域对应的商品标识。

在一个实施例中，对于未确定商品标识的未确定区域，根据所述置信度和/或所述文字信息确定所述图像区域对应的商品标识，具体步骤包括：

如果未识别出所述文字信息或所识别出的文字信息不存在对应的商品标识，则将所述置信度集中置信度最高的商品标识确定为所述图像区域对应的商品标识；

如果识别出所述文字信息对应的商品标识与所述置信度集中的商品标识匹配，则将匹配的商品标识中置信度最高的商品标识确定所述图像区域对应的商品标识。

具体而言就是，若识别出图像区域有文字信息，则分别比较与图像区域中文字信息和该图像区域对应的置信度集中商品标识对应的商品标签上的实际文字信息，若该文字信息与该商品标识对应的商品标签上的实际文字信息匹配，则将商品标识仍保留在其所属图像区域对应的置信度集中；否则，则将该商品标识从其所属图像区域对应的置信度集中删除。其中，将各个图像区域对应的文字信息分别与所属图像区域的置信度集中的商品标识进行匹配筛选；若存在图像区域未识别出文字信息或所识别出的文字信息在对应商品标识的商品标签上不存在，则不做匹配筛选。

接下来，依据经过文字信息进行匹配筛选后的与未确定商品标识的图像区域分别对应的置信度集，来分别确定所提到的未确定区域对应的商品标识；具体为，分别取未确定商品标识的图像区域对应的置信度集中置信度最大的商品标识分别作为所属未确定图像区域对应的商品标识。当然，判断未确定图像区域对应商品标识时，可以先对置信度集进行文字信息匹配筛选，再依据置信度大小，取最大值进行确定；也可以先依据置信度大小，取最大值对应的商品标识与文字信息匹配，若匹配，则确定为该图像区域对应商品标识，若不匹配，则去第二大的置信度值进行匹配，依次类推。本说明书对两种判断顺序不做限定。

以下用一个具体实施例来进一步解释本说明书这一个实施例提供的商品识别结算方法。

超市中共售卖20000种商品，用户购买了A、B、C、D四件商品，将所有商品堆放到识别结算台的识别区域，经过识别，得到4件商品对应的图像区域分别为1、2、3、4；确定不同图像区域对应的置信度集，假设对应的置信度集分别为：

区域1：U:89％，A：86％，S:75％，H：55％，K：40％﹒﹒﹒

区域2：F：85％，B：83％，L:72％，G：65％，H:45％﹒﹒﹒

区域3：P:85％，E：84％，Y:74％，C：65％，J：30％﹒﹒﹒

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

通过商品总体的重量信息以及商品总体的尺寸，对各图像区域对应的置信度集进行筛选，去除不合法的商品种类(U，L，P等)，得到：

区域1：A：86％，S:75％，H：55％，K：40％，M：38％﹒﹒﹒

区域2：F：85％，B：83％，G：65％，H:45％，K：40％﹒﹒﹒

区域3：E：84％，Y:74％，C：65％，J：30％，D:26％﹒﹒﹒

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

检测图像区域中是否存在条形码，若存在条形码且能识别该对应条形码对应的商品种类，则根据确定的商品种类优先确定所述图像区域对应的商品标识(C)，得到：

区域1：A：86％，S:75％，H：55％，K：40％，M：38％﹒﹒﹒

区域2：F：85％，B：83％，G：65％，H:45％，K：40％﹒﹒﹒

区域3：C：65％

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

再进一步通过对图像区域中的文字进行识别，得到各个图像区域的关键文字信息，依据该关键文字信息与所属图像区域的置信度集中的商品标识进行匹配筛选，去除对应置信度集中不包含对应关键文字信息的商品标识(例如区域2识别出“薯条”，而F对于的商品不存在该“薯条”的文字信息，则删除)，得到：

区域1：A：86％，S:75％，H：55％，K：40％，M：38％﹒﹒﹒

区域2：B：83％，G：65％，H:45％，K：40％，U：37％﹒﹒﹒

区域3：C：65％

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

最后，根据各区域对应置信度集中商品标识对应的置信度大小，分别取最大的置信度值对应的商品标识作为各区域对应的商品标识，得到：

区域1：A：86％

区域2：B：83％

区域3：C：65％

区域4：D：75％

故依据经过重量信息、尺寸信息、条码信息以及关键文字信息多层次多维度匹配筛选后的图像区域分别对应的置信度集，最终结果为图像区域1对应的为A商品，图像区域2对应的为B商品,图像区域3对应的为C商品,图像区域4对应的为D商品。

若不检测上述重量、尺寸、文字信息或条形码信息，则得到的识别结果即为U、F、P、D，出现极大误差。

本发明另一个示例性实施例中，描述了：增加多个红外条码扫描器，对摄像头拍摄不到的商品其他面进行多面扫描，能够扫描到部分商品的条码，进而确定商品结算台上必然存在的商品种类；依据必然存在的商品种类对前述实施例的商品识别结算方法进行改进，该方法具体还包括以下步骤：

获取商品结算台多方位多角度布设的红外条码扫描器扫描到的条形码信息，分别检测从图像区域识别出的商品条形码与红外条码扫描器扫描到的条形码信息是否匹配：

若两个条形码信息匹配，即对应于同一个商品标识，则将匹配的条形码对应的商品标识确定为该图像区域对应的商品标识；

若两个条形码信息不匹配，则基于未匹配到的所述红外扫描仪采集的条形码、未匹配到的图像识别出的条形码、置信度和/或所述文字信息确定所述图像区域对应的商品标识。

比如如下实施例情况：通过图像区域中商品条形码信息的识别，得到商品标识(A、C)；而通过红外条码扫描器扫描到的条形码信息，得到必然存在的商品标识为(C、E、F)；则将两个集合匹配，则发现都对应有同一个商品标识C，而商品标识C对应的商品条形码在图像区域3中，故将商品标识C关联至图像区域3上；而不匹配的A、E、F则根据未匹配到的所述红外扫描仪采集的条形码/图像识别出的条形码、置信度和/或所述文字信息确定所述商品标识对应的图像区域。

根据未匹配到的所述红外扫描仪采集的条形码/图像识别出的条形码、置信度和/或所述文字信息确定所述商品标识对应的图像区域可能存在多种方式；而在一个实施例中，可采用如下步骤确定：

将所述未匹配到的图像识别出的条形码对应的商品标识确定为所述图像区域对应的商品标识；具体可以是：得到与红外条码扫描器扫描到的条形码信息不匹配的商品条形码，分别确定上述由图像区域识别出的不匹配的商品条形码对应的商品标识(商品种类)，将该商品标识分别确定为所述图像区域对应的商品标识；该图像区域为不匹配的商品条形码所属的商品区域。

在所述置信度集中分别查找与所述未匹配到的红外扫描仪采集的条形码、所述与文字信息匹配的对应的商品标识的置信度，将查找结果中置信度最高的商品标识分别确定为所述图像区域对应的商品标识；若出现两个或两个以上的不同商品标识分别对应的置信度最高的图像区域为同一个区域，则比较两个或两个以上不同商品标识分别对应的置信度，取置信度最大的商品标识为所述同一个区域对应的商品标识。其具体实现为：得到与从图像区域中识别出的商品条形码信息不匹配的由红外条码扫描器扫描到的条形码信息，该条形码信息分别对应的商品标识(商品种类)对应有确定的图像区域，故需要分别确定该条形码信息分别对应的商品标识对应于哪一个图像区域，具体方法为：查找该不匹配的条形码信息对应的商品标识分别在未确定图像区域对应的置信度集中的置信度大小(这里的未确定图像区域是指未对应有商品标识的图像区域)；将查找结果中商品标识对应置信度最高的图像区域确定为该不匹配的条形码信息对应的商品标识对应的图像区域；若出现两个或两个以上的不同商品标识分别对应的置信度最高的图像区域为同一个区域，则比较两个或两个以上不同商品标识分别对应的置信度，取置信度最大的商品标识为所述同一个区域对应的商品标识。

为详细说明上述步骤，可紧接着上一实施例情况，举例说明，采用上述步骤继续确定不匹配的商品标识A、E、F对应的图像区域；其中A是通过图像区域1内的商品条形码确定的，故A关联有图像区域1；而E、F通过红外条码扫描器确定，假设有4个图像区域，分别为图像区域1、2、3、4，确定有图像区域1对应为A，则比较商品标识E分别在图像区域2、3、4内的置信度值，发现E在区域2对应的置信度集中置信度最大，而比较商品标识E分别在图像区域2、3、4内的置信度值，发现F在区域3对应的置信度集中置信度最大，那么就确定图像区域2对应的商品标识为E，图像区域3对应的商品标识为F；若发现E、F在区域2对应的置信度集中的置信度都为区域2、3、4中的最大，则比较在区域2对应的置信度集中E、F的置信度，若E的置信度大于F，则图像区域2对应的商品标识为E，反则，对应的商品标识为F；依次策略，分别确定E、F对应的图像区域。

若仍存在并未确定对应商品标识的余下图像区域，比如如上实施例中的未确定图像区域，则依据经过重量信息、尺寸信息以及关键文字信息多层次多维度匹配筛选后的与余下图像区域分别对应的置信度集，来分别确定所提到的余下图像区域对应的商品标识；具体为，取余下图像区域对应的置信度集中置信度最大的商品标识分别作为所属余下图像区域对应的商品标识。

以下用一个具体实施例来进一步解释本说明书另一个实施例提供的商品识别结算方法：

超市中共售卖20000种商品，用户购买了A、B、C、D、E、F六件商品，将所有商品堆放到识别结算台的识别区域,如图4所示，经过识别，得到六件商品对应的图像区域分别为1、2、3、4、5、6，确定不同图像区域对应的置信度集，假设对应的置信度集分别为：

区域1：U:89％，A：86％，S:75％，H：55％，K：40％﹒﹒﹒

区域2：F：85％，B：83％，L:72％，G：65％，H:45％﹒﹒﹒

区域3：P:85％，E：84％，Y:74％，C：65％，J：30％﹒﹒﹒

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

区域5：F：78％，E：76％，H:70％,U:65％,K:45％﹒﹒﹒

区域6：S:85％,F:83％,Y:77％,E:70％,P:60％﹒﹒﹒

通过商品总体的重量信息以及商品总体的尺寸，对各图像区域对应的置信度集进行筛选，去除不合法的商品种类(区域1中的U,区域2中的L,区域3中的P等)，得到：

区域1：A：86％，S:75％，H：55％，K：40％，M：38％﹒﹒﹒

区域2：F：85％，B：83％，G：65％，H:45％，K：40％﹒﹒﹒

区域3：E：84％，Y:74％，C：65％，J：30％，D:26％﹒﹒﹒

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

区域5：F：78％，E：76％，H:70％,U:65％,K:45％﹒﹒﹒

区域6：S:85％,F:83％,Y:77％,E:70％,P:60％﹒﹒﹒

再通过对图像区域中的文字进行识别，得到各个图像区域的关键文字信息，依据该关键文字信息与所属图像区域的置信度集中的商品标识进行匹配筛选，去除对应置信度集中不包含对应关键文字信息的商品标识(区域2中的F、区域3中的Y等)，得到：

区域1：A：86％，S:75％，H：55％，K：40％，M：38％﹒﹒﹒

区域2：B：83％，G：65％，H:45％，K：40％，U：37％﹒﹒﹒

区域3：E：84％，C：65％，J：30％，D:26％，N：25％﹒﹒﹒

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

区域5：F：78％，E：76％，H:70％,U:65％,K:45％﹒﹒﹒

区域6：S:85％,F:83％,Y:77％,E:70％,P:60％﹒﹒﹒

再进一步检测图像区域中是否存在条形码，得到部分图像区域存在的商品条形码对应的商品标识，假设得到A，C(A从区域1所得，C从区域2所得)；再通过红外条码扫描器扫描到的条形码信息确定的商品标识假设有：C、E、F；

由于两种渠道获取的条形码信息匹配，都对应于商品标识C，则将商品标识C对应与所述图像区域2对应的商品标识；

对于两种渠道获取的条形码信息对应的商品标识不匹配的，如A、E、F；通过以下策略：

(1)不匹配的商品标识A是通过从图像区域1中的商品条形码识别出来的，故将该商品标识A确定为图像区域1对应的商品标识；

(2)通过红外条码扫描器扫描到的，不匹配的商品标识为E、F，由于不能与图像区域对应，则根据商品标识E、F分别在未确定关联有商品标识的图像区域2、4、5、6对应的置信度集中的置信度的大小来确定，即在图像区域2、4、5、6中E的置信度最大为76％，对应于图像区域5的置信度集中，而F的的置信度最大为83％，对应于图像区域6的置信度集中；依据上述判断，确定图像区域5对应的商品标识为E，图像区域6对应的商品标识为F；

通过上述两种手段获取的条形码进行判断分析，得到：

区域1：A：86％

区域2：B：83％，G：65％，H:45％，K：40％，U：37％﹒﹒﹒

区域3：C：65％

区域4：D：75％，R：76％，T:45％，K:20％，A：10％﹒﹒﹒

区域5：E：76％

区域6：F:83％

最后，对于仍未确定对应的商品标识的余下图像区域(2、4)，基于经过重量信息、尺寸信息以及关键文字信息多层次多维度匹配筛选后的与余下图像区域分别对应的置信度集，比较余下图像区域对应置信度集中商品标识对应的置信度大小，分别取最大的置信度值对应的商品标识作为各区域对应的商品标识，得到：

区域1：A：86％

区域2：B：83％

区域3：C：65％

区域4：D：75％

区域5：E：76％

区域6：F:83％

故最终结果为图像区域1对应的为A商品，图像区域2对应的为B商品,图像区域3对应的为C商品,图像区域4对应的为D商品，图像区域5对应的为E商品，图像区域6对应的为F商品；

若不加入红外条码扫描器扫描到的商品条形码，仅仅检测重量、尺寸、文字信息或图像区域中的条码信息，则得到的识别结果即为A、B、C、D、F、S,也会出现较大误差。

与前述一种商品识别结算方法相对应，本说明书还提供了一种商品识别结算装置及其所适用的系统的实施例。

如图2所示，所述商品识别结算装置200包括：

分割单元201，获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

处理单元202，将对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；对所述图像区域进行文字识别，获得所述图像区域的文字信息；基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

在一个实施例中，还可以包括筛选单元203，获取重量传感器采集的重量信息；利用所述重量信息对所述置信度集中的商品标识的置信度进行筛选。

在一个实施例中，筛选单元也可以获取红外摄像头采集的尺寸信息；利用所述尺寸信息对所述置信度集中的商品标识的置信度进行筛选。

在一个实施例中，预设策略包括：

如果所述图像区域识别出条形码，则根据图像识别出的条形码对应的商品标识确定所述图像区域对应的商品标识；

如果所述图像区域未识别出条形码，则根据所述置信度和/或所述文字信息确定所述图像区域对应的商品标识。

在一个实施例中，根据所述置信度和/或所述文字信息确定所述图像区域对应的商品标识包括：

如果未识别出所述文字信息或所识别出的文字信息不存在对应的商品标识，则将所述置信度集中置信度最高的商品标识确定为所述图像区域对应的商品标识；

如果识别出所述文字信息对应的商品标识与所述置信度集中的商品标识匹配，则将匹配的商品标识中置信度最高的商品标识确定所述图像区域对应的商品标识。

在一个实施例中，处理模块202还可以获取红外扫描仪采集的条形码；并确定从图像区域识别出的条形码与红外扫描仪采集的条形码是否匹配，如果匹配，则将匹配的条形码对应的商品标识确定为所述图像区域对应的商品标识；基于未匹配到的所述红外扫描仪采集的条形码/图像识别出的条形码、置信度和/或所述文字信息确定所述图像区域对应的商品标识。

在一个实施例中，处理模块202基于未匹配到的所述红外扫描仪采集的条形码/图像识别出的条形码、置信度和/或所述文字信息确定所述图像区域对应的商品标识包括：

将所述未匹配到的图像识别出的条形码对应的商品标识确定为所述图像区域对应的商品标识；

在所述置信度集中分别查找与所述未匹配到的红外扫描仪采集的条形码、所述文字信息对应的商品标识匹配的置信度，将查找结果中置信度最高的商品标识分别确定为所述图像区域对应的商品标识；若出现两个或两个以上的不同商品标识分别对应的置信度最高的图像区域为同一个区域，则比较两个或两个以上不同商品标识分别对应的置信度，取置信度最大的商品标识为所述同一个区域对应的商品标识。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

另外，本说明书还提供了一种商品识别结算系统(300)，如图3所示，所述商品识别结算系统包括：摄像头303、处理器301和存储器302；

所述摄像头303用于采集商品图像；

所述存储器302用于存储可执行的计算机指令；

所述处理器301用于执行所述计算机指令时实现以下步骤：

获取摄像头303采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；其中，所述置信度集用于描述所述图像区域对应的至少一个商品标识的置信度；

对所述图像区域进行文字识别，获得所述图像区域的文字信息；

基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

在一个实施例中，所述系统还包括重量传感器304，用于采集重量信息。

在一个实施例中，所述系统还包括用于采集尺寸信息的红外摄像头305。

在一个实施例中，所述系统还包括用于至少一个采集条形码的红外扫描仪306。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种商品识别结算方法，其特征在于，包括以下步骤：

获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；其中，所述置信度集用于描述所述图像区域对应的至少一个商品标识的置信度；

对所述图像区域进行文字识别，获得所述图像区域的文字信息；

基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

2.根据权利要求1所述的一种商品识别结算方法，其特征在于，所述方法还包括：获取重量传感器采集的重量信息，并利用所述重量信息对所述置信度集中的商品标识的置信度进行筛选；和/或获取红外摄像头采集的尺寸信息，利用所述尺寸信息对所述置信度集中的商品标识的置信度进行筛选。

3.根据权利要求1所述的一种商品识别结算方法，其特征在于，所述预设策略包括：

如果所述图像区域识别出条形码，则根据图像识别出的条形码对应的商品标识确定所述图像区域对应的商品标识；

如果所述图像区域未识别出条形码，则根据所述置信度和/或所述文字信息确定所述图像区域对应的商品标识。

4.根据权利要求3所述的一种商品识别结算方法，其特征在于，根据所述置信度和/或所述文字信息确定所述图像区域对应的商品标识包括：

如果未识别出所述文字信息或所述文字信息不存在对应的商品标识，则将所述置信度集中置信度最高的商品标识确定为所述图像区域对应的商品标识；

如果所述文字信息对应的商品标识与所述置信度集中的商品标识匹配，则将匹配的商品标识中置信度最高的商品标识确定所述图像区域对应的商品标识。

5.根据权利要求1所述的一种商品识别结算方法，其特征在于，还包括：获取红外扫描仪采集的条形码；

所述预定策略包括：

确定从图像区域识别出的条形码与红外扫描仪采集的条形码是否匹配，如果匹配，则将匹配的条形码对应的商品标识确定为所述图像区域对应的商品标识；

基于未匹配到的所述红外扫描仪采集的条形码/图像识别出的条形码、置信度和/或所述文字信息确定所述图像区域对应的商品标识。

6.根据权利要求5所述的一种商品识别结算方法，其特征在于，基于未匹配到的所述红外扫描仪采集的条形码/图像识别出的条形码、置信度和/或所述文字信息确定所述图像区域对应的商品标识包括：

将所述未匹配到的图像识别出的条形码对应的商品标识确定为所述图像区域对应的商品标识；

在所述置信度集中分别查找与所述未匹配到的红外扫描仪采集的条形码、所述文字信息对应的商品标识匹配的置信度，将查找结果中置信度最高的商品标识确定为所述图像区域对应的商品标识。

7.一种商品识别结算装置，其特征在于，所述装置包括：

分割单元，获取摄像头采集的商品图像，并将所述商品图像分割成与各个商品对应的图像区域；

处理单元，将对所述图像区域进行图像识别，获得与各所述图像区域对应的置信度集，并确定所述图像区域是否识别出条形码；对所述图像区域进行文字识别，获得所述图像区域的文字信息；基于预设策略确定所述图像区域对应的商品标识，所述预设策略基于所述置信度、是否关联有条形码、以及文字信息设定。

8.一种商品识别结算系统，其特征在于，所述系统包括摄像头、处理器和存储器；

所述摄像头用于采集商品图像；

所述存储器用于存储可执行的计算机指令；

所述处理器用于执行所述计算机指令时实现权利要求1至7任一所述方法的步骤。

9.根据权利要求8所述的一种商品识别结算系统，其特征在于，所述系统还包括用于采集重量信息的重量传感器和/或用于采集尺寸信息的红外摄像头。

10.根据权利要求8所述的一种商品识别结算系统，其特征在于，所述系统还包括用于至少一个采集条形码的红外扫描仪。