CN107403128A - 一种物品识别方法及装置 - Google Patents

Abstract

本发明提供了一种物品识别方法及装置，其中所述物品识别方法或者利用条形码识别物品，或者利用图像特征信息以及物品标题信息识别物品，可以减少人工识别的工作量，提高物品识别的准确性。

Description

一种物品识别方法及装置

技术领域

本发明涉及图像和视频处理技术领域，具体涉及一种物品识别方法及装置。

背景技术

物品包装上通常印刷有物品名称，以及该物品的实际图像或该物品功能效果的相关图像，物品包装还可能印刷有物品的生产厂商信息、说明书信息等内容，还可能印刷有条形码，甚至还包括有多个条形码，图1a、图1b、图1c示出了一个药品包装的多个面，这些面上包括有商品的标题和多个条形码。也就是说，物品包装上通常图像和文本等内容，这些内容用以帮助识别或区分物品，介绍物品的使用方式或功能。

由于存在着大量的具有不同物品包装的物品，例如，超市中的各种商品，医院/药房/药厂的各种药品，它们通常都具有不同的包装。在对这些物品进行识别时会消耗大量的人力资源，而且识别效率低，容易出错，这在物流和商品验证等应用场景中尤为明显。因此，亟需一种能够提高物品识别效率的方法，来减少识别过程的耗时和错误发生几率。

发明内容

本发明实施例要解决的技术问题是提供一种物品识别方法及装置，用以提高物品识别效率，减少识别错误。

为解决上述技术问题，本发明实施例提供的物品识别方法，包括：

获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像；

检测所述第一前景图像是否存在条形码，并在未检测到条形码时，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题；

根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别，其中，所述已注册物品数据库中保存有已注册物品包装的特征信息，所述特征信息至少包括物品包装前景图像的图像特征信息和物品标题信息。

本发明实施例还提供了一种物品识别装置，包括：

图像分离单元，用于获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像；

条形码检测单元，用于检测所述第一前景图像存在的条形码；

第一识别单元，用于在所述第一前景图像中未检测到条形码时，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题；根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别，其中，所述已注册物品数据库中保存有已注册物品包装的特征信息，所述特征信息至少包括物品包装前景图像的图像特征信息和物品标题信息。

本发明实施例提供的物品识别方法及装置，或者利用条形码识别物品，或者利用图像特征信息以及物品标题信息识别物品，可以减少人工识别的工作量，提高物品识别的准确性。

附图说明

图1a、图1b、图1c是现有技术的一个药品包装的多个面的图像；

图2是本发明实施例提供的物品识别方法的流程示意图；

图3是本发明实施例提供的采集物品包装图像的一种采集环境示意图；

图4是在图3所示的采集环境中采集物品包装的外表面的图像的一个具体流程图；

图5是本发明实施例的包含有不同的文本串的商品包装图像的示例图；

图6为本发明实施例的笔画宽度的示意图；

图7为本发明实施例的步骤13的具体流程示意图；

图8是图5所示的物品包装行边缘检测之后的边缘检测结果的示例图；

图9是图8的边缘检测结果进行笔画宽度变换之后的示例图；

图10是图9根据笔画宽度进行连通区域连接之后的示意图；

图11是字符与连通区域组成关系的示意图；

图12是将多个连通区域聚合成一个字符的示意图；

图13是图11经连通区域聚合处理后的示意图；

图14是图11中所确定的文本串的示意图；

图15是图11中所确定的物品标题区域的示意图；

图16a和图16b是相似图像的区别特征信息的示意图；

图17是本发明实施例提供的物品识别方法的另一流程示意图；

图18是根据本发明一个实施例的解释模糊和非均匀光照对于图像上条形码解码任务带来难度的示意图；

图19是根据本发明一个实施例的解释基于图像的条形码解码任务可以将条码区域和字符识别区域分开的示意图；

图20是根据本发明一个实施例的解释条形码和数字字符识别结果可以来交叉验证得到最终结果的示意图；

图21和图22是根据本发明一个实施例的解释通过联合优化条形码和数字字符识别，两个任务的结果都会变得更加准确的示意图；

图23是根据本发明一个实施例的解释使用已知的条码位来初始化模型参数的示意图；

图24是根据本发明一个实施例的解释通过模糊模型和光照模型产生仿真信号的示意图；

图25是根据本发明一个实施例的解释错误校正的示意图；

图26为本发明实施例的物品识别装置的一种功能结构示意图；

图27为本发明实施例的物品识别装置的一种硬件结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。另外，另外，本文中术语“物品”和“商品”在本文中常可互换使用，类似的，术语“物品包装”和“商品包装”在本文中也常可互换使用。

如前文所述，人工识别物品包装的效率低下，且容易出错。另外，现有技术的人工识别过程中，采集图像的外界环境是不确定的，这非常不利于图像识别。本发明实施例提供了一种基于机器视觉的方法来识别物品的方法，通过统一的图像采集环境采集并待识别物品的物品包装信息，并通过基于条形码的识别或基于图像特征信息以及物品标题信息的识别处理，提高了物品识别的自动化程度，改善了识别效率，降低了错误概率。

请参照图2，本发明实施例提供的物品识别方法，包括：

步骤11，获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像。

这里，可以通过相机采集第一物品包装的外表面的图像，具体的，该图像可以是RGB图像也可以是灰度图像。本发明实施例可以采集第一物品包装的每个外表面的图像，也可以采集部分外表面的图像，例如，采集第一物品包装中具有最大面积的面的图像，该最大面积的面可能有1个，也可能有多个面都具有相同的最大面积。本发明实施例可以针对采集的第一物品包装的所有外表面进行前景分离的处理，也可以采集所有外表面的图像，然后根据预定规则，如面积最大，选择出其中的部分面，进行前景图像的分离处理，获得第一前景图像。

这里，本发明实施例通过前景图像分离技术，将图像中用户感兴趣的部分(即前景图像)从原始图像中分离出来。例如，可以在一个稳定的拍摄环境下进行拍照，获得放置有物品包装时一幅图像和未放置物品包装时的另一幅图像，然后通过比较两幅图像之间的差异，可以获得物品包装的第一前景图像。

步骤12，检测所述第一前景图像是否存在条形码。

这里，对物品包装的各个面的第一前景图像进行条形码检测，若检测到条形码，则获取该条形码的条形码信息，如条形码对应的条形码数字串的内容等。条形码的检测有多种实现方式。例如，可以阈值二值化方式，将扫描线上的灰度，使用阈值或者动态阈值进行二值化，获得条形码信息；再例如，使用Canny算子或者Hough Line检测边缘，获得条形码信息；再例如，基于统计学习，提取条形码的特征，并学习分类，进而利用学习结果识别条形码信息；再例如，基于OCR(Optical Character Recognition，光学字符识别)的数字识别，识别条形码信息。另外，本发明实施例还特别提供了一种条形码识别实现方式，将在后文中详细说明。

当然，某些物品包装可能并没有条形码，此时将无法获得条形码信息。而某些物品包装可能包含多个条形码，如药品包装通常包括有商品码和药检码，此时将获取该物品包装的所有的条形码信息。

步骤13，在未检测到条形码时，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题。

作为一种实现方式，本发明实施例在获得文本串之后，可以将文本串的最小包围矩形作为该文本串对应的文本串区域。当然，也可以采用其他方式确定文本串对应的文本串区域，例如，以包围该文本串的最小区域作为文本串区域。

由于作为物品标题的内容，通常具有较高的重要性，因此物品标题通常位于物品包装的易于观察的区域，且物品标题相对于物品包装的其他内容具有显著性特点，例如，笔画宽度通常最大，颜色通常最为显眼，物品标题所占的面积通常比较大，等等。因此，本发明实施例在检测出第一前景图像中的文本串，并获得包含有文本串的文本串区域后，可以根据各个文本串区域的面积和笔画宽度，选择显著性最高的文本串区域，作为物品标题区域。显著性最高，通常可以是面积最大、且笔画宽度最大。

步骤14，根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别，其中，所述已注册物品数据库中保存有已注册物品包装的特征信息，所述特征信息至少包括物品包装前景图像的图像特征信息和物品标题信息。

这里，本发明实施例在上述步骤11之前，可以预先在一个数据库中注册各种物品的物品包装，该数据库在本文中被称为已注册物品数据库。在注册时，获得待注册物品包装的第二前景图像，检测第二前景图像中存在的图像特征信息、物品标题信息以及条形码信息(如果有)，并将检测到的信息以及所述待注册物品包装对应的第二物品名称信息，保存在已注册物品数据库中，并建立所述第二物品名称信息与所述检测到的信息之间的关联关系。物品名称信息是物品包装中的物品的名称，例如，对于某个品牌型号的鼠标，其物品名称信息可以是“xx品牌yy型号鼠标”，物品名称信息可以是用户输入至数据库中，以便于建立该物品名称信息与物品包装的特征信息之间的关联关系。这里，物品名称信息用于指示该物品包装对应的物品名称，通常可以由用户输入；而物品标题信息是本实施例从物品包装的物品标题区域识别出的物品包装的一种特征信息。通过建立物品名称信息与特征信息(如物品标题信息和条形码信息等)之间的关联关系，从而可以在在后续基于识别出的某个物品包装的物品标题信息，确定该物品标题信息对应的物品名称信息，以识别物品包装。另外，由于某些物品包装可能没有条形码，该物品包装的特征信息中的条形码信息的内容可能为空。

已注册物品数据库保存有已注册物品的特征信息，如物品包装前景图像的图像特征信息和物品标题信息。这样，在上述步骤14中，在已注册物品数据库中查找与第一物品包装相匹配的匹配物品，所述匹配物品是指物品标题信息与第一物品标题信息相同，且图像特征信息与第一图像特征信息的匹配程度超过预定阈值的已注册物品；获取所述匹配物品的物品名称信息，作为所述第一物品包装的识别结果。这里，在识别过程中，在图像特征相匹配的基础上，还考虑了物品标题信息是否匹配，从而提高了识别的准确性。具体的，图像特征信息可以通过VLAD和fisher向量来表示，通过比较向量之间的匹配程度来识别相同的图像，此处不再赘述。

通过以上方式，本发明实施例可以检测和识别物品包装中的条形码信息和物品标题等信息并注册，从而可以提高物品包装注册的自动化程度，提高注册效率，降低人工错误发生的概率。

在实际图像采集过程中，光照变换对于图像效果影响很大。本发明实施例为了提高图像采集的一致性，本发明实施例可以在物品包装注册过程以及识别过程中均在相同的图像采集环境下采集图像。本发明实施例提供了如图3所示的一种采集环境。

图3中示出了一种操作盒，该操作盒里包括有操作台，物品包装可以放置于操作台上。所述操作盒包括多个侧边301和一盒顶302，所述多个侧边301和所述盒顶302合围形成一空间。部分侧边301上设有朝向操作盒内壁的光源304，图3中给出了部署2个光源304的示例。所述光源304发出的光经过所述内壁的反射为操作台上物品包装提供拍照光源，并通过侧边301和盒顶302阻止外界光照的变化的影响，以提供均衡稳定的光照条件。所述盒顶302上设有采集方向朝下的相机303，通过所述相机303采集物品包装的至少一个外表面的图像。图3中的一个侧边301上设有开口，以便于通过该开口将物品包装放置与操作台上。由于是在统一的采集环境下采集物品包装的图像，能够保证图像效果的一致性，使得识别效果更好。

图4进一步给出了在图3所示的采集环境中采集物品包装的外表面的一个具体示例，包括：步骤41，操作者将物品包装放置在操作台；步骤42，物品包装静置在操作台上1到2秒钟，系统会自动采集该物品包装对着相机的面的信息。步骤43，判断是否还需要注册物品包装其他面的信息，若是，则进入步骤44，转动物品包装至其他面对着相机，然后返回至步骤42，继续静止1-2秒，以循环采集过程，直到所有需要的面均被采集；否则，进入步骤45，将物品包装拿出操作台，结束一个物品包装的采集过程。

另外，为了与已注册物品数据库中的物品进行图像间的比对，本发明实施例提取第一前景图像的图像特征信息。这里，图像特征信息可以用VLAD特征和Fisher向量来表征，同时，还可以提取第一前景图像的其他特征，如第一前景图像的尺寸、面积、颜色、形状等特征，以与数据库进行比对。

图5是一种商品包装图像包含不同的文本串的示意图。文本串是水平或者竖直的连续文字区域，还可能是其他方向。文本串可以具有相同的文字颜色、字体、字体大小。图5所示的药品包装共有多个文本串61，其中面积最大的矩形所包围的文本串为该药品的商品标题。该矩形不止是文本串外接矩形面积最大，而且字体笔画宽度也是最大的。

图6为笔画宽度W₀的示意图，即印刷体中一个笔画的起点到终点的像素个数。一般来说，商品标题字体都字号都较大，通常采用粗体，笔画宽度比商品包装的其他字体大。

请参照图7，作为一种实现方式，上述步骤13中检测所述第一前景图像中的文本串的步骤，具体可以包括以下步骤：

步骤131，对第一前景图像进行边缘检测，获得边缘检测结果。

这里，边缘检测可以按照现有技术的各种算法实现。例如，可以采用Canny边缘检测算子对第一前景图像进行边缘检测。图8是根据图5所示的物品包装进行边缘检测之后的结果示意图。Canny算子是本实施例可以采用的一种边缘提取的算法。

步骤132，根据边缘检测结果进行笔画宽度变换，确定像素点的笔画宽度。

图9是图8进行笔画宽度变换之后的示意图。一幅图像的笔画宽度经过如下方式得到：首先，沿着图像边缘的像素，向该像素反方向移动直到碰到另外一个边缘像素，检查两个像素是否梯度方向相反；如果方向相反，则起点像素到终点像素之间的像素个数被定义为该笔画的宽度。每个像素的笔画宽度为该像素所在笔画中的笔画宽度。

步骤133，获得由笔画宽度的差值在预设范围内的相邻像素组成的连通区域。

图10是针对图9根据笔画宽度进行连通区域连接之后的示意图。如果相邻像素属于同一个字符，它们通常具有相似的笔画宽度，即相邻像素的笔画宽度的差值在某个预设范围内，由此可以将符合上述条件的相邻像素连通起来，获得连通区域。

步骤134，聚合相互之间距离小于预设门限的任意两个连通区域，并根据聚合结果确定第一前景图像中的字符，所述预设门限与所述任意两个连通区域的周长正相关。

这里，对应任意两个连通区域，如果该两个连通区域之间的距离小于某个预设门限，则可以将该两个连通区域聚合成一个新的连通区域。按照以上方式，对所有的连通区域进行聚合，并将最终聚合得到的每个连通区域，作为一个字符。两个连通区域之间的距离可以使用两个连通区域各自的中心点之间的距离来表示。所述预设门限则可以根据该两个连通区域的周长来设置，通常应该与该两个连通区域的周长正相关，即周长越大，该预设门限也就越大。

为简化处理，可以确定各个连通区域的外接矩形，该外接矩形通常为预设方向，例如，外接矩形的各个边处于水平或垂直方向。然后，计算两个连通区域各自的外接矩形的中心点之间的距离，并将两个连通区域的外接矩形的所有边的平均边长作为所述预设门限，据此判断是否能够进行聚合。当然，本发明实施例也可以由用户自行设置该预设门限的具体数值。

图11是字符与连通区域组成关系的示意图。一个汉字字符通常是由几个不同的连通区域组成，而英文字符通常是一个连通区域对应为一个英文字符。

图12是将多个连通区域聚合成一个字符的示意图。图12给出了两个连通区域的外接矩形71和72，其中外接矩形71的中心点C₁，高度和宽度分别为H₁为和W₁，外接矩形72的中心点C₂，高度和宽度分别为H₂为和W₂。两个连通区域是否可以聚合，可以按照以下方式进行判断：如果两个连通区域中心点的距离||C₁-C₂||₂小于该两个外接矩形的平均边长d_avg，则将该两个连通区域聚合成一个新的连通区域，用公式表示如下：

这里，平均边长d_avg的定义为：两个连通区域的所有边长的平均值。

图13是图11经连通区域聚合处理后的示意图。图11中同一汉字的不同的连通区域，在图13中被聚到一起，获得对应的汉字字符。

步骤135，确定字符的特征以及具有相同特征的字符，获得由具有相同特征的字符组成的文本串。

这里，字符的特征可以用字符的方向、颜色、笔画宽度和字体尺寸中的一个或多个参数来表示。具有相同特征的字符，可以是上述特征相同或相近的字符。这里的相近是指特征之间的差异在预设的范围之内。图14是确定了文本串后的示意图。如果任意两个字符具有相同或相似的方向、颜色、笔画宽度和字体尺寸，将两个字符串在一起。一个文本串的包含字符数量要大于等于2。字符的方向可以采用字符在图像中的水平方向的高度等参数来表征。

在上述步骤13中，在获得文本串之后，可以确定所述文本串的最小包围矩形，得到所述文本串区域。然后，针对各个文本串区域，分别对该文本串区域的面积和笔画宽度进行加权求和，得到该文本串区域的加权分值；选择出最大加权分值对应的文本串区域，作为所述物品标题区域。

图15为确定物品标题区域的示意图。通过计算各个文本串区域的面积和字符笔画宽度，并进行加权求和计算得到一分值，分值最大的文本串区域被判断为物品包装的物品标题区域。

考虑到实际应用中，通常存在多种具有非常近似的物品包装的商品，例如，不同药厂生产的同一种药品，其物品包装的区别有可能仅仅是生产厂商的区别，或者是商标的区别。在对这些物品包装进行注册时，可以保存它们之间的区别特征信息，如生产厂商的区别，或者是商标的区别，然后在相关联的物品包装中均针对该区别特征信息进行标注，以便于后续的识别处理。这样，已注册物品数据库中可能包括有多个具有近似物品包装的已注册物品，且该多个具有近似物品包装的已注册物品标注有各自的区别特征信息。从而，在上述步骤14中，当在查找到的所述匹配物品有多个时，提示存在多个匹配物品，并展示各个匹配的区别特征信息，以提示用户进行人工鉴别。

图16a和图16b为相似图像的区别特征信息的示意图，图16a和图16b的两个图像为相似图像，区别特征信息为图像左上角的注册商标。本发明实施例如果在注册阶段在数据库发现当前注册的物品包装的相似图像，则通过人工标注两者之间的区别特征信息。

请参照图17，本发明实施例提供的另一种物品识别方法，包括以下步骤：

步骤171，获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像。

这里，第一物品包装的图像，可以是由相机或摄像机采集到的。例如，当该图像是从摄像机采集的视频流中提取的帧图像时，首先判断该当前帧图像是否稳定。由于操作员手持物品包装放入操作台的过程中，采集到的图像由于运动可能是模糊的，所以只有当前帧相对静止，采集到的图像才适宜进行后续的处理。一种简单的判断方式是计算当前帧的光流，并设定光流阈值进行判断，若低于该光流阈值，则继续后续处理，否则继续等待下一帧图像。本发明实施例将物品包装图像从全幅图像中提取出来，分离出前景和背景区域。静态背景建模是可以前景分离可以采用的一种实现方式。

步骤172，检测所述第一前景图像是否存在条形码，若检测到条形码，则进入步骤173，否则进入步骤174。

这里，一帧图像可能含有0个、1个或多个条形码。如果0个条码被检测到，则进入步骤174，以利用物品图像特征信息进行比对。如果有1个或多个条形码被检测到，则进入步骤173，以利用条形码进行比对。

步骤173，获得所述第一前景图像中的第一条形码信息，并根据第一条形码信息，检索所述已注册物品数据库进行物品识别。

这里，如果1个条码被检测到，则使用该条码的解码结果在已注册物品数据库中进行匹配，输出匹配上的物品的物品名称信息。

对于某些商品(如药品包装上的商品码和药检码)，可能具有多个条形码，每个条形码都包含有物品的名称信息，因此，在检测到多个条形码时，则可以同时解码多个条形码，并利用解码得到的物品名称信息进行交叉验证，判断解码得到的物品名称信息是否一致，如果一致，则输出这些条形码在已注册物品数据库中的物品名称信息，否则，输入条形码信息错误的提示消息。

步骤174，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题。

步骤175，根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别。

由于条形码信息能够直接确定物品的相关信息，以上实施例在能够检测到条形码时，优先采用条形码进行物品识别；在未检测到条形码时，将根据图像特征信息以及物品标题进行识别。

为了提高条形码识别的准确率，甚至可以对模糊图像中的条形码进行较为准确的识别，本发明实施例针对上述步骤173的获得条形码的第一条形码信息提供了一种具体实现方式，作为一种实现方式，上述步骤173具体可以包括以下步骤：

步骤1731，定位所述第一前景图像中的条形码区域及其数字区域；

步骤1732，获取所述第一前景图像中条形码区域的条形码解码过程产生的第一值；

步骤1733，获取所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值。

步骤1734，获取所述第一值和第二值的加权和值最小时对应的数字识别结果。

这里，可以计算所述第一值和第二值的和值或加权和值，得到第三值，然后获取所述第三值最小时对应的数字识别结果。

上述步骤1732和1733并没有先后顺序的限定，二者还可以是同时进行。

上述步骤通过获取所述第一前景图像中条形码区域的条形码解码过程产生的第一值以及所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；获取所述第一值和第二值的加权和值最小时对应的输出结果并输出，从而可以对模糊图像中的条形码进行准确识别。

图18是待解码的图像受到模糊和光照变化的影响的示意图。在图像拍摄过程中，相机有可能未能对焦到条形码区域，条形码中白色空隙和黑色条之间出现了模糊而很难准确检测到条形码的边缘。而光照对条形码的影响也很明显，如图18所述，光照从左到右渐渐增加。无论是传统基于图像的解码技术还是使用OCR数字识别，对于图18所示的条码图像都很难准确提取信息。

图19是根据本发明一个实施例的解释基于图像的条形码解码任务可以将条形码区域和字符识别区域分开的示意图。大多数条形码包括：条形码区域31以及条形码区域下面对应的数字区域32，尤其是对于商品包装上印刷的条码，利用OCR数字识别和条形码解码结合起来进行识别，可以提高识别的准确率。一个原因是两者均有相同的数字内容，可以通过交叉验证猜测到最终的结果。

图20是根据本发明一个实施例的解释条码和数字字符识别结果可以来交叉验证得到最终结果的示意图。如果条形码识别结果或者数字字符识别结果因为噪声、模糊或者光斑有未能识别的数字，交叉验证可以得到最终的结果。

更为重要的是：OCR数字识别和条形码解码有一些共有的特性：首先，它们的模糊程度相同。因为大多数条码的模糊是因为相机的未能对焦，而这种情况下整幅图像，无论是条码区域还是数字区域，模糊程度都是相同的。其次，它们的光照模型是有一定关系的：如图18所示，条形码区域和数字区域均是由左向右依次变亮。当结合这两种方法联合优化模型，OCR数字识别和条码解码都会变得更加准确。这对于模糊严重或者光照严重不均衡的情况时非常有用。

图21和图22是根据本发明一个实施例的解释通过联合优化条码和数字字符识别，两个任务的结果都会变得更加准确的示意图。

图21所示的是条形码解码和数字识别的结果分别运算。由于解码时光照或者噪声的影响，各自结果中都有太多的位没有被正确解码。

图22所示的是结合条形码解码和数字识别，两种方法的结果都变得更加准确。具体来说，模糊和光照不均匀都会首先被建模。

之后，使用条形码部分和数字部分的信息来调整参数，分别猜测最终结果的每一位。

为帮助理解上述条形码识别过程，下面对上述步骤进行更为详细的说明。

上述步骤1732具体包括：

步骤17321，获取所述第一前景图像中条形码区域的第一定位参数信息；

步骤17322，根据所述第一定位参数信息，得到第一仿真信号；

步骤17323，根据所述第一仿真信号与条形码区域的条形码解码过程得到的条形码解码结果，获得用于表示所述第一仿真信号与条形码解码结果之间差别的残差值，并将所述残差值作为所述第一值输出。

其中，步骤17322中，可以根据公式：f₃(x)＝f₁(x)+f₂(x)得到第一仿真信号；

其中，G(x)为高斯核函数，σ用于控制高斯核的宽度，f₂(x)为根据所述第一定位参数得到的光照模型函数，f₄(x)为输入的标准条形码信号，f₃(x)为第一仿真信号。

其中，步骤17323中，可以

根据公式：获得残差值；

其中，e_bar为残差值，f₅(x)为条形码解码过程得到的条形码解码结果，i表示条形码数字串中的第i位数字，L为条形码的长度。

而光照模型函数f₂(x)具体可以通过以下步骤获得：

步骤S1，比较标准光照和输入光照，得到条形码的用于对条形码进行定位的第一定位参数，所述第一定位参数是所述条形码的守护位；

步骤S2，对所述守护位的光照值进行线性插值，得到条形码的其余部分的光照值；

步骤S3，根据所述守护位的光照值和其余部分的光照值，得到条形码的光照模型函数。

在上述实施例中，以条形码的编码规则为EAN-13编码规则来举例，如图23所示，对于具有条形码的模糊图像，一开始就能获得该条形码的守护位81，该守护位用于对条形码进行定位时使用，该守护位(guard bar)包括有11位黑白条。在获取模糊图像的光照模型函数时，可以利用该守护位的光照值进行模拟，如上述步骤S1、步骤S2以及步骤S3所示；利用该光照模型函数以及该模糊图像的模糊模型函数，如上述f₁(x)＝G(x)×f₄(x)，而该模型中，高斯核函数，可以是图像采集设备(如相机)的1D或者2D信号与高斯核卷积得到，而上述高斯核函数中，σ控制核的宽度，因此，可以使用使得上述残差最小的高斯核宽度。

上述实施例中，猜测每一位数字，对于0-9中的每个数字，通过模糊模型和光照模型产生仿真信号。图24是通过模糊模型和光照模型产生仿真信号的示意图；91是理想信号，92是使用较小的高斯核产生的仿真信号，93是使用较大的高斯核产生的仿真信号。

上述步骤1733具体包括：

步骤17331，获取所述图像中条形码的数字区域的第二定位参数信息；

步骤17332，根据所述第二定位参数信息，得到第二仿真信号；这里的第二定位参数和上述实施列中的第一定位参数信息可以是相同的，对于同一幅模糊图像来说，其中的条形码的定位参数信息如可以是上述实施例中的守护位或者与守护位相关的定位信息；

步骤17333，根据所述第二仿真信号与条形码的数字识别过程产生的输入数字图像信号，获得用于表示所述第二仿真信号与数字区域的数字识别结果之间差别的距离，并将所述距离作为所述第二值输出。

该实施例中，上述步骤17332中，具体可以根据公式：

f₉(x,y)＝f₇(x,y)+f₈(x)得到第二仿真信号；

其中，

其中，G(x,y)为高斯核函数，σ用于控制高斯核的宽度，f₈(x)为根据所述第二定位参数得到的光照模型函数，f₆(x,y)为输入的标准数字模板信号，f₉(x,y)为第二仿真信号。这里的光照模型函数f₈(x)，可以认为是光照沿X轴方向变化情况的函数，Y轴方向的光照情况不变；也可以是只考虑条形码的X轴方向的光照，如条形码的长度方向的光照情况。

该实施例中，步骤17333中，具体可以根据公式：

获得用于表示所述第二仿真信号与所述数字识别结果之间差别的距离；

其中，e_digit为距离值，f₁₀(x,y)为条形码的数字区域的数字识别过程产生的数字识别结果，i表示条形码数字串中的第i位数字，L是条形码数字串的长度。

该实施例中，第二仿真信号同样如图24所示，其中，91是理想信号，92是使用较小的高斯核产生的仿真信号，93是使用较大的高斯核产生的仿真信号。

更进一步的，在上述步骤1734后，还可以对数字识别结果进行纠正，进一步提高其准确率。此时，在上述步骤1734后还可以包括以下步骤：

步骤1735，对输出的结果数字进行校验，如果得到的校验结果与条形码的校验位数字不匹配，则对输出的数字进行错误纠正。

该步骤1735中，对输出的数字进行错误纠正的步骤包括：

步骤17351，获取每个输出的数字对应的第三值，所述第三值为第一值和第二值的加权和值；

步骤17352，对所述第三值大于一预设值的一个或者多个错误数字进行替换，并获取替换后数字的第三值；

步骤17353，根据替换后数字的第三值，得到替换后数字的置信度，所述置信度表示所述替换后的输出数字与正确的数字的接近程度；

步骤17354，若所述置信度高于一预设阈值，则输出替换后的数字。

该实施例中，根据公式：得到替换后数字的置信度；

其中，C为置信度，e_total为是经过错误数字校正后的误差，b_total为没有进行错误数字校正时的误差，i表示条形码数字串中的第i位数字，L是条形码数字串的长度，为第三值。

如图25所示，假如经过步骤121～124的流程，识别出来的条形码对应的数字串为6，9，1，7，5，6，8，1，9，1，2，3，4，每一位数字一起来计算校验和。如果检验和不匹配，解码得到的数字串中必然有一位或者几位错误。本实施例中，可以将其中最有可能出错的数字用候选数字来代替，代替的方法是满足使替换之后所新增的误差最小。

如图25所示，而针对该数字串中的每一位数字对应的第三值，即该数字与正确的数字之间的误差分别为0.3，0.2，0.3，0.6，0.3，0.2，0.5，0.3，0.3，0.1，0.3，0.2，0.4，该数字串的总误差为4.0；其中，第4位数字7以及第7位数字8以及第11位数字2的误差较大，因此，可以对数字第4位数字、第7位数字和/或第11位数字进行替换；如可以将第4位数字的数字7替换为1进行校验运算，也可同时将第7位数字8替换为6进行校验运算，依次类推，多个可以进行替换的数字可以分别进行替换后进行校验运算，也可以同时替换后进行校验运算，也可以部分替换后进行校验运算，只要满替换之后所新增的误差最小且校验成功。

本发明的上述实施例通过将条形码解码和OCR数字识别结合起来联合优化模型时，使OCR数字识别和条码解码都会变得更加准确，从而能够提高条形码信息检测的准确性。

请参照图26，本发明实施例提供了一种物品识别装置260，如图26所示，该物品识别装置260包括：

图像分离单元261，用于获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像；

条形码检测单元262，用于检测所述第一前景图像存在的条形码；

第一识别单元263，用于在所述第一前景图像中未检测到条形码时，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题；根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别，其中，所述已注册物品数据库中保存有已注册物品包装的特征信息，所述特征信息至少包括物品包装前景图像的图像特征信息和物品标题信息。

为利用检测到的条形码进行物品识别，上述物品识别装置还可以包括：

第二识别单元，用于在所述第一前景图像中检测到第一条形码信息时，根据第一条形码信息，检索所述已注册物品数据库进行物品识别。

这里，所述第一识别单元包括：查找单元，用于在已注册物品数据库中查找与第一物品包装相匹配的匹配物品，所述匹配物品是指物品标题信息与第一物品标题信息相同，且图像特征信息与第一图像特征信息的匹配程度超过预定阈值的已注册物品；获取所述匹配物品的物品名称信息，作为所述第一物品包装的识别结果。

本发明实施例中，所述已注册物品数据库中可能包括有多个具有近似物品包装的已注册物品，且该多个具有近似物品包装的已注册物品标注有各自的区别特征信息。所述查找单元，还用于在查找到的所述匹配物品有多个时，提示存在多个匹配物品，并展示各个匹配的区别特征信息。

本发明实施例中，所述图像分离单元，具体用于将第一物品包装放置在位于操作盒中的操作台上，所述操作盒包括多个侧边和一盒顶，所述多个侧边和所述盒顶合围形成一空间，所述盒顶上设有相机，所述侧边上设有朝向操作盒内壁的光源，所述光源发出的光经过所述内壁的反射为操作台上物品包装提供拍照光源；通过所述相机采集所述第一物品包装的至少一个外表面的图像。

本发明实施例中，所述第一识别单元可以包括以下单元：

文本串获得单元，用于对第一前景图像进行边缘检测，获得边缘检测结果；根据边缘检测结果进行笔画宽度变换，确定像素点的笔画宽度；获得由笔画宽度的差值在预设范围内的相邻像素组成的连通区域；聚合相互之间距离小于预设门限的任意两个连通区域，并根据聚合结果确定第一前景图像中的字符，所述预设门限与所述任意两个连通区域的周长正相关；确定字符的特征以及具有相同特征的字符，获得由具有相同特征的字符组成的文本串。

本发明实施例中，所述第一识别单元也可以包括以下单元：

标题区域确定单元，用于针对各个文本串区域，分别对该文本串区域的面积和笔画宽度进行加权求和，得到该文本串区域的加权分值；选择出最大加权分值对应的文本串区域，作为所述物品标题区域。

本发明实施例中，所述条形码检测单元包括：

定位单元，用于定位所述第一前景图像中的条形码区域及其数字区域；

计算单元，用于获取所述第一前景图像中条形码区域的条形码解码过程产生的第一值以及所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；

输出单元，用于获取所述第一值和第二值的加权和值最小时对应的数字识别结果。

本发明实施例中，所述条形码检测单元可以包括以下单元：

纠正处理单元，用于对获取的所述数字识别结果进行校验，如果得到的校验结果与条形码的校验位数字不匹配，则对数字识别结果中的数字进行错误纠正。

这里，所述纠正处理单元，具体用于获取数字识别结果的每个数字对应的第三值，所述第三值为第一值和第二值的加权和值；对所述第三值大于一预设值的一个或者多个数字进行替换，并获取替换后数字的第三值；根据替换后数字的第三值，得到替换后数字的置信度，所述置信度表示所述替换后的输出数字与正确的数字的接近程度；若所述置信度高于一预设阈值，则输出替换后的数字。

作为一种实现方式，本实施例的物品识别装置还可以包括：

物品包装注册单元，用于得待注册物品包装的第二前景图像，检测第二前景图像中存在的图像特征信息、物品标题信息以及条形码信息，并将检测到的信息以及所述待注册物品包装对应的第二物品名称信息，保存在已注册物品数据库中，并建立所述第二物品名称信息与所述检测到的信息之间的关联关系。

下面结合图27描述本发明实施例涉及的矩形目标检测装置的一种硬件结构图，如图27所示，该硬件结构270包括：

图像采集设备271(如相机或摄像机)、处理器272、存储器273以及物品识别装置274，物品识别装置274又包括图像分离单元2741、条形码检测单元2742、和第一识别单元2743。其中，所述图像分离单元2741、条形码检测单元2742、和第一识别单元2743各自实现的功能与图26所示的图像分离单元261、条形码检测单元262、和第一识别单元263相类似。

作为一种实现方式，本发明实施例中，图27中的硬件结构270还可能包括有一计算机系统275，该计算机系统275上运行有一已注册物品数据库。物品识别装置274通过向该已注册物品数据库进行检索以识别出物品。

图27中，上述图像采集设备271、处理器272、存储器273以及物品识别装置274可以独立于计算机系统275而设置。作为一种可选方式，上述图像采集设备271、处理器272、存储器273以及物品识别装置274可以作为计算机系统275的一个子模块或组成部分。

本发明实施例中，物品识别装置274中的各个模块也可以通过独立的嵌入式系统来实现。作为另一种可选方式，物品识别装置274也可以由处理器272来实现，此时，当处理器272调用并执行所述存储器273中所存储的程序和数据时，可以实现如下的功能模块：

图像分离单元，用于获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像；

条形码检测单元，用于检测所述第一前景图像存在的条形码；

第一识别单元，用于在所述第一前景图像中未检测到条形码时，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题；根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别，其中，所述已注册物品数据库中保存有已注册物品包装的特征信息，所述特征信息至少包括物品包装前景图像的图像特征信息和物品标题信息。

图27中，处理器272和存储器273分别通过总线接口与物品识别装置274连接；总线架构可以是可以包括任意数量的互联的总线和桥；具体由处理器272代表的一个或者多个处理器，以及由存储器273代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起，这些都是本领域所公知的。因此，本文不再对其进行详细描述。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种物品识别方法，其特征在于，包括：

获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像；

检测所述第一前景图像是否存在条形码，并在未检测到条形码时，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题；

根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别，其中，所述已注册物品数据库中保存有已注册物品包装的特征信息，所述特征信息至少包括物品包装前景图像的图像特征信息和物品标题信息。

2.如权利要求1所述的物品识别方法，其特征在于，在所述第一前景图像中检测到条形码时，所述识别方法还包括：

获得所述第一前景图像中的第一条形码信息，并根据第一条形码信息，检索所述已注册物品数据库进行物品识别。

3.如权利要求1所述的物品识别方法，其特征在于，

所述根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别的步骤，包括：

在已注册物品数据库中查找与第一物品包装相匹配的匹配物品，所述匹配物品是指物品标题信息与第一物品标题信息相同，且图像特征信息与第一图像特征信息的匹配程度超过预定阈值的已注册物品；

获取所述匹配物品的物品名称信息，作为所述第一物品包装的识别结果。

4.如权利要求3所述的物品识别方法，其特征在于，

所述已注册物品数据库中包括有多个具有近似物品包装的已注册物品，且该多个具有近似物品包装的已注册物品标注有各自的区别特征信息；

所述根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别的步骤，还包括：

在查找到的所述匹配物品有多个时，提示存在多个匹配物品，并展示各个匹配的区别特征信息。

5.如权利要求1所述的物品识别方法，其特征在于，

所述获得所述待识别物品的第一物品包装的外表面的图像的步骤，包括：

将第一物品包装放置在位于操作盒中的操作台上，所述操作盒包括多个侧边和一盒顶，所述多个侧边和所述盒顶合围形成一空间，所述盒顶上设有相机，所述侧边上设有朝向操作盒内壁的光源，所述光源发出的光经过所述内壁的反射为操作台上物品包装提供拍照光源；

通过所述相机采集所述第一物品包装的至少一个外表面的图像。

6.如权利要求1所述的物品识别方法，其特征在于，

所述检测所述第一前景图像中的文本串的步骤，包括：

对第一前景图像进行边缘检测，获得边缘检测结果；

根据边缘检测结果进行笔画宽度变换，确定像素点的笔画宽度；

获得由笔画宽度的差值在预设范围内的相邻像素组成的连通区域；

聚合相互之间距离小于预设门限的任意两个连通区域，并根据聚合结果确定第一前景图像中的字符，所述预设门限与所述任意两个连通区域的周长正相关；

确定字符的特征以及具有相同特征的字符，获得由具有相同特征的字符组成的文本串。

7.如权利要求1所述的物品识别方法，其特征在于，

所述根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域的步骤，包括：

针对各个文本串区域，分别对该文本串区域的面积和笔画宽度进行加权求和，得到该文本串区域的加权分值；

选择出最大加权分值对应的文本串区域，作为所述物品标题区域。

8.如权利要求2所述的物品识别方法，其特征在于，

所述获得所述第一前景图像中的第一条形码信息的步骤，包括：

定位所述第一前景图像中的条形码区域及其数字区域；

获取所述第一前景图像中条形码区域的条形码解码过程产生的第一值以及所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；

获取所述第一值和第二值的加权和值最小时对应的数字识别结果。

9.如权利要求8所述的物品识别方法，其特征在于，

所述获得所述第一前景图像中的第一条形码信息的步骤，还包括：

对获取的所述数字识别结果进行校验，如果得到的校验结果与条形码的校验位数字不匹配，则对数字识别结果中的数字进行错误纠正。

10.如权利要求9所述的物品识别方法，其特征在于，

所述对数字识别结果中的数字进行错误纠正的步骤，包括：

获取数字识别结果的每个数字对应的第三值，所述第三值为第一值和第二值的加权和值；

对所述第三值大于一预设值的一个或者多个数字进行替换，并获取替换后数字的第三值；

根据替换后数字的第三值，得到替换后数字的置信度，所述置信度表示所述替换后的输出数字与正确的数字的接近程度；

若所述置信度高于一预设阈值，则输出替换后的数字。

11.如权利要求1所述的物品识别方法，其特征在于，

在所述获得待识别物品的第一物品包装的外表面的图像的步骤之前，还包括：

获得待注册物品包装的第二前景图像，检测第二前景图像中存在的图像特征信息、物品标题信息以及条形码信息，并将检测到的信息以及所述待注册物品包装对应的第二物品名称信息，保存在已注册物品数据库中，并建立所述第二物品名称信息与所述检测到的信息之间的关联关系。

12.一种物品识别装置，其特征在于，包括：

图像分离单元，用于获得待识别物品的第一物品包装的外表面的图像，分离出第一物品包装的外表面的第一前景图像；

条形码检测单元，用于检测所述第一前景图像存在的条形码；

第一识别单元，用于在所述第一前景图像中未检测到条形码时，提取所述第一前景图像的第一图像特征信息，以及，检测所述第一前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到第一物品标题；根据所述第一图像特征信息以及第一物品标题，检索已注册物品数据库进行物品识别，其中，所述已注册物品数据库中保存有已注册物品包装的特征信息，所述特征信息至少包括物品包装前景图像的图像特征信息和物品标题信息。

13.如权利要求12所述的物品识别装置，其特征在于，所述条形码检测单元包括：

定位单元，用于定位所述第一前景图像中的条形码区域及其数字区域；

计算单元，用于获取所述第一前景图像中条形码区域的条形码解码过程产生的第一值以及所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；

输出单元，用于获取所述第一值和第二值的加权和值最小时对应的数字识别结果。