CN102246186A - 物品识别方法和系统 - Google Patents

Abstract

根据本发明的所公开的用于识别生产线上的物品的方法和相对应的系统依靠根据该物品的数字图像建立的颜色直方图，其以逐区间为基础，与所允许的每区间的最小像素数量与最大像素数量进行比较用于利用参考物品进行识别。

Description

物品识别方法和系统

技术领域

本发明涉及用于自动化生产线的控制系统的技术领域。更特别地，本发明涉及用于对所述生产线进行生产控制的成像设备和相对应的实时图像处理装置和方法。这些图像处理装置从生产线上的物品(即，产品和/或包装)的数字图像提取颜色信息，以便通过比较所提取的信息与参考物品的模板信息来识别不同类型的物品。

背景技术

成像设备常用于控制在自动化生产线上的生产。例如，在瓶装线上，闪光灯(例如，使用受激光触发设备控制的LED照明单元)照射在输送机上运输的瓶子，以及数码照相机拍摄这样被照射的瓶子的数字图像；然后图像处理设备自动地检测在这些数字图像上的瓶子的轮廓且识别存在于输送机上的不同类型的瓶子(根据它们的形状和/或尺寸)。这种识别例如用于根据瓶子的类型(形状或内容等)来正确地给瓶子加标签。

图像处理装置也可检测印在包括于物品包装上或该物品本身上(例如，在瓶装线上生产的瓶子上)的标签上或直接印到物品(例如，容器，例如，在罐装线上生产的罐上)上的颜色，以便允许进行包装检查和/或图案识别(例如，通过使之与模板图像匹配来识别商标图案)。例如，在罐装线上，商标图案还能被直接印到罐上或印到紧紧围绕罐装配的套筒上。

存在许多已知的(在基于内容的图像检索领域中)有关图像检索和处理的技术，其可用于从物品的数字图像识别物品或检查物品。然而，这些技术或缺少精度或涉及费时的计算，由此不是十分适合自动化生产线控制，特别是对高速生产线进行控制。

例如，在RGB颜色空间(“红绿蓝”)中的典型的取阈值技术缺少精度，因为它不允许从强度信息中分出颜色信息。

作为另一个例子，美国专利申请US2004/0218837A1公开了一种图像处理技术，其中物品的数字图像首先被分割成块，并且对于每一个块建立颜色直方图和明亮度(亮度)直方图。对于每一个块，平均明亮度进一步从明亮度直方图确定，作为明亮度特征信息，并且对于每一个块，代表性颜色(例如，平均颜色)从颜色直方图确定，作为颜色特征信息。然后，(在逐块的基础上)执行数字图像的颜色特征信息与目标比较图像的颜色特征信息的比较来判定数字图像是否与目标图像相似。如果颜色的比较没有得出结论，那么(也在在逐块的基础上)执行进一步的数字图像的颜色特征信息与目标比较图像的颜色特征信息的比较。

然而，这种图像处理技术具有不便之处，确定每一个块的代表性颜色和平均明亮度两者都涉及繁重的计算负荷(至少对于确定所述两种直方图而言)并且使用用于估计相似性的这些“平均”参数中的仅一个或两个在高速生产线(例如，用于识别包装或包装上的商标)的情况下可能不够精确。

最近已经开发了图像系统以在组装和包装检查应用的情况下基于从这些物体的数字图像中提取出来的HSL(“色调饱和亮度”)颜色空间的颜色特征来识别物品。

例如，美国专利申请US2004/0228526A9公开了一种使用“模糊像素分类”的颜色表征的系统，采用颜色匹配和颜色匹配位置。这种系统使用颜色特征向量，用于基于颜色特征向量之间的距离来测量彩色图像之间的相似性，且用于定位目标图像的其颜色信息与模板图像的颜色信息相匹配的区域。在此处颜色特征向量由像素基于相应像素的HSL值被分配给目标图像的HSL颜色直方图的每个区间(bin)(即，颜色类别)(即，对应于色调值、饱和值和亮度值的每个区间)的的百分比构成，根据“模糊像素分类”的“模糊隶属函数”，像素具有成分数地(fractionally)分布于多个区间的权重。

然而，这种在HSL直方图(具有在三维HSL空间的区间)内的“模糊像素分类”和随后的相似性确定具有对计算资源要求较高的不便之处。因此，这种图像处理技术不是很适合在高速生产线上进行实时物品识别，特别是在线上传递的每个单个物品都需要被识别的情况下。

发明内容

考虑到上述背景技术的局限性，因此本发明旨在于提供一种用于根据数字图像识别物品的稳健的实时系统和相对应的方法。本发明的一个目的是为了提供一种生产控制工具，其非常适合于运送多种类型的物品的高速生产线，同时能够处理在线上传递的每个单个物品的数字图像，用于通过与来自参考识别数据的特有特征进行比较基于颜色分析来进行精确识别，所有这些仅需有限的计算资源。

本发明的另一目是为了提供一种系统和方法，其也能产生参考数据用于物品的进一步识别处理。

本发明的又一目的是为了可靠地识别生产线上的物品。

根据本发明的识别系统和方法的再一目的是允许识别在高速生产线上的多个物品，即使在相邻物品之间没有间隙和/或(在数字图像上)不存在这些物品的明显局部视图(诸如对应于在输送机上运输的瓶子或罐的旋转位置)的情况下。

根据本发明的第一方面，一种用于识别物品的方法包括以下步骤：

a)选择所述物品的数字图像的至少一个区；和

b)对于在步骤a)选择的每个区，建立所述区的像素的颜色值的对应的直方图，

c)对于在步骤b)建立的每个直方图的每个区间，比较像素数量和与参考物品相关联的参考数据集的对应的最小参考值和最大参考值，并且判断所述像素数量是否被包括在所述参考值之间；以及

d)如果对于至少一个区的所述区间中的至少N个区间，N≥1，所述像素数量被包括在所述参考值之间，则将该物品识别为对应于所述参考物品。

上述识别方法仅需有限的计算资源来识别物品，且允许与实时应用兼容的快速处理，因为只有一维的颜色直方图(例如，色调值)被建立且被用于与对应于参考物品的参考数据集相比较，且对于每个颜色区间只包括两个标量值，即，最小像素数量和最大像素数量。然而，有限的数据量可实现精确的物品识别。

根据本发明的另一方面，在上述方法的步骤d)，如果对于每个区的每个直方图的每个区间，所述像素数量被包括在所述参考值之间，则物品被进一步识别为完全相对应于该参考物品。实际上这种完全对应情况允许高度精确地识别物品，即使数字图像只与物品上的有限区域有关。

本发明也允许估计物品与参考物品之间的局部相似性。在这种情况下，根据本发明的第一方面的上述方法进一步包括以下步骤：

e)如果对于每个区的每个直方图的每个区间，所述像素数量不被包括在所述参考值之间，那么基于与区间相关联的相似性得分值(score value)将所述物品识别为与所述参考物品部分地相似，与所建立的直方图的区间相关联的相似性得分值在所述区间的像素数量远低于相对应的最小参考值或远高于相对应的最大参考值时更加低。

这种计分允许精细地估计物品与参考物品之间的相似性，即使在这样的情况下：对于与物品相关的直方图的某些区间，由于控制区域上的局部缺陷(例如，在印刷的商标图案中的印刷缺陷或在所述印刷的商标图案中的某些颜色的改动)，像素数量没有落入相对应的参考值内。

根据本发明的再一方面，可以通过以下方式来使用不仅从可见光谱，而且也从其它类型的电磁波谱(例如，UV或IR光谱范围)得到的数字图像：对于数字图像的像素，通过把不同颜色归属于这个光谱的不同部分(即，形成“假的”彩色图像)，且然后基于所归属的颜色使用HSL表示类型。在一般情况下，在本发明中使用的颜色值因此不需要对应于人类颜色视觉的三维CIELAB表示，而是可基于选自物品的反射光谱的UV、可见的和IR部分的任意光谱带。而且可选择任意数量的这些光谱带。

此外，为了允许更精确的识别，还可使用有关饱和以及亮度的信息。然而，由于上述的低计算成本约束，对常规HSL直方图(即，在三维空间中的直方图)使用的改进看起来是令人期望的。

根据本发明的这个方面，在上述方法中，其中所述数字图像的像素各自具有与有限颜色集中的颜色相关联的相对应的亮度值、饱和值和色调值，颜色集的每种颜色对应于不同的光谱响应，计算直方图的步骤b)进一步包括以下步骤：b1)在所述区内各具有高于给定饱和阈值的饱和值的像素中且对于所述颜色集中的每个颜色，计数那种颜色的色调值被包括在定义那种颜色的区间的两个给定色调阈值之间的像素数量以获得所述颜色的饱和像素的数量；

b2)在所述区内不是饱和像素的像素中，计数亮度值低于给定亮度阈值的像素的数量，以得到相对应的黑色像素的数量，并且计数亮度值高于所述亮度阈值的像素的数量，以得到相对应的白色像素的数量；以及

b3)基于所计算的颜色集的每种颜色的饱和像素的数量和所计算的黑色像素的数量和白色像素的数量，根据颜色集的颜色、黑色和白色来计算像素分布，由此形成所述区的直方图。

由此，根据本发明的上述方面，基于饱和信息和亮度信息利用黑色像素和白色像素来完成颜色直方图，但仍是一维颜色直方图，从而允许以仍然低的计算成本提高识别精度。

本发明的方法还可包括轮廓检测的进一步的常规步骤，随后是与参考轮廓进行比较以便在轮廓匹配的情况下验证在步骤d)的识别。更确切地说，本发明可包括检测在数字图像上的物品轮廓且比较所述检测的轮廓与对应于参考物品的参考轮廓的进一步的步骤；以及

其中，只有在所述检测的轮廓与所述参考轮廓匹配的情况下，才进一步验证在步骤d)的物品识别。

在另一方面，本发明允许识别靠近乃至接触的物品。本发明其实允许抑制由于在相同的数字图像上存在关于两个或更多的物品(当采集数字图像时，其在视场中)的像素数据所致的“重叠”效应。因此，根据本发明的用于识别物品的方法可进一步包括以下步骤：检测在数字图像上的物品轮廓，且在步骤a)处选择该至少一个区使得任何所选定区在所检测的物品轮廓内。本发明的这个特征确保所采集的生产线上的物品的数字图像的任何区的图像内容只与这个物品相关，即使它与生产线上的相邻物品接触。瓶装线或罐装线是公知的生产线例子，其中物品(即，瓶子或罐)通常在输送机上被对准地运输，两个连续的物品彼此接触。由此，本发明通过确保关于任何采集的数字图像的数据唯一地与单个物品相关，即使在高速线上，从而允许利用成像装置精确地识别每个物品。

可替换地，物品的数字图像可限于物品上的控制区域，控制区域在所述物品的明显轮廓之内。例如，在物品是直立在输送机上的柱形罐的情况下，控制区域可简单地为该罐的柱表面上的条带。这种对数字图像的限制以排除与该控制区域无关的像素数据可以若干方式来执行。例如，通过对数字图像加框且不考虑来自所述框以外的像素数据(框对应于控制区域的轮廓)。作为另一个例子，当采集数字图像时可使用遮盖物(或用于限制整个视场的任何装置)，使得数字图像上的像素只与物品上的控制区域有关。结果，数字图像内容实际上只与一个物品有关。

本发明还提供了从参考物品的参考数字图像直接确定参考数据的可能性。

由此，本发明的方法可进一步包括根据所述参考物品的参考数字图像来计算所述参考数据集的步骤，通过对于参考数字图像执行步骤a)和步骤b)以为参考数字图像的每个区建立参考直方图，且使最小参考值和最大参考值与每个建立的参考直方图的每个区间相关联，所述最小参考值和最大参考值的每一个都从相对应的置信区间(confidence interval)得到。

所述可能性对于使参考数据集容易地适用于优选区集中的数字图像分割很重要。这种可能性对于使参考数据集容易地适用于与待识别物品有关的特殊情况也是重要的。例如，在生产线上的若干相似的待识别的物品在分别采集它们的数字图像时，具有在可能的角度值范围内旋转的角位置的情况下，仍能精确地识别物品，即使只采集到每个物品的单个数字图像。

例如，在后一种情况下，对于数字图像的每个区的每个区间，通过计数在参考数字图像集的相对应颜色直方图上的有关区间和区的最小像素数量和最大像素数量，可从参考物品的参考数字图像集来确定相对应的最小参考值和最大参考值，其中所述参考物品的参考数字图像集对应于根据在上述范围内的角度值的所述参考物品的各种旋转角位置。

当然，如果参考物品的旋转位置的采样角度值的数量和/或数字图像中的区的数量越大，那么得到的物品识别就越精确。例如，在罐装线上，在输送机上运送的(柱形)罐可具有在0到360度范围内的旋转位置(围绕它们的柱轴线)。因此，利用对应于参考罐以180度角旋转的相应位置的至少两个参考数字图像，从该罐的甚至仅一个数字图像，基于从这至少两个参考图像得到(且因此与参考物品相关联)的最小参考值和最大参考值来精确地识别罐变得可能。

用于确定像素数量的最小参考值和最大参考值的上述置信区间(直方图的每种颜色有一个置信区间)实际上可通过对自参考数字图像集的每个参考数字图像的像素的颜色值进行其它统计处理(例如，通过根据所考虑的区间和/或区来加权像素计数)而得出。

作为如果所检测的物品轮廓与参考轮廓匹配那么验证物品识别(在步骤d)(见上文)的替代，根据任何前述的方面的本发明可进一步包括以下步骤：

检测数字图像上的图案且比较所检测的图案与对应于参考物品的给定参考图案，以及估计所述检测的图案是否与参考图案匹配；以及

如果估计出所述检测的图案与所述参考图案匹配，进一步使用物品识别操作的结果来鉴别所述检测的图案。

在本发明的上述方面中，采用全图像处理对物品的识别(基于一维的颜色直方图，如已解释的那样)用于鉴别图案匹配。在所述图像匹配由于误差造成的情况下(例如，在物品的数字图像上检测的图案实际上对应于参考图案但不对应于该物品的情况下)，这是特别有利的。

本发明也有关于用于识别物品的系统，其是可操作的以实施根据本发明的用于识别物品的方法，且本发明还有关于所述系统用于识别生产线上的物品的用途，如在权利要求中所定义的。

特别地，公开了一种用于识别生产线上的物品的系统的用途，这个系统包括数字图像处理单元，该数字图像处理单元包括存储器且是可操作的以：

选择所述物品的数字图像的至少一个区；

对于每个所选定区，建立所述区的像素的颜色值的相对应的直方图，

所述数字图像处理单元是进一步可操作的以：

对于每个建立的直方图的每个区间，比较像素数量与存储于所述存储器中且与参考物品相关联的参考数据集的相对应的最小参考值和最大参考值，并且判断所述像素数量是否被包括在所述参考值之间；以及

如果对于所述至少一个区的所述区间中的至少N个区间且N≥1，所述像素数量被包括在所述参考值之间，那么就识别物品为对应于所述参考物品。

将在下文中参考附图更全面地描述本发明，其中在所有若干附图中相似的附图标记表示相似的元件，并且其中示出了本发明的突出方面和特点。

附图说明

图1示出根据本发明的用于识别物品的方法的实施例的流程图。

图2示出了分割成多个区的数字图像。

图3示出对应于颜色直方图的区间的参考数据集。

图4示出根据本发明实施例包括用于识别物品的系统的自动化生产线。

图5示出在图4所示物品的表面上的控制区域。

图6示出图5所示的控制区域的数字图像，如由图4的成像单元所拍摄。

具体实施方式

在图1的流程图所示的用于识别物品的方法中，待识别的物品的数字图像被划分为K个区(K≥1)，见如图2所示(指示出区域(1)，且K＝4)。在下文中，ZN是区索引，1≤ZN≤K，“i”是区间索引，1≤i≤M，因此对应于区ZN的颜色直方图，即H(ZN)，包括对应于M个不同颜色值的M个区间，且B(ZN，i)是对应于区ZN的直方图H(ZN)的第i个区间的像素数量。对于每个区ZN的每个区间“i”，两个参考值Min(ZN，i)和Max(ZN，i)分别对应于最小像素数量和最大像素数量，被设置以利用参考物品来识别该物品，参考物品的这些参考值构成特有特征(参考数据集，即所有的参考值对的集合，实际上构成参考物品在彩色商标图案方面的“签名”)。当然，直方图可照常被规范化使得任何B(ZN，i)实际上对应于区ZN的区间(i)中的像素的百分比(在这种情况下，参考值也被规范化)。

图3示出参考数据集的例子。在这个例子中，对于区ZN的每个区间B(ZN，i)，i＝1，…，M＝17，相对应的像素数量值对(2)Min(ZN，i)Max(ZN，i)被给出且分别用直方图(2)示出。17个区间实际上对应于15个颜色区间，加上黑色像素和白色像素的两个区间。

根据图1的流程图，在开始步骤S100和对应于选择数字图像的第一区的区索引ZN为1的初始化步骤S101之后，建立颜色直方图H(ZN＝1)。因此，在H(1)的每个区间中的像素数量由数字图像处理装置计数，并且在步骤S102得到对应于H(1)的所述数量的集合(即，B(1，i)，对于i＝1，...，M)。在步骤S103，对于H(1)的当前区间B(1，i)，测试它的像素数量是否被包括在对应于B(1，i)的参考值之间，即条件Min(1，i)≤B(1，i)≤Max(1，i)是否被实现。对于一区间而言，在这种关于参考值的条件被实现的情况下，在步骤S104处条件实现的次数I增加，以便在测试直方图的各种区间的条件时计数这些实现的总数。在数字图像的K个区之中的至少一个区中，此次数I一达到利用参考物品进行识别的给定阈值N(其中1≤N≤KxM)(步骤S105)，该物品就被认为与参考物品等同(步骤S106)。在步骤S105条件没有被实现的情况下，在步骤S107处考虑直方图H(ZN)的下一区间(i+1)：如果此下一个区间索引不超过值M(步骤S108)，那么在步骤S103处利用相对应的参考值对Min(ZN，I+1)和Max(ZN，I+1)测试此下一区间(i+1)的条件。在达不到直方图H(ZN)和因此区ZN的阈值N的情况下，那么在步骤S109处考虑数字图像的下一区(ZN+1)：如果此区索引值不超过值K(步骤S110)，在步骤S102处计算相对应的下一直方图H(ZN+1)，且在步骤S103处测试其区间B(ZN+1，i)的条件(利用相对应的参考值对Min(ZN+1，i)和Max(ZN+1，i))。

在研究了所有区(即，对于ZN＝1，…，K)的所有区间(即，对于i＝1，…M)而没有得到所述条件的N次实现的情况下，该物品被认为不与参考物品等同(步骤S111)。

可使得上述识别条件更严格，通过用与参考物品完全对应的下列条件替换该条件：对于i＝1，…，M和ZN＝1，…，K，条件Min(ZN，i)≤B(ZN，i)≤Max(ZN，i)必须被实现，即对于每个区的每个直方图的每个区间，像素数量被包括在参考值之间。这个更严格的条件实际上对应于N＝KxM情况(即对于每个直方图中给定数量的K个区和给定数量的M个区间，N为最大值，其中每个区有一个直方图)。

在实际应用中，有时只检测与参考物品的部分相似性而非完全对应是有用的。实际上，如果不能建立完全对应，那么实际执行的各种计算包含然而可能与重要事实有关的信息：例如，物品上存在缺陷(妨碍完全对应)，或该物品属于参考物品的同一系列的可能性。例如，对产品的相同商标来说，物品上的颜色或图案的小改动可对应于相同产品线的不同类别(例如，正如在罐的情况下，有添加糖或不添加糖的相同饮料)。

本发明因此在不能建立完全相似性的情况下允许使用计分技术(scoringtechnique)来估计部分相似性。用于计分的唯一约束在于区ZN的区间(i)的相似性得分，即SC(ZN，i)，当在该区间中的像素数量，即B(ZN，i)，与两个相对应的参考值Min(ZN，i)和Max(ZN，i)中的任一个相去甚远时，必须更加低。有许多计算这种相似性得分的可能性。例如，对于区ZN的每个区间“i”来说，能使用对应于纯差(mere difference)的线性加权(即，该权重是差D(ZN，i)的线性函数)，其中如果B(ZN，i)≤Min(ZN，i)，则D(ZN，i)＝[Min(ZN，i)-B(ZN，i)]，或者如果B(ZN，i)≥Max(ZN，i)，D(ZN，i)＝[B(ZN，i)-MAX(ZN，i)]，然后，相似性得分值可取决于此权重的逆(例如，与1/(1+D)成比例的得分)。然而，任何其它的非线性加权也是可能的，只要它与上述约束兼容。例如，非线性权重如Dⁿ(其中n≥2)将进一步提高与D的小值相关的相似性得分。

已经形成了每个区和每个区间的这些得分值SC(ZN，i)(即，对于i＝1，…，M且ZN＝1，…，K)之后，也有许多方式来估计部分相似性。例如，能只保留所有区的最高得分值，或保留每个区的最高得分值并且计算所有区的平均得分值(可能被加权，例如根据区的相应面积)。然而，为了从数字图像估计与参考物品的部分相似性，本领域技术人员会考虑许多其它的可能性来对各种得分值SC(ZN，i)进行统计处理。

在一优选实施例中，根据本发明的用于识别物品的方法使用基于HSL颜色空间中的数字图像的典型表示的“完整的”一维直方图，如上文所示。直方图具有对应于不同预定义的色调值的区间，但是饱和值和亮度值被用于与对应于黑色像素的额外的“区间”和对应于白色像素的额外的“区间”一起来完成直方图。这种完成的颜色直方图允许识别具有黑暗部分和/或明亮部分的物品，且由此允许更高的精度用于识别目的。

对于数字图像的每个区，饱和阈值是给定的，其可能取决于所考虑的区，且其用于定义饱和像素(即，饱和值高于相对应的阈值的像素，而无论它们的亮度值如何)。同样，对于数字图像的每个区，对于直方图的每一颜色给定两个色调阈值，其可取决于所考虑的区。颜色的每个给定色调阈值对实际上定义了该颜色直方图的区间(这两个阈值构成了该区间的相应的极端色调值)。各种给定色调阈值对定义了颜色(色调)空间的划分，且因此定义了直方图的颜色块的分区。

这些色调阈值用于计数数字图像的区的每种颜色(色调)的饱和像素，即，直方图的每种预定义的颜色的饱和像素：色调值被包括在相对应的两个色调阈值之间的饱和像素数量定义了相对应颜色的饱和像素数量。因此，这些像素具有明确定义的颜色。这些给定色调阈值对也可取决于被考虑识别的参考物品同样，区的具有低亮度值的非饱和像素的数量，即亮度值低于该区的给定亮度阈值(其可取决于所考虑的区)的非饱和像素数量，被计数为该区的黑色像素。相反，区的具有高亮度值的非饱和像素的数量，即亮度值高于该区的给定亮度阈值的非饱和像素数量，被计数为该区的白色像素。因此，在本发明的此实施例中，直方图有M+2个区间，即对应不同色调值的前述M个区间，和对应于黑色像素和白色像素的两个区间。在此情况下，也扩展参考数据集以对于每个区而言包括黑色像素的最小参考值和最大参考值，和白色像素的最小参考值和最大参考值。

当然，在步骤d)的识别条件也有关于黑色像素和白色像素。实际上，在步骤b)待考虑的直方图的颜色数在此被加2，通过定义黑色和白色为两个新颜色。因此，物品与参考物品的完全对应现在使全对应条件的N’＝Kx(M+2)＝N+2K次实现成为必需(即对于每个区的每个直方图的区域，像素数量被包括在参考值之间)。在考虑如上述规定的部分相似性时(即，也基于分别相对应的最小参考值和最大参考值来定义黑色像素和白色像素的相似性得分)，或在如上文所述的自参考数字图像计算参考数据集时，也采用相同的颜色数的“扩展”。

如果数字图像包括扩展的光谱信息，诸如为“假彩色图像”的情况，那么HSL表示相应地适应或扩展到更一般的颜色空间。

在本发明的另一实施例中，其可取决于本发明的上述方面或实施例中的任一个，允许鉴别在数字图像上检测的图案。

用于识别物品的方法的相对应方面那么进一步包括以下步骤：

检测数字图像上的图案并且比较该检测的图案与对应于参考物品的给定参考图案，以及估计所述检测的图案是否与参考图案匹配；以及

如果估计出所述检测的图案与参考图案匹配，进一步使用物品识别操作的结果来鉴别所述检测的图案。

上文提到的在物品上的图案很可能例如为条形码或文本。然后，所述图案的检测分别通过条形码阅读器和OCR(“光学字符识别”)软件来执行。本方法由此允许使用自图像处理(基于颜色直方图和最小参考值和最大参考值，如上文所解释的那样)的识别阶段来确认所检测的参考图案确实是有效的，即使在匹配对应于参考物品的给定参考图案的情况下。本发明的这个方面通过使用借助于基于颜色直方图(和相对应的参考值)的识别和与参考图案的图案匹配两者的这种“双重检验”而明显地提高了对生产线上的物品的控制的品质。例如，本方法允许检测伪劣品(例如，像印在其它类型的物品上的特定类型物品的条形码)。

本发明还有关于用于识别物品的系统，其是可操作的以实施根据本发明的方法的上述方面或实施例中的任一个的步骤。

因此，用于识别物品的系统，通常包括数字图像处理单元，该数字图像处理单元包括存储器且是可操作的以：

选择所述物品的数字图像的至少一个区；

对于每个选定的区，建立所述区的像素的颜色值的相对应的直方图，

所述数字图像处理单元是进一步可操作的以：

对于每个计算的直方图的每个区间，比较像素数量与存储于存储器中且与参考物品相关联的参考数据集的相对应的最小参考值和最大参考值，并且判断所述像素数量是否被包括在所述参考值之间；以及

如果对于至少一个区的所述区间中的至少N个区间且N≥1，所述像素数量被包括在所述参考值之间，那么识别该物品为相对应于所述参考物品。

特别地，在图4中示出的包括根据本发明的用于识别物品的系统的例子的自动化生产线中，该系统包括：成像单元(10)，其用于采集该生产线的输送机(12)上的物品(11)(此处，展示为罐)的数字图像；数字图像处理单元(13)，其用于处理自该成像单元(10)接收的数字图像；以及存储器(14)，其用于存储参考数据集。

该系统还可包括使用闪灯光来照射物品(11)的照明单元(15)。

这种照明单元的常规例子为LED照明单元或激光闪光灯(用于可见光)。其它类型的照明单元允许在更宽的光谱(例如，从UV到IR光，即，从300nm到2500nm的范围)照射物品。

成像单元(10)可为数字照相机(CCD照相机或CMOS照相机)。然而，如果补充有帧捕捉器模拟至数字转换器以便产生数字图像格式，也可使用模拟照相机。

该系统进一步包括可控制单元(16)，控制单元(16)可通过操作以控制照明单元(15)、成像单元(10)、以及数字图像处理单元(13)以便使它们照射物品、形成被照射的物品的数字图像、以及处理所述数字图像的操作同步。

图5显示了在物品(11)的表面上的控制区域(17)并且图6示出了由成像单元(10)所拍摄的物品(11)的控制区域(17)的数字图像(18)。数字图像处理单元(13)将自成像单元(10)接收的数字图像(18)分成多个区(19a-19d)(此处例如为四个区)。

对于该数字图像(18)的每个区，数字图像处理单元(13)通过将颜色空间(取决于成像单元能测量的光子的光谱宽度)分成M个区间(例如，M＝17，如在图3中所示)，且根据在每个区间内的它们的色调值来计数像素数量从而确定相对应的一维颜色直方图。

优选地，系统可进一步包括：传感器装置，其是可操作的以检测物品相对于成像单元(10)的位置且传输指示所述位置的检测的触发信号，其中所述成像单元(10)是可操作的以形成物品的数字图像，其中控制单元(16)是进一步可操作的以从传感器装置接收触发信号且基于所述接收的触发信号使照明单元(15)、成像单元(10)和数字图像处理单元(13)的操作同步。

通常，传感器装置可为用于高速摄影的激光触发器。这种公知的设备允许很精确地触发成像单元且特别适用于生产线，例如罐装线或瓶装线，其中每分钟1200个物品的高生产速率是可能的。

通过进一步控制成像单元的视域，能改变在成像物品上的目标控制区域的大小。例如，如果生产线是瓶装线或罐装线，那么在线上的物品(分别是瓶子和罐)可能相当靠近以致彼此接触。在后一种情况下，可利用遮盖物来限制成像单元的视域以便只成像控制区域(其对应于瓶子上的标签或罐上的印记)。本发明的这种模式允许即使在物品接触的情况下进行识别，并且已经针对在高速罐装线(每分钟1200个罐)上的可见光照明被验定。此外，如上文所述解释针对柱形罐从0度至360度(围绕罐的对称纵轴)的多个旋转位置确定参考值(包括黑色和白色)。对于在高速生产线上的十种不同商标的饮料罐，已经获得了对这些物品的完全识别，即使以全对应条件。

本发明不限于上述实施例且在不偏离由权利要求所定义的本发明范围的情况下可做出各种修改。例如，上述成像单元可以是可操作的以采集单个物品的多个数字图像(对应于不同的视角)，和诸如已在上文中所解释的那样处理所述采集到的图像中的每个图像用于识别该物品。

本发明还包括一种计算机程序产品，当在计算机上运行时，其是可操作的以使连接到如上文所述的用于识别物品的系统的所述计算机实施根据本发明的方法的步骤(如上文所述)。

根据本发明的用于识别在生产线上的每个物品的方法和系统，在上述方面的任何方面，可在工业中以高置信水平用于物品识别，用于许多应用，诸如例如确定在所述生产线上的产品体积(用于税值估计，等等)、线生产控制、线生产检查(用于伪劣品检测，等等)。

Claims (22)

1.一种用于识别物品的方法，包括以下步骤：

a)选择所述物品的数字图像的至少一个区；以及

b)对于在步骤a)处选择的每个区，建立所述区的像素的颜色值的相对应的直方图，所述方法进一步包括以下步骤：

c)对于在步骤b)处建立的每个直方图的每个区间，比较所述像素数量和与参考物品相关联的参考数据集的相对应的最小参考值和最大参考值，并且判断所述像素数量是否被包括在所述参考值之间；以及

d)如果对于至少一个区的所述区间中的至少N个区间，N≥1，所述像素数量被包括在所述参考值之间，那么识别所述物品为对应于所述参考物品。

2.根据权利要求1所述的方法，其中在步骤d)，如果对于每个区的每个直方图的每个区间，所述像素数量被包括在所述参考值之间，那么所述物品被认定为完全对应于所述参考物品。

3.根据权利要求1所述的方法，进一步包括以下步骤：

e)如果对于每个区的每个直方图的每个区间，所述像素数量不被包括在所述参考值之间，那么基于与所述区间相关联的相似性得分值，识别所述物品为部分地与所述参考物品相似，与所建立的直方图的区间相关联的相似性得分值在所述区间的像素数量远低于所述相对应的最小参考值或远高于所述相对应的最大参考值时更加低。

4.根据权利要求1至3中任一项所述的方法，其中所述数字图像的像素各具有与有限颜色集中的颜色相关联的相对应的亮度值、饱和值和色调值，所述颜色集的每个颜色对应于不同的光谱响应，所述建立直方图的步骤b)进一步包括以下步骤：b1)在所述区内各具有大于给定饱和值阈值的饱和值的像素中并且对于所述颜色集的每个颜色，计数所述颜色的色调值被包括在定义所述颜色的区间的两个给定色调阈值之间的像素的数量以获得所述颜色的饱和像素的数量；

b2)在所述区内为不饱和像素的像素中，计数亮度值低于给定亮度阈值的像素的数量以得到相对应的黑色像素的数量，且计数亮度值高于所述亮度阈值的像素的数量以得到相对应的白色像素的数量；以及

b3)基于所计算的颜色集中的每个颜色的饱和像素的数量和所计算的黑色像素的数量和白色像素的数量，根据颜色集的颜色、黑色和白色，计算所述像素的分布，由此形成所述区的直方图。

5.根据权利要求1至4任一项所述的方法，其包括从所述参考物品的参考数字图像计算所述参考数据集的步骤，通过针对所述参考数字图像执行步骤a)和步骤b)以为参考数字图像的每个区的建立参考直方图，且使最小参考值和最大参考值与每个建立的参考直方图的每个区间相关联，所述最小参考值和最大参考值中的每一个是从相对应的置信区间得到。

6.根据权利要求1至5中任一项所述的方法，包括以下步骤：

检测在所述数字图像上的所述物品的轮廓且比较所述检测的轮廓与对应于所述参考物品的参考轮廓；并且

其中只有在所述检测的轮廓与所述参考轮廓匹配的情况下，进一步验证在步骤d)的物品识别。

7.根据权利要求1至5中任一项所述的方法，包括以下步骤：

检测在所述数字图像上的所述物品的轮廓，且在步骤a)选择所述至少一个区使得任何选定的区在所述检测的物品轮廓内。

8.根据权利要求1至5中任一项所述的方法，其中所述物品的数字图像限于在所述物品上的控制区域，所述控制区域在所述物品的明显轮廓内。

9.根据权利要求1至8中任一项所述的方法，包括以下步骤：

检测所述数字图像上的图案并且比较所述检测的图案与对应于所述参考物品的给定参考图案，以及估计所述检测的图案是否与所述参考图案匹配；以及

如果估计出所述检测的图案与所述参考图案匹配，进一步使用所述物品识别操作的结果用于鉴别所述检测的图案。

10.一种用于识别物品的系统，其包括数字图像处理单元，所述数字图像处理单元包括存储器且是可操作的以便：

选择所述物品的数字图像的至少一个区；

对于每个选定区，建立所述区的像素的颜色值的相对应的直方图，

所述数字图像处理单元是进一步可操作的以便：

对于每个建立的直方图的每个区间，比较像素的数量与存储于所述存储器中且与参考物品相关联的参考数据集的相对应的最小参考值和最大参考值，并且判断所述像素的数量是否被包括在所述参考值之间；以及

如果对于至少一个区的所述区间中的至少N个区间且N≥1，所述像素的数量被包括在所述参考值之间，那么识别所述物品为对应于所述参考物品。

11.根据权利要求10所述的系统，其中所述图像处理单元是可操作的以便如果对于每个区的每个直方图的每个区间，所述像素的数量被包括在所述参考值之间，那么识别所述物品为完全相对应于所述参考物品。

12.根据权利要求10所述的系统，其中所述图像处理单元是进一步可操作的以便：

如果对于每个区的每个直方图的每个区间，所述像素数量不被包括在所述参考值之间，那么计算与所述区间相关联的相似性得分值，与所计算的直方图的区间相关联的相似性得分值当所述区间的像素数量远低于所述相对应的最小参考值或者远高于所述相对应的最大参考值时更加低；以及

基于所述计算的相似性得分值识别所述物品与所述参考物品部分地相似。

13.根据权利要求10至12中任一项所述的系统，其中所述数字图像的像素各具有与有限颜色集中的颜色相关联的相对应的亮度值、饱和值和色调值，所述颜色集的每个颜色对应于不同的光谱响应，为了计算直方图，所述数字图像处理单元是可操作的以：

计数像素数量，在所述区内各具有大于给定饱和值阈值的饱和值的像素中并且对于所述颜色集的每个颜色，所述颜色的色调值被包括于定义所述颜色的区间的两个给定色调阈值之间以获得所述颜色的饱和像素的数量；

在所述区内为不饱和像素的像素中，计数亮度值低于给定亮度阈值的像素数量以得到相对应的黑色像素的数量，且计数亮度值高于所述亮度阈值的像素数量以得到相对应的白色像素的数量且在所述存储器中存储所述得到的像素数量；以及，基于所计算的颜色集的每个颜色的饱和像素的数量和所计算的黑色像素的数量和白色像素的数量，根据颜色集的颜色、黑色和白色，计算所述像素的分布，由此形成所述区的所述直方图。

14.根据权利要求10至13中任一项所述的系统，其包括：

照明单元，其是可操作的以利用给定光谱范围的电磁辐射来照射所述物品；以及成像单元，其是可操作的以将所述接收的对应于在由所述照明单元照射的在所述物品上反射的电磁辐射的电磁信号转换成所述物品的数字图像，且是可操作的以将所述数字图像传输到所述数字图像处理装置；

其中，

所述图像处理单元是可操作的以从所述成像单元接收所述数字图像；以及所述系统进一步包括控制单元，所述控制单元是可操作的以控制所述照明单元、成像单元和数字图像处理单元以便使它们的照射所述物品、形成所述照射的物品的数字图像和处理所述数字图像的操作同步。

15.根据权利要求10至14中任一项所述的系统，其进一步包括：

传感器装置，其是可操作的以检测所述物品相对于所述成像单元的位置，且传输指示所述位置的检测的触发信号，其中，所述成像单元是可操作的以形成所述物品的数字图像，

其中，所述控制单元是进一步可操作的以自所述传感器装置接收触发信号且基于所述接收的触发信号使所述照明单元、成像单元和数字图像处理单元的操作同步。

16.根据权利要求10至15中任一项所述的系统，其中所述数字图像处理单元是进一步可操作的以便：

就所述物品的数字图像而言，处理所述参考物品的参考数字图像，以为所述参考数字图像的每个区建立参考直方图；以及

使最小参考值和最大参考值与每个建立的参考直方图的每个区间相关联，所述最小参考值和最大参考值中的每一个从相对应的置信区间得到。

17.根据权利要求10至16中任一项所述的系统，其中所述数字图像处理单元是可操作的以：

检测在所述数字图像上的所述物品的轮廓且比较所述检测的轮廓与对应于所述参考物品的参考轮廓；以及

只有在所述检测的轮廓与所述参考轮廓匹配的情况下，验证所述物品识别操作的结果。

18.根据权利要求10至16中任一项所述的系统，其中所述数字图像处理单元是可操作的以：

检测在所述数字图像上的所述物品的轮廓；以及

选择所述至少一个区使得任何选定区在所述检测的物品轮廓内。

19.根据权利要求10至18中任一项所述的系统，其包括用于限制所述物品的数字图像至在所述物品上的控制区域的装置，其中所述控制区域在所述物品的明显轮廓内。

20.根据权利要求19所述的系统，其中所述控制区域对应于在所述物品上的标签或在所述物品上的印记。

21.根据权利要求10至20中任一项所述的系统，其中所述数字成像单元是可操作的以：

检测所述数字图像上的图案且比较所述检测的图案与对应于所述参考物品的给定参考图案，以及估计所述检测的图案是否与所述参考图案匹配；以及

如果估计出所述检测的图案与所述参考图案匹配，基于所述物品识别操作的结果，鉴别所述检测的图案。

22.一种根据权利要求10至21中任一项所述的系统用于识别生产线上物品的用途。

Images