CN113160181A - 一种基于图像识别的成堆型材计数方法 - Google Patents

Abstract

本发明公开一种基于图像识别的成堆型材计数方法，通过获取成堆型材的端部图像作为计数图像，并进一步得到计数图像的二值化图像，通过对二值化图像中的型材黑白边界进行曲线逼近与拟合，得到能够体现型材端部轮廓特征的第一轮廓图像，并通过主特征轮廓对计数图像中具有端部的完整主特征轮廓的一部分型材进行计数，并通过主特征轮廓与辅特征轮廓对计数图像中仅具有端部的局部主特征轮廓的另一部分型材进行计数，最终实现成堆型材的计数，不仅使得计数结果更加精确，还能把计数人员从长期枯燥的事务型工作中解脱出来，节约劳动力，同时提高计数效率。

Description

一种基于图像识别的成堆型材计数方法

技术领域

本发明涉及图像处理技术领域，具体是一种基于图像识别的成堆型材计数方法。

背景技术

型材的快速准确计数仍停留在比较低的水平上，目前主要靠人工进行，这项工作机械 单调，工作人员长时间的高度紧张，极易产生精神恍惚、疲劳，人工计数结果受人为因素 影响较大，误差难免，且效率较低，给产品销售带来麻烦。把计数人员从长期枯燥的事务中解脱出来，研制自动化程度较高的计数系统成为型材生产、储运、销售的现实需要。

发明内容

针对上述现有技术中的不足，本发明提供一种基于图像识别的成堆型材计数方法，通 过对图像进行数字处理，实现成堆型材的自动计数。

为实现上述目的，本发明提供一种基于图像识别的成堆型材计数方法，设置至少一个 摄像装置，并使成堆型材中每一根型材的端部均位于摄像装置的视场内，基于摄像装置对 成堆型材进行至少一次成像，得到计数图像，所述计数方法包括如下步骤：

步骤1，标记型材端部标准轮廓的主特征轮廓、辅特征轮廓以及主特征轮廓与辅特征 轮廓之间的位置关系，其中，主特征轮廓为型材端部仅出现一次、且能唯一标识型材的轮 廓图形；

步骤2，采集成堆型材的端面图像作为计数图像，并对计数图像进行预处理，得到二 值化图像；

步骤3，对二值化图像中的型材端面进行检测与轮廓提取，并对轮廓特征进行曲线逼 近与拟合，得到具有若干拟合曲线的成堆型材端面的第一轮廓图像；

步骤4，提取出第一轮廓图像中具有完整的主特征轮廓，定义为第一主特征轮廓，将 第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域进行相似度比对，筛选出相 似度超过阈值的第一主特征轮廓，并对其进行计数，得到第一数值；

步骤5，将第一主特征轮廓以及各第一主特征轮廓对应的辅特征轮廓从第一轮廓图像 中剔除，得到第二轮廓图像，基于第二轮廓图像中非完整的第二主特征轮廓与各辅特征轮 廓之间位置关系进行型材识别，得到第二数值；

步骤6，将第一数值与第二数值相加，得到型材的计数值。

在其中一个实施例中，步骤2中，所述对计数图像进行预处理，得到二值化图像，具体为：

步骤2.1，对计数图像进行滤波、去噪处理；

步骤2.2，基于直方图分析计数图像中的感兴趣区域的像素点灰度值，确定型材区域 与背景之间的第一二值化阈值，以及型材与型材之间边界的第二二值化阈值的取值范围；

步骤2.3，基于第一二值化阈值，对计数图像进行型材区域与背景的图像分割，得到 仅具有型材区域特征的预处理图像；

步骤2.4，基于第二二值化阈值的取值范围，对预处理图像进行二值化处理，得到二 值化图像。

在其中一个实施例中，步骤2.4中，所述基于第二二值化阈值的取值范围，对预处理 图像进行二值化处理，得到二值化图像，具体为：

将预处理图像划分为若干子图像，并对每一子图像进行如下处理：

步骤2.4.1，在第二二值化阈值的取值范围中任取一值对子图像进行二值化处理，得到 临时二值化子图像；

步骤2.4.2，判断临时二值化子图像是否有清晰的轮廓，若没有，则在二值化阈值的取 值范围内重新选取二值化阈值后进行二值化处理后重复步骤2.4.2，直到输出具有清晰轮廓 的二值化子图像；

拼接各子图像的二值化子图像，即得到二值化图像。

在其中一个实施例中，步骤4中，所述相似度的获取过程为：

旋转第一主特征轮廓，使第一主特征轮廓上的拟合线与型材标准轮廓上对应的线的角 度一致，然后对旋转后的第一主特征轮廓的包络区域与型材标准端部主特征轮廓的包络区 域进行相似度比对。

在其中一个实施例中，步骤4中，所述基于轮廓包络区域的面积、高度、宽度得到图像中第一主特征轮廓与型材标准主特征轮廓之间的相似度，具体为：

v₁+v₂+v₃＝1

式中，Sim-deg_i为图像中第i个第一主特征轮廓的包络区域与型材标准主特征轮廓的包 络区域之间的相似度；S_i为图像中第i个第一主特征轮廓的包络区域的面积，H_i为图像中 第i个第一主特征轮廓的包络区域的高度，W_i为第i个第一主特征轮廓的包络区域的宽度； S₀为型材标准主特征轮廓的包络区域的面积，H₀为型材标准主特征轮廓的包络区域的高度， W₀为型材标准主特征轮廓的包络区域的宽度；v₁为面积的权重，v₂为高度的权重，v₃为宽 度的权重。

在其中一个实施例中，所述摄像装置的数量为多个，且各摄像装置的拍摄角度不尽相 同。

在其中一个实施例中，所述摄像装置的成像次数为多次。

在其中一个实施例中，当基于采集的多幅图像进行计数时，所述计数方法还包括：

步骤7，分别对多幅图像进行步骤3-步骤7的数据处理与计数，将所有图像中出现频 次最高的计数值作为型材数目的最终计数值。

本发明提供的一种基于图像识别的成堆型材计数方法，通过获取成堆型材的端部图像 作为计数图像，并进一步得到计数图像的二值化图像，通过对二值化图像中的型材黑白边 界进行曲线逼近与拟合，得到能够体现型材端部轮廓特征的第一轮廓图像，并通过主特征 轮廓对计数图像中具有端部的完整主特征轮廓的一部分型材进行计数，并通过主特征轮廓 与辅特征轮廓对计数图像中仅具有端部的局部主特征轮廓的另一部分型材进行计数，最终 实现成堆型材的计数，不仅使得计数结果更加精确，还能把计数人员从长期枯燥的事务型 工作中解脱出来，节约劳动力，提高计数效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图示出的结构获得其他的附图。

图1为本发明实施例中型材端部轮廓的示例结构图；

图2为本发明实施例中型材示例的主特征轮廓示意图；

图3为本发明实施例中型材示例的辅特征轮廓示意图；

图4为本发明实施例中基于图像识别的成堆型材计数方法的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅 用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如 果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个” 的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也 可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒 介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限 定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体 含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技 术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术 方案的结合不存在，也不在本发明要求的保护范围之内。

型材的快速准确计数仍停留在比较低的水平上，目前主要靠人工进行计数，这项工作 机械单调，工作人员长时间的高度紧张，极易产生精神恍惚、疲劳，人工计数结果受人为 因素影响较大，误差难免，给产品销售带来麻烦。把计数人员从长期枯燥的事务中解脱出 来，研制自动化程度较高的计数系统成为生产、储运、销售的现实需要。近年来，随着科学技术的迅猛发展，计算机运算速度越来越快，高质量图像获取设备的价格日益下降，加之高效的图像处理算法不断涌现，图像处理技术在过程控制领域应用越来越多。由于图像文件数据量庞大，以前受处理能力的限制，数字图像处理技术在工业现场并未得到广泛应用。

本实施例中，基于型材的端部形状特征，将型材的端部轮廓特征中划分出主特征轮廓、 辅特征轮廓以及主特征轮廓与辅特征轮廓之间的位置关系，其中，主特征轮廓为型材端部 仅出现一次、且能唯一标识型材的轮廓图形，例如方形、圆形或其它特征图像。以图1所 示的型材端部轮廓为例，将图1中标识部分A的区域标记为该型材的主特征轮廓，即图2所示；而将图1中标识部分B的区域标记为该型材的辅特征轮廓，至于主特征轮廓与辅特 征轮廓之间的位置关系则可以定义为：辅特征轮廓的数量为四个，且四个辅特征轮廓呈正 方形结构分布在主特征轮廓的周围，进一步地，还可将主特征轮廓与辅特征轮廓之间的距 离或比例，以及不同辅特征轮廓之间的距离长度或比例作为主特征轮廓与辅特征轮廓之间的位置关系一起进行定义并标记。

基于此，本实施例提供了一种基于图像识别的成堆型材计数方法，其设置至少一个摄 像装置，并使成堆型材中每一根型材的端部均位于摄像装置的视场内，基于摄像装置对成 堆型材进行至少一次成像，得到计数图像，通过获取成堆型材的端部图像作为计数图像， 并进一步得到计数图像的二值化图像，通过对二值化图像中的黑白边型材界进行曲线逼近 与拟合，得到能够体现型材端部轮廓特征的第一轮廓图像，由于拍摄角度的问题，以及型 材摆放时前后不对齐的问题，计数图像中的型材主要分为两类，第一类的型材的整个主特 征轮廓都出现在计数图像中，第二类的型材由于第一类型材的遮挡，仅具有局部或没有主 特征轮廓出现在计数图像中，基于这一问题，本实施例并通过主特征轮廓完成对计数图像 中的第一类型材进行计数，并通过局部主特征轮廓与辅特征轮廓之间的位置关系、辅特征 轮廓与辅特征轮廓之间位置关系完成对计数图像中第二类型材进行计数，最终型材完成成 堆型材的计数，不仅使得计数结果更加精确，还能把计数人员从长期枯燥的事务型工作中 解脱出来，节约劳动力，同时提高计数效率。

本实施例中，计数图像的采集主要由工业摄像头、光源、图像采集卡组成。摄像头将 采集对象的可视化图像和特征传输到图像采集卡中，并进行后续的处理。

参考图4，所述计数方法包括如下步骤：

步骤1，标记型材端部标准轮廓的主特征轮廓、辅特征轮廓以及主特征轮廓与辅特征 轮廓之间的位置关系、辅特征轮廓与辅特征轮廓之间位置关系；

步骤2，采集成堆型材的端面图像作为计数图像，并对计数图像进行预处理，得到二 值化图像；

步骤3，对二值化图像中的型材端面进行检测与轮廓提取，并对轮廓特征进行曲线逼 近与拟合，得到具有若干拟合曲线的成堆型材端面的第一轮廓图像；

步骤4，提取出第一轮廓图像中具有完整的主特征轮廓，定义为第一主特征轮廓，将 第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域进行相似度比对，筛选出相 似度超过阈值的第一主特征轮廓，并对其进行计数，得到第一数值；

步骤5，将相似度超过阈值的第一主特征轮廓以及该部分第一主特征轮廓对应的辅特 征轮廓从第一轮廓图像中剔除，得到第二轮廓图像，将第二轮廓图像中剩余的、非完整的 主特征轮廓定义为第二主特征轮廓，并基于第二轮廓图像中第二主特征轮廓与各辅特征轮 廓之间位置关系、辅特征轮廓与辅特征轮廓之间位置关系进行型材识别，得到第二数值；

步骤6，将第一数值与第二数值相加，得到型材的计数值。

需要注意的是，本实施例中的不同角度的主特征轮廓识别、辅特征轮廓识别，以及基 于位置关系特征关联识别，通过机器深度学习来实现。

需要注意的是，在某一拍摄角度上由于存在第一类型材可能完全遮挡第二类型材的问 题，因此作为优选地实施方式为，在设置摄像装置时，将摄像装置的数量设置为两个以上， 且各摄像装置的拍摄角度均不相同，且每一摄像装置均拍摄多张原始图像，并得到原始图 像的边界灰度梯度值，将边界灰度梯度值大于梯度阈值的原始图像作为计数图像，以剔除 成像模糊的图像。对每一计数图像都进行上述步骤1-6的运算处理，得到每一计数图像对 应的计数值，再将所有计数值中出现频次最高的值作为型材的最终计数值，进而保障计数 的准确性。

以货车上的成堆型材为例，将摄像装置安装在货车所经过的大门上，且在大门的左右 两侧的门框上均上下间隔设置一个以上的摄像装置，且摄像装置的视场朝向货车的行进方 向，并在货车的行进过程中对货车进行连续成像，得到若干的原始图像，再将边界灰度梯 度值大于梯度阈值的原始图像作为计数图像。

步骤2中，所述对计数图像进行预处理，得到二值化图像，具体为：

步骤2.1，对计数图像进行滤波、去噪处理过程中，由于受光照、振动、视角、视场空气质量等因素影响，采集到的图像往往具有噪声，在尽量保留图像细节特征前提下，对原始图像进行滤波、去噪处理，可采用空间域滤波的方法。空间域滤波能够实现图像平滑，有效降低或减弱干扰，对于图像的每一点，以该点为中心的邻域内的像素进行运算，得到的结果作为该点的新像素值，如中值滤波对环境产生的随机噪声有非常理想的去噪能力，该方法将邻域内所有像素值进行排序，选择序列中间像素值来替代当前坐标的原有像素值。

步骤2.2，型材端面与背景分界较明显、灰度梯度较大，基于直方图分析，采用双峰法确定型材区域与背景图像分割的第一二值化阈值；受光照、视角的影响，型材之间分界线与型材之间可能存在模糊、灰度梯度较小情况，采用直方图均衡化，增强型材与其分界线图像的对比度，确定型材与其分界线的第二二值化阈值的取值范围；

步骤2.3，采用第一二值化阈值将型材区域与背景图像分离，计数图像中将灰度值小 于第一二值化阈值的像素点置为0，反之则置为1，得到预处理图像；

型材端面之间、型材端面与背景分界较明显、梯度较大，因此基于直方图分析计数图 像中的感兴趣区域的像素点灰度值，得到第二二值化阈值，即可以通过直方图分析确定适 应不同图像区域的第二二值化阈值或其取值范围；

步骤2.4，基于第二二值化阈值或其取值范围对预处理图像中的型材区域图像进行二 值化处理，得到二值化图像，其具体为：

将预处理图像划分为若干子图像，并对每一子图像进行如下处理：

步骤2.4.1，在第二二值化阈值的取值范围中取一值对子图像进行二值化处理，得到临 时二值化子图像；

步骤2.4.2，判断临时二值化子图像是否有清晰的轮廓，若没有，则在二值化阈值的取 值范围内重新选取二值化阈值后进行二值化处理后重复步骤2.4.2，直到输出具有清晰轮廓 的二值化子图像；

拼接各子图像的二值化子图像，即得到二值化图像。

需要注意的是，步骤2.4.1-2.4.2中，采用取中值的方式在二值化阈值的取值范围选取 数值，例如，若步骤2.4中所确定的第二二值化阈值的取值范围为(a，b)，则在第一次进 行步骤2.4.1时以[(a+b)/2]作为二值化阈值对子图像进行二值化处理，得到临时二值化子图 像。若得到的临时二值化子图像中具有清晰的轮廓，则输出该临时二值化子图像，完成这 一子图像的二值化处理。若得到的临时二值化子图像中不具有清晰的轮廓，则说明所选取 的二值化阈值不合适，并根据当前临时二值化子图像的黑白颜色判断当前选取的二值化阈 值是过高还是过低，并基于判断结果进行二值化阈值的取值范围更新后再次取中值进行二 值化处理，其过程为：

若临时二值化子图像黑的区域过大，则说明当前选取的二值化阈值过低，合适的二值 化阈值位于([(a+b)/2]，b)这一取值范围内，因此将二值化阈值的取值范围更新为([(a+b)/2]， b)后再次以取中值的方式进行步骤2.4.1-2.4.2；

若临时二值化子图像白的区域过大，则说明当前选取的二值化阈值过高，合适的二值 化阈值位于(a，[(a+b)/2])这一取值范围内，因此将二值化阈值的取值范围更新为(a， [(a+b)/2])后再次以取中值的方式进行步骤2.4.1-2.4.2。

步骤4中，所述将第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域进行 相似度比对，具体为：旋转第一主特征轮廓，使第一主特征轮廓上的拟合线与型材标准轮 廓上对应的线的角度一致，然后对旋转后的第一主特征轮廓的包络区域与型材标准端部主 特征轮廓的包络区域进行相似度比对。本实施例中，基于轮廓包络区域的面积、高度、宽 度得到图像中第一主特征轮廓与型材标准主特征轮廓之间的相似度，具体为：

v₁+v₂+v₃＝1

式中，Sim-deg_i为图像中第i个第一主特征轮廓的包络区域与型材标准主特征轮廓的包 络区域之间的相似度；S_i为图像中第i个第一主特征轮廓的包络区域的面积，H_i为图像中 第i个第一主特征轮廓的包络区域的高度，W_i为第i个第一主特征轮廓的包络区域的宽度； S₀为型材标准主特征轮廓的包络区域的面积，H₀为型材标准主特征轮廓的包络区域的高度， W₀为型材标准主特征轮廓的包络区域的宽度；v₁为面积的权重，v₂为高度的权重，v₃为宽 度的权重。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明 的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在 其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种基于图像识别的成堆型材计数方法，其特征在于，设置至少一个摄像装置，并使成堆型材中每一根型材的端部均位于摄像装置的视场内，基于摄像装置对成堆型材进行至少一次成像，得到计数图像，所述计数方法包括如下步骤：

步骤1，标记型材端部标准轮廓的主特征轮廓、辅特征轮廓以及主特征轮廓与辅特征轮廓之间的位置关系，其中，主特征轮廓为型材端部仅出现一次、且能唯一标识型材的轮廓图形；

步骤2，采集成堆型材的端面图像作为计数图像，并对计数图像进行预处理，得到二值化图像；

步骤3，对二值化图像中的型材端面进行检测与轮廓提取，并对轮廓特征进行曲线逼近与拟合，得到具有若干拟合曲线的成堆型材端面的第一轮廓图像；

步骤4，提取出第一轮廓图像中具有完整的主特征轮廓，定义为第一主特征轮廓，将第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域进行相似度比对，筛选出相似度超过阈值的第一主特征轮廓，并对其进行计数，得到第一数值；

步骤5，将第一主特征轮廓以及各第一主特征轮廓对应的辅特征轮廓从第一轮廓图像中剔除，得到第二轮廓图像，基于第二轮廓图像中非完整的第二主特征轮廓与各辅特征轮廓之间位置关系进行型材识别，得到第二数值；

步骤6，将第一数值与第二数值相加，得到型材的计数值。

2.根据权利要求1所述基于图像识别的成堆型材计数方法，其特征在于，步骤2中，所述对计数图像进行预处理，得到二值化图像，具体为：

步骤2.1，对计数图像进行滤波、去噪处理；

步骤2.2，基于直方图分析计数图像中的感兴趣区域的像素点灰度值，确定型材区域与背景之间的第一二值化阈值，以及型材与型材之间边界的第二二值化阈值的取值范围；

步骤2.3，基于第一二值化阈值，对计数图像进行型材区域与背景的图像分割，得到仅具有型材区域特征的预处理图像；

步骤2.4，基于第二二值化阈值的取值范围，对预处理图像进行二值化处理，得到二值化图像。

3.根据权利要求2所述基于图像识别的成堆型材计数方法，其特征在于，步骤2.4中，所述基于第二二值化阈值的取值范围，对预处理图像进行二值化处理，得到二值化图像，具体为：

将预处理图像划分为若干子图像，并对每一子图像进行如下处理：

步骤2.4.1，在第二二值化阈值的取值范围中任取一值对子图像进行二值化处理，得到临时二值化子图像；

步骤2.4.2，判断临时二值化子图像是否有清晰的轮廓，若没有，则在二值化阈值的取值范围内重新选取二值化阈值后进行二值化处理后重复步骤2.4.2，直到输出具有清晰轮廓的二值化子图像；

拼接各子图像的二值化子图像，即得到二值化图像。

4.根据权利要求1所述基于图像识别的成堆型材计数方法，其特征在于，步骤4中，所述将第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域进行相似度比对，具体为：

旋转第一主特征轮廓，使第一主特征轮廓上的拟合线与型材标准轮廓上对应的线的角度一致，然后对旋转后的第一主特征轮廓的包络区域与型材标准端部主特征轮廓的包络区域进行相似度比对。

5.根据权利要求1或2或3或4所述基于图像识别的成堆型材计数方法，其特征在于，步骤4中，所述相似度的获取过程为：

v₁+v₂+v₃＝1

式中，Sim-deg_i为图像中第i个第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域之间的相似度；S_i为图像中第i个第一主特征轮廓的包络区域的面积，H_i为图像中第i个第一主特征轮廓的包络区域的高度，W_i为第i个第一主特征轮廓的包络区域的宽度；S₀为型材标准主特征轮廓的包络区域的面积，H₀为型材标准主特征轮廓的包络区域的高度，W₀为型材标准主特征轮廓的包络区域的宽度；v₁为面积的权重，v₂为高度的权重，v₃为宽度的权重。

6.根据权利要求1所述基于图像识别的成堆型材计数方法，其特征在于，所述摄像装置的数量为多个，且各摄像装置的拍摄角度不尽相同。

7.根据权利要求1所述基于图像识别的成堆型材计数方法，其特征在于，所述摄像装置的成像次数为多次。

8.根据权利要求6或7所述基于图像识别的成堆型材计数方法，其特征在于，当基于采集的多幅图像进行计数时，所述计数方法还包括：

步骤7，分别对多幅图像进行步骤3-步骤7的数据处理与计数，将所有图像中出现频次最高的计数值作为型材数目的最终计数值。

Images