CN112686872A

CN112686872A - 基于深度学习的木材计数方法

Info

Publication number: CN112686872A
Application number: CN202011637054.0A
Authority: CN
Inventors: 曹国; 贺雨霞
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2021-04-20
Anticipated expiration: 2040-12-31
Also published as: CN112686872B

Abstract

本发明公开了一种基于深度学习的木材计数方法，具体步骤为：拍摄设定数量的木材图片，并标记图像中的木材轮廓，构成数据集；将数据集输入Mask RCNN模型进行训练；对待检测图片进行预处理操作，使用图像增强算法使图片更加清晰；将预处理后的待检测图片输入训练好的Mask RCNN模型，获得木材截面的掩码区域、木材区域框坐标；利用木材区域框坐标，对木材区域做重叠判断，删除判断为重叠的区域坐标点；利用木材区域框坐标，对木材四周的区域做误检判断，删除判断为误检木材的区域坐标点；对剩余的区域坐标进行统计，得到木材数量。本发明不受环境的干扰，深度网络的鲁棒性高，更适合实际的生产环境。

Description

基于深度学习的木材计数方法

技术领域

本发明属于人工智能检测领域，具体为一种基于深度学习的木材计数方法。

背景技术

对于木材生产加工企业来说，木材自动计数一直是难以解决的问题，很多企业目前仍然主要依靠人工的方式进行计数。通过人工方式检查，耗费时间长，劳动强度大，工作效率低，主观随意性大，精度低不准确，容易产生纠纷。所以对大量重复性工作，考虑使用计算机来代替人类，开发出一套算法自动计算木材数量。

现有技术的发展和图像设备的价格不断降低，使数字图像识别技术发展迅速并广泛应用于许多领域中。数字图像识别可应用到木材自动计数上，首先运用原木横截面像素点颜色值分布对原木横截图像的前景与背景进行分离，然后在此基础上进行图像预处理和去噪，膨胀或腐蚀，最后利用区域标记等算法对木材进行计数。但是图像处理技术对木材图像质量要求高，夜晚、雨天或者雾天，拍摄的图像不够清晰，图像识别技术无法通过像素点颜色值分离背景。因此，数字图像识别技术具有局限性，并且通用性不强。

发明内容

本发明的目的在于提供了一种基于深度学习的木材计数方法，以提高现有的木材计数的精度，并且操作简单。

实现本发明目的的技术方案为：一种基于深度学习的木材计数方法，具体步骤为：

步骤1：拍摄设定数量的木材图片，并标记图像中的木材轮廓，构成数据集；

步骤2：将数据集输入Mask RCNN模型进行训练；

步骤3：对待检测图片进行预处理操作，使用图像增强算法使图片更加清晰；

步骤4：将预处理后的待检测图片输入训练好的Mask RCNN模型，获得木材截面的掩码区域、木材区域框坐标；

步骤5：利用步骤4得到的木材区域框坐标，对木材区域做重叠判断，删除判断为重叠的区域坐标点；

步骤6：利用步骤4得到的木材区域框坐标，对木材四周的区域做误检判断，删除判断为误检木材的区域坐标点；

步骤7：对剩余的区域坐标进行统计，得到木材数量。

优选地，将工业相机固定在木材横截面的正前方，采集木材图片。

优选地，将数据集输入Mask RCNN模型进行训练的具体方法为：

将步骤1得到的标注文件和木材图像输入到Mask RCNN模型中进行训练，每隔40个epoch，将学习率降为原来的十分之一。

优选地，所述Mask RCNN模型包括数据输入模块、骨干网络、区域生成网络、区域特征聚集网络以及全卷积网络，各模块对图片的处理过程为：

输入模块：将图像数据分为训练数据集和验证数据集，读入标注文件，标注文件中包含图片路径及对应的标注信息。

骨干网络：采用ResNet101网络对输入图片进行卷积操作，提取图片特征，并使用特征金字塔网络生成不同尺度的特征图并进行特征融合；

区域生成网络：区域生成网络用于生成候选区域；

区域特征聚集网络：使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，并进行最大池化操作得到更精准的候选区域；

全卷积网络：对更精准的候选区域进行分类、边界框回归和掩码生成。

优选地，利用步骤4得到的区域框坐标对木材区域做重叠判断的具体方法为：

设任一矩形A的左上角坐标为(X_a1,Y_a1),右下角坐标为(X_a2,Y_a2)，任一矩形B的左上角坐标为(X_b1,Y_b1)，右下角坐标为(X_b2，Y_b2)；

若两个矩形的中心坐标的水平和垂直距离满足以下条件，认为两个矩形相交，具体为：

矩形A的宽W_a＝X_a2-X_a1，高H_a＝Y_a2-Y_a1；

矩形B的宽W_b＝X_b2-X_b1，高H_b＝Y_b2-Y_b1；

矩形A的中心坐标

矩形B的中心坐标

只要同时满足下面两个式子，判断两个矩形相交：

即：|X_b2+X_b1-X_a2-X_a1|≤X_a2-X_a1+X_b2-X_b1，|Y_b2+Y_b1-Y_a2-Y_a1|≤Y_a2-Y_a1+Y_b2-Y_b1，

若两个矩形相交，设相交之后的矩形为C，且矩形C的左上角坐标为(X_c1，Y_c1)，右下角坐标为(X_c2，Y_c2)，得到矩形C的坐标具体为：

X_c1＝max(X_a1，X_b1)，

Y_c1＝max(Y_a1，Y_b1)，

X_c2＝max(X_a2，X_b2)，

Y_c2＝max(Y_a2，Y_b2)。

计算重叠率，将重叠率大于设定阈值的矩形判别为重叠框。

优选地，重叠率的计算公式为：

式中，area_C指矩形A和矩形B相交区域的面积，area_A指矩形A的面积，area_B指矩形B的面积。

优选地，步骤6-1：计算所有木材区域框的中心点；

步骤6.2：找出x轴方向和y轴方向的最大的两个坐标值和最小的两个坐标值；

步骤6-2，靠近图像边界的木材区域框坐标为(X_a1,Y_a1,X_a2,Y_a2),第二靠近边界的木材区域框坐标为(X_b1,Y_b1，X_b2,Y_b2)，((X₁，Y₁)指木材区域框左上角坐标，(X₂，Y₂)指木材区域框右下角坐标)；

图像左边判断：若X_a2比X_b1超过设定的像素点个数，则最左边的区域框属于误检；

图像右边判断：若X_a1比X_b2超过设定的像素点个数，则最右边的区域框属于误检；

图像上边判断：若Y_a2比Y_b1超过设定的像素点个数，则最上边的区域框属于误检；

图像下边判断：若Y_a1比Y_b2超过设定的像素点个数，则最下边的区域框属于误检；

将误检的区域框和对应的掩码区域删除。

本发明与现有技术相比，其显著优点为：

(1)本发明通过预处理操作，使图像更加清晰，提高模型识别精度；

(2)本发明通过重叠率计算和误检判断降低模型识别误差；

(3)本发明解决了木材计数领域中光线不均匀、图片模糊造成的识别精度不高等问题；

(4)本发明不受环境的干扰，深度网络的鲁棒性高，更适合实际的生产环境。

附图说明

图1为本发明的流程图。

图2为本发明实施例中采集的木材测试原图。

图3为本发明实施例中雾天环境下采集到的测试原图。

图4为本发明实施例中做预处理后的木材图片。

图5为本发明实施例中模型输出的有重复检测的结果图。

图6为本发明实施例中通过重叠率计算后的结果图。

图7为本发明实施例中模型输出的有误检的木材结果图。

图8为本发明实施例中通过误检判断计算后的结果图。

具体实施方式

如图1所示，一种基于深度学习的木材计数方法，分为两个阶段：第一个阶段，标注数据集和训练模型；第二个阶段，对测试图像做预处理，并对检测结果做重叠率计算和误检判断。具体步骤如下：

步骤1：数据集标注：首先用工业相机拍摄一定数量的木材图片(包含不同光照条件下的图像)，木材轮廓要清晰可见，再手工标记图像中的木材轮廓；

具体地，将工业相机固定在木材横截面的正前方，采集木材图像。在第一阶段标注数据集和训练模型中，收集的数据集需要包含不同场景下拍摄的木材图像，例如雨天，雾天和夜晚，但是图像要清晰可见，如图2。再使用VIA(VGG图像标注工具)标注木材轮廓，导出coco格式的标注文件。

步骤2：模型训练：将步骤1标注好的数据集，分成训练集和验证集输入Mask RCNN模型中进行训练，Mask RCNN在Faster RCNN的基础上增加了一个目标掩码分支，并行于当前的边界框识别。本发明运用迁移学习方法，并对识别精度不高的图片再次进行训练，得到最优的模型和权重。

具体地，模型训练的具体方法为：

将步骤1得到的标注文件和木材图像输入到Mask RCNN模型中进行训练，其中每隔40个epoch，将学习率降为原来的十分之一，输入模型的尺寸为1024*1024。

Mask RCNN可以对物体进行目标检测。Mask RCNN训练标注后的图像，可以得到一个将目标图像识别并标注的检测模型。

具体地，Mask RCNN网络主要包括数据输入模块、骨干网络、区域生成网络、区域特征聚集网络以及全卷积网络五个部分组成。

输入模块：将数据分为训练数据和验证数据，读入标注文件，标注文件中包含图片路径及对应的标注信息。输入的木材图像大小为1920*1080，batchsize设置为1，总共训练120个epoch。

骨干网络：采用ResNet101网络对输入图片进行卷积操作，提取图片特征，并使用特征金字塔网络(FPN)生成不同尺度的特征图并进行特征融合，作为区域生成网络的输入。

区域生成网络：区域生成网络用于生成候选区域。扫描输入的原始图像，并生成可能包含目标区域的提议(proposals)，作为区域特征聚集网络的输入。

区域特征聚集网络：区域特征聚集网络是ROI Pooling的改进，ROI Pooling根据预选框的位置坐标在特征图中将相应区域化为固定尺寸的特征图，但是经过两次量化，候选框和最开始回归的位置有一定偏差。因此区域特征聚集网络取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，提高了检测精度。区域特征聚集网络遍历图像的每一个候选区域，保持浮点数边界不做量化；将候选区域分割成k*k个单元，每个单元的边界也不做量化。

在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作，得到性能更好的候选区域。

全卷积网络：对更精准的候选区域进行分类、边界框回归和掩码生成，从而实现对输入图像的准确分割。

使用Mask RCNN模型模型处理步骤1得到的木材图像，得到检测的效果图，如图3，其中不同颜色的掩码显示在结果图上，方便人眼检查错误。(掩码指模型测试结果中的木材区域的像素点)。模型检测结果包括木材截面掩码区域和区域框坐标，掩码区域和区域框坐标一一对应。

步骤3：图像预处理：对需要检测但是不够清晰的图片进行预处理操作，使用图像增强算法使图片更加清晰；

由于雨天、雾天或夜晚光照不强等环境因素影响，相机拍摄的图像比较模糊，如图4所示，预处理操作主要是对这些模糊图像进行去雾处理，利用Retinex算法，解决模糊图像对模型识别产生的影响，去雾效果图如图5；

步骤4：获取木材区域框坐标和木材掩码区域：将预处理后的待检测图片输入步骤2训练好的Mask RCNN模型获得木材截面的掩码区域、木材区域框坐标(W_i，Q_i)，i＝1,2,3…n，n表示木材区域的坐标点数量。一个木材区域框坐标对应一个木材掩码区域。所述掩码区域指模型检测结果中的木材掩码，区域坐标指木材区域框的左上角和右下角的坐标；

步骤5：重叠区域检测：利用步骤4得到的区域框坐标点，对所有木材区域框做重叠判断，删除检测到的重叠的木材区域框和木材掩码，所述的重叠区域指木材中间的年轮形状被误检测为木材横截面的区域框，属于重复检测的情况。

进一步的实施例中，如图6所示，模型预测的结果中，有一个重复检测，并且这个框和原木材框重叠在一起，对该结果进行重叠率计算，该实施例的重叠率为0.88，大于0.5，属于应该删除的检测框。删除后的效果如图7，具体操作如下：

步骤5-1：将步骤4得到区域坐标点进行矩形相交判断：设矩形A的左上角坐标为(X_a1，Y_a1)，右下角坐标为(X_a2，Y_a2)，矩形B的左上角坐标为(X_b1，Y_b1)，右下角坐标为(X_b2，Y_b2)。判断两个矩形是否相交，可通过判断两个矩形的中心坐标的水平和垂直距离，只要这两个值满足某种条件就可以相交。

矩形A的宽W_a＝X_a2-X_a1，高H_a＝Y_a2-Y_a1；

矩形B的宽W_b＝X_b2-X_b1，高H_b＝Y_b2-Y_b1；

矩形A的中心坐标

矩形B的中心坐标

所以只要同时满足下面两个式子，就可以说明两个矩形相交：

步骤5-2，求相交矩形的区域：若两个矩形相交，设相交之后的矩形为C，且矩形C的左上角坐标为(X_c1，Y_c1)，右下角坐标为(X_c2，Y_c2)，可以得到：

X_c1＝max(X_a1，X_b1)，

Y_c1＝max(Y_a1，Y_b1)，

X_c2＝max(X_a2，X_b2)，

Y_c2＝max(Y_a2，Y_b2)，

这样就可以求出矩形的相交区域；

步骤5-3，求相交区域的重叠率：已知A，B和相交矩形C的左上角坐标(x₁，y₁)和右下角坐标(x₂，y₂)，面积公式S＝(x₂-x₁)*(y₂-y₁)，求出三个矩形的面积，将相交矩形C与A、B矩形中最小的矩形做除法，求出重叠率；

重叠率

对A，B两个矩形中面积最小的框min(area_A，area_B)来说，重叠率大于0.5，则该矩形属于重叠框，应该将该框和对应的掩码区域删除；

步骤6：四周误检判断：利用步骤4得到的区域框坐标，对木材四周的区域做误检判断，删除非木材的区域框和对应的掩码区域，所述的误检指木材四周形似木材截面的圆形物体被检测为木材的情况；

进一步的实施例中，如图3所示，模型预测的结果中，有一个错误检测，工作人员的头盔被识别为木材，可以通过误检判断算法将其删除。删除后的效果如图8所示，具体操作如下：

步骤6-1，将步骤4得到区域框坐标进行误检判断：已知木材区域框坐标的左上角和右下角坐标，可以求得木材区域框的中心点；

通过对所有木材区域框中心点x，y进行判断，找出x轴方向和y轴方向的最大最小的两个值，其中x轴方向的最小的两个值指图像最左边的两个区域框；x轴方向的最大的两个值指图像最右边的两个区域框；y轴方向最小的两个值指图像最下边的两个区域框；y轴方向最大的两个值指图像最上边的两个区域框；分别对四周的两个区域框进行判断，判断其是否相交,若不相交，判断两个区域框的间距多少，间距大于设定阈值，则最边上的区域框属于误检；

步骤6-2，因为木材都是堆在一起的，每根木头都紧挨着，若有区域框远离大部分区域框的情况，则该区域框就是模型误检的框。设其中靠近图像边界的区域框坐标为(X_a1,Y_a1，X_a2，Y_a2)，第二靠近边界的区域框坐标为(X_b1，Y_b1,X_b2,Y_b2)((X₁,Y₁)指矩形区域框左上角坐标，(X₂,Y₂)指区域框右下角坐标)；

图像左边判断：若X_a2比X_b1超过10个像素点，则最左边的区域框属于误检；

图像右边判断：若X_a1比X_b2超过10个像素点，则最右边的区域框属于误检；

图像上边判断：若Y_a2比Y_b1超过10个像素点，则最上边的区域框属于误检；

图像下边判断：若Y_a1比Y_b2超过10个像素点，则最下边的区域框属于误检。

将误检的区域框和对应的掩码区域删除。

步骤7：统计木材数量：经过步骤5和步骤6的操作后，对剩余木材区域框进行统计，得到木材数量。

Claims

1.一种基于深度学习的木材计数方法，其特征在于，具体步骤为：

步骤2：将数据集输入Mask RCNN模型进行训练；

步骤7：对剩余的区域坐标进行统计，得到木材数量。

2.根据权利要求1所述的基于深度学习的木材计数方法，其特征在于，将工业相机固定在木材横截面的正前方，采集木材图片。

3.根据权利要求1所述的基于深度学习的木材计数方法，其特征在于，将数据集输入Mask RCNN模型进行训练的具体方法为：

4.根据权利要求1所述的基于深度学习的木材计数方法，其特征在于，所述Mask RCNN模型包括数据输入模块、骨干网络、区域生成网络、区域特征聚集网络以及全卷积网络，各模块对图片的处理过程为：

区域生成网络：区域生成网络用于生成候选区域；

5.根据权利要求1所述的基于深度学习的木材计数方法，其特征在于，利用步骤4得到的区域框坐标对木材区域做重叠判断的具体方法为：

设任一矩形A的左上角坐标为(X_a1，Y_a1)，右下角坐标为(X_a2，Y_a2)，任一矩形B的左上角坐标为(X_b1，Y_b1)，右下角坐标为(X_b2，Y_b2)；

矩形A的宽W_a＝X_a2-X_a1，高H_a＝Y_a2-Y_a1；

矩形B的宽W_b＝X_b2-X_b1，高H_b＝Y_b2-Y_b1；

矩形A的中心坐标

矩形B的中心坐标

只要同时满足下面两个式子，判断两个矩形相交：

1)

2)

即：|X_b2+X_b1-X_a2-X_a1|≤X_a2-X_a1+X_b2-X_b1，

|Y_b2+Y_b1-Y_a2-Ya₁|≤Y_a2-Y_a1+Y_b2-Y_b1，

X_c1＝max(X_a1，X_b1)，

Y_c1＝max(Y_a1，Y_b1)，

X_c2＝max(X_a2，X_b2)，

Y_c2＝max(Y_a2，Y_b2)。

计算重叠率，将重叠率大于设定阈值的矩形判别为重叠框。

6.根据权利要求5所述的基于深度学习的木材计数方法，其特征在于，重叠率的计算公式为：

7.根据权利要求1所述的基于深度学习的木材计数方法，其特征在于，

步骤6-1：计算所有木材区域框的中心点；

步骤6-2，靠近图像边界的木材区域框坐标为(X_a1，Y_a1，X_a2，Y_a2)，第二靠近边界的木材区域框坐标为(X_b1，Y_b1，X_b2，Y_b2)，((X₁，Y₁)指木材区域框左上角坐标，(X₂，Y₂)指木材区域框右下角坐标)；

将误检的区域框和对应的掩码区域删除。