CN116188767A - 一种基于神经网络的堆叠木板计数方法及系统 - Google Patents

一种基于神经网络的堆叠木板计数方法及系统 Download PDF

Info

Publication number
CN116188767A
CN116188767A CN202310081168.9A CN202310081168A CN116188767A CN 116188767 A CN116188767 A CN 116188767A CN 202310081168 A CN202310081168 A CN 202310081168A CN 116188767 A CN116188767 A CN 116188767A
Authority
CN
China
Prior art keywords
frame
detection
wood
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310081168.9A
Other languages
English (en)
Other versions
CN116188767B (zh
Inventor
周志刚
陈勇超
李昌昊
程博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Proge Technology Co ltd
Original Assignee
Hubei Proge Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Proge Technology Co ltd filed Critical Hubei Proge Technology Co ltd
Priority to CN202310081168.9A priority Critical patent/CN116188767B/zh
Publication of CN116188767A publication Critical patent/CN116188767A/zh
Application granted granted Critical
Publication of CN116188767B publication Critical patent/CN116188767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于神经网络的堆叠木板计数方法及系统，通过模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用Y O L O v 7目标检测网络对图像和对应标签进行训练，得到相应网络模型；木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过N M S算法筛选得到的目标框，采用S O R T目标跟踪算法对同层小木板条的目标框实现对应匹配再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。本发明提升了网络推理速度，抗干扰能力强、复用率较高。

Description

一种基于神经网络的堆叠木板计数方法及系统
技术领域
本发明涉及智能仓储物流领域，尤其公开了一种基于神经网络的堆叠木板计数方法及系统。
背景技术
在各种工程项目中常会用到木板，在仓储管理中为了减少不必要的浪费，且不影响到施工进程，木板运输时需要统计堆叠的木板数量，即对堆放在一起的木板进行计数，数出当前完整木板的个数。在传统堆叠木板的数量统计中，一般由人工统计仓库内需要搬运的木板数量，所得的木板数量先纸张记录、再手工输入计算机的方式进行采集和统计整理，这不仅造成大量的人力资源浪费，而且由于人为的因素，堆叠木板数量统计的准确率低且效率极其低下。
相比人工计数，使用深度学习网络对堆叠木板进行实时计数的方法具有更加精准、快速等优势。木板计数的关键是如何提取有效特征识别出木板并进行计数，传统的图像是基于模式匹配方法检测目标物，但堆叠木板的特征规则不显著，使用传统方法难以实现堆叠木板计数。基于深度学习网络的特征提取方法比传统方法提取能力更强。然而，堆叠木板计数存在以下难点：垫底小木板和顶层覆盖物干扰识别；部分材质木板分层界限不明显，肉眼区分困难；单层木板的宽度大、高度小、提取特征相对困难等。对于上述问题，曾进行过基于边缘检测的堆叠木板计数的实验，通过边缘检测算法获得灰度图，高亮区域为边缘点，使用传统算法计算边缘点的拟合直线，最后人工设计规则筛选符合条件的拟合直线，计算直线的条数获取木板数量。但出现了训练出的模型和人工设计规则鲁棒性差，对图像的质量要求很高，抗干扰能力差，标记图像边缘区域比较困难，人工设计规则复杂等问题。
因此，现有技术中使用深度学习网络对堆叠木板进行实时计数的方法出现了训练出的模型和人工设计规则鲁棒性差，对图像的质量要求很高，抗干扰能力差，标记图像边缘区域比较困难，人工设计规则复杂等问题，是目前亟待解决的技术问题。
发明内容
本发明提供了一种基于神经网络的堆叠木板计数方法及系统，旨在解决现有技术中使用深度学习网络对堆叠木板进行实时计数的方法出现了训练出的模型和人工设计规则鲁棒性差，对图像的质量要求很高，抗干扰能力差，标记图像边缘区域比较困难，人工设计规则复杂等技术问题。
本发明的一方面涉及一种基于神经网络的堆叠木板计数方法，包括以下步骤：
模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；
木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
进一步地，模型训练阶段阶段的步骤包括：
图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；
YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。
进一步地，YOLOv7检测的步骤中，采用非极大值抑制算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框，非极大值抑制算法中计算公式如下：
Figure SMS_1
Figure SMS_2
其中，si表示类别置信度，IoU为交并比，M表示最优边界框，bi表示候选框，Nt表示人工设定的阈值。
进一步地，木板检测计数阶段的步骤包括：
SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。
进一步地，SORT目标跟踪算法的步骤中，通过递归估计方法，在已知上帧图像的估计值及当前帧图像的观测值后，计算当前帧图像的估计值，卡尔曼滤波算法通常通过状态方程和观测方程如下：
xk＝Axk-1+Buk+wk
Zk＝Hxk+vk
其中，xk为滤波系统在k时刻的控制信息；xk-1为滤波系统在k-1时刻的控制信息；uk为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；wk为该滤波系统的过程噪声；Zk为该滤波系统在k时刻测量得到的数值；vk为该滤波系统测量得到的噪声，H为该滤波系统的系统常量。
本发明的另一方面涉及一种基于神经网络的堆叠木板计数系统，包括：
模型训练模块，用于模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；
木板检测计数模块，用于木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
进一步地，模型训练模块包括：
图像处理单元，用于图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；
检测单元，用于YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。
进一步地，检测单元中，采用非极大值抑制算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框，非极大值抑制算法中计算公式如下：
Figure SMS_3
Figure SMS_4
其中，si表示类别置信度，IoU为交并比，M表示最优边界框，bi表示候选框，Nt表示人工设定的阈值。
进一步地，木板检测计数模块包括：
目标跟踪单元，用于SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。
进一步地，目标跟踪单元中，用于通过递归估计方法，在已知上帧图像的估计值及当前帧图像的观测值后，计算当前帧图像的估计值，卡尔曼滤波算法通常通过状态方程和观测方程如下：
xk＝Axk-1+Buk+wk
Zk＝Hxk+vk
其中，xk为滤波系统在k时刻的控制信息；xk-1为滤波系统在k-1时刻的控制信息；uk为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；wk为该滤波系统的过程噪声；Zk为该滤波系统在k时刻测量得到的数值；vk为该滤波系统测量得到的噪声，H为该滤波系统的系统常量。
本发明所取得的有益效果为：
本发明提供一种基于神经网络的堆叠木板计数方法及系统，通过模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。本发明提供的基于神经网络的堆叠木板计数方法及系统，对智能仓储中的堆叠木板进行实时检测计数，在保证实时性的情况下提高了准确度。本发明采用了YOLOv7网络和SORT算法，获得更高的精度，在保证模型性能的同时，提升了网络推理速度；同时检测速度快，可以满足工业场景下实时检测堆叠木板数量的需求，并且抗干扰能力强，复用率较高，还可以应用于多种不同类型产品，对于提高人员工作效率具有重要的作用。
附图说明
图1为本发明提供的基于神经网络的堆叠木板计数方法一实施例的流程示意图；
图2为图1中所示的模型训练阶段阶段的步骤一实施例的细化流程示意图；
图3为本发明堆叠木板一实施例的实拍图；
图4为本发明堆叠木板一实施例的标注图；
图5为本发明堆叠木板一实施例的木板裁剪效果图；
图6为本发明堆叠木板一实施例的木板预测效果图；
图7为本发明堆叠木板一实施例的sort算法匹配效果图；
图8为本发明堆叠木板一实施例的木板计数效果图；
图9为本发明提供的基于神经网络的堆叠木板计数系统一实施例的功能框图；
图10为图9中所示的模型训练模块一实施例的功能模块示意图；
图11为图9中所示的木板检测计数模块一实施例的功能模块示意图。
附图标号说明：
10、模型训练模块；20、木板检测计数模块；11、图像处理单元；12、检测单元；21、目标跟踪单元。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
如图1和图2所示，本发明第一实施例提出一种基于神经网络的堆叠木板计数方法，包括以下步骤：
步骤S100、模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型。
首先对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条，之后采用YOLOv7目标检测网络，对图像和对应标签进行训练，得到相应网络模型。
步骤S200、木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入第一阶段得到的网络中，进行网络推理，获取预测目标框。通过NMS(nonmaximum suppression，非极大值抑制)算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
本实施例提供的基于神经网络的堆叠木板计数方法，通过对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。本实施例提供的基于神经网络的堆叠木板计数方法，获得更高的精度，在保证模型性能的同时，提升了网络推理速度；同时检测速度快，可以满足工业场景下实时检测堆叠木板数量的需求，并且抗干扰能力强，复用率较高，还可以应用于多种不同类型产品，对于提高人员工作效率具有重要的作用。
进一步地，请见图2，图2为图1中所示步骤S100一实施例的细化流程示意图，在本实施例中，步骤S100包括：
步骤S110、图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理。
首先进行堆叠木板图像的采集，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，如图3所示。在获取的图像中将每个木板进行标注，如图4所示。
图像预处理主要是对采集的木板图像均等剪切成宽度为60px的小木板条图像，再进行数据增强处理，如图5所示为剪切后的小木条图像。图像预处理的效果直接影响了后续木板特征提取的容易与否。
数据增强也称为数据增广，是一种通过算法使有限的数据产生更多等价数据来增加训练集数量的技术，能有效克服训练数据不足的问题。其本质是在现有数据集基础上，不实际增加人工标注数据，让数据产生更大数据量价值的一种方法。通常情况下是采用现有数据样本按照规格生成增量数据，可见，数据增强策略是数据量与特征多样性的增强。数据增强主要作用是通过增加标注训练集数据量，提升模型的泛化能力；通过增加训练集的噪声数据的方法，从而提升模型的鲁棒性。
步骤S120、YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。
图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型，再通过网络推理，得到系列置信度、类别和候选框的预测。再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框，达到较佳的木板预测效果。
YOLOv7算法采用扩展高效长程注意力网络(E-ELAN)、基于级联模型(Concatenation-Based models)的模型缩放、卷积重参数化等策略，在检测效率与精度之间取得了非常好的平衡。YOLOv7网络由输入端(Input)、主干网络(Backbone)、头部(Head)和预测(Prediction)4个模块构成。Input模块将输入的图像缩放至统一像素大小，以便能满足主干网络的输入大小要求。Backbone模块由若干BConv卷积层、E-ELAN卷积层以及MPConv卷积层组成，其中BConv由卷积层、批量归一化层(Batch Normalization，BN)、LeakyReLU激活函数组成，用于提取不同尺度的图像特征；E-ELAN卷积层保持原有的ELAN设计架构，通过引导不同特征组的计算块学习更多样化的特征，在不破坏原有梯度路径的情况下提高网络的学习能力；MPConv卷积层在BConv层的基础上增加了Maxpool层，构成上下两个分支，上分支通过Maxpool使图像长宽减半，通过BConv层对图像通道减半。下分支则通过第一个BConv层对图像通道减半，第二个BConv层对图像长宽减半，最后使用Cat操作对上下分支提取到的特征进行融合，提高了网络的特征提取能力。Head模块由路径聚合特征金字塔网络(Path Aggregation Feature Pyramid Network，PAFPN)结构组成，通过引入自底向上的路径使得底层信息更容易传递到高层，从而实现了不同层次特征的高效融合。Prediction模块通过REP(RepVGG Block，结构重参数化)结构对PAFPN输出P3、P4、P5这3个不同尺度的特征进行图像通道数调整，最后经过1×1卷积用于置信度、类别和候选框的预测。
YOLOv7检测算法在预测阶段将返回大量位置和尺寸不同的候选框，这些候选框大部分聚集在可能包含感兴趣目标的区域，对这些候选框执行保留和抑制操作很有必要。这些候选框只包含坐标与类别置信度信息。其中，坐标并不能作为决定最优边界框的依据，而类别置信度作为一个类别概率标签，用于表示候选框中存在某个类别物体的概率，类别置信度越高，候选框中存在某个类别物体的可能性越大。最优边界框的选定会影响后续的候选框抑制操作，如果不选择类别置信度得分最高的候选框而是选择其他候选框作为最优边界框，会导致类别置信度得分最高的候选框在候选框抑制阶段被移除，重复此操作，使得所保留的大部分最优边界框的定位精度较低，进而导致检测精度下降。
因此，采用非极大值抑制(Non-Maximum Suppression，NMS)算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框。非极大值抑制算法中计算公式如下：
Figure SMS_5
Figure SMS_6
在公式(1)和(2)中，si表示类别置信度，IoU为交并比，M表示最优边界框，bi表示候选框，Nt表示人工设定的阈值。当框M与bi框的IoU大于Nt时，bi框的类别置信度置为0，bi框被框M抑制。如图6所示为YOLOv7预测后经过NMS算法后剪切的木板预测效果图。
本实施例提供的基于神经网络的堆叠木板计数方法，通过图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。本实施例提供的基于神经网络的堆叠木板计数方法，获得更高的精度，在保证模型性能的同时，提升了网络推理速度；同时检测速度快，可以满足工业场景下实时检测堆叠木板数量的需求，并且抗干扰能力强，复用率较高，还可以应用于多种不同类型产品，对于提高人员工作效率具有重要的作用。
进一步地，本实施例提供的基于神经网络的堆叠木板计数方法，步骤S200包括：
步骤S200a、SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。
目标跟踪算法可以进行轨迹特征的自动分析和提取，以弥补YOLOv7检测后剪切的同层小木板对应匹配的问题，有效去除错误的检测，减少遗漏的检测，为进一步的木板数量分析提供基础。
本实施例采用一种卡尔曼滤波器和匈牙利指派算法相结合的SORT(SimpleOnline and Realtime)目标跟踪算法。在无遮挡物的情况下，SORT算法的跟踪准确度与其他先进在线跟踪算法相当，更新速度更快，跟踪速度提升了约20倍。该算法以每个检测与现有目标的所有预测边界框之间的交并比(IOU)作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，需执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；然后采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID的。最后将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量
卡尔曼滤波利用目标的动态信息去掉噪声的影响，得到一个关于目标位置的估计。通过递归估计方法，在已知上帧图像的估计值(上帧图像卡尔曼滤波所得预测结果)及当前帧图像的观测值(当前帧图像的YOLOv7检测结果)后，计算当前帧图像的估计值.卡尔曼滤波算法通常通过状态方程和观测方程如下：
xk＝Axk-1+Buk+wk (3)
Zk＝Hxk+vk (4)
在公式(3)和(4)中，公式(3)是卡尔曼滤波系统本身的状态更新模型，公式(4)是卡尔曼滤波观测模型。xk为k时刻的状态，为该滤波系统在k时刻的控制信息；xk-1为滤波系统在k-1时刻的控制信息；uk为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；wk为该滤波系统的过程噪声；Zk为该滤波系统在k时刻测量得到的数值；vk为该滤波系统测量得到的噪声，H为该滤波系统的系统常量，如果该系统是多测量系统，则H为一个矩阵。
匈牙利算法本质为一个指派问题，是图论中寻找最大匹配的算法。二分图也称为二部图，是一种特殊模型。将一个图的顶点划分为两个不相交子集，使得每条边都分别连接两个集合中的顶点。如果存在这样的划分，则该图为一个二分图。在多目标跟踪中可将二分图理解为连续两帧图像中的所有检测框，第一帧图像所有检测框的集合记为U，第二帧图像所有检测框的集合记为V。同一帧图像的不同检测框不会为同一个目标，所以不需要互相关联，相邻两帧图像的检测框需要相互联通，最终将相邻两帧图像的检测框尽量两两匹配。假设剪切的前一帧小木板条在图像中的坐标为fi，剪切的后一帧小木板条在图像中的坐标为hj，计算距离公式(5)如下：
Figure SMS_7
在公式(5)中，sij表示前一帧第i个目标和后一帧第j个目标在图像的欧式距离，xfi、yfi、xhj、yhj分别表示前一帧中第i个目标的横坐标和纵坐标，后一帧中第j个目标的横坐标和纵坐标。且匈牙利算法的任务是寻找一种方案，使得前后帧目标匹配后的距离最小，如公式(6)所示：
Figure SMS_8
Figure SMS_9
在公式(6)和(7)中，minS为前一帧小木板条与后一帧小木板条目标匹配的最小匹配距离，xij为前一帧第i个目标和后一帧第j个目标的匹配程度，sij为前一帧第i个目标和后一帧第j个目标的匹配距离。
最终通过匈牙利算法得到到使S值最小的最优匹配关系。最后将匹配后的木板层数进行统计，得到堆叠木板中木板条的数量。如图7所示为SORT算法对剪切的同层小木板实现跟踪匹配的效果图，图8为经过SORT算法后堆叠木板条数的统计效果图。
本实施例提供的基于神经网络的堆叠木板计数方法，通过SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。本实施例提供的基于神经网络的堆叠木板计数方法，获得更高的精度，在保证模型性能的同时，提升了网络推理速度；同时检测速度快，可以满足工业场景下实时检测堆叠木板数量的需求，并且抗干扰能力强，复用率较高，还可以应用于多种不同类型产品，对于提高人员工作效率具有重要的作用。
请见图9，图9为本发明提供的基于神经网络的堆叠木板计数系统一实施例的功能框图，在本实施例中，该基于神经网络的堆叠木板计数系统包括模型训练模块10和木板检测计数模块20，其中，模型训练模块10，用于模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；木板检测计数模块20，用于木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
模型训练模块10首先对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条，之后采用YOLOv7目标检测网络，对图像和对应标签进行训练，得到相应网络模型。
木板检测计数模块20将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入第一阶段得到的网络中，进行网络推理，获取预测目标框。通过NMS(non maximum suppression，非极大值抑制)算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
本实施例提供的基于神经网络的堆叠木板计数系统，同现有技术相比，采用模型训练模块10和木板检测计数模块20，通过对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。本实施例提供的基于神经网络的堆叠木板计数方法，获得更高的精度，在保证模型性能的同时，提升了网络推理速度；同时检测速度快，可以满足工业场景下实时检测堆叠木板数量的需求，并且抗干扰能力强，复用率较高，还可以应用于多种不同类型产品，对于提高人员工作效率具有重要的作用。
进一步地，参见图10，图10为图9中所示的模型训练模块一实施例的功能模块示意图，在本实施例中，模型训练模块10包括图像处理单元11和检测单元12，其中，图像处理单元11，用于图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；检测单元12，用于YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。
图像处理单元11首先进行堆叠木板图像的采集，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，如图3所示。在获取的图像中将每个木板进行标注，如图4所示。
图像预处理主要是对采集的木板图像均等剪切成宽度为60px的小木板条图像，再进行数据增强处理，如图5所示为剪切后的小木条图像。图像预处理的效果直接影响了后续木板特征提取的容易与否。
数据增强也称为数据增广，是一种通过算法使有限的数据产生更多等价数据来增加训练集数量的技术，能有效克服训练数据不足的问题。其本质是在现有数据集基础上，不实际增加人工标注数据，让数据产生更大数据量价值的一种方法。通常情况下是采用现有数据样本按照规格生成增量数据，可见，数据增强策略是数据量与特征多样性的增强。数据增强主要作用是通过增加标注训练集数据量，提升模型的泛化能力；通过增加训练集的噪声数据的方法，从而提升模型的鲁棒性。
检测单元12在图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型，再通过网络推理，得到系列置信度、类别和候选框的预测。再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框，达到较佳的木板预测效果。
YOLOv7算法采用扩展高效长程注意力网络(E-ELAN)、基于级联模型(Concatenation-Based models)的模型缩放、卷积重参数化等策略，在检测效率与精度之间取得了非常好的平衡。YOLOv7网络由输入端(Input)、主干网络(Backbone)、头部(Head)和预测(Prediction)4个模块构成。Input模块将输入的图像缩放至统一像素大小，以便能满足主干网络的输入大小要求。Backbone模块由若干BConv卷积层、E-ELAN卷积层以及MPConv卷积层组成，其中BConv由卷积层、批量归一化层(Batch Normalization，BN)、LeakyReLU激活函数组成，用于提取不同尺度的图像特征；E-ELAN卷积层保持原有的ELAN设计架构，通过引导不同特征组的计算块学习更多样化的特征，在不破坏原有梯度路径的情况下提高网络的学习能力；MPConv卷积层在BConv层的基础上增加了Maxpool层，构成上下两个分支，上分支通过Maxpool使图像长宽减半，通过BConv层对图像通道减半。下分支则通过第一个BConv层对图像通道减半，第二个BConv层对图像长宽减半，最后使用Cat操作对上下分支提取到的特征进行融合，提高了网络的特征提取能力。Head模块由路径聚合特征金字塔网络(Path Aggregation Feature Pyramid Network，PAFPN)结构组成，通过引入自底向上的路径使得底层信息更容易传递到高层，从而实现了不同层次特征的高效融合。Prediction模块通过REP(RepVGG Block，结构重参数化)结构对PAFPN输出P3、P4、P5这3个不同尺度的特征进行图像通道数调整，最后经过1×1卷积用于置信度、类别和候选框的预测。
YOLOv7检测算法在预测阶段将返回大量位置和尺寸不同的候选框，这些候选框大部分聚集在可能包含感兴趣目标的区域，对这些候选框执行保留和抑制操作很有必要。这些候选框只包含坐标与类别置信度信息。其中，坐标并不能作为决定最优边界框的依据，而类别置信度作为一个类别概率标签，用于表示候选框中存在某个类别物体的概率，类别置信度越高，候选框中存在某个类别物体的可能性越大。最优边界框的选定会影响后续的候选框抑制操作，如果不选择类别置信度得分最高的候选框而是选择其他候选框作为最优边界框，会导致类别置信度得分最高的候选框在候选框抑制阶段被移除，重复此操作，使得所保留的大部分最优边界框的定位精度较低，进而导致检测精度下降。
因此，采用非极大值抑制(Non-Maximum Suppression，NMS)算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框。非极大值抑制算法中计算公式如下：
Figure SMS_10
Figure SMS_11
在公式(8)和(9)中，si表示类别置信度，IoU为交并比，M表示最优边界框，bi表示候选框，Nt表示人工设定的阈值。当框M与bi框的IoU大于Nt时，bi框的类别置信度置为0，bi框被框M抑制。如图6所示为YOLOv7预测后经过NMS算法后剪切的木板预测效果图。
本实施例提供的基于神经网络的堆叠木板计数系统，同现有技术相比，模型训练模块10采用图像处理单元11和检测单元12，通过图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。本实施例提供的基于神经网络的堆叠木板计数系统，获得更高的精度，在保证模型性能的同时，提升了网络推理速度；同时检测速度快，可以满足工业场景下实时检测堆叠木板数量的需求，并且抗干扰能力强，复用率较高，还可以应用于多种不同类型产品，对于提高人员工作效率具有重要的作用。
优选地，参见图11，图11为图9中所示的木板检测计数模块一实施例的功能模块示意图，在本实施例中，木板检测计数模块20包括目标跟踪单元21，目标跟踪单元21，用于SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。
目标跟踪单元21，目标跟踪算法可以进行轨迹特征的自动分析和提取，以弥补YOLOv7检测后剪切的同层小木板对应匹配的问题，有效去除错误的检测，减少遗漏的检测，为进一步的木板数量分析提供基础。
本实施例采用一种卡尔曼滤波器和匈牙利指派算法相结合的SORT(SimpleOnline and Realtime)目标跟踪算法。在无遮挡物的情况下，SORT算法的跟踪准确度与其他先进在线跟踪算法相当，更新速度更快，跟踪速度提升了约20倍。该算法以每个检测与现有目标的所有预测边界框之间的交并比(IOU)作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，需执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；然后采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID的。最后将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量
卡尔曼滤波利用目标的动态信息去掉噪声的影响，得到一个关于目标位置的估计。通过递归估计方法，在已知上帧图像的估计值(上帧图像卡尔曼滤波所得预测结果)及当前帧图像的观测值(当前帧图像的YOLOv7检测结果)后，计算当前帧图像的估计值.卡尔曼滤波算法通常通过状态方程和观测方程如下：
xk＝Axk-1+Buk+wk (10)
Zk＝Hxk+vk (11)
在公式(10)和(11)中，公式(10)是卡尔曼滤波系统本身的状态更新模型，公式(11)是卡尔曼滤波观测模型。xk为k时刻的状态，为该滤波系统在k时刻的控制信息；xk-1为滤波系统在k-1时刻的控制信息；uk为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；wk为该滤波系统的过程噪声；Zk为该滤波系统在k时刻测量得到的数值；vk为该滤波系统测量得到的噪声，H为该滤波系统的系统常量，如果该系统是多测量系统，则H为一个矩阵。
匈牙利算法本质为一个指派问题，是图论中寻找最大匹配的算法。二分图也称为二部图，是一种特殊模型。将一个图的顶点划分为两个不相交子集，使得每条边都分别连接两个集合中的顶点。如果存在这样的划分，则该图为一个二分图。在多目标跟踪中可将二分图理解为连续两帧图像中的所有检测框，第一帧图像所有检测框的集合记为U，第二帧图像所有检测框的集合记为V。同一帧图像的不同检测框不会为同一个目标，所以不需要互相关联，相邻两帧图像的检测框需要相互联通，最终将相邻两帧图像的检测框尽量两两匹配。假设剪切的前一帧小木板条在图像中的坐标为fi，剪切的后一帧小木板条在图像中的坐标为hj，计算距离公式(12)如下：
Figure SMS_12
在公式(12)中，sij表示前一帧第i个目标和后一帧第j个目标在图像的欧式距离，xfi、yfi、xhj、yhj分别表示前一帧中第i个目标的横坐标和纵坐标，后一帧中第j个目标的横坐标和纵坐标。且匈牙利算法的任务是寻找一种方案，使得前后帧目标匹配后的距离最小，如公式(13)所示：
Figure SMS_13
Figure SMS_14
/>
在公式(13)和(14)中，minS为前一帧小木板条与后一帧小木板条目标匹配的最小匹配距离，xij为前一帧第i个目标和后一帧第j个目标的匹配程度，sij为前一帧第i个目标和后一帧第j个目标的匹配距离。
最终通过匈牙利算法得到到使S值最小的最优匹配关系。最后将匹配后的木板层数进行统计，得到堆叠木板中木板条的数量。如图7所示为SORT算法对剪切的同层小木板实现跟踪匹配的效果图，图8为经过SORT算法后堆叠木板条数的统计效果图。
本实施例提供的基于神经网络的堆叠木板计数系统，同现有相比，木板检测计数模块20采用目标跟踪单元21，通过SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。本实施例提供的基于神经网络的堆叠木板计数系统，获得更高的精度，在保证模型性能的同时，提升了网络推理速度；同时检测速度快，可以满足工业场景下实时检测堆叠木板数量的需求，并且抗干扰能力强，复用率较高，还可以应用于多种不同类型产品，对于提高人员工作效率具有重要的作用。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于神经网络的堆叠木板计数方法，其特征在于，包括以下步骤：
模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；
木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
2.如权利要求1所述的基于神经网络的堆叠木板计数方法，其特征在于，所述模型训练阶段阶段的步骤包括：
图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；
YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。
3.如权利要求2所述的基于神经网络的堆叠木板计数方法，其特征在于，所述YOLOv7检测的步骤中，采用非极大值抑制算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框，非极大值抑制算法中计算公式如下：
Figure FDA0004069613630000011
Figure FDA0004069613630000012
其中，si表示类别置信度，IoU为交并比，M表示最优边界框，bi表示候选框，Nt表示人工设定的阈值。
4.如权利要求1所述的基于神经网络的堆叠木板计数方法，其特征在于，所述木板检测计数阶段的步骤包括：
SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。
5.如权利要求4所述的基于神经网络的堆叠木板计数方法，其特征在于，所述SORT目标跟踪算法的步骤中，通过递归估计方法，在已知上帧图像的估计值及当前帧图像的观测值后，计算当前帧图像的估计值，卡尔曼滤波算法通常通过状态方程和观测方程如下：
xk＝Axk-1+Buk+wk
Zk＝Hxk+vk
其中，xk为滤波系统在k时刻的控制信息；xk-1为滤波系统在k-1时刻的控制信息；uk为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；wk为该滤波系统的过程噪声；Zk为该滤波系统在k时刻测量得到的数值；vk为该滤波系统测量得到的噪声，H为该滤波系统的系统常量。
6.一种基于神经网络的堆叠木板计数系统，其特征在于，包括：
模型训练模块(10)，用于模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；
木板检测计数模块(20)，用于木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
7.如权利要求6所述的基于神经网络的堆叠木板计数系统，其特征在于，所述模型训练模块(10)包括：
图像处理单元(11)，用于图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；
检测单元(12)，用于YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。
8.如权利要求7所述的基于神经网络的堆叠木板计数系统，其特征在于，所述检测单元(12)中，采用非极大值抑制算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框，非极大值抑制算法中计算公式如下：
Figure FDA0004069613630000031
Figure FDA0004069613630000032
其中，si表示类别置信度，IoU为交并比，M表示最优边界框，bi表示候选框，Nt表示人工设定的阈值。
9.如权利要求6所述的基于神经网络的堆叠木板计数系统，其特征在于，所述木板检测计数模块(20)包括：
目标跟踪单元(21)，用于SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。
10.如权利要求9所述的基于神经网络的堆叠木板计数系统，其特征在于，所述目标跟踪单元(21)中，用于通过递归估计方法，在已知上帧图像的估计值及当前帧图像的观测值后，计算当前帧图像的估计值，卡尔曼滤波算法通常通过状态方程和观测方程如下：
xk＝Axk-1+Buk+wk
Zk＝Hxk+vk
其中，xk为滤波系统在k时刻的控制信息；xk-1为滤波系统在k-1时刻的控制信息；uk为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；wk为该滤波系统的过程噪声；Zk为该滤波系统在k时刻测量得到的数值；vk为该滤波系统测量得到的噪声，H为该滤波系统的系统常量。
CN202310081168.9A 2023-01-13 2023-01-13 一种基于神经网络的堆叠木板计数方法及系统 Active CN116188767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310081168.9A CN116188767B (zh) 2023-01-13 2023-01-13 一种基于神经网络的堆叠木板计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310081168.9A CN116188767B (zh) 2023-01-13 2023-01-13 一种基于神经网络的堆叠木板计数方法及系统

Publications (2)

Publication Number Publication Date
CN116188767A true CN116188767A (zh) 2023-05-30
CN116188767B CN116188767B (zh) 2023-09-08

Family

ID=86433946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310081168.9A Active CN116188767B (zh) 2023-01-13 2023-01-13 一种基于神经网络的堆叠木板计数方法及系统

Country Status (1)

Country Link
CN (1) CN116188767B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117100293A (zh) * 2023-10-25 2023-11-24 武汉理工大学 一种基于多维特征融合网络的肌肉疲劳检测方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276358A (zh) * 2018-03-13 2019-09-24 南京航空航天大学 密集堆叠下的高相似度木块横截面检测方法
CN112215123A (zh) * 2020-10-09 2021-01-12 腾讯科技（深圳）有限公司 一种目标检测方法、装置及存储介质
CN112288773A (zh) * 2020-10-19 2021-01-29 慧视江山科技(北京)有限公司 基于Soft-NMS的多尺度人体跟踪方法及装置
CN112836639A (zh) * 2021-02-03 2021-05-25 江南大学 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN112884064A (zh) * 2021-03-12 2021-06-01 迪比（重庆）智能科技研究院有限公司 一种基于神经网络的目标检测与识别方法
CN113657423A (zh) * 2021-06-25 2021-11-16 上海师范大学 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN113762190A (zh) * 2021-09-15 2021-12-07 中科微至智能制造科技江苏股份有限公司 一种基于神经网络的包裹堆叠检测方法及装置
US20220396431A1 (en) * 2021-06-10 2022-12-15 Visionnav Robotics (Shenzhen) Co., Ltd. Method for determining material-cage stacking, computer device, and storage medium
US20220398835A1 (en) * 2019-11-22 2022-12-15 Espressif Systems (Shanghai) Co., Ltd. Target detection system suitable for embedded device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276358A (zh) * 2018-03-13 2019-09-24 南京航空航天大学 密集堆叠下的高相似度木块横截面检测方法
US20220398835A1 (en) * 2019-11-22 2022-12-15 Espressif Systems (Shanghai) Co., Ltd. Target detection system suitable for embedded device
CN112215123A (zh) * 2020-10-09 2021-01-12 腾讯科技（深圳）有限公司 一种目标检测方法、装置及存储介质
CN112288773A (zh) * 2020-10-19 2021-01-29 慧视江山科技(北京)有限公司 基于Soft-NMS的多尺度人体跟踪方法及装置
CN112836639A (zh) * 2021-02-03 2021-05-25 江南大学 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN112884064A (zh) * 2021-03-12 2021-06-01 迪比（重庆）智能科技研究院有限公司 一种基于神经网络的目标检测与识别方法
US20220396431A1 (en) * 2021-06-10 2022-12-15 Visionnav Robotics (Shenzhen) Co., Ltd. Method for determining material-cage stacking, computer device, and storage medium
CN113657423A (zh) * 2021-06-25 2021-11-16 上海师范大学 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN113762190A (zh) * 2021-09-15 2021-12-07 中科微至智能制造科技江苏股份有限公司 一种基于神经网络的包裹堆叠检测方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIANFENG ZHENG ET AL.: "Insulator-Defect Detection Algorithm Based on Improved YOLOv7", SENSORS, no. 22 *
徐耀建;: "基于深度学习的视频多目标行人检测与追踪", 现代信息科技, no. 12 *
毛清华等: "基于改进YOLOv7的煤矿带式输送机异物识别", 工矿自动化, vol. 48, no. 12 *
罗建坤;黄道平;吴菁;刘乙奇;刘少君;: "基于深度学习的包裹追踪检测计数系统", 自动化与信息工程, no. 06 *
陈鹏程等: "一种改进的非极大值抑制算法在YOLOv3模型中的应用研究", 数字技术与应用, vol. 39, no. 1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117100293A (zh) * 2023-10-25 2023-11-24 武汉理工大学 一种基于多维特征融合网络的肌肉疲劳检测方法和系统
CN117100293B (zh) * 2023-10-25 2024-02-06 武汉理工大学 一种基于多维特征融合网络的肌肉疲劳检测方法和系统

Also Published As

Publication number Publication date
CN116188767B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN109766830B (zh) 一种基于人工智能图像处理的舰船目标识别系统及方法
CN109242864B (zh) 基于多分支网络的图像分割结果质量评价方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN111968081B (zh) 鱼群自动计数方法、装置、电子设备及存储介质
CN116188767B (zh) 一种基于神经网络的堆叠木板计数方法及系统
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN110766123A (zh) 鱼苗计数系统及鱼苗计数方法
CN112417931B (zh) 一种基于视觉显著性的水面物体检测和分类的方法
CN111860459A (zh) 一种基于显微图像的禾本科植物叶片气孔指数测量方法
Galsgaard et al. Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement
CN112182269B (zh) 图像分类模型的训练、图像分类方法、装置、设备及介质
CN113435355A (zh) 多目标奶牛身份识别方法及系统
CN115019103A (zh) 基于坐标注意力群组优化的小样本目标检测方法
CN115619710A (zh) 基于分步跟踪检测的物品数量统计方法、装置及设备
Wang et al. Using an improved YOLOv4 deep learning network for accurate detection of whitefly and thrips on sticky trap images
CN113987243A (zh) 一种图像聚档方法、图像聚档装置和计算机可读存储介质
CN113021355A (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN112699842A (zh) 宠物识别方法、装置、设备及计算机可读存储介质
CN112528740A (zh) 一种压板状态识别方法
CN112581495A (zh) 图像处理方法、装置、设备及存储介质
CN116416523A (zh) 一种基于机器学习的水稻生长阶段的识别系统和方法
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
CN107818287B (zh) 一种客流统计装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant