CN115019115A - 基于改进yolov4的烟叶烟梗部位的识别定位系统 - Google Patents

基于改进yolov4的烟叶烟梗部位的识别定位系统 Download PDF

Info

Publication number
CN115019115A
CN115019115A CN202111668580.8A CN202111668580A CN115019115A CN 115019115 A CN115019115 A CN 115019115A CN 202111668580 A CN202111668580 A CN 202111668580A CN 115019115 A CN115019115 A CN 115019115A
Authority
CN
China
Prior art keywords
network
convolution
yolov4
tobacco stem
tobacco
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111668580.8A
Other languages
English (en)
Inventor
刘新宇
郝同盟
江涛
常瑞
徐燕
王亚辉
王继东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Water Resources and Electric Power
Original Assignee
North China University of Water Resources and Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Water Resources and Electric Power filed Critical North China University of Water Resources and Electric Power
Priority to CN202111668580.8A priority Critical patent/CN115019115A/zh
Publication of CN115019115A publication Critical patent/CN115019115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24B—MANUFACTURE OR PREPARATION OF TOBACCO FOR SMOKING OR CHEWING; TOBACCO; SNUFF
    • A24B1/00—Preparation of tobacco on the plantation
    • A24B1/04—Sifting, sorting, cleaning or removing impurities from tobacco
    • A—HUMAN NECESSITIES
    • A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24B—MANUFACTURE OR PREPARATION OF TOBACCO FOR SMOKING OR CHEWING; TOBACCO; SNUFF
    • A24B3/00—Preparing tobacco in the factory
    • A24B3/16—Classifying or aligning leaves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进YOLOV4的烟叶烟梗部位识别定位方法，包括以下步骤构建YOLOV4的算法模型，并对YOLOV4的算法模型进行改进；采集烟叶数据，并对烟叶数据进行预处理；采用采集的烟叶数据对改进后的YOLOV4的算法模型进行训练，并采用训练好的算法模型进行烟叶烟梗部位的识别；根据烟梗部位的识别，对烟梗部位进行坐标输出，可以大幅减少网络参数，提高模型检测准确率与系统识别速度。

Description

基于改进YOLOV4的烟叶烟梗部位的识别定位系统
技术领域
本发明属于人工智能图像处理领域，具体涉及基于改进YOLOV4的烟叶烟梗部位识别定位方法。
背景技术
传统的烟叶分级完全依靠人工经验，用眼观、手摸等方式进行。受不同地区不同分级人员的经验、年龄和文化程度等因素影响，很容易出现分级准确率低、主观性强的情况。此外，烟叶原料采集时因烟油等本身问题容易形成烟叶粘连，为烟叶自动化分级带来较大困难。
发明内容
为解决上述技术问题，本发明提供一种基于YOLOV4的烟叶烟梗部位识别定位方法。
具体方案如下：
基于改进YOLOV4的烟叶烟梗部位识别定位方法，包括以下步骤
步骤S1）：构建YOLOV4的算法模型，并对YOLOV4的算法模型进行改进；
步骤S2）：采集烟叶数据，并对烟叶数据进行预处理；
步骤S3):采用采集的烟叶数据对改进后的YOLOV4的算法模型进行训练，并采用训练好的算法模型进行烟叶烟梗部位的识别；
步骤S4）：根据烟梗部位的识别，对烟梗部位进行坐标输出。
所述YOLOV4算法模型包括输入层、主干网络、颈部网络和预测输出层，所述输入层、主干网络、颈部网络和预测输出层依次连接，所述主干网络为EfficientNet网络。
所述EfficientNet网络包括层数维度、宽度维度和分辨率维度，所述层数维度、宽度维度和分辨率维度的关系符合：
Figure 229070DEST_PATH_IMAGE001
其中，depth为层数维度，width为宽度维度，resolution为分辨率维度，
Figure 450711DEST_PATH_IMAGE002
是复合扩展法的参数，分别衡量着网络层数、宽度、与分辨率的比重。
改进后的YOLOV4的算法模型的残差结构采用深度可分离卷积对模型输入的不同图像特征进行卷积运算。
所述分离卷积的分离方法为，将卷积拆分为逐通道卷积和逐点卷积，逐通道卷积在二维平面进行卷积运算，每一个卷积核负责一个通道，通过卷积运算生成三通道的特性图像；逐点卷积通过1*1*3的卷积核，在逐通道卷积卷积生成的单色特征图的基础上对深度方向上的特征进行加权融合。
根据权利要求1所述的基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：所述YOLOV4的算法模型采用alpha变量控制输入和输出的通道数
本发明公开了一种YOLOV4的烟叶烟梗部位识别定位方法，减少传统YOLOv4的网络参数量，有助于提高网络的识别速率，加快网络训练速度，大量简化网络参数，减轻对模型训练的配置要求，提高网络模型的实用性与可移植性。在单姿态烟梗识别其mAP优于传统YOLOv4，在多姿态烟梗识别中其mAP值和传统YOLOv4相差仅为2%，但可以大幅减少网络参数，提高模型检测准确率与系统识别速度。
附图说明
图1是YOLOV4的模型结构示意图。
图2是深度可分离卷积的结构示意图。
图3是YOLOv4单姿态烟梗识别实验结果示意图。
图4是E-V单姿态烟梗识别实验示意图。
图5是E-V-D1单姿态烟梗识别实验结果示意图。
图6是E-V-D0.5单姿态烟梗识别结果图。
图7是YOLOv4多姿态烟梗识别实验结果图。
图8是E-Y多姿态烟梗识别识别结果图。
图9是E-Y-D1多姿态烟梗识别识别结果图。
图10是E-Y-D0.5多姿态烟梗识别结果图。
图11是单姿态识别定位图。
图12是多姿态识别定位图。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施，而不是全部的实施，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：包括以下步骤
步骤S1）：构建YOLOV4的算法模型，并对YOLOV4的算法模型进行改进；
步骤S2）：采集烟叶数据，并对烟叶数据进行预处理；
步骤S3):采用采集的烟叶数据对改进后的YOLOV4的算法模型进行训练，并采用训练好的算法模型进行烟叶烟梗部位的识别；
步骤S4）：根据烟梗部位的识别，对烟梗部位进行坐标输出。
如图1所示，所述YOLOV4算法模型包括输入层1、主干网络2、颈部网络3和预测输出层4，所述输入层1、主干网络2、颈部网络3和预测输出层4依次连接，所述主干网络3为EfficientNet网络。
YOLOv4网络由5个基本组件构成，CBM、CBL、Res unit、CSPX与SPP，
CBM是Yolov4网络结构中的最小组件，由Conv+Bn+Mish激活函数三者组成，
CBL是由由Conv+Bn+Leaky_relu激活函数三者组成，
Res unit组件借鉴Resnet网络中的残差结构，让网络可以构建的更深，减少随着网络层数的加深信息丢失的现象。
CSPX结构借鉴CSPNet网络结构，由卷积层和X个Res unint模块Concate组成。
SPP组件则采用1×1，5×5，9×9，13×13的最大池化的方式，进行多尺度融合，低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差，多尺度融合增强了网络对语义信息的提取，有利于提高网络的识别精度。
其中，Conv 表示卷积Convolution，CBM 表示 Conv 加批量正则Batch Norm，BN加Mish 激活函数的合成模块，CSP 表示跨阶段部分Cross stage partial的结构，CBL 表示Conv 加 BN 加 Leaky relu 激活函数的合成模块，Concat 表示一种通道数相加的特征融合方式，图中的*3 个表示此处应有 3个同样的模块构成
所述EfficientNet网络包括层数维度、宽度维度和分辨率维度，所述层数维度、宽度维度和分辨率维度的关系符合：
Figure DEST_PATH_IMAGE003
其中，depth为层数维度，width为宽度维度，resolution为分辨率维度，
Figure 983192DEST_PATH_IMAGE002
是复合扩展法的参数，分别衡量着网络层数、宽度、与分辨率的比重。
卷积神经网络在对同一个网络的性能提升进行性能提升时，可以通过增加网络的层数，或者增加网络的深度与初始图像的分辨率，而EfficientNet通过复合模型扩张结合神经网络搜索技术，从层数depth、宽度width、与分辨率resolution三个维度同时提高网络的识别精度。
EfficientNet网络通过通过综合优化网络宽度、网络深度和分辨率，能够达到准确率指标和现有分类网络相似的情况下，大大减少模型参数量和计算量,为减少YOLOv4的模型参数，加快网络的训练，减少多参数训练所带来的训练硬件的瓶颈，
将YOLOv4的主干网络整体替换为EfficientNet网络，由上图2所示，YOLOv4模型分别提取了CSPDarknet53主干在经过第三次，第四次，与第五次图像缩减的语义信息，本算法将EfficientNet-D1的同样缩减层链接至YOLOv4网络之中以减少YOLOv4的参数量。
改进后的YOLOV4的算法模型的残差结构采用深度可分离卷积对模型输入的不同图像特征进行卷积运算。
所述分离卷积的分离方法为，将卷积拆分为逐通道卷积和逐点卷积，逐通道卷积在二维平面进行卷积运算，每一个卷积核负责一个通道，通过卷积运算生成三通道的特性图像；逐点卷积通过1*1*3的卷积核，在逐通道卷积卷积生成的单色特征图的基础上对深度方向上的特征进行加权融合。
深度可分离卷积depthwise separable convolution神经网络，可以对模型输入的不同图像特征信息进行卷积运算，提取更多的特征数据。相比传统卷积降低了模型的理论计算量。模型计算量公式为
Figure 477758DEST_PATH_IMAGE004
，式中C为输入通道数。C0为输出通道数，H为卷积核高，W为卷积核宽度。
深度可分离卷积如下图2所示，将传统卷积拆分为逐通道卷积DepthwiseConvolution与逐点卷积Pointwise Convolution两个步骤。逐通道卷积是在二维平面进行卷积运算，每一个卷积核只负责一个通道，通过卷积运算生成三通道的特性图像。逐点卷积与传统卷积运算相似，通过1*1*3的卷积核，在逐通道卷积卷积生成的单色特征图的基础上对深度方向上的特征进行加权融合，起到与传统卷积同样的处理效果。在参数计算量上，当输入为5*5的像素时，根据模型计算量公式为
Figure 275950DEST_PATH_IMAGE004
。传统卷积的参数量为108，深度可分离卷积的参数量为39，由于深度可分离卷积在减少整体网络参数上的优越性能。
将YOLOv4网络结构中引入深度可分离卷积，并引入宽度因子alpha变量，alpha用于控制输入和输出的通道数，即输入通道从M变为alpha*M，输出通道从N变为alpha*N。
本实施例所应用算法的参数量与YOLOv4参数量大小如下表2所示。由表可知，E-Y模型减少二千万的模型参数，E-Y-D1减少了四千九百万的模型参数，E-Y-D0.5减少了五千五百万的模型参数。改进后的网络模型结构更简单，模型参数更少，提高了模型的的训练速度，减少模型训练是对硬件的要求，更有利于模型的移动应用。
在本实施例中传统YOLOv4算法视频实时检测烟梗位置速率达到16fps，改进后的三种算法对视频检测速率分别为20fps，22fps，23fps,为更好的评价模型的性能本次实验采用两次对照实验，首先使用单目标单姿态烟梗的检测，其符合工程实际应用，适用于的机械手下料分仓，实验结果如图3至图6所示。其次采用多姿态的烟梗检测，实验结果如图7至10所示。
如图3至图6所示可知，YOLOv4与改进后的3类网络的AP差值分别为-0.66%，-0.84%，-0.4%；P的差值分别为-0.48%，-0.31%，-0.31%；R的差值分别为-2.4%，-1.08%,-0.1%，由上三组数据对比可得，改进后的YOLOv4三种模型AP与传统网络提高2%以内的同时，还有助于网络的识别速率，提高网络训练速度，大量简化网络参数，减轻对模型训练的配置要求，提高网络的可移植性。基于上述分析结果，单姿态的烟梗识别最佳选用E-V-D0.5模型。
如图7至10所示可知，YOLOv4与改进后的3类网络的AP差值分别为+1.01%，+1.93%，+3.03%，P差值分别为-2.75%，-2.56%，-3.81%，R差值分别为+7.47%，+20.56%，+24.3%。对比分析此三组数据可得，改进后的YOLOv4前两种模型AP与传统网络降低2%以内，有助于网络的识别速率，提高网络训练速度，大量简化网络参数，减轻对模型训练的配置要求，提高网络的可移植性。基于上述分析，多姿态的烟梗检测可选用E-Y与E-Y-D1网络结构。
如图11至12所示，使用E-Y-D1网络能实现单姿态与多姿态的烟梗检测，能准确的输出烟梗的位置坐标，为机械手准确抓取烟梗提供基础支持。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：包括以下步骤
步骤S1）：构建YOLOV4的算法模型，并对YOLOV4的算法模型进行改进；
步骤S2）：采集烟叶数据，并对烟叶数据进行预处理；
步骤S3):采用采集的烟叶数据对改进后的YOLOV4的算法模型进行训练，并采用训练好的算法模型进行烟叶烟梗部位的识别；
步骤S4）：根据烟梗部位的识别，对烟梗部位进行坐标输出。
2.根据权利要求1基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：所述YOLOV4算法模型包括输入层、主干网络、颈部网络和预测输出层，所述输入层、主干网络、颈部网络和预测输出层依次连接，所述主干网络为EfficientNet网络。
3.根据权利安全2所述的基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：所述EfficientNet网络包括层数维度、宽度维度和分辨率维度，所述层数维度、宽度维度和分辨率维度的关系符合：
Figure DEST_PATH_IMAGE001
其中，depth为层数维度，width为宽度维度，resolution为分辨率维度，
Figure DEST_PATH_IMAGE002
是复合扩展法的参数，分别衡量着网络层数、宽度、与分辨率的比重。
4.根据权利要求2所述的基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：改进后的YOLOV4的算法模型的残差结构采用深度可分离卷积对模型输入的不同图像特征进行卷积运算。
5.根据权利要求5所述的基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：所述分离卷积的分离方法为，将卷积拆分为逐通道卷积和逐点卷积，逐通道卷积在二维平面进行卷积运算，每一个卷积核负责一个通道，通过卷积运算生成三通道的特性图像；逐点卷积通过1*1*3的卷积核，在逐通道卷积卷积生成的单色特征图的基础上对深度方向上的特征进行加权融合。
6.根据权利要求1所述的基于改进YOLOV4的烟叶烟梗部位识别定位方法，其特征在于：所述YOLOV4的算法模型采用alpha变量控制输入和输出的通道数。
CN202111668580.8A 2021-12-31 2021-12-31 基于改进yolov4的烟叶烟梗部位的识别定位系统 Pending CN115019115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111668580.8A CN115019115A (zh) 2021-12-31 2021-12-31 基于改进yolov4的烟叶烟梗部位的识别定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111668580.8A CN115019115A (zh) 2021-12-31 2021-12-31 基于改进yolov4的烟叶烟梗部位的识别定位系统

Publications (1)

Publication Number Publication Date
CN115019115A true CN115019115A (zh) 2022-09-06

Family

ID=83065192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111668580.8A Pending CN115019115A (zh) 2021-12-31 2021-12-31 基于改进yolov4的烟叶烟梗部位的识别定位系统

Country Status (1)

Country Link
CN (1) CN115019115A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713755A (zh) * 2023-01-09 2023-02-24 三亚中国农业科学院国家南繁研究院 一种高效精准的草地贪夜蛾的图像识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713755A (zh) * 2023-01-09 2023-02-24 三亚中国农业科学院国家南繁研究院 一种高效精准的草地贪夜蛾的图像识别方法

Similar Documents

Publication Publication Date Title
CN107679491B (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN108830157B (zh) 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN108710919A (zh) 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN108629288B (zh) 一种手势识别模型训练方法、手势识别方法及系统
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN110795990B (zh) 一种面向水下设备的手势识别方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN112329780B (zh) 一种基于深度学习的深度图像语义分割方法
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN110135237B (zh) 一种手势识别方法
CN108154158B (zh) 一种面向增强现实应用的建筑物图像分割方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN115937774A (zh) 一种基于特征融合和语义交互的安检违禁品检测方法
CN111104855B (zh) 一种基于时序行为检测的工作流识别方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN115019115A (zh) 基于改进yolov4的烟叶烟梗部位的识别定位系统
CN111462090A (zh) 一种多尺度图像目标检测方法
CN109740672B (zh) 多流特征距离融合系统与融合方法
CN114495170A (zh) 一种基于局部抑制自注意力的行人重识别方法及系统
CN114299578A (zh) 一种基于面部情绪分析的动态人脸生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination