CN114663348A - 烟丝桶残留物检测方法、装置、设备及存储介质 - Google Patents

烟丝桶残留物检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114663348A
CN114663348A CN202210119313.3A CN202210119313A CN114663348A CN 114663348 A CN114663348 A CN 114663348A CN 202210119313 A CN202210119313 A CN 202210119313A CN 114663348 A CN114663348 A CN 114663348A
Authority
CN
China
Prior art keywords
barrel
image
tobacco shred
color space
hsv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210119313.3A
Other languages
English (en)
Inventor
陈兴委
李爱林
赵士红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Information Technology Co ltd
Original Assignee
Shenzhen Huafu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co ltd filed Critical Shenzhen Huafu Information Technology Co ltd
Priority to CN202210119313.3A priority Critical patent/CN114663348A/zh
Publication of CN114663348A publication Critical patent/CN114663348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Manufacture Of Tobacco Products (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及自动检测技术领域，公开了一种烟丝桶残留物检测方法、装置、设备及存储介质。烟丝桶残留物检测方法包括：获取烟丝桶图像，并通过预置目标检测算法进行目标检测，得到目标检测结果；基于目标检测结果进行截图，得到烟丝桶的桶底图像；将桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；将桶底HSV图像转换为HLS色彩空间并剔除部分反光干扰后从HLS色彩空间转换为YUV色彩空间进行去反光处理，得到无反光的桶底YUV图像；将桶底YUV图像转换为灰度图，并进行残留物占比计算，得到烟丝残留物的面积占比。本发明实现了自动化实时在线的烟丝桶残留物检测，显著提高生产效率与自动化程度。

Description

烟丝桶残留物检测方法、装置、设备及存储介质
技术领域
本发明涉及自动检测领域，尤其涉及一种烟丝桶残留物检测方法、装置、设备及存储介质。
背景技术
为降低人工成本，实现智慧工厂建设，卷烟厂通过机器视觉等人工智能技术手段进一步提高制丝车间生产的智能自动化水平，提升生产、管理的效率。在完善智慧工厂建设的过程中，卷烟厂需要计算烟丝桶清扫后的残留物量以便进行后续的系统改进。
在现有的技术中，通常完全依靠人工在岗检测烟丝桶清扫残留物，检测成本高、效率低下且存在有漏检问题。
发明内容
本发明的主要目的在于提供一种烟丝桶残留物检测方法、装置、设备及存储介质，旨在解决现有技术烟丝桶残留物检测成本高且效率低的技术问题。
本发明第一方面提供了一种烟丝桶残留物检测方法，包括：
获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底HSV图像；
将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像；
将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
可选的，在本发明第一方面的第一种实现方式中，所述获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果包括：
通过预置摄像头获取烟丝桶图像；
通过预置CenterNet模型对所述烟丝桶图像进行烟丝桶桶底检测，得到烟丝桶桶底的关键点三元组，其中，所述关键点三元组包括所述烟丝桶桶底的中心点、左上角点与右下角点；
在所述关键点三元组的基础上引入右上角点和左下角点，并获取所述烟丝桶桶底的右上角点与左下角点，得到目标检测结果，其中，所述目标检测结果包括所述烟丝桶桶底的四个角点。
可选的，在本发明第一方面的第二种实现方式中，在所述获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果之前，还包括：
将预置训练数据集中的图像输入CenterNet，提取所述图像的特征图；
通过预置卷积网络对所述特征图进行卷积，得到烟丝桶桶底的预测热力图；
通过预置损失函数优化所述卷积网络的参数，得到所述CenterNet模型。
可选的，在本发明第一方面的第三种实现方式中，所述基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像包括：
以所述四个角点为顶点，对所述烟丝桶图像进行截图，得到桶底不规则的四边形截图；
对所述四边形截图进行矫正，得到烟丝桶的桶底图像。
可选的，在本发明第一方面的第四种实现方式中，所述将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底HSV图像包括：
将所述桶底图像的RGB色彩空间转换为HSV色彩空间；
基于所述预置颜色阈值对转换后的桶底图像进行色彩提取，得到桶底HSV图像，其中，所述桶底HSV图像中非所述预置颜色阈值范围内的像素以黑色表示。
可选的，在本发明第一方面的第五种实现方式中，所述将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像包括：
对所述桶底HSV图像的HSV色彩空间进行色彩提取，并将提取的色彩图像转换为HLS色彩空间；
对转换为HLS色彩空间的图像进行去反光处理，保留亮度小于预置亮度阈值的像素的色彩，得到剔除部分反光干扰的桶底HLS图像；
将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间，并基于预置V分量阈值进行色彩提取，得到无反光的桶底YUV图像。
可选的，在本发明第一方面的第六种实现方式中，所述将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比包括：
将所述桶底YUV图像转换为灰度图；
计算所述烟丝残留物的像素量与所述桶底YUV图像的像素量的比值，得到所述烟丝残留物的面积占比。
本发明第二方面提供了一种烟丝桶残留物检测装置，包括：
获取模块，用于获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
截图模块，用于基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
HSV模块，用于将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；
YUV模块，用于将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图；
计算模块，用于将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：
通过预置摄像头获取烟丝桶图像；
通过预置CenterNet模型对所述烟丝桶图像进行烟丝桶桶底检测，得到烟丝桶桶底的关键点三元组，其中，所述关键点三元组包括所述烟丝桶桶底的中心点、左上角点与右下角点；
在所述关键点三元组的基础上引入右上角点和左下角点，并获取所述烟丝桶桶底的右上角点与左下角点，得到目标检测结果，其中，所述目标检测结果包括所述烟丝桶桶底的四个角点。
可选的，在本发明第二方面的第二种实现方式中，所述烟丝桶残留物检测装置还包括：
特征模块，用于将预置训练数据集中的图像输入CenterNet，提取所述图像的特征图；
卷积模块，用于通过预置卷积网络对所述特征图进行卷积，得到烟丝桶桶底的预测热力图；
优化模块，用于通过预置损失函数优化所述卷积网络的参数，得到CenterNet模型
可选的，在本发明第二方面的第三种实现方式中，所述截图模块具体用于：
以所述四个角点为顶点，对所述烟丝桶图像进行截图，得到桶底不规则的四边形截图；
对所述四边形截图进行矫正，得到烟丝桶的桶底图像。
可选的，在本发明第二方面的第四种实现方式中，所述HSV模块具体用于：
将所述桶底图像的RGB色彩空间转换为HSV色彩空间；
基于所述预置颜色阈值对转换后的桶底图像进行色彩提取，得到桶底HSV图像，其中，所述桶底HSV图像中非所述预置颜色阈值范围内的像素以黑色表示。
可选的，在本发明第二方面的第五种实现方式中，所述YUV模块具体用于：
对所述桶底HSV图像的HSV色彩空间进行色彩提取，并将提取的色彩图像转换为HLS色彩空间；
对转换为HLS色彩空间的图像进行去反光处理，保留亮度小于预置亮度阈值的像素的色彩，得到剔除部分反光干扰的桶底HLS图像；
将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间，并基于预置V分量阈值进行色彩提取，得到无反光的桶底YUV图像。
可选的，在本发明第二方面的第六种实现方式中，所述计算模块具体用于：
将所述桶底YUV图像转换为灰度图；
计算所述烟丝残留物的像素量与所述桶底YUV图像的像素量的比值，得到所述烟丝残留物的面积占比。
本发明第三方面提供了一种电子设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行上述的烟丝桶残留物检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的烟丝桶残留物检测方法。
本发明提供的技术方案中，获取烟丝桶图像，并通过预置目标检测算法进行目标检测，得到目标检测结果；基于目标检测结果进行截图，得到烟丝桶的桶底图像；将桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；将桶底HSV图像转换为HLS色彩空间并剔除部分反光干扰后从HLS色彩空间转换为YUV色彩空间进行去反光处理，得到无反光的桶底YUV图像；将桶底YUV图像转换为灰度图，并进行残留物占比计算，得到烟丝残留物的面积占比。本发明实现了自动化实时在线的烟丝桶残留物检测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本。
附图说明
图1为本发明实施例中烟丝桶残留物检测方法的一个实施例示意图；
图2为本发明实施例中烟丝桶残留物检测方法的另一个实施例示意图；
图3为本发明实施例中烟丝桶残留物检测装置的一个实施例示意图；
图4为本发明实施例中烟丝桶残留物检测装置的另一个实施例示意图；
图5为本发明实施例中电子设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种烟丝桶残留物检测方法、装置、设备及存储介质，实现了自动化实时在线的烟丝桶残留物检测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中烟丝桶残留物检测方法的一个实施例包括：
101、获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
可以理解的是，本发明的执行主体可以为烟丝桶残留物检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，烟丝桶图像是可以看到待测烟丝桶桶底的图像，烟丝桶图像的获取方法不限。
本实施例中，采用的目标检测算法不限，目标检测即检测烟丝桶的桶底，目标检测结果即桶底的图像范围。
102、基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
103、将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底HSV图像；
本实施例中，RGB色彩空间由红色(Red，R)、绿色(Green，G)和蓝色(Blue，B)组成，HSV色彩空间由色相(Hue，H)、饱和度(Saturation，S)和明度(Value，V)组成。HSV更接近人们对色彩的感知经验，能够直观地表达颜色的色调、鲜艳程度和明暗程度，便于进行色彩比对。
本实施例中，预置颜色阈值包括色相的上限与下限、饱和度的上限与下限、明度的上限与下限，将同时满足色相、饱和度、明度的上下限的区域视作烟丝残留物的区域。
可选的，在一实施例中，上述步骤103包括：
将所述桶底图像的RGB色彩空间转换为HSV色彩空间；
基于所述预置颜色阈值对转换后的桶底图像进行色彩提取，得到桶底HSV图像，其中，所述桶底HSV图像中非所述预置颜色阈值范围内的像素以黑色表示。
本实施例中，色彩提取即保留预置颜色阈值范围内的色彩，不满足预置颜色阈值条件的部分以黑色替换。
104、将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像；
本实施例中，HLS色彩空间由色调(H)、饱和度(S)、亮度(L)三个颜色通道组成，YUV色彩空间的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
可选的，在一实施例中，上述步骤104包括：
对所述桶底HSV图像的HSV色彩空间进行色彩提取，并将提取的色彩图像转换为HLS色彩空间；
对转换为HLS色彩空间的图像进行去反光处理，保留亮度小于预置亮度阈值的像素的色彩，得到剔除部分反光干扰的桶底HLS图像；
将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间，并基于预置V分量阈值进行色彩提取，得到无反光的桶底YUV图像。
本实施例中，烟丝桶底存在反光现象，HSV空间颜色提取后会存在部分误差造成干扰，将提取颜色图像转为HLS色彩空间，通过调节亮度L，提取保留L<95的像素，进行降噪。
本实施例中，通过调节V值，提取保留V<134像素，得到剔除反光影响的烟丝残留物烟丝桶底图像，即桶底YUV图像。
105、将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
本实施例中，灰度图，又称灰阶图，把白色与黑色之间按对数关系分为若干等级，称为灰度，灰度共分为256阶，用灰度表示的图像称作灰度图。
本实施例中，灰度图是桶底YUV图像转换为灰度表示的图像。
可选的，在一实施例中，上述步骤105包括：
将所述桶底YUV图像转换为灰度图；
计算所述烟丝残留物的像素量与所述桶底YUV图像的像素量的比值，得到所述烟丝残留物的面积占比。
本发明实施例中，获取烟丝桶图像，并通过预置目标检测算法进行目标检测，得到目标检测结果；基于目标检测结果进行截图，得到烟丝桶的桶底图像；将桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；将桶底HSV图像转换为HLS色彩空间进行降噪处理，并将处理结果转换为YUV色彩空间，去除反光影响，得到桶底YUV图像；将桶底YUV图像转换为灰度图，并进行残留物占比计算，得到烟丝残留物的面积占比。本发明实现了自动化实时在线的烟丝桶残留物检测，通过机器视觉的方法进行目标识别与色彩空间图像处理，检测烟丝桶残留物，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本。
请参阅图2，本发明实施例中烟丝桶残留物检测方法的另一个实施例包括：
201、将预置训练数据集中的图像输入CenterNet，提取所述图像的特征图；
本实施例中，CenterNet是一种不需要手动设定锚框(anchor box)的目标检测网络，在速度和精度上都比较有优势，其通过目标中心点来呈现目标，然后在中心点位置回归出目标的一些属性，例如：尺寸、方向、姿态，将目标检测问题变成了一个标准的关键点估计问题，其将图像传入全卷积网络，得到一个热力图，热力图峰值点即中心点，每个特征图的峰值点位置预测了目标的宽高信息。
本实施例中，特征图的提取方法不限，包括但不限于Resnet-18，DLA-34，Hourglass-104。
202、通过预置卷积网络对所述特征图进行卷积，得到烟丝桶桶底的预测热力图；
本实施例中，CenterNet将目标当成一个点来检测，即用目标锚框的中心点来表示这个目标，预测目标的中心点偏移量(offset)，宽高(size)来得到物体实际锚框，而热力图则是表示分类信息，每一个类别都有一张热力图，每一张热力图上，若某个坐标处有物体目标的中心点，即在该坐标处产生一个关键点(keypoint)，用高斯圆进行表示。
本实施例中，预测热力图即预测的热力图。
203、通过预置损失函数优化所述卷积网络的参数，得到CenterNet模型；
本实施例中，损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越小，模型的性能越好。
本实施例中，损失函数的设计方式不限。
本实施例中，CenterNet提出了更好的两种检测中心点和角点机制，中心点池化(center pooling)用于预测中心点，通过相加特征图水平和垂直方向上最大值获得，通过中心点关键点可以获取更多的全局信息；级联角点池化(cascade corner pooling)，同时获取内部和边沿信息以增加稳定性。
204、获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
可选的，在一实施例中，上述步骤204包括：
通过预置摄像头获取烟丝桶图像；
通过所述CenterNet模型对所述烟丝桶图像进行烟丝桶桶底检测，得到烟丝桶桶底的关键点三元组，其中，所述关键点三元组包括所述烟丝桶桶底的中心点、左上角点与右下角点；
在所述关键点三元组的基础上引入右上角点和左下角点，并获取所述烟丝桶桶底的右上角点与左下角点，得到目标检测结果，其中，所述目标检测结果包括所述烟丝桶桶底的四个角点。
本实施例中，烟丝桶桶底存在一定角度倾斜，在CenterNet关键点三元组即中心点、左上角点和右下角点三个关键点的基础上加入右上角和左下角关键点，确定桶底检测目标，得到桶底四个角点的坐标。
205、基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
可选的，在一实施例中，上述步骤205包括：
以所述四个角点为顶点，对所述烟丝桶图像进行截图，得到桶底不规则的四边形截图；
对所述四边形截图进行矫正，得到烟丝桶的桶底图像。
本实施例中，对四边形截图进行矫正，矫正为规则矩形，矫正的方法不限。
206、将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底HSV图像；
207、将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像；
208、将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
本发明实施例中，获取烟丝桶图像，并通过预置目标检测算法进行目标检测，得到目标检测结果；基于目标检测结果进行截图，得到烟丝桶的桶底图像；将桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；将桶底HSV图像转换为HLS色彩空间进行降噪处理，并将处理结果转换为YUV色彩空间，去除反光影响，得到桶底YUV图像；将桶底YUV图像转换为灰度图，并进行残留物占比计算，得到烟丝残留物的面积占比。本发明实现了自动化实时在线的烟丝桶残留物检测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本，对CenterNet进行改进，将每个检测目标看做是五元点，改善了目标检测精度和召回率，同时检测速度更快，可以满足实时在线检测的使用需求。
上面对本发明实施例中烟丝桶残留物检测方法进行了描述，下面对本发明实施例中烟丝桶残留物检测装置进行描述，请参阅图3，本发明实施例中烟丝桶残留物检测装置一个实施例包括：
获取模块301，用于获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
截图模块302，用于基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
HSV模块303，用于将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；
YUV模块304，用于将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像；
计算模块305，用于将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
可选的，HSV模块303还可以具体用于：
将所述桶底图像的RGB色彩空间转换为HSV色彩空间；
基于所述预置颜色阈值对转换后的桶底图像进行色彩提取，得到桶底HSV图像，其中，所述桶底HSV图像中非所述预置颜色阈值范围内的像素以黑色表示。
可选的，YUV模块304还可以具体用于：
对所述桶底HSV图像的HSV色彩空间进行色彩提取，并将提取的色彩图像转换为HLS色彩空间；
对转换为HLS色彩空间的图像进行去反光处理，保留亮度小于预置亮度阈值的像素的色彩，得到剔除部分反光干扰的桶底HLS图像；
将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间，并基于预置V分量阈值进行色彩提取，得到无反光的桶底YUV图像。
可选的，计算模块305还可以具体用于：
将所述桶底YUV图像转换为灰度图；
计算所述烟丝残留物的像素量与所述桶底YUV图像的像素量的比值，得到所述烟丝残留物的面积占比。
本发明实施例中，获取烟丝桶图像，并通过预置目标检测算法进行目标检测，得到目标检测结果；基于目标检测结果进行截图，得到烟丝桶的桶底图像；将桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；将桶底HSV图像转换为HLS色彩空间进行降噪处理，并将处理结果转换为YUV色彩空间，去除反光影响，得到桶底YUV图像；将桶底YUV图像转换为灰度图，并进行残留物占比计算，得到烟丝残留物的面积占比。本发明实现了自动化实时在线的烟丝桶残留物检测，通过机器视觉的方法进行目标识别与色彩空间图像处理，检测烟丝桶残留物，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本。
请参阅图4，本发明实施例中烟丝桶残留物检测装置的另一个实施例包括：
获取模块301，用于获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
截图模块302，用于基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
HSV模块303，用于将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；
YUV模块304，用于将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像；
计算模块305，用于将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比；
特征模块306，用于将预置训练数据集中的图像输入CenterNet，提取所述图像的特征图；
卷积模块307，用于通过预置卷积网络对所述特征图进行卷积，得到烟丝桶桶底的预测热力图；
优化模块308，用于通过预置损失函数优化所述卷积网络的参数，得到CenterNet模型。
可选的，获取模块301还可以具体用于：
通过预置摄像头获取烟丝桶图像；
通过所述CenterNet模型对所述烟丝桶图像进行烟丝桶桶底检测，得到烟丝桶桶底的关键点三元组，其中，所述关键点三元组包括所述烟丝桶桶底的中心点、左上角点与右下角点；
在所述关键点三元组的基础上引入右上角点和左下角点，并获取所述烟丝桶桶底的右上角点与左下角点，得到目标检测结果，其中，所述目标检测结果包括所述烟丝桶桶底的四个角点。
可选的，截图模块302还可以具体用于：
以所述四个角点为顶点，对所述烟丝桶图像进行截图，得到桶底不规则的四边形截图；
对所述四边形截图进行矫正，得到烟丝桶的桶底图像。
本实施例中，对四边形截图进行矫正，矫正为规则矩形，矫正的方法不限。
本发明实施例中，获取烟丝桶图像，并通过预置目标检测算法进行目标检测，得到目标检测结果；基于目标检测结果进行截图，得到烟丝桶的桶底图像；将桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；将桶底HSV图像转换为HLS色彩空间进行降噪处理，并将处理结果转换为YUV色彩空间，去除反光影响，得到桶底YUV图像；将桶底YUV图像转换为灰度图，并进行残留物占比计算，得到烟丝残留物的面积占比。本发明实现了自动化实时在线的烟丝桶残留物检测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本，对CenterNet进行改进，将每个检测目标看做是五元点，改善了目标检测精度和召回率，同时检测速度更快，可以满足实时在线检测的使用需求。
上面图3和图4从模块化功能实体的角度对本发明实施例中的烟丝桶残留物检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。
图5是本发明实施例提供的一种电子设备的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对电子设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在电子设备500上执行存储介质530中的一系列指令操作。
电子设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种电子设备，所述电子设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述烟丝桶残留物检测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述烟丝桶残留物检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种烟丝桶残留物检测方法，其特征在于，所述烟丝桶残留物检测方法包括：
获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底HSV图像；
将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像；
将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
2.根据权利要求1所述的烟丝桶残留物检测方法，其特征在于，所述获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果包括：
通过预置摄像头获取烟丝桶图像；
通过预置CenterNet模型对所述烟丝桶图像进行烟丝桶桶底检测，得到烟丝桶桶底的关键点三元组，其中，所述关键点三元组包括所述烟丝桶桶底的中心点、左上角点与右下角点；
在所述关键点三元组的基础上引入右上角点和左下角点，并获取所述烟丝桶桶底的右上角点与左下角点，得到目标检测结果，其中，所述目标检测结果包括所述烟丝桶桶底的四个角点。
3.根据权利要求2所述的烟丝桶残留物检测方法，其特征在于，在所述获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果之前，还包括：
将预置训练数据集中的图像输入CenterNet，提取所述图像的特征图；
通过预置卷积网络对所述特征图进行卷积，得到烟丝桶桶底的预测热力图；
通过预置损失函数优化所述卷积网络的参数，得到所述CenterNet模型。
4.根据权利要求2所述的烟丝桶残留物检测方法，其特征在于，所述基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像包括：
以所述四个角点为顶点，对所述烟丝桶图像进行截图，得到桶底不规则的四边形截图；
对所述四边形截图进行矫正，得到烟丝桶的桶底图像。
5.根据权利要求1所述的烟丝桶残留物检测方法，其特征在于，所述将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底HSV图像包括：
将所述桶底图像的RGB色彩空间转换为HSV色彩空间；
基于所述预置颜色阈值对转换后的桶底图像进行色彩提取，得到桶底HSV图像，其中，所述桶底HSV图像中非所述预置颜色阈值范围内的像素以黑色表示。
6.根据权利要求1所述的烟丝桶残留物检测方法，其特征在于，所述将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像包括：
对所述桶底HSV图像的HSV色彩空间进行色彩提取，并将提取的色彩图像转换为HLS色彩空间；
对转换为HLS色彩空间的图像进行去反光处理，保留亮度小于预置亮度阈值的像素的色彩，得到剔除部分反光干扰的桶底HLS图像；
将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间，并基于预置V分量阈值进行色彩提取，得到无反光的桶底YUV图像。
7.根据权利要求2所述的烟丝桶残留物检测方法，其特征在于，所述将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比包括：
将所述桶底YUV图像转换为灰度图；
计算所述烟丝残留物的像素量与所述桶底YUV图像的像素量的比值，得到所述烟丝残留物的面积占比。
8.一种烟丝桶残留物检测装置，其特征在于，所述烟丝桶残留物检测装置包括：
获取模块，用于获取烟丝桶图像，并通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；
截图模块，用于基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
HSV模块，用于将所述桶底图像的RGB色彩空间转换为HSV色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物区域，并进行色彩提取，得到桶底HSV图像；
YUV模块，用于将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理，得到剔除部分反光干扰的桶底HLS图像，将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次进行去反光处理，得到无反光的桶底YUV图像；
计算模块，用于将所述桶底YUV图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
9.一种电子设备，其特征在于，所述电子设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行如权利要求1-7中任一项所述的烟丝桶残留物检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的烟丝桶残留物检测方法。
CN202210119313.3A 2022-02-08 2022-02-08 烟丝桶残留物检测方法、装置、设备及存储介质 Pending CN114663348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210119313.3A CN114663348A (zh) 2022-02-08 2022-02-08 烟丝桶残留物检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210119313.3A CN114663348A (zh) 2022-02-08 2022-02-08 烟丝桶残留物检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114663348A true CN114663348A (zh) 2022-06-24

Family

ID=82026424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210119313.3A Pending CN114663348A (zh) 2022-02-08 2022-02-08 烟丝桶残留物检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114663348A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375689A (zh) * 2022-10-25 2022-11-22 深圳市华付信息技术有限公司 基于机器视觉的烟丝桶检测方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375689A (zh) * 2022-10-25 2022-11-22 深圳市华付信息技术有限公司 基于机器视觉的烟丝桶检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
US9773302B2 (en) Three-dimensional object model tagging
CN108416355B (zh) 一种基于机器视觉的工业现场生产数据的采集方法
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
CN108875621A (zh) 图像处理方法、装置、计算机设备及存储介质
US20170193644A1 (en) Background removal
CN111489322A (zh) 给静态图片加天空滤镜的方法及装置
CN114663348A (zh) 烟丝桶残留物检测方法、装置、设备及存储介质
CN111062331A (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
CN109903275B (zh) 一种基于自适应多尺度滤波和直方图对比的酒醅发霉区域检测方法
CN115272362A (zh) 一种数字病理全场图像有效区域分割方法、装置
CN118154687A (zh) 基于单目视觉的送餐机器人目标定位与避障方法及系统
CN114267002B (zh) 卷烟厂制丝车间工况监测方法、装置、设备及存储介质
US20210090235A1 (en) Deposit detection device and deposit detection method
US20240029268A1 (en) Image Analysis Method and Apparatus, Computer Device, and Readable Storage Medium
CN111414877B (zh) 去除颜色边框的表格裁切方法、图像处理设备和存储介质
CN115375689B (zh) 基于机器视觉的烟丝桶检测方法、装置、设备及介质
CN110334606B (zh) 画中画定位方法及装置
CN110310239B (zh) 一种基于特性值拟合消除光照影响的图像处理方法
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN116188826A (zh) 一种复杂光照条件下的模板匹配方法及装置
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
CN112581487B (zh) 自动提取检测区域及定位核的方法
CN114820707A (zh) 一种用于摄像头目标自动追踪的计算方法
CN109410227A (zh) 一种基于gvf模型的土地利用图斑轮廓提取算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination