CN115375689A - 基于机器视觉的烟丝桶检测方法、装置、设备及介质 - Google Patents

基于机器视觉的烟丝桶检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115375689A
CN115375689A CN202211309572.9A CN202211309572A CN115375689A CN 115375689 A CN115375689 A CN 115375689A CN 202211309572 A CN202211309572 A CN 202211309572A CN 115375689 A CN115375689 A CN 115375689A
Authority
CN
China
Prior art keywords
tobacco shred
image
residue
barrel bottom
tobacco
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211309572.9A
Other languages
English (en)
Other versions
CN115375689B (zh
Inventor
黄军文
赵士红
陈兴委
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Information Technology Co ltd
Original Assignee
Shenzhen Huafu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co ltd filed Critical Shenzhen Huafu Information Technology Co ltd
Priority to CN202211309572.9A priority Critical patent/CN115375689B/zh
Publication of CN115375689A publication Critical patent/CN115375689A/zh
Application granted granted Critical
Publication of CN115375689B publication Critical patent/CN115375689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Manufacture Of Tobacco Products (AREA)

Abstract

本申请提供了一种基于机器视觉的烟丝桶检测方法、装置、设备及存储介质，所述方法通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像；根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像；在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比。本申请合理的实现了烟丝残留物检测自动化管理，减少了人工检查出现的漏检问题，提高了生产效率保证了产品质量。

Description

基于机器视觉的烟丝桶检测方法、装置、设备及介质
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种基于机器视觉的烟丝桶检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
为实现智慧工厂建设，卷烟厂通过对机器视觉等领域的探索，综合运用人工智能技术来解决完全依靠人工在岗检测以及漏检问题，实现稳质、增效、降本。基于机器视觉自动检测烟丝桶清扫残留物并计算烟丝桶残留物占比，可以更合理的实现自动化管理，减少以往每次人工检查出现的漏检问题，提高生产效率保证产品质量。
现有技术中，卷烟厂生产线烟丝桶清洁区在清扫机器人清扫后，烟丝桶残留状态需要依靠人工在岗检测，无法实现自动检测，从而导致目前烟丝桶残留物检测存在效率低下的问题。
发明内容
本申请提供了一种一种基于机器视觉的烟丝桶检测方法、装置、计算机设备及计算机可读存储介质，以解决烟丝桶残留物检测效率低的技术问题。
第一方面，本申请实施方式提供了一种基于机器视觉的烟丝桶检测方法，包括：
通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像；
根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像；
在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，以根据所述烟丝残留物面积占比进行烟丝桶残留物的检测。
进一步地，所述通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像，包括：
利用所述DBNet网络对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到二值化阈值图，并将所述二值化阈值图与所述DBNet网络中的预测概率图进行前景和背景的联合区分，得到四个精准的桶底角坐标；
根据所述四个桶底角坐标确定所述烟丝桶桶底图像外接框，根据所述烟丝桶桶底图像外接框计算图像倾斜角度，利用所述图像倾斜角度，将所述烟丝桶桶底图像进行仿射变换矫正，得到所述桶底矫正图像。
进一步地，所述利用所述DBNet网络对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到二值化阈值图，包括：
获取所述DBNet网络的阈值图，利用所述阈值图分支学习得到二值化阈值，并将所述二值化阈值与分割网络一起训练得到优化后的二值化阈值，利用优化后的二值化阈值对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到所述二值化阈值图。
进一步地，所述根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像，还包括：
将所述桶底矫正图像的RGB色彩空间转为HSV色彩空间，根据所述HSV色彩空间的色调阈值、饱和度阈值、明度阈值，对所述HSV色彩空间进行筛选，得到HSV烟丝残留物图像；
将所述HSV烟丝残留物图像的HSV色彩空间转为HLS色彩空间，通过调节所述HLS色彩空间中的色相阈值、亮度阈值及饱和度阈值，去除所述HSV烟丝残留物图像中的反光部分，得到剔除反光影响的HSV烟丝残留物图像，作为所述烟丝残留物图像；
将所述烟丝残留物图像转为灰度图，得到所述烟丝残留物灰度图像。
进一步地，所述将所述HSV烟丝残留物图像的HSV色彩空间转为HLS色彩空间，通过调节所述HLS色彩空间中的色相阈值、亮度阈值及饱和度阈值去除所述HSV烟丝残留物图像中的反光，得到剔除反光影响的烟丝残留物图像，包括：
设定所述HSV烟丝残留物图像的色相阈值、亮度阈值，调节所述HSV烟丝残留物图像的饱和度阈值，根据所述HSV烟丝残留物图像的色相阈值、亮度阈值和调节后的HSV烟丝残留物图像的饱和度阈值过滤得到低饱和度HLS烟丝残留物图像和高饱和度HLS烟丝残留物图像；
将所述高饱和度HLS烟丝残留物图像减去低饱和度HLS烟丝残留物图像得到剔除反光影响的烟丝残留物图像。
进一步地，所述烟丝残留物图像中除残留物之外的其他区域像素值为0。
进一步地，所述在烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，包括：
利用所述烟丝残留物灰度图像，计算烟丝残留物像素数量；
根据所述烟丝残留物灰度图像的宽度和高度，计算得到烟丝残留物灰度图像像素总数量；
根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比。
第二方面，本申请还提供了一种基于机器视觉的烟丝桶检测装置，所述基于机器视觉的烟丝桶检测装置包括：
图像矫正模块，用于通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像；
阈值过滤模块，用于根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像；
占比计算模块，用于在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，以根据所述烟丝残留物面积占比进行烟丝桶残留物的检测。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上所述的基于机器视觉的烟丝桶检测方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的基于机器视觉的烟丝桶检测方法。
相比于现有技术，本申请实施方式提供的基于机器视觉的烟丝桶检测方法通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像；根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像；在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，以根据所述烟丝残留物面积占比进行烟丝桶残留物的检测。通过上述方式，本申请基于机器视觉中的DBNet网络获得桶底角坐标，然后基于桶底角坐标对烟丝桶桶底图像进行矫正，并根据阈值过滤方法对矫正后的图像进行自动检测烟丝桶残留物并计算烟丝桶残留物占比，合理的实现了烟丝残留物检测自动化管理，减少了人工检查出现的漏检问题，提高了生产效率保证了产品质量，解决了烟丝桶残留物检测效率低的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施方式技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施方式提供的基于机器视觉的烟丝桶检测方法的流程示意图；
图2为本申请实施方式提供的基于机器视觉的烟丝桶检测方法装置的示意性框图；
图3为本申请的实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
应当理解，为了便于清楚描述本申请实施方式的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
现在生产线烟丝桶清洁区在清扫机器人清扫后存在烟丝残留物，依靠人工在岗检测存在效率低以及漏检，且无法实现烟丝桶残留状态自动检测。
为了解决上述问题，本申请提供了一种基于机器视觉的烟丝桶检测方法。
参阅图1，图1为本申请实施方式提供的基于机器视觉的烟丝桶检测方法的流程示意图，该基于机器视觉的烟丝桶检测方法，应用于基于机器视觉的烟丝桶检测方法装置，包括步骤S101-S103。
步骤S101、通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像。
本实施例中，打开光源相机拍照，采集完整清晰可辨的烟丝桶桶底图像，通过DBNet网络检测该烟丝桶桶底图像得到四个桶底角坐标，根据坐标进行旋转矫正截取桶底该烟丝桶桶底图像，得到桶底矫正图像。
可以理解的是，烟丝桶桶底存在一定角度倾斜，一般目标检测算法检测桶底会导致后续截取到非桶底区域，对像素级要求较高的残留物占比计算问题影响较大。DBNet网络是基于分割的文本检测网络，可以检测自然场景下水平文本、倾斜文本和曲形文本等不同形状的文字。采用DBNet网络检测得到烟丝桶底四个角的坐标，可以得到更精准的桶底区域。
进一步地，步骤S101具体包括：
利用所述DBNet网络对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到二值化阈值图，并将所述二值化阈值图与所述DBNet网络中的预测概率图进行前景和背景的联合区分，得到四个精准的桶底角坐标；
根据所述四个桶底角坐标确定所述烟丝桶桶底图像外接框，根据所述烟丝桶桶底图像外接框计算图像倾斜角度，利用所述图像倾斜角度，将所述烟丝桶桶底图像进行仿射变换矫正，得到所述桶底矫正图像。
本实施例中，利用DBNet网络对烟丝桶桶底图像的每个像素点进行自适应二值化操作，与预测概率图联合区分烟丝桶桶底图的前景和背景，得到精准的桶底角坐标。
根据该DBNet网络检测的桶底四个关键点坐标确定四边形外接框，根据外接框计算倾斜角度，通过仿射变换矫正烟丝桶桶底图像，得到桶底矫正图像。
进一步地，步骤S101具体还包括：
获取所述DBNet网络的阈值图，利用所述阈值图分支学习得到二值化阈值，并将所述二值化阈值与分割网络一起训练得到优化后的二值化阈值，利用优化后的二值化阈值对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到所述二值化阈值图。
本实施例中，二值化阈值由引入的threshold map（阈值图）分支学习得到，将该二值化阈值与分割网络一起训练，使该二值化阈值具有非常强的鲁棒性，利用强鲁棒性的二值化阈值对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到该二值化阈值图。
步骤S102、根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像。
本实施例中，通过DBNet网络检测桶底区域得到桶底矫正图像后，由于桶底矫正图像中存在高光对烟丝残留物检测造成干扰，所以采用色彩空间阈值过滤、高光处理及灰度图转换等步骤对该桶底矫正图像进行处理，得到烟丝残留物灰度图像。
进一步地，步骤S102具体包括：
将所述桶底矫正图像的RGB色彩空间转为HSV色彩空间，根据所述HSV色彩空间的色调阈值、饱和度阈值、明度阈值，对所述HSV色彩空间进行筛选，得到HSV烟丝残留物图像；
将所述HSV烟丝残留物图像的HSV色彩空间转为HLS色彩空间，通过调节所述HLS色彩空间中的色相阈值、亮度阈值及饱和度阈值，去除所述HSV烟丝残留物图像中的反光部分，得到剔除反光影响的HSV烟丝残留物图像，作为所述烟丝残留物图像；
将所述烟丝残留物图像转为灰度图，得到所述烟丝残留物灰度图像。
本实施例中，HSV是一种直观的颜色模型，更接近人们对彩色的感知经验。非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。在 HSV 颜色空间下，比RGB更容易跟踪某种颜色的物体。将桶底矫正图像的RGB色彩空间转为HSV色彩空间，定义色调（H），饱和度（S）和明度（V）的上限和下限，根据阈值得到烟丝残留物区域，即HSV烟丝残留物图像。
由于烟丝桶底存在反光现象，HSV空间颜色提取后会存在部分误差对烟丝残留物判断造成干扰。将HSV烟丝残留物图像的HSV色彩空间转为HLS色彩空间，HLS色彩空间包含色相(H)、亮度(L)、饱和度(S)三个通道，通过调节色相(H)、亮度(L)、饱和度(S)三个通道的阈值去除反光，得到剔除反光影响的烟丝残留物烟丝桶底图像。
表 1 烟丝残留物图像HSV、HLS色彩空间阈值表
minTh maxTh
HSV [0,43,46] [30,255,255]
HLS1 [0,0,0] [255,95,45]
HLS2 [0,0,0] [255,95,255]
通过表1中HSV通道阈值过滤得到图像Ihsv：
Ihsv=I(minTh-hsv, maxTh-hsv)
通过表1中HLS通道阈值过滤得到Ihls1和Ihls2：
Ihls1= Ihsv(minTh-hls1, maxTh-hls1)
Ihls2=Ihsv(minTh-hls2, maxTh-hls2)
最终得到只含有残留物，其他区域为像素值为0的Iout：
Iout= Ihls2- Ihls1
将烟丝残留物图像转为灰度图。
进一步地，步骤S102具体还包括：
设定所述HSV烟丝残留物图像的色相阈值、亮度阈值，调节所述HSV烟丝残留物图像的饱和度阈值，根据所述HSV烟丝残留物图像的色相阈值、亮度阈值和调节后的HSV烟丝残留物图像的饱和度阈值过滤得到低饱和度HLS烟丝残留物图像和高饱和度HLS烟丝残留物图像；
将所述高饱和度HLS烟丝残留物图像减去低饱和度HLS烟丝残留物图像得到剔除反光影响的烟丝残留物图像。
本实施例中，通过调节所述HSV烟丝残留物图像的饱和度阈值得到低饱和度HLS烟丝残留物图像Ihls1和高饱和度HLS烟丝残留物图像Ihls2，具体公式为：
Ihls1= Ihsv(minTh-hls1, maxTh-hls1)
Ihls2=Ihsv(minTh-hls2, maxTh-hls2)
将所述高饱和度HLS烟丝残留物图像减去低饱和度HLS烟丝残留物图像，最终得到只含有残留物，其他区域为像素值为0的图像Iout，具体公式为：
Iout= Ihls2- Ihls1
步骤S103、在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，以根据所述烟丝残留物面积占比进行烟丝桶残留物的检测。
本实施例中，在烟丝残留物灰度图像中计算烟丝残留物像素数量Gary(Iout)>0，Gary函数用于统计Iout中像素值大于0的像素数量，并根据烟丝残留物灰度图像宽度w和高度h计算整张图像像素总数量w*h，二者比值ratio即烟丝残留物面积占比，并根据实际情况判断烟丝桶干净或者残留状态，实现自动实时在线检测，具体计算公式如下：
ratio=((Gary(Iout)>0)/(w*h)
检测烟丝桶底经过清扫机器人清理后是否还有烟丝残留物，通过烟丝桶底检测确定桶底区域，桶底存在高光对烟丝残留物检测造成干扰，色彩空间阈值过滤、高光处理，灰度图转换得到残留物分割图，进而确定残留物占比。整个流程图为：首先获取烟丝桶图像，然后通过DBNet网络进行桶底检测，即检测并截取烟丝桶桶底的四个桶底角坐标，再对截取后的图像进行旋转矫正，得到精准桶底区域，再根据HSV、HLS阈值过滤方法对矫正后的精准桶底区域剔除高光和其他干扰区域，保留残留物，最后对处理后的灰度图，统计残留物占比，即计算残留物占比。
由此，通过使用倾斜文本检测网络和倾斜矫正得到更精准的桶底，解决了烟丝桶底存在倾斜的现象；色彩空间过滤、剔除高光得到准确的烟丝残留物；实现了自动化实时在线检测卷烟厂烟丝桶清扫残留物。将机器视觉广泛地用于工况监视、成品检验和质量控制等场景，提高生产效率和自动化程度，实现智慧化工业管理，具有广泛的应用场景和良好的应用前景。
此外，本发明实施例还提供一种基于机器视觉的烟丝桶检测装置。
请参阅图2，图2是本申请的实施例提供一种基于机器视觉的烟丝桶检测装置的示意性框图。
如图2所示，该基于机器视觉的烟丝桶检测装置包括：
图像矫正模块10，用于通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像；
阈值过滤模块20；用于根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像；
占比计算模块30；用于在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，以根据所述烟丝残留物面积占比进行烟丝桶残留物的检测。
进一步地，所述图像矫正模块包括：
坐标获取单元，用于利用所述DBNet网络对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到二值化阈值图，并将所述二值化阈值图与所述DBNet网络中的预测概率图进行前景和背景的联合区分，得到四个精准的桶底角坐标；
变换矫正单元，用于根据所述四个桶底角坐标确定所述烟丝桶桶底图像外接框，根据所述烟丝桶桶底图像外接框计算图像倾斜角度，利用所述图像倾斜角度，将所述烟丝桶桶底图像进行仿射变换矫正，得到所述桶底矫正图像。
进一步地，所述阈值过滤模块包括：
HSV筛选单元，用于将所述桶底矫正图像的RGB色彩空间转为HSV色彩空间，根据所述HSV色彩空间的色调阈值、饱和度阈值、明度阈值，对所述HSV色彩空间进行筛选，得到HSV烟丝残留物图像；
HLS筛选单元，用于将所述HSV烟丝残留物图像的HSV色彩空间转为HLS色彩空间，通过调节所述HLS色彩空间中的色相阈值、亮度阈值及饱和度阈值，去除所述HSV烟丝残留物图像中的反光部分，得到剔除反光影响的HSV烟丝残留物图像，作为所述烟丝残留物图像；
灰度转换单元，用于将所述烟丝残留物图像转为灰度图，得到所述烟丝残留物灰度图像。
进一步地，所述占比计算模块包括：
残留物计算单元，用于利用所述烟丝残留物灰度图像，计算烟丝残留物像素数量；
像素总数量计算单元，用于根据所述烟丝残留物灰度图像的宽度和高度，计算得到烟丝残留物灰度图像像素总数量；
占比计算单元，用于根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比。
进一步地，所述图像矫正模块还包括：
二值化单元，用于获取所述DBNet网络的阈值图，利用所述阈值图分支学习得到二值化阈值，并将所述二值化阈值与分割网络一起训练得到优化后的二值化阈值，利用优化后的二值化阈值对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到所述二值化阈值图。
进一步地，所述阈值过滤模块还包括：
饱和度调节单元，用于设定所述HSV烟丝残留物图像的色相阈值、亮度阈值，调节所述HSV烟丝残留物图像的饱和度阈值，根据所述HSV烟丝残留物图像的色相阈值、亮度阈值和调节后的HSV烟丝残留物图像的饱和度阈值过滤得到低饱和度HLS烟丝残留物图像和高饱和度HLS烟丝残留物图像；
反光剔除单元，用于将所述高饱和度HLS烟丝残留物图像减去低饱和度HLS烟丝残留物图像得到剔除反光影响的烟丝残留物图像。
请参阅图3，图3是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图3，该计算机设备包括通过模型总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作模型和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于机器视觉的烟丝桶检测方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于机器视觉的烟丝桶检测方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元 (Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项基于机器视觉的烟丝桶检测方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于机器视觉的烟丝桶检测方法，其特征在于，所述基于机器视觉的烟丝桶检测方法包括：
通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像；
根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像；
在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，以根据所述烟丝残留物面积占比进行烟丝桶残留物的检测。
2.根据权利要求1所述的基于机器视觉的烟丝桶检测方法，其特征在于，所述通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，并截取矫正后的图像，得到桶底矫正图像，包括：
利用所述DBNet网络对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到二值化阈值图，并将所述二值化阈值图与所述DBNet网络中的预测概率图进行前景和背景的联合区分，得到四个精准的桶底角坐标；
根据所述四个桶底角坐标确定所述烟丝桶桶底图像外接框，根据所述烟丝桶桶底图像外接框计算图像倾斜角度，利用所述图像倾斜角度，将所述烟丝桶桶底图像进行仿射变换矫正，得到所述桶底矫正图像。
3.根据权利要求2所述的基于机器视觉的烟丝桶检测方法，其特征在于，所述利用所述DBNet网络对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到二值化阈值图，包括：
获取所述DBNet网络的阈值图，利用所述阈值图分支学习得到二值化阈值，并将所述二值化阈值与分割网络一起训练得到优化后的二值化阈值，利用优化后的二值化阈值对所述烟丝桶桶底图像中所有像素点进行自适应二值化操作，得到所述二值化阈值图。
4.根据权利要求1所述的基于机器视觉的烟丝桶检测方法，其特征在于，所述根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像，还包括：
将所述桶底矫正图像的RGB色彩空间转为HSV色彩空间，根据所述HSV色彩空间的色调阈值、饱和度阈值、明度阈值，对所述HSV色彩空间进行筛选，得到HSV烟丝残留物图像；
将所述HSV烟丝残留物图像的HSV色彩空间转为HLS色彩空间，通过调节所述HLS色彩空间中的色相阈值、亮度阈值及饱和度阈值，去除所述HSV烟丝残留物图像中的反光部分，得到剔除反光影响的HSV烟丝残留物图像，作为所述烟丝残留物图像；
将所述烟丝残留物图像转为灰度图，得到所述烟丝残留物灰度图像。
5.根据权利要求4所述的基于机器视觉的烟丝桶检测方法，其特征在于，所述将所述HSV烟丝残留物图像的HSV色彩空间转为HLS色彩空间，通过调节所述HLS色彩空间中的色相阈值、亮度阈值及饱和度阈值去除所述HSV烟丝残留物图像中的反光，得到剔除反光影响的烟丝残留物图像，还包括：
设定所述HSV烟丝残留物图像的色相阈值、亮度阈值，调节所述HSV烟丝残留物图像的饱和度阈值，根据所述HSV烟丝残留物图像的色相阈值、亮度阈值和调节后的HSV烟丝残留物图像的饱和度阈值过滤得到低饱和度HLS烟丝残留物图像和高饱和度HLS烟丝残留物图像；
将所述高饱和度HLS烟丝残留物图像减去低饱和度HLS烟丝残留物图像得到剔除反光影响的烟丝残留物图像。
6.根据权利要求1所述的基于机器视觉的烟丝桶检测方法，其特征在于，所述烟丝残留物图像中除残留物之外的其他区域像素值为0。
7.根据权利要求1-6中任意一项所述的基于机器视觉的烟丝桶检测方法，其特征在于，所述在烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，包括：
利用所述烟丝残留物灰度图像，计算烟丝残留物像素数量；
根据所述烟丝残留物灰度图像的宽度和高度，计算得到烟丝残留物灰度图像像素总数量；
根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比。
8.一种基于机器视觉的烟丝桶检测装置，其特征在于，所述基于机器视觉的烟丝桶检测装置包括：
图像矫正模块，用于通过DBNet网络检测待检测的烟丝桶桶底图像，得到四个桶底角坐标，根据所述桶底角坐标对所述烟丝桶桶底图像进行旋转矫正，得到桶底矫正图像；
阈值过滤模块；用于根据预设阈值过滤方法，对所述桶底矫正图像进行处理，得到烟丝残留物图像，并将所述烟丝残留物图像转为烟丝残留物灰度图像；
占比计算模块；用于在所述烟丝残留物灰度图像中提取烟丝残留物像素数量，根据所述烟丝残留物像素数量和所述烟丝残留物灰度图像像素总数量计算得到烟丝残留物面积占比，以根据所述烟丝残留物面积占比进行烟丝桶残留物的检测。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的基于机器视觉的烟丝桶检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的基于机器视觉的烟丝桶检测方法。
CN202211309572.9A 2022-10-25 2022-10-25 基于机器视觉的烟丝桶检测方法、装置、设备及介质 Active CN115375689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211309572.9A CN115375689B (zh) 2022-10-25 2022-10-25 基于机器视觉的烟丝桶检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211309572.9A CN115375689B (zh) 2022-10-25 2022-10-25 基于机器视觉的烟丝桶检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115375689A true CN115375689A (zh) 2022-11-22
CN115375689B CN115375689B (zh) 2023-07-07

Family

ID=84072541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211309572.9A Active CN115375689B (zh) 2022-10-25 2022-10-25 基于机器视觉的烟丝桶检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115375689B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292248A (zh) * 2023-10-30 2023-12-26 吉林农业大学 基于深度学习的农田喷药系统及杂草检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150306A1 (en) * 2001-04-11 2002-10-17 Baron John M. Method and apparatus for the removal of flash artifacts
US20050141002A1 (en) * 2003-12-26 2005-06-30 Konica Minolta Photo Imaging, Inc. Image-processing method, image-processing apparatus and image-recording apparatus
CN113361315A (zh) * 2021-02-23 2021-09-07 仲恺农业工程学院 基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法
CN114663348A (zh) * 2022-02-08 2022-06-24 深圳市华付信息技术有限公司 烟丝桶残留物检测方法、装置、设备及存储介质
CN115019310A (zh) * 2022-08-05 2022-09-06 上海蜜度信息技术有限公司 图文识别方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150306A1 (en) * 2001-04-11 2002-10-17 Baron John M. Method and apparatus for the removal of flash artifacts
US20050141002A1 (en) * 2003-12-26 2005-06-30 Konica Minolta Photo Imaging, Inc. Image-processing method, image-processing apparatus and image-recording apparatus
CN113361315A (zh) * 2021-02-23 2021-09-07 仲恺农业工程学院 基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法
CN114663348A (zh) * 2022-02-08 2022-06-24 深圳市华付信息技术有限公司 烟丝桶残留物检测方法、装置、设备及存储介质
CN115019310A (zh) * 2022-08-05 2022-09-06 上海蜜度信息技术有限公司 图文识别方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨敏等: "肤色检测中的颜色空间", 《福建电脑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292248A (zh) * 2023-10-30 2023-12-26 吉林农业大学 基于深度学习的农田喷药系统及杂草检测方法
CN117292248B (zh) * 2023-10-30 2024-04-26 吉林农业大学 基于深度学习的农田喷药系统及杂草检测方法

Also Published As

Publication number Publication date
CN115375689B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN109242853B (zh) 一种基于图像处理的pcb缺陷智能检测方法
CN106682665B (zh) 一种基于计算机视觉的七段式数显仪表数字识别方法
CN108830832A (zh) 一种基于机器视觉的塑料筒表面缺陷检测算法
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN104458748A (zh) 基于机器视觉的铝型材表面缺陷检测方法
CN101114340A (zh) 直方图均衡化图像处理的vlsi实现系统及方法
CN109087363B (zh) 一种基于hsv颜色空间的污水排放检测方法
CN102831381A (zh) 影像差异比较系统及方法
CN115082466B (zh) 一种pcb表面焊点缺陷检测方法及系统
CN111476758A (zh) Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质
CN115375689A (zh) 基于机器视觉的烟丝桶检测方法、装置、设备及介质
CN105225281A (zh) 一种车辆检测方法
CN111221996B (zh) 仪表屏幕视觉检测方法和系统
TWI383690B (zh) 影像處理的方法
CN116188379A (zh) 边缘缺陷检测方法、装置、电子设备及存储介质
CN113971681A (zh) 一种复杂环境下带式输送机边缘检测方法
CN113283439B (zh) 基于图像识别的智能计数方法、装置及系统
Wu et al. Steel bars counting and splitting method based on machine vision
Tabatabaei et al. A novel method for binarization of badly illuminated document images
CN114663348A (zh) 烟丝桶残留物检测方法、装置、设备及存储介质
CN113902734A (zh) 阴阳树脂分离控制方法及装置
JP3897306B2 (ja) 地理画像間変化領域の抽出の支援方法及び地理画像間変化領域の抽出を支援可能なプログラム
CN113435287A (zh) 草地障碍物识别方法、装置、割草机器人及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen Huafu Technology Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: SHENZHEN HUAFU INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant