CN112577960B - 烟叶中的杂质检测方法、系统及计算机可读存储介质 - Google Patents
烟叶中的杂质检测方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112577960B CN112577960B CN202011437763.4A CN202011437763A CN112577960B CN 112577960 B CN112577960 B CN 112577960B CN 202011437763 A CN202011437763 A CN 202011437763A CN 112577960 B CN112577960 B CN 112577960B
- Authority
- CN
- China
- Prior art keywords
- images
- impurity
- overlapping
- image
- impurities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012535 impurity Substances 0.000 title claims abstract description 262
- 241000208125 Nicotiana Species 0.000 title claims abstract description 97
- 235000002637 Nicotiana tabacum Nutrition 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 6
- 238000005520 cutting process Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000004519 manufacturing process Methods 0.000 claims abstract description 10
- 238000006116 polymerization reaction Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 13
- 230000000379 polymerizing effect Effects 0.000 claims description 3
- 239000002994 raw material Substances 0.000 abstract description 15
- 239000002245 particle Substances 0.000 abstract description 5
- 239000000463 material Substances 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000003908 quality control method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 235000019504 cigarettes Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- -1 for example Substances 0.000 description 1
- 125000000623 heterocyclic group Chemical group 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种烟叶中的杂质检测方法、系统及计算机可读存储介质，其中所述方法包括：采集流水线上的烟叶图像；对所述烟叶图像进行交叠切分，得到多个切分图像；对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标；若所述杂质图像的数量有多个，对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标。本申请通过机器学习的一种深度神经网络算法从海量的烟叶原料流水线图像中找出小颗粒的既不是烟叶又不是辅料的杂质，并定位其所在位置以供后道工序对杂质进行处理。
Description
技术领域
本申请涉及烟草工业领域，尤其涉及一种烟叶中的杂质检测方法、系统及计算机可读存储介质。
背景技术
近年生活水平的提高消费者对各个档次的香烟品牌有了更高且多样化的要求，随着烟叶产地的多元化使香烟的品质控制成为重要的课题。其中制丝环节的烟叶杂质剔除环节由于杂质种类繁多、原料流量大、杂质容易被原料覆盖等原因在部分除杂环节依然依赖工作人员的知识经验、技能的熟练程度并且长时间保持专注度进行人工辨识小颗粒杂质。但随着品控要求的提高、产量的扩大，现有的人工除杂方式已经无法满足生产的需要。因此如何在保证品控水平的前提下，减少对人的知识经验、注意力、反应速度的依赖程度，降低工作人员的劳动强度成为重要的问题。
发明内容
本申请实施例提供了一种烟叶中的杂质检测方法，能在保证品控水平的前提下，减少对人的知识经验、注意力、反应速度的依赖程度，降低工作人员的劳动强度。
第一方面，提供了一种烟叶中的杂质检测方法，该方法包括：
采集流水线上的烟叶图像，所述烟叶图像包括烟叶和所述烟叶中的杂质；
对所述烟叶图像进行交叠切分，得到多个切分图像；
对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标；
若所述杂质图像有多个，则对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标。
可选的，所述得到所述杂质的杂质坐标之后，还包括：
将所述杂质的杂质坐标发送至后道工序接收模块，以对所述杂质进行后道工序处理。
可选的，所述对所述烟叶图像进行交叠切分，得到多个切分图像包括：
将所述烟叶图像进行无交叠切分，得到多个无交叠的第一图像；
在多个无交叠的所述第一图像中沿宽度方向进行跨图像的交叠切分，得到多个有交叠的第二图像；
在多个无交叠的所述第一图像中沿高度方向进行跨图像的交叠切分，得到多个有交叠的第三图像；
在多个无交叠的所述第一图像中沿宽度方向及高度方向进行跨四张无交叠图像的切分处理，得到多个有交叠的第四图像；
将多个所述第一图像、多个所述第二图像、多个所述第三图像及多个所述第四图像，确定为多个所述切分图像。
可选的，所述在多个无交叠的所述第一图像中沿宽度方向进行跨图像的交叠切分，得到多个有交叠的第二图像包括：
在多个无交叠的所述第一图像中沿宽度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第二图像。
可选的，所述在多个无交叠的所述第一图像中沿高度方向进行跨图像的交叠切分，得到多个有交叠的第三图像包括：
在多个无交叠的所述第一图像中沿高度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第三图像。
可选的，所述对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标包括：
采用深度神经网络算法对多个所述切分图像各自所包括的物体进行杂质识别，确定存在有杂质的至少一个杂质图像，并记录每个所述杂质图像的坐标。
可选的，所述对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标包括：
从多个所述杂质图像中确定出存在有重叠区域的多个第一目标图像及不存在有重叠区域的多个第二目标图像，所述重叠区域包括直接重叠区域和/或间接重叠区域；
将多个所述第一目标图像的坐标合并为一个杂质的杂质坐标；
将多个所述第二目标图像的坐标对应确定为多个杂质的杂质坐标。
可选的，所述将多个所述第一目标图像的坐标合并为一个杂质的杂质坐标包括：
将多个所述第一目标图像各自的中心点坐标合并为一个杂质的杂质坐标。
第二方面，提供了一种烟叶中的杂质检测系统，所述烟叶中的杂质检测系统可执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。该模块可以是软件和/或硬件，例如图像采集模块、图像切分模块、图像识别模块、结果聚合模块及后道工序接收模块等。
第三方面，提供了一种烟叶中的杂质检测系统，该系统包括：处理器以及和处理器相连的存储器；其中，该存储器包括计算机可读指令；该处理器用于执行该存储器中的计算机可读指令，从而使得该终端设备执行上述第一方面或第一方面的任意一种可选的实施方式中的方案。
第四方面，提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第五方面，提供了一种芯片产品，执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第六方面，提了供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
通过实施本申请，能准确定位烟叶原料中的杂质并输出杂质坐标给后道工序，提高了烟叶原料全数杂质检测的时效性、杂质识别标准的一致性，降低了对人员的知识经验、反映速度以及长时间的注意力的依赖程度，有效保证了品质控制的要求。
附图说明
图1是本申请实施例提供的一种烟叶中的杂质检测场景的场景示意图。
图2是本申请实施例提供的一种烟叶中的杂质检测方法的流程示意图。
图3是本申请实施例提供的一种图像交叠切分的示意图。
图4是本申请实施例提供的一种深度神经网络算法的内部结构图。
图5是本申请实施例提供的一种杂质坐标聚合的示意图。
图6是本申请实施例提供的一种烟叶中的杂质检测系统的结构示意图。
图7是本申请实施例提供的另一种烟叶中的杂质检测系统的结构示意图。
具体实施方式
下面结合附图对本申请具体实施例作进一步的详细描述。
请参见图1，是本申请实施例提供的一种烟叶中的杂质检测场景的场景示意图。如图1所示的场景中包括：流水线101、流水线上的烟叶原料或者含辅料的烟叶原料(也可称为烟叶)102、烟叶中的杂质(也可称为杂物，例如小颗粒杂物等)103、图像采集模块601、图像切分模块602、图像识别模块603、结果聚合模块604及后道工序接收模块605。其中，
图像采集模块601需固定在流水线的上方，将拍摄的范围尽可能地覆盖需要检测的流水线的区域，该区域至少需要包括可能掺杂着杂质的烟叶原料及传送带。图像采集模块601可使用摄像机、照相机、红外接收器、超声波接收器等可以接受可见光、非可见光、声波、震动、电磁信号等物理特征的器件来实现，也可使用将能接收的信号转换为数字/模拟信号的传感器来实现等。图像采集模块601采集的原始数据可放在自身模块合成图像，也可将原始数据传输到图像处理模块中合成图像，该图像处理模块可由图像切分模块、图像识别模块和结果聚合模块等模块功能集合实现。
图像采集模块601可采用拥有GigE的彩色工业相机，以1/960秒的快门速度对流水线进行每秒12帧的拍摄，将拍摄的图像用以太网的方式传给图像处理模块。采集的图像中包含流水线、烟叶原料或含辅料的烟叶原料和小颗粒杂质等图像信息。
本申请实施例中的图像切分模块602、图像识别模块603和结果聚合模块604运行在X86平台框架处理器的windows7平台上，其支持POE的图像采集卡，该图像采集卡将接收的图像转换为视频流，由运行在windows7上的识别程序通过PCIe x4读取视频流。视频流中的每帧图像的尺寸可为1000×400个像素。
图像切分模块602可将视频流中的每张图像进行小尺寸的交叠拆分，得到多张小尺寸图像。其中，小尺寸图像的尺寸可预设为250×200个像素等。小尺寸图像的尺寸需大于杂质可识别的最小尺寸，但小于杂质出现在原始图像中的最大尺寸之间。一般为杂质可识别的最小尺寸与杂质出现在原始图像的最大尺寸沿高度方向及宽度方向上分别进行的算术平均。
图像识别模块603由运行在windows7上的识别程序通过英伟达Tesla P100图像处理卡，识别小尺寸图像中是否存在有杂质，如果有则记录该图像的(位置)坐标作为该杂质的候选坐标。
结果聚合模块604由运行在windows7上的结果聚合程序通过合并有重叠的小尺寸图像的候选坐标，生成最终的杂质的坐标(简称为杂质坐标)。如果小尺寸图像没有直接重叠区域或间接重叠区域则不进行坐标合并，分别将小尺寸图像的中心点坐标作为杂质坐标，传送给后道工序接收模块605。
后道工序接收模块605接收杂质的杂质坐标后，对杂质进行后道工序处理，例如除杂、针对杂质预警等等。其中，图像采集模块601、图像切分模块602、图像识别模块603、结果聚合模块604及后道工序接收模块605可组成烟叶中的杂质检测系统(以下简称为系统)，本系统通过流水线上采集的图像，经过图像切分、杂质候选位置识别、杂质候选位置的筛序合并、杂质位置的输出，以供后道工序处理该杂质。
请参见图2，是本申请实施例提供的一种烟叶中的杂质检测方法的流程示意图。如图2所示的方法包括如下实施步骤。
S201、系统采集流水线上的烟叶图像，所述烟叶图像包括烟叶和所述烟叶中的杂质。
本申请系统通过图像采集模块601采集流水线上的烟叶图像，该烟叶图像中包括有烟叶及烟叶中掺杂的杂质。
S202、系统对所述烟叶图像进行交叠切分，得到多个切分图像。
系统通过图像切分模块602对烟叶图像进行小尺寸的交叠切分，从而得到多个切分图像。其中，切分图像的尺寸大于杂质能识别的最小尺寸，且小于杂质位于烟叶图像中的最大尺寸。通常为杂质能识别的最小尺寸和杂质位于烟叶图像中的最大尺寸沿高度方向和宽度方向上分别进行的算术平均。
作为一种可能的实施方式，系统将烟叶图像进行无交叠切分得到多个无交叠的第一图像，即先切分出无交叠的小尺寸图像。然后基于多个无交叠的第一图像，沿宽度方向进行跨图像的交叠切分得到多个有交叠的第二图像，即依次切分出宽度方向上跨两张或多张无交叠图像的小尺寸图像。基于多个无交叠的第一图像，沿高度方向进行跨图像的交叠切分得到多个有交叠的第三图像，即依次切分出高度方向上跨两张或多张无交叠图像的小尺寸图像。基于多个无交叠的第一图像，沿宽度方向及高度方向进行跨四张无交叠图像的切分处理得到多个有交叠的第四图像，即依次切分出宽度方向和高度方向上跨四张无交叠图像的小尺寸图像。最后，上述切分出的多个第一图像、第二图像、第三图像及第四图像即为获得的多个切分图像。可选的，系统还可将切分出的多个切分图像(即多张小尺寸图像)生成烟叶图像对应的小尺寸图像集。
在一具体实施例中，系统沿宽度方向将相邻两个无交叠的第一图像进行跨两张无交叠图像的切分处理，从而得到对应的多个有交叠的第二图像。相应地系统还可沿高度方向将相邻两个无交叠的第一图像对应进行跨两张无交叠图像的切分处理，从而得到对应的多个有交叠的第三图像。
举例来说，假设烟叶图像的尺寸为1000×400，切分图像的尺寸为250×200。系统对烟叶图像进行交叠切分时，可先切分出无交叠的第一图像14，如图3所示，该类图像有2行4列共8张第一图像。然后在相邻的无交叠的第一图像14上切分出宽度方向上跨两张第一图像14的有交叠的第二图像15，该类图像如图本例中有2行3列共6张第二图像。进一步在相邻的无交叠的第一图像14上切分出高度方向上跨两张第一图像14的有交叠的第三图像16，该类图像如图本例中有1行4列共4张图像。在相邻的无交叠的第一图像14上切分出高度方向上跨四张第一图像14的有交叠的第四图像17，该类图像如图本例中有1行3列共3张图像。由此可知如图3中，1000×400的烟叶图像中共交叠切分出21个250×200的切分图像。
S203、系统对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标。
本申请系统可通过图像识别模块603对多个切分图像中的每个切分图像进行杂质识别，以从多个切分图像中识别出存在有杂质的一个或多个杂质图像，并记录该杂质图像的坐标及尺寸。
在一具体实施例中，系统可采用深度神经网络算法对多个切分图像中包括的物体进行杂质识别，确定出存在杂质的至少一个杂质图像，并记录该杂质图像的坐标作为杂质的候选坐标。请参见图4示出一种深度神经网络算法的内部结构示意图，该深度神经网络算法中包括有输入层41、图像特征层42、分类特征层43及输出层44。具体地，系统将每个切分图像先以多维数组的形式进入输入层41，然后通过图像特征层42中的多个卷积层和池化层将切分图像中的杂质的特征抽取出来，然后通过分类特征层43分析获得是否是杂质的分类结果，最后通过输出层44输出分类结果。该分类结果可用于指示该切分图像中是否包括有杂质，进一步还可用于指示杂质的分类等等，本申请不做限定。
S204、若所述杂质图像的数量有多个时，系统对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标。
系统通过结果聚合模块604对多个杂质图像的坐标进行聚合处理得到烟叶图像中杂质的杂质坐标。具体的，若杂质图像的数量有多个时，系统可分析多个杂质图像中存在有重叠区域的多个第一目标图像，例如存在直接重叠或间接重叠区域的图像，以及不存在重叠区域的多个第二目标图像，然后将存在有重叠区域的多个第一目标图像的坐标合并为一个杂质的杂质坐标，将不存在重叠区域的多个第二目标图像的坐标对应视为多个杂质的杂质坐标。例如，系统将多个第一目标图像的中心点坐标合并为一个杂质的杂质坐标，将多个第二目标图像的中心点坐标对应视为多个杂质的杂质坐标，进而传输至后道工序接收模块处理。
举例来说，请参见图5示出一种杂质坐标聚合的具体示意图。假设系统识别出存在有杂质的杂质图像有图像18、图像19、图像20、图像21及图像22，如图5中系统识别到图像18和图像19存在(直接)重叠区域，图像19和图像20存在(直接)重叠区域，则图像18和图像20存在间接重叠区域。图像21和图像22不存在重叠区域，即既没有直接重叠区域又没有经过其他切分图像产生的间接重叠区域。此时，系统可将图像18、图像19及图像20各自的中心点坐标沿着高度方向和宽度方向分别采用诸如算法平均的方式、加权平均的方式、或者取中位数的方式等算法方式合并为一个杂质的杂质坐标，并将该杂质坐标传输给后道工序接收模块605。
然而图像21和图像22不存在重叠区域，则系统不合并图像坐标，将这两个图像各自的中心点坐标对应作为两个杂质的杂质坐标，分别传输给后道工序接收模块605。
在可选实施例中，系统将获得的至少一个杂质的杂质坐标发送给后道工序接收模块605。后道工序接收模块605接收杂质的杂质坐标后，可对相应杂质进行后道工序处理，例如除杂、预警等等。
通过实施本申请，通过机器学习的方式识别并定位烟叶原料中的杂质并输出杂质坐标给后道工序，提高了烟叶原料全数杂质检测的时效性、杂质识别标准的一致性，降低了对人员的知识经验、反映速度以及长时间的注意力的依赖程度，有效保证了品质控制的要求。
请参见图6，是本申请实施例提供的一种烟叶中的杂质检测系统的结构示意图。如图6所示的系统中包括图像采集模块601、图像切分模块602、图像识别模块603及结果聚合模块604；其中：
所述图像采集模块601，用于采集流水线上的烟叶图像，所述烟叶图像包括烟叶和所述烟叶中的杂质；
所述图像切分模块602，用于对所述烟叶图像进行交叠切分，得到多个切分图像；
所述图像识别模块603，用于对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标；
所述结果聚合模块604，用于若所述杂质图像的数量有多个，则对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标。
可选地，所述系统还包括后道工序接收模块605，其中：
所述后道工序接收模块605，用于接收所述杂质的杂质坐标，以对所述杂质进行后道工序处理。
可选的，所述图像切分模块602具体用于：
将所述烟叶图像进行无交叠切分，得到多个无交叠的第一图像；
在多个无交叠的所述第一图像中沿宽度方向进行跨图像的交叠切分，得到多个有交叠的第二图像；
在多个无交叠的所述第一图像中沿高度方向进行跨图像的交叠切分，得到多个有交叠的第三图像；
在多个无交叠的所述第一图像中沿宽度方向和高度方向进行跨四张无交叠图像的切分处理，得到多个有交叠的第四图像；
将多个所述第一图像、多个所述第二图像、多个所述第三图像及多个所述第四图像，确定为多个所述切分图像。
可选的，所述图像切分模块602具体用于在多个无交叠的所述第一图像中沿宽度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第二图像。
可选的，所述图像切分模块602具体用于在多个无交叠的所述第一图像中沿高度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第三图像。
可选的，所述图像识别模块603具体用于采用深度神经网络算法对多个所述切分图像各自所包括的物体进行杂质识别，确定存在有杂质的至少一个杂质图像，并记录每个所述杂质图像的坐标。
可选的，所述结果聚合模块604具体用于：
从多个所述杂质图像中确定出存在有重叠区域的多个第一目标图像及不存在有重叠区域的多个第二目标图像，所述重叠区域包括直接重叠区域和/或间接重叠区域；
将多个所述第一目标图像的坐标合并为一个杂质的杂质坐标；
将多个所述第二目标图像的坐标对应确定为相应数量杂质的杂质坐标。
可选的，所述结果聚合模块604具体用于将多个所述第一目标图像各自的中心点坐标合并为一个杂质的杂质坐标。
可选的，所述切分图像的尺寸大于所述杂质在图像中能识别的最小尺寸，且小于所述杂物位于所述烟叶图像中的最大尺寸。
通过实施本申请，通过机器学习中的一种深度神经网络算法从海量的烟叶原料流水线图像中找出既不是烟叶又不是辅料的杂质，并定位烟叶原料中杂质的杂质坐标，以供后道工序对杂质进行处理，提高了烟叶原料全数杂质检测的时效性、杂质识别标准的一致性，降低了对人员的知识经验、反映速度以及长时间的注意力的依赖程度，有效保证了品质控制的要求。
请参见图7，图7是本申请实施例提供的另一种烟叶中的杂质检测系统的结构示意图。如图7所示的系统包括：至少一个输入设备701；至少一个输出设备702；至少一个处理器703，例如CPU；和存储器704，上述输入设备701、输出设备702、处理器703和存储器704通过总线705连接。
其中，上述输入设备701具体可为移动终端的触控面板，包括触摸屏和触控屏，用于检测终端触控面板上的操作指令。
上述输出设备702具体可为移动终端的显示屏，用于输出、显示信息。
上述存储器704可以是高速RAM存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。上述存储器704用于存储一组程序代码，上述输入设备701、输出设备702和处理器703用于调用存储器704中存储的程序代码执行相应操作，其中处理器703具体用于执行如下操作：
采集流水线上的烟叶图像，所述烟叶图像包括烟叶和所述烟叶中的杂质；
对所述烟叶图像进行交叠切分，得到多个切分图像；
对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标；
若所述杂质图像的数量有多个，则对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标。
可选的，所述得到所述杂质的杂质坐标之后，处理器703还用于执行如下步骤：
将所述杂质的杂质坐标发送至后道工序接收模块，以对所述杂质进行后道工序处理。
可选的，所述对所述烟叶图像进行交叠切分，得到多个切分图像包括：
将所述烟叶图像进行无交叠切分，得到多个无交叠的第一图像；
在多个无交叠的所述第一图像中沿宽度方向进行跨图像的交叠切分，得到多个有交叠的第二图像；
在多个无交叠的所述第一图像中沿高度方向进行跨图像的交叠切分，得到多个有交叠的第三图像；
在多个无交叠的所述第一图像中沿宽度方向和高度方向进行跨四张无交叠图像的切分处理，得到多个有交叠的第四图像；
将多个所述第一图像、多个所述第二图像、多个所述第三图像及多个所述第四图像，确定为多个所述切分图像。
可选的，所述在多个无交叠的所述第一图像中沿宽度方向进行跨图像的交叠切分，得到多个有交叠的第二图像包括：
在多个无交叠的所述第一图像中沿宽度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第二图像。
可选的，所述在多个无交叠的所述第一图像中沿高度方向进行跨图像的交叠切分，得到多个有交叠的第三图像包括：
在多个无交叠的所述第一图像中沿高度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第三图像。
可选的，所述对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标包括：
采用深度神经网络算法对多个所述切分图像各自所包括的物体进行杂质识别，确定存在有杂质的至少一个杂质图像，并记录每个所述杂质图像的坐标。
可选的，所述杂质图像的数量为多个，所述对至少一个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标包括：
从多个所述杂质图像中确定出存在有重叠区域的多个第一目标图像及不存在有重叠区域的多个第二目标图像，所述重叠区域包括直接重叠区域和/或间接重叠区域；
将多个所述第一目标图像的坐标合并为一个杂质的杂质坐标；
将多个所述第二目标图像的坐标对应确定为相应数量杂质的杂质坐标。
可选的，所述将多个所述第一目标图像的坐标合并为一个杂质的杂质坐标包括：
将多个所述第一目标图像各自的中心点坐标合并为一个杂质的杂质坐标。
可选的，所述切分图像的尺寸大于所述杂质在图像中能识别的最小尺寸，且小于所述杂物位于所述烟叶图像中的最大尺寸。
基于同一发明构思，本申请实施例中提供的终端设备解决问题的原理与本申请方法实施例中控制器解决问题的原理相似，因此各设备的实施可以参见方法的实施，为简洁描述，在这里不再赘述。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例终端设备中的模块可以根据实际需要进行合并、划分和删减。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种烟叶中的杂质检测方法，其特征在于，包括：
采集流水线上的烟叶图像，所述烟叶图像包括烟叶和所述烟叶中的杂质；
对所述烟叶图像进行交叠切分，得到多个切分图像；
对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标；
若所述杂质图像的数量有多个，则对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标；
其中，所述对所述烟叶图像进行交叠切分，得到多个切分图像包括：
将所述烟叶图像进行无交叠切分，得到多个无交叠的第一图像；
在多个无交叠的所述第一图像中沿宽度方向进行跨图像的交叠切分，得到多个有交叠的第二图像；
在多个无交叠的所述第一图像中沿高度方向进行跨图像的交叠切分，得到多个有交叠的第三图像；
在多个所述无交叠的所述第一图像中沿宽度方向及高度方向进行跨四张无交叠图像的切分处理，得到多个有交叠的第四图像；
将多个所述第一图像、多个所述第二图像、多个所述第三图像及多个所述第四图像，确定为多个所述切分图像。
2.根据权利要求1所述的烟叶中的杂质检测方法，其特征在于，所述得到所述杂质的杂质坐标之后，还包括：
将所述杂质的杂质坐标发送至后道工序接收模块，以对所述杂质进行后道工序处理。
3.根据权利要求1所述的烟叶中的杂质检测方法，其特征在于，所述在多个无交叠的所述第一图像中沿宽度方向进行跨图像的交叠切分，得到多个有交叠的第二图像包括：
在多个无交叠的所述第一图像中沿宽度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第二图像。
4.根据权利要求1所述的烟叶中的杂质检测方法，其特征在于，所述在多个无交叠的所述第一图像中沿高度方向进行跨图像的交叠切分，得到多个有交叠的第三图像包括：
在多个无交叠的所述第一图像中沿高度方向进行跨两张无交叠图像的切分处理，得到多个有交叠的第三图像。
5.根据权利要求1所述的烟叶中的杂质检测方法，其特征在于，所述对多个所述切分图像进行杂质识别，得到存在杂质的至少一个杂质图像及所述杂质图像的坐标包括：
采用深度神经网络算法对多个所述切分图像各自所包括的物体进行杂质识别，确定存在有杂质的至少一个杂质图像，并记录每个所述杂质图像的坐标。
6.根据权利要求1所述的烟叶中的杂质检测方法，其特征在于，所述对多个所述杂质图像的坐标进行聚合处理，得到所述杂质的杂质坐标包括：
从多个所述杂质图像中确定出存在有重叠区域的多个第一目标图像及不存在有重叠区域的多个第二目标图像，所述重叠区域包括有直接重叠区域和/或间接重叠区域；
将多个所述第一目标图像的坐标合并为一个杂质的杂质坐标；
将多个所述第二目标图像的坐标对应确定为相应数量杂质的杂质坐标。
7.根据权利要求6所述的烟叶中的杂质检测方法，其特征在于，所述将多个所述第一目标图像的坐标合并为一个杂质的杂质坐标包括：
将多个所述第一目标图像各自的中心点坐标合并为一个杂质的杂质坐标。
8.根据权利要求1-7中任一项所述的烟叶中的杂质检测方法，其特征在于，所述切分图像的尺寸大于所述杂质在图像中能识别的最小尺寸，且小于所述杂质位于所述烟叶图像中的最大尺寸。
9.一种烟叶中的杂质检测系统，其特征在于，包括图像采集模块、图像切分模块、图像识别模块、结果聚合模块及后道工序接收模块，对应用于执行如权利要求1-7中任一项所述的烟叶中的杂质检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的烟叶中的杂质检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011437763.4A CN112577960B (zh) | 2020-12-07 | 2020-12-07 | 烟叶中的杂质检测方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011437763.4A CN112577960B (zh) | 2020-12-07 | 2020-12-07 | 烟叶中的杂质检测方法、系统及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112577960A CN112577960A (zh) | 2021-03-30 |
| CN112577960B true CN112577960B (zh) | 2024-05-24 |
Family
ID=75132061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011437763.4A Active CN112577960B (zh) | 2020-12-07 | 2020-12-07 | 烟叶中的杂质检测方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112577960B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113317548B (zh) * | 2021-06-10 | 2022-09-13 | 广东中烟工业有限责任公司 | 一种打叶复烤除杂装置、方法、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007144620A2 (en) * | 2006-06-14 | 2007-12-21 | Ucl Business Plc | Automatic quantification of changes in images |
| CN108335307A (zh) * | 2018-04-19 | 2018-07-27 | 云南佳叶现代农业发展有限公司 | 基于暗原色的自适应烟叶图片分割方法及系统 |
| CN109239082A (zh) * | 2018-09-21 | 2019-01-18 | 杭州安脉盛智能技术有限公司 | 基于机器视觉技术的烟丝结构质量在线检测方法及系统 |
| CN109297969A (zh) * | 2018-12-05 | 2019-02-01 | 上海庚葵贸易有限公司 | 一种烟叶流水线杂质检测方法及系统 |
| CN109493281A (zh) * | 2018-11-05 | 2019-03-19 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111415360A (zh) * | 2020-03-30 | 2020-07-14 | 上海烟草集团有限责任公司 | 烟叶图像切割方法、装置、设备和介质 |
| CN111738236A (zh) * | 2020-08-14 | 2020-10-02 | 之江实验室 | 一种自适应层级的图像切分识别方法、装置及系统 |
-
2020
- 2020-12-07 CN CN202011437763.4A patent/CN112577960B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007144620A2 (en) * | 2006-06-14 | 2007-12-21 | Ucl Business Plc | Automatic quantification of changes in images |
| CN108335307A (zh) * | 2018-04-19 | 2018-07-27 | 云南佳叶现代农业发展有限公司 | 基于暗原色的自适应烟叶图片分割方法及系统 |
| CN109239082A (zh) * | 2018-09-21 | 2019-01-18 | 杭州安脉盛智能技术有限公司 | 基于机器视觉技术的烟丝结构质量在线检测方法及系统 |
| CN109493281A (zh) * | 2018-11-05 | 2019-03-19 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109297969A (zh) * | 2018-12-05 | 2019-02-01 | 上海庚葵贸易有限公司 | 一种烟叶流水线杂质检测方法及系统 |
| CN111415360A (zh) * | 2020-03-30 | 2020-07-14 | 上海烟草集团有限责任公司 | 烟叶图像切割方法、装置、设备和介质 |
| CN111738236A (zh) * | 2020-08-14 | 2020-10-02 | 之江实验室 | 一种自适应层级的图像切分识别方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112577960A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10979622B2 (en) | Method and system for performing object detection using a convolutional neural network | |
| CN101271514B (zh) | 一种快速目标检测和目标输出的图像检测方法及装置 | |
| EP3168810A1 (en) | Image generating method and apparatus | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| EP2919153A1 (en) | Event detection apparatus and event detection method | |
| US8659676B2 (en) | Image analysis device and method thereof | |
| CN110335233B (zh) | 基于图像处理技术的高速公路护栏板缺陷检测系统和方法 | |
| WO2022082999A1 (zh) | 一种物体识别方法、装置、终端设备及存储介质 | |
| CN109190456B (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| KR101030257B1 (ko) | 카메라의 영상을 이용한 보행자 계수 방법 및 장치 | |
| CN112819796A (zh) | 烟丝异物识别方法及设备 | |
| CN109271906A (zh) | 一种基于深度卷积神经网络的烟雾检测方法及其装置 | |
| CN112577960B (zh) | 烟叶中的杂质检测方法、系统及计算机可读存储介质 | |
| CN113673584A (zh) | 一种图像检测方法及相关装置 | |
| KR102540208B1 (ko) | 딥러닝을 이용한 화재감지방법 | |
| CN111597933A (zh) | 人脸识别方法和装置 | |
| CN113139950A (zh) | 一种目标对象识别的方法及装置 | |
| CN111398292A (zh) | 一种基于gabor滤波和CNN的布匹瑕疵检测方法、系统及设备 | |
| CN112101134B (zh) | 物体的检测方法及装置、电子设备和存储介质 | |
| CN105264896A (zh) | 一种视频质量检测的方法及装置 | |
| CN117635590A (zh) | 一种笔记本电脑外壳的缺陷检测方法、缺陷检测装置和存储介质 | |
| US20190325587A1 (en) | Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program | |
| CN112330618A (zh) | 图像偏移检测方法、设备及存储介质 | |
| CN107403192B (zh) | 一种基于多分类器的快速目标检测方法及系统 | |
| CN113191202B (zh) | 一种图像处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |