CN115049620B - 一种纸垛外观检测方法、装置、设备及存储介质 - Google Patents

一种纸垛外观检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115049620B
CN115049620B CN202210688720.6A CN202210688720A CN115049620B CN 115049620 B CN115049620 B CN 115049620B CN 202210688720 A CN202210688720 A CN 202210688720A CN 115049620 B CN115049620 B CN 115049620B
Authority
CN
China
Prior art keywords
paper stack
target
image
target paper
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210688720.6A
Other languages
English (en)
Other versions
CN115049620A (zh
Inventor
张春磊
陈俊
翁婷
程宏
张波
曾俊钢
徐昆昆
杨文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaint Corp
Original Assignee
Chaint Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chaint Corp filed Critical Chaint Corp
Priority to CN202210688720.6A priority Critical patent/CN115049620B/zh
Publication of CN115049620A publication Critical patent/CN115049620A/zh
Application granted granted Critical
Publication of CN115049620B publication Critical patent/CN115049620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域,提供了一种纸垛外观检测方法、装置、设备及计算机可读存储介质。所述方法包括:当工控机收到检测指令时,获取待检测目标纸垛的图像;将所述图像输入预先训练的质量检测神经网络模型进行处理,得到所述目标纸垛的对应的初始纸垛外观信息;对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观信息;当所述目标纸垛外观信息与预设质量信息不一致时,判定所述目标纸垛为不合格产品。上述方法,获取目标纸垛的图像后输入质量检测神经网络模型,经过分析处理得到检测结果,并与预设质量信息进行对比判定,实现了纸垛质量检测的自动化,提高了质量检测效率。

Description

一种纸垛外观检测方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种纸垛外观检测方法、装置、设备及计算机可读存储介质。
背景技术
随着工业4.0时代的到来,工厂智能化的需求更加迫切。在工业检测领域,质量检测是一项重要的内容。在纸垛质量检测领域,伴随着纸厂产能不断提高,产品质量要求日益严格,各纸厂对产品质量的自动化检测需求也愈加迫切。
在纸厂生产过程中,对纸垛进行质量检测是极为重要的一环,将直接影响后续入库和发货装箱等环节。现阶段的质量检测大部分依靠人工,效率低下,不能满足快速准确检测的需求,且因为没有统一的检测标准,存在检测结果不稳定的问题。
发明内容
本申请实施例提供了一种纸垛外观检测方法、装置、设备及计算机可读存储介质,该方案用于解决纸垛质量检测效率低,不准确及检测结果不稳定的问题。
第一方面,本申请实施例提供了一种纸垛外观检测方法,包括:
当接收到检测指令时,获取待检测目标纸垛多个面的多张图像;
将所述图像输入预先训练的质量检测神经网络模型进行处理,得到所述目标纸垛的对应的初始纸垛外观信息;
对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果;
当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品。
进一步地,所述获取待检测目标纸垛多个面的多张图像,包括:
获取待检测的目标纸垛的初始图像;
基于透视变换矩阵对所述初始图像进行矫正,得到所述目标纸垛的图像。
进一步地,在将所述图像输入预先训练的质量检测神经网络模型进行处理之前,还包括:
获取增强样本训练集;所述样本训练集包括目标样本纸垛及其对应的标签信息;所述标签信息包括纸垛产品标签、环保纸标签、盖板、包装带的位置及类别信息;
将所述增强样本训练集输入神经网络训练后得到质量检测神经网络模型。
进一步地,所述获取增强样本训练集,包括:
获取样本训练集;
对所述样本训练集进行图像数据增强处理,得到增强样本训练集;所述图像数据增强的方式包括加噪、运动模糊、雾化、局部像素调整、缩放、裁剪、拼接、灰度变化、水平翻转、垂直翻转、随机编组、色值跳变、旋转中的一种或多种组合;
进一步地,所述质量检测神经网络模型使用DIOU-NMS算法,代替传统NMS算法对所述目标纸垛多个面的多个图像进行去重处理。
进一步地,所述目标纸垛的图像的数量至少为两个;
对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果,包括:
对所述目标纸垛的多个图像进行检测得到所述初始纸垛外观信息,并将所述初始纸垛外观信息进行数据整合处理,得到所述目标纸垛的外观检测结果。
进一步地,在当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品之后,还包括:
向运输该不合格目标纸垛的输送线发送控制指令,将所述不合格目标纸垛通过异常排出口排出所述输送线。
第二方面,本申请实施例提供了一种纸垛外观检测装置,包括:第一获取模块、第一处理模块、第二处理模块、判定模块;
所述第一获取模块,用于当接收到检测指令时,获取待检测目标纸垛多个面的多张图像;
所述第一处理模块,将所述图像输入预先训练的质量检测神经网络模型进行处理,得到所述目标纸垛的对应的初始纸垛外观信息;
所述第二处理模块,对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果;
所述判定模块,当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品。
进一步地,所述第一获取模块,包括:
获取待检测的目标纸垛的初始图像;
基于透视变换矩阵对所述初始图像进行矫正,得到所述目标纸垛的图像。
进一步地,所述纸垛外观检测装置,还包括:
第二获取模块,用于获取增强样本训练集;所述样本训练集包括目标样本纸垛及其对应的标签信息;所述标签信息包括纸垛产品标签、环保纸标签、盖板、包装带的位置及类别信息;
所述第三处理模块,用于将所述增强样本训练集输入神经网络训练后得到质量检测神经网络模型。
进一步地,所述第二获取模块,具体用于:
获取样本训练集;
对所述样本训练集进行图像数据增强处理,得到增强样本训练集;所述图像数据增强的方式包括加噪、运动模糊、雾化、局部像素调整、缩放、裁剪、拼接、灰度变化、水平翻转、垂直翻转、随机编组、色值跳变、旋转中的一种或多种组合。
进一步地,第一处理模块的质量检测神经网络模型使用DIOU-NMS算法,代替传统NMS算法对所述目标纸垛多个面的多个图像进行去重处理。
进一步地,所述目标纸垛的图像的数量至少为两个;
所述第二处理模块,具体用于:
对所述目标纸垛的多个图像进行检测得到所述初始纸垛外观信息,并将所述初始纸垛外观信息进行数据整合处理,得到所述目标纸垛的外观检测结果。
进一步地,所述纸垛外观检测装置,还包括:
所述第四处理模块,用于向运输该不合格目标纸垛的输送线发送控制指令,将所述不合格目标纸垛通过异常排出口排出所述输送线。
第三方面,本申请实施例提供一种纸垛外观检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面,本申请实施例提供了一种计算可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请通过样本训练集训练质量检测神经网络模型,将目标纸垛的多个面的图像输入所述训练好的质量检测神经网络模型进行处理,得到多个图像对应的检测结果,并对多个检测结果进行整理判定,获得纸垛质量检测结果。实现了纸垛质量检测的自动化,提高了质量检测效率,且因为有统一的检测标准,检测结果更加稳定。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的一种纸垛外观检测方法的流程示意图;
图2是本申请第一实施例提供的一种包装带打带类型示意图。
图3是本申请第二实施例提供的一种纸垛外观检测装置的示意图;
图4是本申请第三实施例提供的一种纸垛外观检测设备的结构示意图;
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面结合附图和具体实施例对本申请做进一步的详细说明。
请参见图1,图1是本申请第一实施例提供的一种纸垛外观检测方法的流程示意图。本实施例中一种纸垛外观检测方法的执行主体为具有纸垛外观检测功能的设备,例如,工控机、台式电脑、服务器等等。如图1所示的纸垛外观检测方法可以包括:
S101:当接收到检测指令时,获取待检测目标纸垛多个面的多张图像。
工控机接收到检测指令时,开始执行纸垛外观检测方法,设备获取待检测的目标纸垛的目标图像。其中,可以由其他设备将检测指令发送至本端设备中,也可以是用户在用户端操作触发设备生成检测指令,此处不做限制。
一种实施方式中,纸垛输送线上安装有光电开关,当光电开关检测到输送线上有待检测的目标纸垛时,向纸垛外观检测设备发送检测指令,触发分布在不同位置工业相机对目标纸垛进行拍摄,拍摄至少两张目标纸垛的图像,处理后得到目标纸垛的目标图像。工业相机采集到目标图像后,将目标图像发送至本端设备,本端设备接收目标图像。
一种实施方式中,为了获取到的更高质量的目标图像,设备获取待检测的目标纸垛的目标图像可以采用以下方式:设备获取待检测的目标纸垛的初始图像;基于透视变换矩阵对所述初始图像进行矫正,得到所述目标纸垛的图像。
目标图像是将初始图像进行处理后得到的。初始图像可以由多部工业相机从目标纸垛的不同方位拍摄而得。由于工厂内工况复杂,工业相机架设位置可能并不在目标纸垛的正面,这将导致拍摄出的图像存在倾斜或者变形的情况,若直接将初始图像输入到质量检测神经网络模型中进行检测,会出现检测难度过大、检测效率低下、检测准确率低的问题。为解决此问题,可以采用透视变换方法对获得的初始图像进行矫正从而得到目标纸垛的目标图像,即在初始图像和目标图像之间建立透视变换矩阵。
透视变换的本质是将图像投影到一个新的视平面。透视变换的通用变换公式为:
其中,初始图像源点矩阵为:
目标图像目标点矩阵为:
透视变换矩阵为:
根据透视变换矩阵,可以求出目标图像对应的坐标,从而得到矫正的目标图像。目标图像对应的坐标计算的公式为:
其中,表示初始图像的源坐标,/>表示经过透视变换后目标图像的目标坐标。由此可以得到经过透视变换矩阵矫正的目标图像。
S102:将图像输入预先训练的质量检测神经网络模型进行处理,得到目标纸垛的对应的初始纸垛外观信息。
设备将目标图像输入预先训练的质量检测神经网络模型进行处理,得到目标纸垛的对应的初始纸垛外观信息。其中,质量检测神经网络模型可以是由本端设备预先训练的,也可以由其他设备进行训练,并将相关的参数冻结后移植到本端设备中。质量检测神经网络模型的输入为纸垛的图像,质量检测神经网络模型的输出为纸垛对应拍照面的外观检测信息。
一种实施方式中,对质量检测神经网络模型进行训练,训练的流程如下:
获取增强样本训练集;所述样本训练集包括目标样本纸垛及其对应的标签信息;所述标签信息包括纸垛产品标签、环保纸标签、盖板、包装带的位置及类别信息;将所述增强样本训练集输入神经网络训练后得到质量检测神经网络模型。
首先,需要获取样本训练集,将样本训练集输入到神经网络模型。从而进行模型的训练。样本训练集包括目标样本纸垛及其对应的标签信息;所述标签信息包括样本产品标签、样本环保标签、样本盖板类型、样本包装带等的位置和类别信息。
一种实施方式中,目标样本纸垛为不同方位的工业相机所拍摄的纸垛图像,标签信息是对目标样本纸垛进行标注后得到的。对于获取的纸垛图像,可以使用标注软件labelImg进行标注。具体来说,对于图像中产品标签,环保标签和盖板类型进行数据标注。
样本包装带打带类型的标注相对复杂。纸垛由于体积较大,需要使用包装带进行打带,不同类型的的纸垛,其打带方式也可能不同,所以需要对打带的方式进行区分,从而判断目标纸垛所使用的打带方式是否正确。请参见图2,本实施例提供一种包装带打带类型示意图,图中的长方形框体表示纸垛,方框内的横向线条和竖向线条分别表示横向包装带和竖向包装带。打带的方式可以有7种:第一种打带方式“none”表示无包装带;第二种打带方式“1by1”表示一条横向包装带,一条竖向包装带;第三种打带方式“2by0”表示两条横向包装带,零条竖向包装带;第四种打带方式“0by2”表示零条横向包装带,两条竖向包装带;第五种打带方式“2by2”表示两条横向包装带,两条竖向包装带;第六种打带方式“2by1”表示两条横向包装带,一条竖向包装带;第七种打带方式“1by2”表示一条横向包装带,两条竖向包装带。
在标注包装带时,由于包装带长宽比例过大,直接将整条包装带进行标注,不利于后续模型训练,模型难以收敛。本实施例中在靠近托盘位置对包装带进行标注,由于托盘位置相对固定,因此这种标注方式既可以保持较小的长宽比例,又可以获得稳定的特征。在标注过程中,标注结果可以保存为Yolo格式。
在神经网络训练中,模型的样本越丰富训练出来的网络模型泛化性越强,鲁棒性越高。若样本过少容易出现过拟合的问题。过拟合也称为过学习,它的直观表现是算法在训练集上表现好,但在测试集上表现不好,泛化性能差。过拟合是在模型参数拟合过程中由于训练数据包含抽样误差,在训练时复杂的模型将抽样误差也进行了拟合导致的。所谓抽样误差,是指抽样得到的样本集和整体数据集之间的偏差。为了解决过拟合的问题,可以使用数据增强的方法,数据增强也叫数据扩增,是在不实质性的增加数据的情况下,让有限的数据产生更多数据的价值。
一种实施方式中,在训练过程中,通过工业相机采集到了大量纸垛图像,但是由于采集现场环境相对单一稳定,若仅采用已有的初始纸垛样本进行训练,会出现过拟合的问题,导致质量检测神经网络模型的泛化能力差。为此,可以对初始样本纸垛进行数据增强,从而模拟更多不同的场景、光照和拍摄距离等情况。可以使用Imgaug图像数据增强库,对图像进行加噪、运动模糊、雾化等处理,模拟现场相机镜头被灰尘覆盖,相机抖动,镜头雾化等情况;通过改变图像HSV参数、局部像素调整等处理,模拟不同光照强度和局部过曝、过暗等情况;可以通过调用Mosaic数据增强方法,对多张图像进行缩放、裁剪和拼接等操作,模型不同拍摄距离等情况;还可以通过对初始样本纸垛进行局部像素调整、灰度变化、水平翻转、垂直翻转、随机编组、色值跳变、旋转等处理进行数据增强。对初始样本纸垛进行数据增强处理后,得到目标样本纸垛,将目标样本纸垛和对应的标签信息输入到神经网络中训练后即可得到质量检测神经网络模型。
在模型训练的过程中,还需要配置训练参数。在一种实施方式中,可以根据据GPU性能调整模型训练图像尺寸和一次训练所抓取的数据样本数量等的大小,尽可能的选用更大的模型进行训练,以便于获得更好的训练结果。当对数据进行300轮训练,在IOU阈值为0.5时,质量检测神经网络模型获得了99.97%的训练精度。
由于神经网络模型运行环境较为复杂,配置过程通常较为繁琐,且不利于嵌入其他的代码中,难以进行部署。因此,获得训练完毕的质量检测神经网络模型后,还需要对该模型进行转化。
一种实施方式中,将训练好的质量检测神经网络模型转化为Opencv能读取的Onnx文件。在实际部署过程中,编译好Opencv库及Opencv_contrib模块即可进行模型推理,方便了现场的实施部署。
得到转化后的质量检测神经网络模型之后,将目标纸垛的图像输入到预先训练的质量检测神经网络模型中,从而得到目标纸垛的对应的初始纸垛外观信息。
一种实施方式中,在对目标纸垛进行质量检测的过程中,质量检测神经网络模型使用DIOU-NMS算法对所述图像检测结果进行去重处理。由于在目标纸垛包装运输过程中,经常出现不同类别标签信息相互重叠,如包装带容易与产品标签相互重叠,若采用传统的非极大值抑制算法,即NMS算法容易错误的过滤掉部分真实的检测框,导致检测结果不准确。因此本实施例中的质量检测神经网络模型选用改进型加中心点距离的DIOU-NMS算法替代传统NMS算法。经过实验使用DIOU-NMS能够较好的保留重叠的检测框。检测阶段除了对产品标签和环保标签统计数量外,还需要对纸垛盖板类型进行检测分类以及各图像中包装带数量进行计数。获取到每张图的检测结果后,给每张图的检测结果根据其相机摆设位置,赋予检测结果对应的编号,并保留每张图的检测结果,方便后续进行数据整理。
S103: 对初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果。
将目标纸垛的目标图像输入到预先训练的质量检测神经网络模型中,得到目标纸垛的对应面的检测信息后,还需要对检测信息进行数据处理,从而得到目标纸垛外观信息。
一种实施方式中,所述目标纸垛的图像的数量至少为两个;数据处理的具体过程为:对目标纸垛的多个图像对应的检测结果进行整合处理,得到所述目标纸垛的外观检测结果。。具体来说,设备统计产品标签数量、环保标签数量;确定纸垛盖板类型及包装带打带类型等工作。其中,纸垛盖板类型为三种,分别为木板、纸板、无盖板。包装带打带类型主要包括7种,如图2所示。例如,2个不同位置的工业相机对一个待检测的目标纸垛进行拍照后得到2张目标纸垛的图像,一张为端面图像,另一张为侧面图像,将2张图像输入至质量检测神经网络模型,可以得到各图像中对应的产品标签数量、环保标签数量,将各图像检测后得到的产品标签数量相加,即可得到目标纸垛的产品标签数量,将各图像检测后得到的环保标签数量相加,即可得到目标纸垛的环保标签数量。若两张图像检测得到的盖板类型相同,即可确定目标纸垛的盖板类型。当端面图像检测到2根包装带,侧面图像检测到2根包装带时,判断该纸垛打带类别为图2中的2by2包装带打带类型。整合上述结论即可得到目标纸垛外观信息。
S104:当目标纸垛外观信息与预设质量信息不一致时,判定目标纸垛为不合格产品。
一种实施方式中,预设质量信息为数据库中存储的目标纸垛的质量信息,包括产品标签数量、环保标签数量、盖板类型、包装带打带类型,是目标纸垛应该具备的质量特征。将预设质量信息与通过质量检测神经网络模型检测后得到的目标纸垛外观信息进行比对,若两者不一致,判定目标纸垛为不合格产品,将不合格的目标纸垛通过异常排出口排出纸垛输送线。若两者一致,判定目标纸垛为合格产品,纸垛正常输送,进入仓库。
通过上述纸垛外观检测方法,获取纸垛的目标图像后输入质量检测神经网络模型,经过分析处理得到检测结果,实现了纸垛质量检测的自动化,提高了质量检测效率,且因为有统一的检测标准,检测结果更加稳定。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
请参见图3,图3是本申请第二实施例提供的一种纸垛外观检测装置的示意图,包括的各模块用于执行图1对应的实施例中的各步骤。具体请参阅图1对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图3,该纸垛外观检测装置3包括:
第一获取模块310,用于当接收到检测指令时,获取待检测目标纸垛多个面的多张图像;
第一处理模块320,用于将所述图像输入预先训练的质量检测神经网络模型进行处理,得到所述目标纸垛的对应的初始纸垛外观信息;
第二处理模块330,用于对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果;
判定模块340,用于当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品。
进一步地,所述第一获取模块,包括:
获取待检测的目标纸垛的初始图像;
基于透视变换矩阵对所述初始图像进行矫正,得到所述目标纸垛的图像。
进一步地,所述纸垛外观检测装置,还包括:
第二获取模块,用于获取增强样本训练集;所述样本训练集包括目标样本纸垛及其对应的标签信息;所述标签信息包括纸垛产品标签、环保纸标签、盖板、包装带的位置及类别信息;
所述第三处理模块,用于将所述增强样本训练集输入神经网络训练后得到质量检测神经网络模型。
进一步地,所述第二获取模块,具体用于:
获取样本训练集;
对所述样本训练集进行图像数据增强处理,得到增强样本训练集;所述图像数据增强的方式包括加噪、运动模糊、雾化、局部像素调整、缩放、裁剪、拼接、灰度变化、水平翻转、垂直翻转、随机编组、色值跳变、旋转中的一种或多种组合。
进一步地,第一处理模块的质量检测神经网络模型使用DIOU-NMS算法,代替传统NMS算法对所述目标纸垛多个面的多个图像进行去重处理。
进一步地,所述目标纸垛的图像的数量至少为两个;
所述第二处理模块,具体用于:
对所述目标纸垛的多个图像进行检测得到所述初始纸垛外观信息,并将所述初始纸垛外观信息进行数据整合处理,得到所述目标纸垛的外观检测结果。
进一步地,所述纸垛外观检测装置,还包括:
所述第四处理模块,用于向运输该不合格目标纸垛的输送线发送控制指令,将所述不合格目标纸垛通过异常排出口排出所述输送线。
请参见图4,图4是本申请第三实施例提供的一种纸垛外观检测设备的结构示意图。如图4所示,该实施例的纸垛外观检测设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42,例如目标程序。所述处理器40执行所述计算机程序42时实现上述各个目标方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块310至340的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述纸垛外观检测设备4中的执行过程。例如,所述计算机程序42可以被分割成第一获取模块、第一处理模块、第二处理模块、判定模块,各模块具体功能如下:
第一获取模块,用于当接收到检测指令时,获取待检测目标纸垛多个面的多张图像;
第一处理模块,用于将所述图像输入预先训练的质量检测神经网络模型进行处理,得到所述目标纸垛的对应的初始纸垛外观信息;
第二处理模块,用于对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果;
判定模块,用于当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品。
所述纸垛外观检测设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是纸垛外观检测设备4的示例,并不构成对纸垛外观检测设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述纸垛外观检测设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述纸垛外观检测设备4的内部存储单元,例如纸垛外观检测设备4的硬盘或内存。所述存储器41也可以是所述纸垛外观检测设备4的外部存储设备,例如所述纸垛外观检测设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述纸垛外观检测设备4还可以既包括所述纸垛外观检测设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述目标设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
本申请实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (8)

1.一种纸垛外观检测方法,其特征在于,所述方法包括:
当接收到检测指令时,获取待检测目标纸垛多个面的多张图像;所述目标纸垛的图像的数量至少为两个;将所述图像输入预先训练的质量检测神经网络模型进行处理,得到所述目标纸垛的对应的初始纸垛外观信息;
对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果,包括:将各图像检测后得到的产品标签数量相加,得到目标纸垛的产品标签数量;将各图像检测后得到的环保标签数量相加,得到目标纸垛的环保标签数量;若各图像检测得到的盖板类型相同,则确定目标纸垛的盖板类型;根据各图像检测得到的包装带数量判断目标纸垛的包装带打带类型;
当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品;
所述获取待检测目标纸垛多个面的多张图像,包括:
获取待检测的目标纸垛的初始图像;
基于透视变换矩阵,求出目标图像对应的坐标,对所述初始图像进行矫正,得到所述目标纸垛的图像。
2.根据权利要求1所述的方法,其特征在于,在将所述图像输入预先训练的质量检测神经网络模型进行处理之前,还包括:
获取增强样本训练集;所述样本训练集包括目标样本纸垛及其对应的标签信息;所述标签信息包括纸垛产品标签、环保纸标签、盖板、包装带的位置及类别信息;
将所述增强样本训练集输入神经网络训练后得到质量检测神经网络模型。
3.根据权利要求2所述的方法,其特征在于,所述获取增强样本训练集,包括:
获取样本训练集;
对所述样本训练集进行图像数据增强处理,得到增强样本训练集;所述图像数据增强的方式包括加噪、运动模糊、雾化、局部像素调整、缩放、裁剪、拼接、灰度变化、水平翻转、垂直翻转、色值跳变、旋转中的一种或多种组合。
4.根据权利要求1所述的方法,其特征在于,所述质量检测神经网络模型使用DIOU-NMS算法,代替传统NMS算法对所述目标纸垛多个面的多个图像进行去重处理。
5.根据权利要求1所述的方法,其特征在于,在当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品之后,还包括:
向运输该不合格目标纸垛的输送线发送控制指令,将所述不合格目标纸垛通过异常排出口排出所述输送线。
6.一种纸垛外观检测装置,其特征在于,所述装置包括:第一获取模块、第一处理模块、第二处理模块、判定模块;
所述第一获取模块,用于当接收到检测指令时,获取待检测目标纸垛多个面的多张图像;所述目标纸垛的图像的数量至少为两个;
所述第一处理模块,将所述图像输入预先训练的质量检测神经网络模型进行处理,得到所述目标纸垛的对应的初始纸垛外观信息;
所述第二处理模块,对所述初始纸垛外观信息进行数据处理,得到目标纸垛外观检测结果,包括:将各图像检测后得到的产品标签数量相加,得到目标纸垛的产品标签数量;将各图像检测后得到的环保标签数量相加,得到目标纸垛的环保标签数量;若各图像检测得到的盖板类型相同,则确定目标纸垛的盖板类型;根据各图像检测得到的包装带数量判断目标纸垛的包装带打带类型;
所述判定模块,当所述目标纸垛外观检测结果与预设质量信息不一致时,判定所述目标纸垛为不合格产品;
所述第一获取模块,包括:
获取待检测的目标纸垛的初始图像;
基于透视变换矩阵,求出目标图像对应的坐标,对所述初始图像进行矫正,得到所述目标纸垛的图像。
7.一种纸垛外观检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN202210688720.6A 2022-06-17 2022-06-17 一种纸垛外观检测方法、装置、设备及存储介质 Active CN115049620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688720.6A CN115049620B (zh) 2022-06-17 2022-06-17 一种纸垛外观检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688720.6A CN115049620B (zh) 2022-06-17 2022-06-17 一种纸垛外观检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115049620A CN115049620A (zh) 2022-09-13
CN115049620B true CN115049620B (zh) 2024-03-26

Family

ID=83161597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688720.6A Active CN115049620B (zh) 2022-06-17 2022-06-17 一种纸垛外观检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115049620B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1616305A (zh) * 2004-11-08 2005-05-18 云南昆船设计研究院 一种纸箱全自动开箱方法和设备
WO2011115570A1 (en) * 2010-03-16 2011-09-22 Azimuth Intellectual Products Pte. Ltd. Apparatus and methods for analysing goods packages
CN109409492A (zh) * 2018-10-16 2019-03-01 格力电器(武汉)有限公司 打包带检测系统和方法
CN109533507A (zh) * 2017-09-21 2019-03-29 奥克斯空调股份有限公司 一种自动打包机的自动检测方法
CN109807071A (zh) * 2018-09-18 2019-05-28 红塔烟草(集团)有限责任公司 一种烟箱外观质量检测及离线查验系统及其方法
CN110765990A (zh) * 2019-12-30 2020-02-07 浙江啄云智能科技有限公司 一种物品智能检测方法及系统、一种计算设备及存储介质
CN111242177A (zh) * 2020-01-02 2020-06-05 天津瑟威兰斯科技有限公司 基于卷积神经网络检测药品包装的方法、系统及设备
CN111652834A (zh) * 2019-03-02 2020-09-11 周口师范学院 一种基于支持向量机的钢卷捆扎带识别方法
CN112288716A (zh) * 2020-10-28 2021-01-29 中冶赛迪重庆信息技术有限公司 一种钢卷打捆状态检测方法、系统、终端及介质
CN112651297A (zh) * 2020-11-23 2021-04-13 北京旷视机器人技术有限公司 入库管理方法、装置、仓库管理系统和电子系统
CN113928655A (zh) * 2021-09-29 2022-01-14 江门市浩远科技有限公司 一种应用于线路板防静电包装高效传送监测装置的控制方法
CN113989487A (zh) * 2021-10-20 2022-01-28 国网山东省电力公司信息通信公司 一种面向实景调度的故障缺陷检测方法及系统
CN114240022A (zh) * 2021-10-31 2022-03-25 武汉市欣诚详包装有限公司 一种依据区块链的电商商品包装方法及系统
CN114492667A (zh) * 2022-02-16 2022-05-13 平安科技(深圳)有限公司 图像处理方法、装置、电子设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1616305A (zh) * 2004-11-08 2005-05-18 云南昆船设计研究院 一种纸箱全自动开箱方法和设备
WO2011115570A1 (en) * 2010-03-16 2011-09-22 Azimuth Intellectual Products Pte. Ltd. Apparatus and methods for analysing goods packages
CN109533507A (zh) * 2017-09-21 2019-03-29 奥克斯空调股份有限公司 一种自动打包机的自动检测方法
CN109807071A (zh) * 2018-09-18 2019-05-28 红塔烟草(集团)有限责任公司 一种烟箱外观质量检测及离线查验系统及其方法
CN109409492A (zh) * 2018-10-16 2019-03-01 格力电器(武汉)有限公司 打包带检测系统和方法
CN111652834A (zh) * 2019-03-02 2020-09-11 周口师范学院 一种基于支持向量机的钢卷捆扎带识别方法
CN110765990A (zh) * 2019-12-30 2020-02-07 浙江啄云智能科技有限公司 一种物品智能检测方法及系统、一种计算设备及存储介质
CN111242177A (zh) * 2020-01-02 2020-06-05 天津瑟威兰斯科技有限公司 基于卷积神经网络检测药品包装的方法、系统及设备
CN112288716A (zh) * 2020-10-28 2021-01-29 中冶赛迪重庆信息技术有限公司 一种钢卷打捆状态检测方法、系统、终端及介质
CN112651297A (zh) * 2020-11-23 2021-04-13 北京旷视机器人技术有限公司 入库管理方法、装置、仓库管理系统和电子系统
CN113928655A (zh) * 2021-09-29 2022-01-14 江门市浩远科技有限公司 一种应用于线路板防静电包装高效传送监测装置的控制方法
CN113989487A (zh) * 2021-10-20 2022-01-28 国网山东省电力公司信息通信公司 一种面向实景调度的故障缺陷检测方法及系统
CN114240022A (zh) * 2021-10-31 2022-03-25 武汉市欣诚详包装有限公司 一种依据区块链的电商商品包装方法及系统
CN114492667A (zh) * 2022-02-16 2022-05-13 平安科技(深圳)有限公司 图像处理方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于智能专家系统的超高强汽车板拆带全自动生产线开发;高丹 等;《机床与液压》;第49卷(第10期);全文 *
打包机防漏打带视觉识别系统研究;郑永洪 等;《中国科技信息》;第2016卷(第19期);全文 *

Also Published As

Publication number Publication date
CN115049620A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN108009675B (zh) 货物装箱方法、装置及系统
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
US10924729B2 (en) Method and device for calibration
CN112348778B (zh) 一种物体识别方法、装置、终端设备及存储介质
CN110852233A (zh) 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN112634201A (zh) 目标检测方法、装置和电子设备
CN115546297A (zh) 单目测距方法、装置、电子设备及存储介质
CN109074663A (zh) 物体体积测量方法、相关装置及计算机可读存储介质
CN112629828B (zh) 一种光学信息检测方法、装置及设备
CN115830604A (zh) 面单图像矫正方法、装置、电子设备及可读存储介质
CN115049620B (zh) 一种纸垛外观检测方法、装置、设备及存储介质
CN115690747B (zh) 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN116681677A (zh) 一种锂电池缺陷检测方法、装置及系统
CN113111888B (zh) 一种图片判别方法及装置
CN118393327B (zh) 一种元器件缺失检测方法、电子设备及可读存储介质
CN115937184B (zh) 一种物品装配检测方法、装置及终端设备
CN112348905B (zh) 一种颜色识别方法、装置、终端设备及存储介质
CN112200976B (zh) 药品检测方法、装置、电子终端及存储介质
CN118275452B (zh) 一种基于视觉的封胶检测方法、系统、装置及介质
CN114267038B (zh) 铭牌的类型识别方法、装置、存储介质及设备
CN113111921B (zh) 物体识别方法、装置、电子设备及存储介质
KR102186751B1 (ko) 객체 검출을 이용한 클래시피케이션의 다중 인식 및 인식률 개선 장치 및 방법
CN110909564B (zh) 行人检测方法与装置
CN114120116A (zh) 一种自取货物检测方法、装置、电子设备及存储介质
CN118037636A (zh) 运输木材的数量确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant