CN115471505A - 基于视觉识别的封箱机智能调控方法 - Google Patents

基于视觉识别的封箱机智能调控方法 Download PDF

Info

Publication number
CN115471505A
CN115471505A CN202211418477.2A CN202211418477A CN115471505A CN 115471505 A CN115471505 A CN 115471505A CN 202211418477 A CN202211418477 A CN 202211418477A CN 115471505 A CN115471505 A CN 115471505A
Authority
CN
China
Prior art keywords
sub
depth value
carton
regions
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211418477.2A
Other languages
English (en)
Other versions
CN115471505B (zh
Inventor
董蓓华
柯君阳
金祥光
侯世银
黄海隆
刘毅
陈伟
蒋琪
朱星觉
麻佳豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hualian Machinery Group Co Ltd
Original Assignee
Hualian Machinery Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hualian Machinery Group Co Ltd filed Critical Hualian Machinery Group Co Ltd
Priority to CN202211418477.2A priority Critical patent/CN115471505B/zh
Publication of CN115471505A publication Critical patent/CN115471505A/zh
Application granted granted Critical
Publication of CN115471505B publication Critical patent/CN115471505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Closing Of Containers (AREA)
  • Making Paper Articles (AREA)

Abstract

本发明涉及数字数据处理技术领域，具体涉及一种基于视觉识别的封箱机智能调控方法。该方法采集封箱机密封处理后纸箱表面的像素值信息、激光深度值信息和声波深度值信息，根据这些信息构建胶带区域每个子区域的表面特征向量。构建异常类别识别网络，注意力层根据每个子区域的深度值差异指标和纹理复杂度获得注意力权重，通过注意力权重调整每个子区域的表面特征向量获得多层感知器层的训练数据。通过训练完成的异常类别识别网络识别出待检测纸箱的异常类别，对封箱机参数进行针对性调节。本发明通过对特征向量的增强，进而获得准确的异常类别识别网络进行异常类别识别，通过异常类别能够对封箱机进行针对性的智能调控。

Description

基于视觉识别的封箱机智能调控方法
技术领域
本发明涉及数字数据处理技术领域，具体涉及一种基于视觉识别的封箱机智能调控方法。
背景技术
封箱机广泛应用物流包装领域中，利用封箱机可实现对纸箱的自动封装，封箱机能够自动化使用胶带对纸箱的开口进行粘贴，极大的节省了人力。在实际的封箱生产中，需要根据不同纸箱的尺寸调整封箱机的参数，如果参数不正确则会导致封箱失败或者导致胶布在纸箱上呈现错误的粘连，导致纸箱密封性和美观度都受到影响，如果密封后的纸箱出现异常需要根据异常情况对封箱机的尺寸进行调整，防止后续纸箱被错误密封。
为了避免人为主观判断的误差，现有技术中可利用计算机视觉技术，通过采集密封后纸箱的图像进而快速且自动化的识别出当前纸箱的异常类型。但是胶带在纸箱上会存在多种姿态，各种异常姿态需要多种图像处理算法进行识别，算法较为复杂。因此可通过神经网络训练的方法学习图像中异常密封纸箱的异常特征，进而实现异常识别。为了保证神经网络的准确性，需要保证图像特征的参考性，但是因为胶带的透光性，常规采集图像及处理的方法无法获得准确的图像特征，进而影响神经网络的准确性。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于视觉识别的封箱机智能调控方法，所采用的技术方案具体如下：
本发明提出了一种基于视觉识别的封箱机智能调控方法，所述方法包括：
利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像；所述表面图像中每个像素点包括像素值、激光深度值和声波深度值；
获得所述表面图像中的胶带区域，将所述胶带分为多个子区域；所述子区域内的多种表面信息构成表面特征向量；所述表面信息包括像素值信息、激光深度值信息和声波深度值信息；
获取每个所述子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度值差异；获取每个所述子区域中所有像素点的声波深度值与标准声波深度值的平均声波深度值差异；获取当前封箱机所使用胶布的透光性；将所述透光性与所述平均声波深度值差异相乘后与所述平均激光深度值差异相加，获得深度值差异指标；获取每个所述子区域的纹理复杂度；
构建异常类别识别网络；所述异常类别识别网络包括注意力层和多层感知器层；在训练过程中更新所述注意力层的线性降维矩阵和相似性度量向量，根据所述线性降维矩阵将所述胶带区域中的目标子区域和其他子区域的所述表面特征向量进行降维并整合，并通过所述相似度度量向量对整合后的向量进行度量，结合所述其他子区域的所述深度值差异指标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子区域的注意力权重；根据加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向量聚合，获得所述多层感知器层的训练数据，基于所述训练数据训练所述多层感知器层；
将待检测纸箱的实时表面特征向量输入所述异常类别识别网络，获得异常类别；根据所述异常类别调节封箱机的参数。
进一步地，所述图像采集设备包括：
所述图像采集设备包含两个相机模组，每个相机模组中包括RGB相机、激光深度相机和超声波雷达；两个相机模组固定在升降杆上且与升降杆的角度均为45°，两个相机模组的拍摄视角相对；当待检测纸箱随着传送带传送至两个相机模组中间时，根据纸箱的高度控制升降杆的高度和后续纸箱与待检测纸箱的间距，采集待检测纸箱的表面图像。
进一步地，所述子区域内的多种表面信息构成表面特征向量包括：
将像素点的像素值、激光深度值和声波深度值构成像素点的特征向量；将所述子区域内的像素点的所述特征向量根据像素点的位置从左到右从上到下进行拼接，获得所述表面特征向量。
进一步地，所述获取当前封箱机所使用胶布的透光性包括：
利用透光率检测仪获得所用胶布的透光性。
进一步地，所述获取每个所述子区域的纹理复杂度包括：
获得所述子区域的灰度共生矩阵；获得所述灰度共生矩阵的熵和对比度；根据纹理复杂度公式获得所述纹理复杂度，所述纹理复杂度公式包括：
Figure 171677DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
为所述纹理复杂度，
Figure 440853DEST_PATH_IMAGE004
为所述熵，
Figure DEST_PATH_IMAGE005
为所述对比度，
Figure 505761DEST_PATH_IMAGE006
为所述熵的权重，
Figure DEST_PATH_IMAGE007
为所述对比度的权重。
进一步地，所述根据所述线性降维矩阵将所述胶带区域中的目标子区域和其他子区域的所述特征向量进行降维并整合，并通过所述相似度度量向量对整合后的向量进行度量，结合所述其他子区域的所述深度值差异指标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子区域的注意力权重包括：
根据注意力权重公式获得所述注意力权重，所述注意力权重公式包括：
Figure 842195DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为第
Figure 645941DEST_PATH_IMAGE010
个所述其他子区域相对于第
Figure DEST_PATH_IMAGE011
个所述目标子区域的所述注意力权重，
Figure 949884DEST_PATH_IMAGE012
为激活函数，
Figure DEST_PATH_IMAGE013
为第
Figure 303636DEST_PATH_IMAGE011
个所述目标子区域的所述表面特征向量，
Figure 150369DEST_PATH_IMAGE014
为第
Figure 344590DEST_PATH_IMAGE010
个所述其他子区域的所述表面特征向量，
Figure DEST_PATH_IMAGE015
为所述线性降维矩阵，
Figure 119517DEST_PATH_IMAGE016
为所述相似性度量向量，
Figure DEST_PATH_IMAGE017
为整合后的向量，
Figure 526227DEST_PATH_IMAGE018
为相似度度量函数，
Figure DEST_PATH_IMAGE019
为第
Figure 837254DEST_PATH_IMAGE010
个所述其他子区域的所述平均激光深度值差异，
Figure 812163DEST_PATH_IMAGE020
为第
Figure 621856DEST_PATH_IMAGE010
个所述其他子区域的所述透光性，
Figure DEST_PATH_IMAGE021
为第
Figure 815946DEST_PATH_IMAGE010
个所述其他子区域的所述平均声波深度值差异，
Figure 637272DEST_PATH_IMAGE022
为第
Figure 907716DEST_PATH_IMAGE010
个所述其他子区域的所述纹理复杂度，
Figure DEST_PATH_IMAGE023
为以自然常数为底的指数函数，
Figure 158700DEST_PATH_IMAGE024
为所述其他子区域的集合。
进一步地，所述根据加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向量聚合，获得所述多层感知器层的训练数据包括：
根据聚合公式获得每个所述目标子区域的聚合向量，所述聚合公式包括：
Figure 313738DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
为第
Figure 583045DEST_PATH_IMAGE011
个所述目标子区域的所述聚合向量，
Figure 539237DEST_PATH_IMAGE013
为第
Figure 933310DEST_PATH_IMAGE011
个所述目标子区域的所述表面特征向量，
Figure 751093DEST_PATH_IMAGE009
为第
Figure 547011DEST_PATH_IMAGE010
个所述其他子区域相对于第
Figure 175569DEST_PATH_IMAGE011
个所述目标子区域的所述注意力权重，
Figure 588096DEST_PATH_IMAGE014
为第
Figure 84936DEST_PATH_IMAGE010
个所述其他子区域的所述表面特征向量，
Figure 859994DEST_PATH_IMAGE024
为所述其他子区域的集合；
以所述聚合向量作为所述多层感知器层的训练数据，基于所述训练数据训练所述多层感知器层。
本发明具有如下有益效果：
本发明实施例通过图像采集设备采集密封处理后纸箱的表面像素信息、激光深度信息和声波深度信息。通过两种深度信息共同反应胶带在纸箱表面的贴合状态，避免了光学器件对透明且厚度较薄的胶带进行信息获取时的不适用性。根据胶带透光性作为平均声波深度值差异的权重，结合平均激光深度值获得胶带区域中每个子区域的深度值差异指标，同样避免了胶带的透光特性导致的激光深度信息不正确的缺陷。进一步构建包含注意力层和多层感知层的异常类别识别网络，通过注意力层中的参数确定所有其他子区域相对于目标子区域的注意力权重，然后通过注意力权重重新聚合目标子区域的表面特征向量，获得特征丰富且参考性强的向量，将其作为多层感知器层的训练数据，提高了异常类别识别网络的准确性。进而通过异常类别识别网络准确识别出待检测纸箱的实时表面特征向量的异常类别，方便工作人员根据异常类别对封箱机进行针对性的调控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于视觉识别的封箱机智能调控方法流程图；
图2为本发明一个实施例所提供的一种利用图像采集设备采集图像的过程示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉识别的封箱机智能调控方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于视觉识别的封箱机智能调控方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于视觉识别的封箱机智能调控方法流程图，该方法包括：
步骤S1：利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像；表面图像中每个像素点包括像素值、激光深度值和声波深度值。
封箱机在进行运行之前需要预先调整机器参数，以适合待密封的纸箱及所使用的胶带。由于机械老化或者人为操作失误，有可能在密封操作后导致胶带在纸箱上粘连异常，通过粘连异常能够反推出封箱机哪些参数设置不合适，进而进行调整。因此在纸箱经过密封后，需要通过流水线继续送入待检测区域，利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像，通过表面图像中的信息执行后续的网络训练或者异常识别等操作。其中表面图像中每个像素点包括像素值、激光深度值和声波深度值三种信息。
具体的，图像采集设备包括包含两个相机模组，每个相机模组中包括RGB相机、激光深度相机和超声波雷达。两个相机模组固定在升降杆上且与升降杆的角度均为45°，两个相机模组的拍摄视角相对。当待检测纸箱随着传送带传送至两个相机模组中间时，根据纸箱的高度控制升降杆的高度和后续纸箱与待检测纸箱的间距，采集待检测纸箱的表面图像。在本发明实施例中，激光深度相机采用Intel RealSense R200深度相机，超声波雷达采用HC-SR04超声波雷达，深度相机的镜头焦距为4mm，视野角度为78°。
请参阅图2，其示出了本发明一个实施例所提供的一种利用图像采集设备采集图像的过程示意图。图像采集设备通过连接在升降杆A上的相机模组B和相机模组C进行图像采集，其中限位器D用于将传送带上的纸箱固定在两个相机模组中间，限位器E用于固定流水线上后续的纸箱，避免对前一个纸箱的图像信息造成干扰，其中图2中的虚线表示纸箱中心与两个相机模组间距中心共线。
需要说明的是，本发明实施例考虑到未粘连的胶布受另一端的粘着力合重力的影响，一般呈一定角度的倾斜状态，如果超声波雷达是从纸箱正上方发射超声波，则会因为胶布形成的斜坡导致声波反射到其他地方，导致超声波雷达无法将准确的深度信息反馈出来。因此将相机模组在斜上方放置，以使得超声波雷达获得更多更准确的深度信息。并且通过两个相机模组分别获得纸箱胶带区域在左右两个侧面上的信息，通过两张图像信息共同表征当前纸箱的状态，使得识别结果更准确。
在本发明实施例中，通过当前要密封的纸箱的高度和相机模组的视野角度对升降杆的高度和检测区域纸箱之间的距离进行控制，以使得相机模组能够准确且完整的获得纸箱表面胶带区域的图像信息。其中间距与升降杆的高度的调整公式包括：
Figure 784088DEST_PATH_IMAGE028
，其中
Figure DEST_PATH_IMAGE029
为升降杆的高度或者纸箱之间的间距，
Figure 995495DEST_PATH_IMAGE030
为纸箱的高度，
Figure DEST_PATH_IMAGE031
为相机视野角度 ，在本发明实施例中
Figure 623923DEST_PATH_IMAGE031
为78°。
需要说明的是，因为两个相机模组拍摄的纸箱外形在成像平面的位置是一样的，并且两个相机模组拍摄的图像的特征提取方法相同，因此在后续描述中仅以一种图像为例进行表述。
步骤S2：获得表面图像中的胶带区域，将胶带分为多个子区域；子区域内的多种表面信息构成表面特征向量；表面信息包括像素值信息、激光深度值信息和声波深度值信息。
因为相机成像位置一定，且胶带在纸箱上封装的位置也一定，因此能够直接划定出胶带区域作为后续过程的感兴趣区域。在本发明实施例中，以纸箱缝隙为中线，胶带宽度的四倍作为感兴趣区域的宽度，对表面图像进行划分，获得胶带区域。
需要说明的是，现实世界的真实宽度、高度等数值可通过现有技术进行变换至图像空间中，在此不做赘述。
将胶带区域划分为多个子区域，获得每个子区域内的多种表面信息构成表面特征向量，表面信息包括像素值信息、激光深度值信息和声波深度值信息。在本发明实施例中，将胶带区域横向划分为4行，竖向划分为16列，获得多个子区域。
需要说明的是，因为本发明实施例中采用的相机为RGB相机，因此表面信息中的像素值信息为R、G和B三个通道的通道值信息。
具体获得每个子区域内的表面特征向量的方法包括：
将像素点的像素值、激光深度值和声波深度值构成像素点的特征向量，即像素点的特征向量
Figure 4220DEST_PATH_IMAGE032
表示为：
Figure DEST_PATH_IMAGE033
，其中，
Figure 692690DEST_PATH_IMAGE034
为像素点
Figure 283071DEST_PATH_IMAGE034
通道的通道值，
Figure 495616DEST_PATH_IMAGE029
为像素点
Figure 120632DEST_PATH_IMAGE029
通道的通道值，
Figure DEST_PATH_IMAGE035
为像素点
Figure 714424DEST_PATH_IMAGE035
通道的通道值，
Figure 667468DEST_PATH_IMAGE036
为像素点的激光深度值，
Figure DEST_PATH_IMAGE037
为像素点的声波深度值。
将子区域内的像素点的特征向量根据像素点的位置从左到右从上到下进行拼接，获得表面特征向量
步骤S3：获取每个子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度值差异；获取每个子区域中所有像素点的声波深度值与标准声波深度值的平均声波深度值差异；获取当前封箱机所使用胶布的透光性；将透光性与平均声波深度值差异相乘后与平均激光深度值差异相加，获得深度值差异指标；获取每个子区域的纹理复杂度。
标准激光深度值和标准声波深度值即为正常情况下纸箱表面到对应深度相机的距离，获取纸箱表面标准激光深度值和标准声波深度值的方法为本领域技术人员熟知的技术手段，在此不做赘述。
获取每个子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度值差异。获取每个子区域中所有像素点的声波深度值与标准声波深度值的平均声波深度值差异。需要说明的是，激光深度值差异和声波深度值差异均为对应位置的深度值与标准深度值的差值绝对值。
胶布的透光性决定了激光深度信息的参考度，透光性越强激光深度信息越不可靠，此时越需要参考声波深度信息，因此以透光性与平均声波深度值差异相乘后与平均激光深度值差异相加，获得深度值差异指标。即以透光性作为平均声波深度值差异的权重，透光性越强则平均声波深度值差异的信息越重要，因此获得的深度值差异指标在后续的注意力权重中能起到非常重要的参考性。
优选的，利用透光率检测以获得所用胶布的透光性。
进一步获得每个子区域的纹理复杂度，若某个子区域的纹理复杂度越复杂，则说明此处的子区域的条纹像素变化越剧烈，越有可能出现胶带纠缠或者胶带紧绷将纸箱勒出褶皱。
优选的，获得子区域的纹理复杂度的方法包括：获得子区域的灰度共生矩阵；获得灰度共生矩阵的熵和对比度；根据纹理复杂度公式获得纹理复杂度，纹理复杂度公式包括：
Figure 637698DEST_PATH_IMAGE002
其中，
Figure 117221DEST_PATH_IMAGE003
为纹理复杂度，
Figure 927920DEST_PATH_IMAGE004
为熵，
Figure 492894DEST_PATH_IMAGE005
为对比度，
Figure 797973DEST_PATH_IMAGE006
为熵的权重，
Figure 397582DEST_PATH_IMAGE007
为对比度的权重。在本发明实施例中，
Figure 880647DEST_PATH_IMAGE006
取值为0.3，
Figure 667337DEST_PATH_IMAGE007
取值为0.7。
步骤S4：构建异常类别识别网络；异常类别识别网络包括注意力层和多层感知器层；在训练过程中更新注意力层的线性降维矩阵和相似性度量向量，根据线性降维矩阵将胶带区域中的目标子区域和其他子区域的表面特征向量进行降维并整合，并通过相似度度量向量对整合后的向量进行度量，结合其他子区域的深度值差异指标和纹理复杂度获得每个其他子区域相对于目标子区域的注意力权重；根据加权后的其他子区域的表面特征向量与目标子区域的表面特征向量聚合，获得多层感知器层的训练数据，基于训练数据训练多层感知器层。
胶带出现凸起、胶带边角未粘连和胶带未切断造成拖尾的情况，均可利用深度值差异进行表示；胶带过度紧绷和胶带纠缠情况可利用纹理复杂度进行表示；胶带歪斜，未成功粘在纸箱中线上则可利用像素值信息进行表示。因为表面特征向量同时包含了像素值信息和深度值信息，因此表面特征向量能够作为后续异常类别识别时所用的特征向量。但是在异常类别识别网络的训练过程中，为了加强网络对各个异常类别的识别，需要在网络中对输入的表面特征向量进行处理，根据深度值差异和纹理复杂度对表面特征向量进行针对性的调整，使得网络能够加强学习异常类别与对应表面特征向量之间的关联。
异常识别网络主要包括注意力层和多层感知层。在本发明实施例中，异常识别网络结构采用CS(CaseSealing)-Transformer神经网络结构，具体网络结构与构建手段为本领域技术人员熟知的技术手段，在此不做赘述，以下仅针对本发明实施例的发明构思对异常识别网络进行针对性的说明。
异常识别网络的注意力层主要用于根据子区域对应的深度值差异信息和纹理复杂度信息确定每个其他子区域相对于目标子区域的注意力权重。注意力层中的更新参数为线性降维矩阵和相似性度量向量，随着异常识别网络整体的训练及更新，注意力层中的线性降维矩阵和相似性度量向量也会进一步更新，两个更新参数的目的在于：线性降维矩阵将胶带区域中的目标子区域和其他子区域的表面特征向量进行针对性的降维并整合，需要说明的是，随着网络的更新，线性降维矩阵也会发生更新，进而寻找出最优的维度,供后续注意力权重的计算；相似性度量向量用于对整合后的向量进行相似性度量，即相似性越大说明两个表面特征向量的关联度越大，则其他子区域的表面特征向量对目标子区域的表面特征向量的参考性越强，其他子区域对应的注意力权重就越大。
进一步结合其他子区域的深度值差异指标和纹理复杂度即可获得每个其他子区域相对于目标子区域的注意力权重，具体包括：
根据注意力权重公式获得注意力权重，注意力权重公式包括：
Figure 776107DEST_PATH_IMAGE008
其中，
Figure 230222DEST_PATH_IMAGE009
为第
Figure 382724DEST_PATH_IMAGE010
个其他子区域相对于第
Figure 656710DEST_PATH_IMAGE011
个目标子区域的注意力权重，
Figure 303592DEST_PATH_IMAGE012
为激活函数，
Figure 612214DEST_PATH_IMAGE013
为第
Figure 437082DEST_PATH_IMAGE011
个目标子区域的表面特征向量，
Figure 463944DEST_PATH_IMAGE014
为第
Figure 321041DEST_PATH_IMAGE010
个其他子区域的表面特征向量，
Figure 874382DEST_PATH_IMAGE015
为线性降维矩阵，
Figure 994785DEST_PATH_IMAGE016
为相似性度量向量，
Figure 617265DEST_PATH_IMAGE017
为整合后的向量，
Figure 481316DEST_PATH_IMAGE018
为相似度度量函数，
Figure 889163DEST_PATH_IMAGE019
为第
Figure 180467DEST_PATH_IMAGE010
个其他子区域的平均激光深度值差异，
Figure 791709DEST_PATH_IMAGE020
为第
Figure 193871DEST_PATH_IMAGE010
个其他子区域的透光性，
Figure 721804DEST_PATH_IMAGE021
为第
Figure 918430DEST_PATH_IMAGE010
个其他子区域的平均声波深度值差异，
Figure 515503DEST_PATH_IMAGE022
为第
Figure 986935DEST_PATH_IMAGE010
个其他子区域的纹理复杂度，
Figure 103796DEST_PATH_IMAGE023
为以自然常数为底的指数函数，
Figure 736903DEST_PATH_IMAGE024
为其他子区域的集合。
注意力权重公式中，深度值差异指标和纹理复杂度与注意力权重呈正相关关系，分母的目的在于对每个注意力权重进行归一化。通过激活函数和指数函数对权重进行数值限定。
通过相同的计算可获得每个其他子区域相对于目标子区域的注意力权重，获取所有注意力权重的过程可视为目标子区域感知整个胶带区域信息的过程，根据感知结果即可实现对自身表面特征向量的调整，使得目标子区域中的表面特征向量能够针对性的增强，方便后续感知器层的训练。根据加权后的其他子区域的表面特征向量与目标子区域的表面特征向量聚合，获得多层感知器层的训练数据包括：
根据聚合公式获得每个目标子区域的聚合向量，聚合公式包括：
Figure 322736DEST_PATH_IMAGE026
其中，
Figure 332280DEST_PATH_IMAGE027
为第
Figure 303647DEST_PATH_IMAGE011
个目标子区域的聚合向量，
Figure 373234DEST_PATH_IMAGE013
为第
Figure 102156DEST_PATH_IMAGE011
个目标子区域的表面特征向量，
Figure 492555DEST_PATH_IMAGE009
为第
Figure 990532DEST_PATH_IMAGE010
个其他子区域相对于第
Figure 558917DEST_PATH_IMAGE011
个目标子区域的注意力权重，
Figure 775135DEST_PATH_IMAGE014
为第
Figure 1848DEST_PATH_IMAGE010
个其他子区域的表面特征向量，
Figure 823173DEST_PATH_IMAGE024
为其他子区域的集合。
根据聚合公式可将针对注意力权重将整个胶带区域的信息聚合至目标子区域中，通过改变目标子区域即可实现每个子区域的表面特征向量的增强。
以聚合向量作为多层感知器层的训练数据，基于训练数据训练多层感知器层。多层感知器层由softmax层和分类器构成，通过训练数据对多层感知器层训练，以对应的异常类型作为标签，实现分类的目的。
需要说明的是，在异常类别识别网络的训练阶段，需要人为的将特定异常类型的纸箱放置在检测区进行数据采集，得到的图像数据作为训练集，网络整体采用交叉熵损失函数，优化器使用Adam，使得异常类别识别网络拟合出最优的参数，能够准确识别各种类型的纸箱密封异常类别。在本发明实施例中，异常类别一共六种，分别包括：胶带凸起（01）、胶带边角未粘连（02）、胶带过度紧绷（03）、胶带未切断（04）、胶带歪斜（05）和胶带纠缠（06）。
需要说明的是，流水线计算平台不承担神经网络的训练任务，仅用来运行训练完成的模型，因此测试过程的显存占用量反映了真实的计算平台配置需求，本文算法在测试过程中占用显存相比于原算法增加不明显，因此能够适应一般的流水线运行速度。
步骤S5：将待检测纸箱的实时表面特征向量输入所述异常类别识别网络，获得异常类别；根据所述异常类别调节封箱机的参数。
利用训练好的异常类别识别网络处理待检测纸箱的实时表面特征即可获得当前的异常类别。需要说明的是，因为本发明实施例旨在实现自动化的封箱机密封异常检测，因此能够避免人员主观的判断影响，在获得异常类别后可通过预警信号警示工作人员，使得工作人员能够根据异常类别针对性的调节封箱机的参数，避免了人员的主观判断的不准确性和时间成本的浪费。
在本发明实施例中，结合六种异常类型可对封箱机做出针对性的调控，具体包括：
若出现胶带凸起和胶带边角未粘连的情况，则说明封箱机的纸箱助推器施加力度不够，导致胶带并未完整贴合至纸箱表面，需要将加大封箱机的纸箱助推器的输出。
若出现胶带过度紧绷的情况，则说明限位器过于紧绷，需要将其调松；
若出现胶带未切断的情况，则说明限位器过于松弛，使得刀片未能成功施加足够的力在胶带上，需要将其调紧。
若出现胶带歪斜和胶带纠缠的情况，则说明胶带在滑轮之间出现了错位，需要人工将其调节理顺。
综上所述，本发明实施例采集封箱机密封处理后纸箱表面的像素值信息、激光深度值信息和声波深度值信息，根据这些信息构建胶带区域每个子区域的表面特征向量。构建异常类别识别网络，注意力层根据每个子区域的深度值差异指标和纹理复杂度获得注意力权重，通过注意力权重调整每个子区域的表面特征向量获得多层感知器层的训练数据。通过训练完成的异常类别识别网络识别出待检测纸箱的异常类别，对封箱机参数进行针对性调节。本发明实施例通过对特征向量的增强，进而获得准确的异常类别识别网络进行异常类别识别，通过异常类别能够对封箱机进行针对性的智能调控。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视觉识别的封箱机智能调控方法，其特征在于，所述方法包括：
利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像；所述表面图像中每个像素点包括像素值、激光深度值和声波深度值；
获得所述表面图像中的胶带区域，将所述胶带分为多个子区域；所述子区域内的多种表面信息构成表面特征向量；所述表面信息包括像素值信息、激光深度值信息和声波深度值信息；
获取每个所述子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度值差异；获取每个所述子区域中所有像素点的声波深度值与标准声波深度值的平均声波深度值差异；获取当前封箱机所使用胶布的透光性；将所述透光性与所述平均声波深度值差异相乘后与所述平均激光深度值差异相加，获得深度值差异指标；获取每个所述子区域的纹理复杂度；
构建异常类别识别网络；所述异常类别识别网络包括注意力层和多层感知器层；在训练过程中更新所述注意力层的线性降维矩阵和相似性度量向量，根据所述线性降维矩阵将所述胶带区域中的目标子区域和其他子区域的所述表面特征向量进行降维并整合，并通过所述相似度度量向量对整合后的向量进行度量，结合所述其他子区域的所述深度值差异指标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子区域的注意力权重；根据加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向量聚合，获得所述多层感知器层的训练数据，基于所述训练数据训练所述多层感知器层；
将待检测纸箱的实时表面特征向量输入所述异常类别识别网络，获得异常类别；根据所述异常类别调节封箱机的参数。
2.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法，其特征在于，所述图像采集设备包括：
所述图像采集设备包含两个相机模组，每个相机模组中包括RGB相机、激光深度相机和超声波雷达；两个相机模组固定在升降杆上且与升降杆的角度均为45°，两个相机模组的拍摄视角相对；当待检测纸箱随着传送带传送至两个相机模组中间时，根据纸箱的高度控制升降杆的高度和后续纸箱与待检测纸箱的间距，采集待检测纸箱的表面图像。
3.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法，其特征在于，所述子区域内的多种表面信息构成表面特征向量包括：
将像素点的像素值、激光深度值和声波深度值构成像素点的特征向量；将所述子区域内的像素点的所述特征向量根据像素点的位置从左到右从上到下进行拼接，获得所述表面特征向量。
4.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法，其特征在于，所述获取当前封箱机所使用胶布的透光性包括：
利用透光率检测仪获得所用胶布的透光性。
5.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法，其特征在于，所述获取每个所述子区域的纹理复杂度包括：
获得所述子区域的灰度共生矩阵；获得所述灰度共生矩阵的熵和对比度；根据纹理复杂度公式获得所述纹理复杂度，所述纹理复杂度公式包括：
Figure 76024DEST_PATH_IMAGE001
其中，
Figure 45117DEST_PATH_IMAGE002
为所述纹理复杂度，
Figure 925390DEST_PATH_IMAGE003
为所述熵，
Figure 538905DEST_PATH_IMAGE004
为所述对比度，
Figure 183513DEST_PATH_IMAGE005
为所述熵的权重，
Figure 780848DEST_PATH_IMAGE006
为所述对比度的权重。
6.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法，其特征在于，所述根据所述线性降维矩阵将所述胶带区域中的目标子区域和其他子区域的所述特征向量进行降维并整合，并通过所述相似度度量向量对整合后的向量进行度量，结合所述其他子区域的所述深度值差异指标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子区域的注意力权重包括：
根据注意力权重公式获得所述注意力权重，所述注意力权重公式包括：
Figure 536314DEST_PATH_IMAGE007
其中，
Figure 269915DEST_PATH_IMAGE008
为第
Figure 819845DEST_PATH_IMAGE009
个所述其他子区域相对于第
Figure 137431DEST_PATH_IMAGE010
个所述目标子区域的所述注意力权重，
Figure 837534DEST_PATH_IMAGE011
为激活函数，
Figure 550275DEST_PATH_IMAGE012
为第
Figure 412052DEST_PATH_IMAGE010
个所述目标子区域的所述表面特征向量，
Figure 577454DEST_PATH_IMAGE013
为第
Figure 550089DEST_PATH_IMAGE009
个所述其他子区域的所述表面特征向量，
Figure 382916DEST_PATH_IMAGE014
为所述线性降维矩阵，
Figure 914129DEST_PATH_IMAGE015
为所述相似性度量向量，
Figure 566828DEST_PATH_IMAGE016
为整合后的向量，
Figure 343154DEST_PATH_IMAGE017
为相似度度量函数，
Figure 30487DEST_PATH_IMAGE018
为第
Figure 234066DEST_PATH_IMAGE009
个所述其他子区域的所述平均激光深度值差异，
Figure 108481DEST_PATH_IMAGE019
为第
Figure 547553DEST_PATH_IMAGE009
个所述其他子区域的所述透光性，
Figure 964759DEST_PATH_IMAGE020
为第
Figure 463874DEST_PATH_IMAGE009
个所述其他子区域的所述平均声波深度值差异，
Figure 199486DEST_PATH_IMAGE021
为第
Figure 442249DEST_PATH_IMAGE009
个所述其他子区域的所述纹理复杂度，
Figure 713961DEST_PATH_IMAGE022
为以自然常数为底的指数函数，
Figure 383977DEST_PATH_IMAGE023
为所述其他子区域的集合。
7.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法，其特征在于，所述根据加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向量聚合，获得所述多层感知器层的训练数据包括：
根据聚合公式获得每个所述目标子区域的聚合向量，所述聚合公式包括：
Figure 373930DEST_PATH_IMAGE024
其中，
Figure 420383DEST_PATH_IMAGE025
为第
Figure 546602DEST_PATH_IMAGE010
个所述目标子区域的所述聚合向量，
Figure 387519DEST_PATH_IMAGE012
为第
Figure 723822DEST_PATH_IMAGE010
个所述目标子区域的所述表面特征向量，
Figure 947868DEST_PATH_IMAGE008
为第
Figure 53227DEST_PATH_IMAGE009
个所述其他子区域相对于第
Figure 940412DEST_PATH_IMAGE010
个所述目标子区域的所述注意力权重，
Figure 29591DEST_PATH_IMAGE013
为第
Figure 27634DEST_PATH_IMAGE009
个所述其他子区域的所述表面特征向量，
Figure 253079DEST_PATH_IMAGE023
为所述其他子区域的集合；
以所述聚合向量作为所述多层感知器层的训练数据，基于所述训练数据训练所述多层感知器层。
CN202211418477.2A 2022-11-14 2022-11-14 基于视觉识别的封箱机智能调控方法 Active CN115471505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211418477.2A CN115471505B (zh) 2022-11-14 2022-11-14 基于视觉识别的封箱机智能调控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211418477.2A CN115471505B (zh) 2022-11-14 2022-11-14 基于视觉识别的封箱机智能调控方法

Publications (2)

Publication Number Publication Date
CN115471505A true CN115471505A (zh) 2022-12-13
CN115471505B CN115471505B (zh) 2023-07-28

Family

ID=84338117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211418477.2A Active CN115471505B (zh) 2022-11-14 2022-11-14 基于视觉识别的封箱机智能调控方法

Country Status (1)

Country Link
CN (1) CN115471505B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210132223A1 (en) * 2018-06-13 2021-05-06 Technische Universität München Method and Apparatus for Ultrasound Imaging with Improved Beamforming
CN113780060A (zh) * 2021-07-26 2021-12-10 华北电力大学（保定） 一种基于多模态深度学习的高压开关柜态势感知方法
US20220066456A1 (en) * 2016-02-29 2022-03-03 AI Incorporated Obstacle recognition method for autonomous robots
CN114519696A (zh) * 2021-12-31 2022-05-20 扬州盛强薄膜材料有限公司 基于光学智能化的pvc热收缩膜检测方法及系统
CN114565579A (zh) * 2022-03-02 2022-05-31 南京航空航天大学 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统
CN114898125A (zh) * 2022-07-14 2022-08-12 武汉东沃慧达科技有限公司 基于光场成像技术的轮轴识别方法、系统及存储介质
CN114972882A (zh) * 2022-06-17 2022-08-30 西安交通大学 基于多注意力机制的磨损表面损伤深度估计方法及系统
CN114998323A (zh) * 2022-07-19 2022-09-02 南通飞旋智能科技有限公司 基于注意力机制的螺纹钢异常判定方法
CN115083229A (zh) * 2022-08-22 2022-09-20 珠海翔翼航空技术有限公司 基于ai视觉识别的飞行训练设备智能识别与警示系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220066456A1 (en) * 2016-02-29 2022-03-03 AI Incorporated Obstacle recognition method for autonomous robots
US20210132223A1 (en) * 2018-06-13 2021-05-06 Technische Universität München Method and Apparatus for Ultrasound Imaging with Improved Beamforming
CN113780060A (zh) * 2021-07-26 2021-12-10 华北电力大学（保定） 一种基于多模态深度学习的高压开关柜态势感知方法
CN114519696A (zh) * 2021-12-31 2022-05-20 扬州盛强薄膜材料有限公司 基于光学智能化的pvc热收缩膜检测方法及系统
CN114565579A (zh) * 2022-03-02 2022-05-31 南京航空航天大学 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统
CN114972882A (zh) * 2022-06-17 2022-08-30 西安交通大学 基于多注意力机制的磨损表面损伤深度估计方法及系统
CN114898125A (zh) * 2022-07-14 2022-08-12 武汉东沃慧达科技有限公司 基于光场成像技术的轮轴识别方法、系统及存储介质
CN114998323A (zh) * 2022-07-19 2022-09-02 南通飞旋智能科技有限公司 基于注意力机制的螺纹钢异常判定方法
CN115083229A (zh) * 2022-08-22 2022-09-20 珠海翔翼航空技术有限公司 基于ai视觉识别的飞行训练设备智能识别与警示系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YAN HUANG等: "Hierarchical Deep Multi-task Learning with Attention Mechanism for Similarity Learning", 《 IEEE TRANSACTIONS ON COGNITIVE AND DEVELOPMENTAL SYSTEMS》 *
李湛等: "跨传感器异步迁移学习的室内单目无人机避障", 《宇航学报》 *
王太勇等: "基于注意力机制BiLSTM的设备智能故障诊断方法", 《天津大学学报(自然科学与工程技术版)》 *

Also Published As

Publication number Publication date
CN115471505B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN109454006A (zh) 化纤丝锭绊丝缺陷在线检测和分级的装置及其检测分级方法
CN115272341A (zh) 一种基于机器视觉的包装机缺陷产品检测方法
CN105701476A (zh) 一种基于机器视觉的生产线产品自动化识别系统及方法
CN105139397B (zh) 一种pcb板检测方法及装置
CN106228546A (zh) 一种板卡的检测方法及装置
CN110503638A (zh) 螺旋胶质量在线检测方法
CN109738455A (zh) 一种基于深度学习的封装带检测系统及交互控制方法
JP6749655B1 (ja) 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
CN104056790A (zh) 一种马铃薯智能分选方法与装置
CN110197106A (zh) 物件标示系统及方法
CN112132523A (zh) 一种货物数量确定方法、系统和装置
CN116934719B (zh) 一种用于带式输送设备的自动检测系统
CN108267455A (zh) 塑料薄膜印刷字符缺陷检测装置及方法
CN116228758A (zh) 一种用于偏光片生产的内部气泡检测方法
CN116148801B (zh) 一种基于毫米波雷达的目标检测方法及系统
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别系统
CN116228678A (zh) 芯片封装缺陷自动识别和处理方法
CN103903265A (zh) 检测工业产品包装破损的方法
CN113554067B (zh) 基于集成学习的光纤缠绕缺陷检测方法与装置
CN115471542A (zh) 一种基于YOLO v5的包装物双目识别定位方法
CN115471505A (zh) 基于视觉识别的封箱机智能调控方法
CN111738963B (zh) 一种基于深度自学习的烟包包装外观检测方法
CN111723726B (zh) 一种脉冲神经膜系统干燥剂包装袋识别模型的识别方法
CN117214178A (zh) 一种用于包装生产线上包装件外观缺陷智能识别方法
CN108230385B (zh) 单相机运动检测超高叠层、超薄烟标数量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant