CN117593530B - 一种密集纸箱分割方法和系统 - Google Patents

一种密集纸箱分割方法和系统 Download PDF

Info

Publication number
CN117593530B
CN117593530B CN202410078788.1A CN202410078788A CN117593530B CN 117593530 B CN117593530 B CN 117593530B CN 202410078788 A CN202410078788 A CN 202410078788A CN 117593530 B CN117593530 B CN 117593530B
Authority
CN
China
Prior art keywords
carton
segmentation
foreground
dense
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410078788.1A
Other languages
English (en)
Other versions
CN117593530A (zh
Inventor
王磊
付伟男
时少艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202410078788.1A priority Critical patent/CN117593530B/zh
Publication of CN117593530A publication Critical patent/CN117593530A/zh
Application granted granted Critical
Publication of CN117593530B publication Critical patent/CN117593530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种密集纸箱分割方法和系统，其中，该方法包括：将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，纸箱分割模型包含前景分割网络和分层分割网络；通过前景分割网络，对待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；通过分层分割网络，将待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；基于纸箱前景掩码和纸箱目标掩码，得到待分割密集纸箱图像的纸箱分割结果。通过本申请，实现了基于前景分割网络的纸箱分割漏检和错检风险的降低，通过基于分层分割网络消除纸箱之间的拥挤，无需显式的像素聚类，从而避免了大量的后处理工作，解决了如何提高密集纸箱分割效果的问题。

Description

一种密集纸箱分割方法和系统
技术领域
本申请涉及计算机技术领域，特别是涉及一种密集纸箱分割方法和系统。
背景技术
在纸箱拆码垛场景中，纸箱通常排布密集，一般采用实例分割的方法定位出每个纸箱的位置，为后续机械手抓取纸箱提供精准位置。
而针对密集纸箱的实例分割，在当前基于深度学习的方法中，主要有两个路线：（1）自上而下的实例分割方法，一般首先采用先检测后分割的方法。目标检测的方法获得边界框，依靠非最大值抑制(NMS)去除重复预测的目标框，然后再通过二值化分割出目标。然而非极大值抑制存在固有缺陷：NMS预设阈值的调整直接会影响边界框的抑制效果，纸箱密集场景容易漏检。（2）自底向上的实例分割方法，一般采用像素嵌入分组的方法。训练深度神经网络将像素映射到嵌入空间中，得到每个像素的embedding，然后使用聚类算法将embedding分组到单个实例中。然而基于分组的方法严重依赖后处理聚类算法，且密集边界的像素嵌入结果难以优化，影响密集纸箱分割准确率。
目前针对相关技术中如何提高密集纸箱分割效果的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种密集纸箱分割方法和系统，以至少解决相关技术中如何提高密集纸箱分割效果的问题。
第一方面，本申请实施例提供了一种密集纸箱分割方法，所述方法包括：
将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，所述纸箱分割模型包含前景分割网络和分层分割网络；
通过所述前景分割网络，对所述待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；
通过所述分层分割网络，将所述待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；
基于所述纸箱前景掩码和所述纸箱目标掩码，得到所述待分割密集纸箱图像的纸箱分割结果。
在其中一些实施例中，基于所述纸箱前景掩码和所述纸箱目标掩码，得到所述待分割密集纸箱图像的纸箱分割结果包括：
将所述纸箱前景掩码中面积小于预设面积阈值的前景区域进行去除，得到符合实际纸箱大小的纸箱前景掩码；
对所述纸箱前景掩码与所述纸箱目标掩码进行乘法运算，得到所述待分割密集纸箱图像的纸箱分割结果。
在其中一些实施例中，在将待分割密集纸箱图像输入训练好的纸箱分割模型中之前，所述方法包括：
获取用于模型训练的纸箱图像；
通过所述纸箱图像对纸箱分割模型中的前景分割网络进行训练，通过所述纸箱图像对所述纸箱分割模型中的分层分割网络进行训练，得到训练好的所述纸箱分割模型。
在其中一些实施例中，通过所述纸箱图像对所述纸箱分割模型中的分层分割网络进行训练包括：
基于所述纸箱图像，通过分层损失函数对所述纸箱分割模型中的分层分割网络进行训练，其中，所述分层损失函数包括吸引损失函数L arr 、排斥损失函数L rep 和稀疏损失函数L sparse 。
在其中一些实施例中，通过所述吸引损失函数L arr 对所述纸箱分割模型中的分层分割网络进行训练，其中，所述吸引损失函数L arr 用于使每个纸箱目标中的每个像素点的像素嵌入与对应纸箱目标区域的平均像素嵌入相似度增加，令所述分层分割网络更精准地对相邻纸箱进行分割，输出得到若干纸箱目标掩码。
在其中一些实施例中，通过所述排斥损失函数L rep 对所述纸箱分割模型中的分层分割网络进行训练，其中，所述排斥损失函数L rep 用于使任意两个相邻的纸箱目标区域的平均像素嵌入的相似度降低，令所述分层分割网络更精准地对相邻纸箱进行分割，输出得到若干纸箱目标掩码。
在其中一些实施例中，通过所述稀疏损失函数L sparse 对所述纸箱分割模型中的分层分割网络进行训练，其中，所述稀疏损失函数L sparse 用于放大像素嵌入中最大一维的值，令所述分层分割网络更好地对相邻纸箱进行分割，输出得到若干纸箱目标掩码。
在其中一些实施例中，通过所述纸箱图像对纸箱分割模型中的前景分割网络进行训练包括：
基于所述纸箱图像，通过BCE损失函数对纸箱分割模型中的前景分割网络进行训练。
在其中一些实施例中，获取用于模型训练的纸箱图像包括：
获取用于模型训练的纸箱图像，对所述纸箱图像进行标注，生成纸箱前景掩码标签和纸箱目标掩码标签，其中，所述纸箱前景掩码标签用于所述前景分割网络的训练，所述纸箱目标掩码标签用于所述分层分割网络的训练；
对纸箱图像进行数据增强，得到数据增强后的纸箱图像，其中，所述数据增强包括亮度调整、对比度调整、模糊调整、旋转调整和翻转调整。
第二方面，本申请实施例提供了一种密集纸箱分割系统，所述系统用于执行上述第一方面中任一项所述的方法，所述系统包括图像输入模块、模型执行模块、结果计算模块；
所述图像输入模块，用于将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，所述纸箱分割模型包含前景分割网络和分层分割网络；
所述模型执行模块，用于通过所述前景分割网络，对所述待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；通过所述分层分割网络，将所述待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；
所述结果计算模块，用于根据所述纸箱前景掩码和所述纸箱目标掩码，得到所述待分割密集纸箱图像的纸箱分割结果。
相比于相关技术，本申请实施例提供的一种密集纸箱分割方法和系统，其中，该方法通过将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，纸箱分割模型包含前景分割网络和分层分割网络；通过前景分割网络，对待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；通过分层分割网络，将待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；基于纸箱前景掩码和纸箱目标掩码，得到待分割密集纸箱图像的纸箱分割结果，实现了通过前景分割网络对纸箱前景进行分割，结合纸箱前景进行纸箱分割能够有效降低纸箱密集场景下的漏检和错检风险，提高纸箱分割的准确率，通过分层分割网络将纸箱目标分层到不同的分割输出层来消除纸箱之间的拥挤，无需显式的像素聚类，从而避免了大量的后处理工作，解决了如何提高密集纸箱分割效果的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的密集纸箱分割方法的步骤流程图；
图2是根据本申请实施例的密集纸箱分割方法的流程示意图；
图3是根据本申请实施例的纸箱分层示意图；
图4是根据本申请实施例的密集纸箱分割系统的结构框图；
图5是根据本申请实施例的电子设备的内部结构示意图。
附图标识：41、图像输入模块；42、模型执行模块；43、结果计算模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
实施例1
本申请实施例提供了一种密集纸箱分割方法，图1是根据本申请实施例的密集纸箱分割方法的步骤流程图，如图1所示，该方法包括以下步骤：
步骤S102，将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，纸箱分割模型包含前景分割网络和分层分割网络；
步骤S102优选地，纸箱分割模型优选为基于U-NET神经网络的分割模型。
步骤S104，通过前景分割网络，对待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；
步骤S104优选地，前景分割网络优选为U-NET网络结构后增加一个单通道卷积层和sigmoid激活函数。
步骤S106，通过分层分割网络，将待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；
步骤S104优选地，分层分割网络与前景分割网络共用U-NET网络，分层分割网络优选为U-NET网络结构后增加一个8通道卷积层和sigmoid激活函数。网络的输出为8通道的纸箱前景概率图，表示将密集纸箱分割到8个输出层上，每个输出层上不存在空间相邻纸箱。
需要说明的是，通过分层分割网络将纸箱目标分层到不同的分割输出层来消除纸箱之间的拥挤，即分层分割网络将相邻纸箱分割到不同输出层，由于分层分割网络输出层中的每一层都不存在空间相邻的纸箱，因此容易分离它们，不需要显式的像素聚类，从而避免了大量的后处理工作。
步骤S108，基于纸箱前景掩码和纸箱目标掩码，得到待分割密集纸箱图像的纸箱分割结果。
步骤S108具体地，将纸箱前景掩码中面积小于预设面积阈值的前景区域进行去除，得到符合实际纸箱大小的纸箱前景掩码；对纸箱前景掩码与纸箱目标掩码进行乘法运算，得到待分割密集纸箱图像的纸箱分割结果。
步骤S108优选地，分为对前景分割网络的输出结果的后处理，以及对分层分割网络的输出结果的后处理。其中，前景分割结果的后处理：考虑到实际纸箱的大小，将前景分割掩码（mask）中面积小于预设面积阈值S min 的前景区域去除。分层分割结果的后处理：将前景分割掩码（mask）与纸箱目标掩码（mask）相乘，使得分层分割结果中所有输出层的非前景区域概率值全部置零。然后将每个输出层中像素概率值最大的设为前景，且将大于概率阈值的像素点设为前景。最终只保留面积大于预设面积阈值S min 的前景区域作为纸箱目标的分割结果。
需要说明的是，本申请中的纸箱分割模型并不单只用于分割图像中的纸箱，凡是涉及到图像中物体的分割，皆可通过该纸箱分割模型进行分割，包括但不限于机器零部件、工业产品和日用产品等。
通过本申请实施例中的步骤S102至步骤S108，实现了通过前景分割网络对纸箱前景进行分割，结合纸箱前景进行纸箱分割能够有效降低纸箱密集场景下的漏检和错检风险，提高纸箱分割的准确率，通过分层分割网络将纸箱目标分层到不同的分割输出层来消除纸箱之间的拥挤，无需显式的像素聚类，从而避免了大量的后处理工作，解决了如何提高密集纸箱分割效果的问题。通过该方法，密集纸箱分割准确率得到提升，且后处理减少，耗时降低，提升了纸箱拆码垛效率和精准率。
实施例2
本申请实施例提供了一种密集纸箱分割方法，在上述实施例1的步骤S102之前，该方法还包括：
步骤一，获取用于模型训练的纸箱图像；
步骤一具体地，图2是根据本申请实施例的密集纸箱分割方法的流程示意图，如图2所示，获取用于模型训练的纸箱图像，对纸箱图像进行标注，生成纸箱前景掩码标签和纸箱目标掩码标签，其中，纸箱前景掩码标签用于前景分割网络的训练，纸箱目标掩码标签用于分层分割网络的训练；对纸箱图像进行数据增强，得到数据增强后的纸箱图像，其中，数据增强包括亮度调整、对比度调整、模糊调整、旋转调整和翻转调整。
需要说明的是，模拟纸箱拆码垛现场场景，在多种光照条件下采集各种纸箱大小以及纸箱不同摆放方式的密集纸箱图像。对纸箱图像进行标注，生成纸箱前景掩码（mask）标签和纸箱目标掩码（mask）标签。对纸箱图像进行数据增强，以增加纸箱图像数量和多样性，提升纸箱分割准确率。
步骤二，通过纸箱图像对纸箱分割模型中的前景分割网络进行训练，通过纸箱图像对纸箱分割模型中的分层分割网络进行训练，得到训练好的纸箱分割模型。
步骤二中通过纸箱图像对纸箱分割模型中的前景分割网络进行训练，具体地：基于纸箱图像，通过BCE损失函数对纸箱分割模型中的前景分割网络进行训练。优选地，如图2所示，前景分割网络优选为U-NET网络结构后增加一个单通道卷积层和sigmoid激活函数。
步骤二中通过纸箱图像对纸箱分割模型中的前景分割网络进行训练，具体为：基于纸箱图像，通过分层损失函数对纸箱分割模型中的分层分割网络进行训练，其中，分层损失函数包括吸引损失函数L arr 、排斥损失函数L rep 和稀疏损失函数L sparse 。如图2所示，分层分割网络优选为U-NET网络结构后增加一个8通道卷积层和sigmoid激活函数。网络的输出为8通道的纸箱前景概率图，表示将密集纸箱分割到8个输出层上，每个输出层上不存在空间相邻纸箱。
图3是根据本申请实施例的纸箱分层示意图，如图3所示，设置8个输出层是因为根据纸箱密集排布，在每个纸箱的8邻域纸箱范围中，至少需要4个输出层才能保证相邻纸箱不在同一输出层上（如图3中纸箱分层说明所示，数字表示纸箱所在的层索引）。考虑到纸箱大小不同以及排布无规则，部分大纸箱可能会与多个小纸箱相邻，增设4个输出层保证相邻纸箱不在同一输出层，即8个输出层可以保证相邻纸箱不在同一层。
需要说明的是，通过分层分割网络将纸箱目标分层到不同的分割输出层来消除纸箱之间的拥挤，即分层分割网络将相邻纸箱分割到不同输出层，由于分层分割网络输出层中的每一层都不存在空间相邻的纸箱，因此容易分离它们，不需要显式的像素聚类，从而避免了大量的后处理工作。
通过分层损失函数对纸箱分割模型中的分层分割网络进行训练进一步地包括以下步骤：
步骤①，通过吸引损失函数L arr 对纸箱分割模型中的分层分割网络进行训练，其中，吸引损失函数L arr 用于使每个纸箱目标中的每个像素点的像素嵌入与对应纸箱目标区域的平均像素嵌入相似度增加，令分层分割网络更精准地对相邻纸箱进行分割，输出得到若干纸箱目标掩码。
步骤①优选地，吸引损失函数L arr 的函数公式为：
其中，，/>，ei表示像素点i的像素嵌入（embedding），ej表示像素点j的像素嵌入（embedding），ep表示像素点p的像素嵌入（embedding），C为单张图像中总的纸箱个数，/>表示单张图像中第i个纸箱目标。L arr 使得每个纸箱目标中的每个像素点的embedding和该纸箱区域的平均embedding相似度增加，从而让该纸箱目标区域中的像素互相吸引。
步骤②，通过排斥损失函数L rep 对纸箱分割模型中的分层分割网络进行训练，其中，排斥损失函数L rep 用于使任意两个相邻的纸箱目标区域的平均像素嵌入的相似度降低，令分层分割网络更精准地对相邻纸箱进行分割，输出得到若干纸箱目标掩码。
步骤②优选地，排斥损失函数L rep 的函数公式为：
其中， 表示纸箱目标/>的邻接纸箱目标，/>表示单张图像中第i个纸箱目标，C为单张图像中总的纸箱个数，/>，ep表示像素点p的像素嵌入（embedding）。L rep 使得任意两个相邻纸箱区域的平均embedding的相似度降低，从而让相邻纸箱区域相互排斥。
步骤③，通过稀疏损失函数L sparse 对纸箱分割模型中的分层分割网络进行训练，其中，排斥损失稀疏损失函数L sparse 用于放大像素嵌入中最大一维的值，令分层分割网络更好地对相邻纸箱进行分割，输出得到若干纸箱目标掩码。
步骤③优选地，稀疏损失函数L sparse 的函数公式为：
其中，表示单张图像中第i个纸箱目标，C为单张图像中总的纸箱个数，ep表示像素点p的像素嵌入（embedding）。L sparse 用来放大像素嵌入（embedding）中最大一维的值，以弥补L rep 中无法保证纸箱的embedding在某一维中远大于其他维的问题。
需要说明的是，根据纸箱分布密集的特点，将相邻纸箱分到不同实例输出层，控制每个实例输出层上不存在边界相邻纸箱，从而避免密集边界难以区分问题。通过限制纸箱像素的embedding只存在一个维度值最大，只需要简单的后处理即可分离密集纸箱，避免了大量复杂后处理工作。
此外，如图2所示，在得到对前景分割网络和分层分割网络的输出结果后，需要对两个输出结果进行后处理，才能得到纸箱目标的分割结果。其中，前景分割结果的后处理：考虑到实际纸箱的大小，将前景分割掩码（mask）中面积小于预设面积阈值S min 的前景区域去除。分层分割结果的后处理：将前景分割掩码（mask）与纸箱目标掩码（mask）相乘，使得分层分割结果中所有输出层的非前景区域概率值全部置零。然后将每个输出层中像素概率值最大的设为前景，且将大于概率阈值的像素点设为前景。最终只保留面积大于预设面积阈值S min 的前景区域作为纸箱目标的分割结果。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例3
本申请实施例提供了一种密集纸箱分割系统，图4是根据本申请实施例的密集纸箱分割系统的结构框图，如图4所示，系统用于执行上述实施例中的方法，该系统包括图像输入模块41、模型执行模块42和结果计算模块43；
图像输入模块41，用于将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，纸箱分割模型包含前景分割网络和分层分割网络；
模型执行模块42，用于通过前景分割网络，对待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；通过分层分割网络，将待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；
结果计算模块43，用于根据纸箱前景掩码和纸箱目标掩码，得到待分割密集纸箱图像的纸箱分割结果。
通过本申请实施例中的图像输入模块41、模型执行模块42和结果计算模块43，实现了通过前景分割网络对纸箱前景进行分割，结合纸箱前景进行纸箱分割能够有效降低纸箱密集场景下的漏检和错检风险，提高纸箱分割的准确率，通过分层分割网络将纸箱目标分层到不同的分割输出层来消除纸箱之间的拥挤，无需显式的像素聚类，从而避免了大量的后处理工作，解决了如何提高密集纸箱分割效果的问题。通过该方法，密集纸箱分割准确率得到提升，且后处理减少，耗时降低，提升了纸箱拆码垛效率和精准率。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例4
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的密集纸箱分割方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种密集纸箱分割方法。
实施例5
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种密集纸箱分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
实施例6
在一个实施例中，图5是根据本申请实施例的电子设备的内部结构示意图，如图5所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图5所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种密集纸箱分割方法，数据库用于存储数据。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种密集纸箱分割方法，其特征在于，所述方法包括：
获取用于模型训练的纸箱图像；
基于所述纸箱图像，通过分层损失函数对纸箱分割模型中的分层分割网络进行训练，其中，所述分层损失函数包括吸引损失函数L arr、排斥损失函数L rep和稀疏损失函数L sparse；
通过所述吸引损失函数L arr对所述纸箱分割模型中的分层分割网络进行训练，其中，所述吸引损失函数L arr用于使每个纸箱目标中的每个像素点的像素嵌入与对应纸箱目标区域的平均像素嵌入相似度增加，令所述分层分割网络更精准地对相邻纸箱进行分割，输出得到若干纸箱目标掩码；
通过所述排斥损失函数L rep对所述纸箱分割模型中的分层分割网络进行训练，其中，所述排斥损失函数L rep用于使任意两个相邻的纸箱目标区域的平均像素嵌入的相似度降低，令所述分层分割网络更精准地对相邻纸箱进行分割，输出得到若干纸箱目标掩码；
通过所述稀疏损失函数L sparse对所述纸箱分割模型中的分层分割网络进行训练，其中，所述稀疏损失函数L sparse用于放大像素嵌入中最大一维的值，令所述分层分割网络更好地对相邻纸箱进行分割，输出得到若干纸箱目标掩码；
通过所述纸箱图像对所述纸箱分割模型中的前景分割网络进行训练，得到训练好的所述纸箱分割模型；
将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，所述纸箱分割模型包含前景分割网络和分层分割网络；
通过所述前景分割网络，对所述待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；
通过所述分层分割网络，将所述待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；
基于所述纸箱前景掩码和所述纸箱目标掩码，得到所述待分割密集纸箱图像的纸箱分割结果。
2.根据权利要求1所述的方法，其特征在于，基于所述纸箱前景掩码和所述纸箱目标掩码，得到所述待分割密集纸箱图像的纸箱分割结果包括：
将所述纸箱前景掩码中面积小于预设面积阈值的前景区域进行去除，得到符合实际纸箱大小的纸箱前景掩码；
对所述纸箱前景掩码与所述纸箱目标掩码进行乘法运算，得到所述待分割密集纸箱图像的纸箱分割结果。
3.根据权利要求1所述的方法，其特征在于，通过所述纸箱图像对纸箱分割模型中的前景分割网络进行训练包括：
基于所述纸箱图像，通过BCE损失函数对纸箱分割模型中的前景分割网络进行训练。
4.根据权利要求1所述的方法，其特征在于，获取用于模型训练的纸箱图像包括：
获取用于模型训练的纸箱图像，对所述纸箱图像进行标注，生成纸箱前景掩码标签和纸箱目标掩码标签，其中，所述纸箱前景掩码标签用于所述前景分割网络的训练，所述纸箱目标掩码标签用于所述分层分割网络的训练；
对纸箱图像进行数据增强，得到数据增强后的纸箱图像，其中，所述数据增强包括亮度调整、对比度调整、模糊调整、旋转调整和翻转调整。
5.一种密集纸箱分割系统，其特征在于，所述系统用于执行权利要求1至4任一项所述的方法，所述系统包括图像输入模块、模型执行模块、结果计算模块；
所述图像输入模块，用于将待分割密集纸箱图像输入训练好的纸箱分割模型中，其中，所述纸箱分割模型包含前景分割网络和分层分割网络；
所述模型执行模块，用于通过所述前景分割网络，对所述待分割密集纸箱图像的纸箱前景进行分割，得到纸箱前景掩码；通过所述分层分割网络，将所述待分割密集纸箱图像中的相邻纸箱进行分割，得到若干纸箱目标掩码；
所述结果计算模块，用于根据所述纸箱前景掩码和所述纸箱目标掩码，得到所述待分割密集纸箱图像的纸箱分割结果。
CN202410078788.1A 2024-01-19 2024-01-19 一种密集纸箱分割方法和系统 Active CN117593530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410078788.1A CN117593530B (zh) 2024-01-19 2024-01-19 一种密集纸箱分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410078788.1A CN117593530B (zh) 2024-01-19 2024-01-19 一种密集纸箱分割方法和系统

Publications (2)

Publication Number Publication Date
CN117593530A CN117593530A (zh) 2024-02-23
CN117593530B true CN117593530B (zh) 2024-06-04

Family

ID=89920585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410078788.1A Active CN117593530B (zh) 2024-01-19 2024-01-19 一种密集纸箱分割方法和系统

Country Status (1)

Country Link
CN (1) CN117593530B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1388815A2 (en) * 2002-04-25 2004-02-11 Microsoft Corporation Segmented layered image system
CN110599515A (zh) * 2019-08-14 2019-12-20 北京影谱科技股份有限公司 一种前景对象自动分层处理方法、装置、系统及存储介质
CN112465800A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种使用分类注意力模块校正分类错误的实例分割方法
CN113988179A (zh) * 2021-10-28 2022-01-28 北京化工大学 基于改进注意力和损失函数的目标分割方法、系统及设备
CN114092487A (zh) * 2021-10-13 2022-02-25 山东师范大学 目标果实实例分割方法及系统
CN114419322A (zh) * 2022-03-30 2022-04-29 飞狐信息技术（天津）有限公司 一种图像实例分割方法、装置、电子设备及存储介质
CN115100410A (zh) * 2022-07-07 2022-09-23 浙江工业大学 一种融合稀疏框架和空间注意力的实时实例分割方法
CN115239808A (zh) * 2022-06-30 2022-10-25 华南理工大学 基于联合图分割的自监督目标定位方法、系统、设备及介质
CN116012393A (zh) * 2022-12-29 2023-04-25 湖北普罗格科技股份有限公司 一种纸箱点云分割方法、装置以及处理设备
CN116188479A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于深度学习的髋关节图像分割方法及系统
CN116824140A (zh) * 2023-06-16 2023-09-29 浙江大学 面向测试场景无掩码监督的小样本分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769791B2 (en) * 2017-10-13 2020-09-08 Beijing Keya Medical Technology Co., Ltd. Systems and methods for cross-modality image segmentation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1388815A2 (en) * 2002-04-25 2004-02-11 Microsoft Corporation Segmented layered image system
CN110599515A (zh) * 2019-08-14 2019-12-20 北京影谱科技股份有限公司 一种前景对象自动分层处理方法、装置、系统及存储介质
CN112465800A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种使用分类注意力模块校正分类错误的实例分割方法
CN114092487A (zh) * 2021-10-13 2022-02-25 山东师范大学 目标果实实例分割方法及系统
CN113988179A (zh) * 2021-10-28 2022-01-28 北京化工大学 基于改进注意力和损失函数的目标分割方法、系统及设备
CN114419322A (zh) * 2022-03-30 2022-04-29 飞狐信息技术（天津）有限公司 一种图像实例分割方法、装置、电子设备及存储介质
CN115239808A (zh) * 2022-06-30 2022-10-25 华南理工大学 基于联合图分割的自监督目标定位方法、系统、设备及介质
CN115100410A (zh) * 2022-07-07 2022-09-23 浙江工业大学 一种融合稀疏框架和空间注意力的实时实例分割方法
CN116012393A (zh) * 2022-12-29 2023-04-25 湖北普罗格科技股份有限公司 一种纸箱点云分割方法、装置以及处理设备
CN116188479A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于深度学习的髋关节图像分割方法及系统
CN116824140A (zh) * 2023-06-16 2023-09-29 浙江大学 面向测试场景无掩码监督的小样本分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Effects of loss function and data sparsity on smooth manifold extraction with deep model;Hongchun Qu et al.;《Expert Systems with Applications》;20220331;第198卷(第4期);第1-10页 *
基于全卷积神经网络复杂场景的车辆分割研究;张乐等;《青岛大学学报(工程技术版)》;20190515;第32卷(第02期);第13-20页 *
基于卷积神经网络改进的图像自动分割方法;温佩芝等;《计算机应用研究》;20170901;第35卷(第09期);第2848-2853页 *

Also Published As

Publication number Publication date
CN117593530A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108304835B (zh) 文字检测方法和装置
CN111027563A (zh) 一种文本检测方法、装置及识别系统
CN108009543A (zh) 一种车牌识别方法及装置
CN112508975A (zh) 一种图像识别方法、装置、设备及存储介质
CN112085701B (zh) 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN112232346B (zh) 语义分割模型训练方法及装置、图像语义分割方法及装置
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN112541902B (zh) 相似区域搜索方法、装置、电子设备及介质
CN111291704A (zh) 干扰去除方法、装置、计算机设备和存储介质
CN110633646A (zh) 图像敏感信息检测的方法、装置、计算机设备和存储介质
CN112541922A (zh) 基于数字图像的试卷布局分割方法、电子设备及存储介质
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN110782430A (zh) 一种小目标的检测方法、装置、电子设备及存储介质
WO2024174726A1 (zh) 基于深度学习的手写及打印文本检测方法和装置
CN111583264A (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN117593530B (zh) 一种密集纸箱分割方法和系统
CN113506305A (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN112651399A (zh) 检测倾斜图像中同行文字的方法及其相关设备
CN112560856A (zh) 车牌检测识别方法、装置、设备及存储介质
CN116206101A (zh) 用于混合尺寸卸垛的算法
WO2022111549A1 (zh) 票据识别方法、装置及可读存储介质
CN115147469A (zh) 配准方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant