CN117292193A - 多工位智能物流输送系统 - Google Patents

多工位智能物流输送系统 Download PDF

Info

Publication number
CN117292193A
CN117292193A CN202311288335.3A CN202311288335A CN117292193A CN 117292193 A CN117292193 A CN 117292193A CN 202311288335 A CN202311288335 A CN 202311288335A CN 117292193 A CN117292193 A CN 117292193A
Authority
CN
China
Prior art keywords
label
feature
training
signage
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311288335.3A
Other languages
English (en)
Inventor
浦浩清
浦喻钒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Kewei Intelligent Logistics Equipment Co ltd
Original Assignee
Wuxi Kewei Intelligent Logistics Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Kewei Intelligent Logistics Equipment Co ltd filed Critical Wuxi Kewei Intelligent Logistics Equipment Co ltd
Priority to CN202311288335.3A priority Critical patent/CN117292193A/zh
Publication of CN117292193A publication Critical patent/CN117292193A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种多工位智能物流输送系统。其首先通过摄像头采集待识别产品的标牌检测图像,接着,对所述标牌检测图像进行双边滤波处理以得到增强标牌图像,然后,通过基于深度神经网络模型的图像深浅特征提取器对所述增强标牌图像进行特征分析以得到标牌多尺度融合特征,最后,基于所述标牌多尺度融合特征,确定待识别产品的类型标签。这样,可以自动化执行物流产品识别任务,避免传统人工操作带来的低效率和低精准度问题,提高物流识别的效率和精确度,实现了生产流程的高效运作和信息管理。

Description

多工位智能物流输送系统
技术领域
本公开涉及物流输送领域,且更为具体地,涉及一种多工位智能物流输送系统。
背景技术
随着物流行业的发展和智能化水平的提高,传统的物流输送系统已经无法满足高效、准确、灵活的物流操作要求,多工位物流输送系统成为了提高生产效率和降低成本的重要手段。
然而,传统的多工位物流输送系统通常依赖于人工操作和规则匹配来识别和处理物流货物,这种方法容易受到人为因素和环境变化的影响,导致识别准确率不高,同时也无法灵活适应不同的物流场景和需求变化。并且,传统的多工位物流输送系统通常需要大量的人力资源进行操作和管理,在物流操作过程中存在一定的人为延迟和误差,导致物流效率较低。
因此,期望一种优化的多工位智能物流输送系统。
发明内容
有鉴于此,本公开提出了一种多工位智能物流输送系统,其可以自动化执行物流产品识别任务,避免传统人工操作带来的低效率和低精准度问题,提高物流识别的效率和精确度,实现了生产流程的高效运作和信息管理。
根据本公开的一方面,提供了一种多工位智能物流输送系统,其包括:标牌图像采集模块,用于通过摄像头采集待识别产品的标牌检测图像;标牌图像增强模块,用于对所述标牌检测图像进行双边滤波处理以得到增强标牌图像;标牌多尺度特征分析模块,用于通过基于深度神经网络模型的图像深浅特征提取器对所述增强标牌图像进行特征分析以得到标牌多尺度融合特征;以及产品类型识别模块,用于基于所述标牌多尺度融合特征,确定待识别产品的类型标签。
根据本公开的实施例,其首先通过摄像头采集待识别产品的标牌检测图像,接着,对所述标牌检测图像进行双边滤波处理以得到增强标牌图像,然后,通过基于深度神经网络模型的图像深浅特征提取器对所述增强标牌图像进行特征分析以得到标牌多尺度融合特征,最后,基于所述标牌多尺度融合特征,确定待识别产品的类型标签。这样,可以自动化执行物流产品识别任务,避免传统人工操作带来的低效率和低精准度问题,提高物流识别的效率和精确度,实现了生产流程的高效运作和信息管理。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开的实施例的多工位智能物流输送系统的框图。
图2示出根据本公开的实施例的多工位智能物流输送系统中所述标牌多尺度特征分析模块的框图。
图3示出根据本公开的实施例的多工位智能物流输送系统中进一步包括的训练模块的框图。
图4示出根据本公开的实施例的多工位智能物流输送方法的流程图。
图5示出根据本公开的实施例的多工位智能物流输送方法的架构示意图。
图6示出根据本公开的实施例的多工位智能物流输送系统的应用场景图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本公开的部分实施例,而不是全部的实施例。基于本公开实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本公开保护的范围。
如本公开和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
相应地,考虑到在多工位物流输送过程中,对于产品的标牌进行识别是一个关键环节。但是,传统的标牌识别通常需要人工基于规则和模板匹配来进行,在实际应用中存在着准确率不高、适应性差等问题。
针对上述技术问题,本公开的技术构思为通过摄像头采集待识别产品的标牌检测图像,并在后端引入图像处理和分析算法来进行标牌检测图像的分析,以此来自动进行产品类型的识别检测,通过这样的方式,能够自动化执行物流产品识别任务,避免传统人工操作带来的低效率和低精准度问题,提高物流识别的效率和精确度,实现了生产流程的高效运作和信息管理。
图1示出根据本公开的实施例的多工位智能物流输送系统的框图示意图。如图1所示,根据本公开实施例的多工位智能物流输送系统100,包括:标牌图像采集模块110,用于通过摄像头采集待识别产品的标牌检测图像;标牌图像增强模块120,用于对所述标牌检测图像进行双边滤波处理以得到增强标牌图像;标牌多尺度特征分析模块130,用于通过基于深度神经网络模型的图像深浅特征提取器对所述增强标牌图像进行特征分析以得到标牌多尺度融合特征;以及,产品类型识别模块140,用于基于所述标牌多尺度融合特征,确定待识别产品的类型标签。
具体地,在本公开的技术方案中,首先,获取由摄像头采集的待识别产品的标牌检测图像。应可以理解,在标牌识别检测过程中,原始的标牌图像可能存在噪声、模糊或其他干扰因素,这些因素会影响标牌的辨识度,从而影响对于产品类型的检测判断。因此,在本公开的技术方案中,对所述标牌检测图像进行双边滤波处理以得到增强标牌图像。双边滤波是一种常用的图像滤波方法,它在平滑图像的同时保留了边缘信息。相比于传统的线性滤波方法,双边滤波考虑了像素之间的空间距离和像素值之间的差异,能够更好地保持图像的细节和边缘。因此,通过应用双边滤波处理,可以有效地降低原始图像中的噪声,并增强标牌的边缘和细节,使得标牌特征信息在图像中更加容易被捕捉到。
然后,考虑到在实际进行标牌检测和产品识别任务中,由于不同的产品会存在不同类型的标牌以及标牌中信息的不同位置标注。因此,为了能够提高对于标牌检测的充分度以及对产品类型识别的精准度,需要将所述增强标牌图像通过基于第一卷积神经网络模型的浅层特征提取器以得到标牌浅层特征图。也就是说,在标牌识别或检测任务中,使用基于CNN的浅层特征提取器以从所述增强标牌图像中提取出与标牌相关的低级别和中级别特征,例如边缘、纹理、形状等特征信息。这些特征能够更好地描述标牌的外观和标牌表面的信息分布特征,有助于区分不同类型的标牌或进行标牌中信息位置的定位,为后续的标牌分类和检测任务提供更具代表性和高级别的特征表示。
进一步地,在标牌识别或检测任务中,由于标牌中的信息分布位置对于正确分类和类型识别非常重要。也就是说,在实际进行图像特征提取时,应更加聚焦于有关于所述标牌表面信息的空间位置分布特征,以此有利于提高对于产品类型识别的精度。因此,在本公开的技术方案中,进一步将所述标牌浅层特征图通过空间注意力模块中进行处理,以对于所述标牌的浅层特征信息进行空间位置增强,从而得到空间显化标牌特征图。通过空间注意力模块,可以突出标牌特征图中与标牌信息分布相关的空间位置特征,使得这些区域的特征更加显著,从而提高标牌分类的准确性。
在进行标牌的检测和产品识别过程中,不仅需要关注聚焦于标牌表面信息分布的浅层特征,例如边缘、纹理、形状等特征信息,还需要关注于标牌图像的更高级别的深层语义信息,以支持更复杂的标牌分类或检测任务。因此,在本公开的技术方案中,进一步将所述空间显化标牌特征图通过基于第二卷积神经网络模型的深层特征提取器以得到标牌深层特征图,以此来进一步提取标牌图像中的更抽象、更具代表性的特征,从而更好地描述标牌的语义。也就是说,这些深层特征能够捕捉到标牌的更高级别的特征表示,有助于区分不同类别的标牌。
接着,使用联合语义传播模块来融合所述标牌浅层特征图和所述标牌深层特征图以得到标牌多尺度融合特征图。特别地,这里,所述联合语义传播模块能够通过学习和传播所述标牌深层特征图中的语义信息,将其融合到所述标牌浅层特征图中,从而使融合后的所述标牌多尺度融合特征图具有更丰富的语义信息,以提高对标牌图像语义理解和特征表达能力,从而提高产品类型检测的精准度。
然后,考虑到由于卷积是典型的局部操作,其只能提取图像局部特征,而无法关注全局,会影响检测精度。因此,在本公开的技术方案中,为了更精准地对于产品类型进行检测识别,使用非局部神经网络模型来进一步进行图像的特征提取。也就是,将所述标牌多尺度融合特征图通过基于非局部神经网络模型的特征感受野扩增器中进行处理,以通过所述非局部神经网络模型来扩展特征感受野,从而得到标牌全局多尺度融合特征图。特别地,这里,所述非局部神经网络模型通过计算所述标牌多尺度融合特征图中有关于标牌的各个多尺度局部特征间的相似度捕获隐藏的依赖信息,进而建模上下文特征,使网络关注所述标牌的各个多尺度局部特征间的全局整体内容,进而在分类和识别检测任务中提升主干网络特征提取能力,同时提高标牌分类或检测算法对于整体场景的理解和判断能力。也就是说,在标牌识别或检测任务中,单一尺度的特征感受野可能无法捕捉到标牌图像中的全局上下文信息,导致对于整体场景的理解不够充分。因此,通过引入所述非局部神经网络模型的特征感受野扩增器,可以扩大神经网络模型中神经元的感受野范围,从而提高对于标牌全局信息的感知能力。
相应地,如图2所示,所述标牌多尺度特征分析模块130,包括:标牌浅层特征提取单元131,用于通过基于第一深度神经网络模型的浅层特征提取器对所述增强标牌图像进行特征提取以得到标牌浅层特征图;标牌空间特征显化单元132,用于将所述标牌浅层特征图通过空间注意力模块以得到空间显化标牌特征图;标牌深层特征提取单元133,用于通过基于第二深度神经网络模型的深层特征提取器对所述空间显化标牌特征图进行特征提取以得到标牌深层特征图;标牌多尺度特征融合单元134,用于融合所述标牌浅层特征图和所述标牌深层特征图以得到标牌多尺度融合特征图;以及,标牌特征感受野扩增单元135,用于对所述标牌多尺度融合特征图进行特征感受野扩增以得到标牌全局多尺度融合特征图作为所述标牌多尺度融合特征。
更具体地,所述第一深度神经网络模型为第一卷积神经网络模型,所述第二深度神经网络模型为第二卷积神经网络模型。值得一提的是,卷积神经网络(ConvolutionalNeural Network,简称CNN)是一种深度学习模型,广泛应用于计算机视觉任务,如图像分类、目标检测和图像分割等。卷积神经网络通过模拟人类视觉处理图像的方式,从而能够有效地提取图像中的特征并进行高效的图像识别。卷积神经网络的主要特点是引入了卷积层和池化层。卷积层通过卷积操作提取图像的局部特征,可以捕捉到不同位置的像素之间的空间关系。池化层则用于降低特征图的尺寸,减少参数数量,并增强模型的鲁棒性。卷积神经网络的工作原理是通过多个卷积层和池化层的堆叠,逐渐提取图像的高级特征。最后,通过全连接层将这些特征映射到具体的类别或输出。卷积神经网络可以用于图像分类,即将输入的图像分为不同的类别。此外,卷积神经网络还可以用于目标检测,即在图像中定位和识别特定的目标。另外,卷积神经网络还可以用于图像分割,将图像分割成不同的区域,并为每个区域分配特定的标签。总的来说,卷积神经网络通过卷积和池化等操作,能够从图像中自动学习并提取有用的特征,从而实现图像分类、目标检测和图像分割等计算机视觉任务。
更具体地,所述标牌多尺度特征融合单元134,用于:使用联合语义传播模块来融合所述标牌浅层特征图和所述标牌深层特征图以得到所述标牌多尺度融合特征图。值得一提的是,联合语义传播模块是标牌多尺度特征融合单元中的一个组成部分,用于将标牌浅层特征图和标牌深层特征图进行融合,以得到标牌多尺度融合特征图。联合语义传播模块的作用是通过学习标牌浅层特征图和标牌深层特征图之间的语义关系,将两者的信息进行交互和传播,从而获得更加丰富和准确的特征表示。具体来说,联合语义传播模块可以通过以下步骤实现特征融合:1.特征映射:将标牌浅层特征图和标牌深层特征图分别映射到一个共享的特征空间中,使它们具有相同的维度和语义表示。2.语义传播:在特征映射的基础上,通过引入语义传播机制,将标牌浅层特征图和标牌深层特征图之间的信息进行交互和传播,这可以通过卷积操作、注意力机制或其他方式来实现。3.特征融合:在语义传播的基础上,将传播后的标牌浅层特征图和标牌深层特征图进行融合,可以使用加权求和、级联连接或其他方式来融合特征图,得到标牌多尺度融合特征图。联合语义传播模块的目的是通过融合不同层次的特征信息,充分利用标牌图像的多尺度特性,提高标牌识别的性能和鲁棒性,通过引入语义传播机制,可以增强标牌浅层特征图和标牌深层特征图之间的关联性,使得特征融合更加准确和有效。总的来说,联合语义传播模块在标牌多尺度特征融合中起到了关键作用,能够提高标牌识别系统对不同尺度特征的感知能力,提升标牌识别的准确性和鲁棒性。
更具体地,所述标牌特征感受野扩增单元135,用于:将所述标牌多尺度融合特征图通过基于非局部神经网络模型的特征感受野扩增器以得到所述标牌全局多尺度融合特征图。值得一提的是,非局部神经网络模型(Non-local Neural Network,简称NLNet)是一种用于增强特征感受野的神经网络模型。在标牌特征感受野扩增单元中,使用基于非局部神经网络模型的特征感受野扩增器来将标牌多尺度融合特征图扩增为标牌全局多尺度融合特征图。非局部神经网络模型的主要目的是通过建模全局上下文信息,提高网络对输入特征的感知能力。传统的卷积神经网络在处理图像时,只关注局部区域的特征,而忽略了全局上下文信息的重要性。非局部神经网络模型通过引入非局部操作,能够捕捉到图像中不同位置之间的长距离依赖关系,从而增强了特征的感受野。具体来说,非局部神经网络模型通过以下步骤实现特征感受野的扩增:1.特征映射:将输入的标牌多尺度融合特征图映射到一个共享的特征空间中,使其具有相同的维度和语义表示。2.非局部操作:在特征映射的基础上,引入非局部操作,对每个位置的特征进行全局上下文的建模,非局部操作通过计算特征之间的相似度来捕捉长距离依赖关系,并使用这些相似度来对特征进行加权聚合。3.特征融合:将经过非局部操作的特征进行融合,得到标牌全局多尺度融合特征图。非局部神经网络模型的作用是扩大特征感受野,使网络能够更好地理解图像中的全局上下文信息。通过引入非局部操作,非局部神经网络模型能够捕捉到图像中不同位置之间的远距离依赖关系,增强了特征的表达能力和感知范围。在标牌特征感受野扩增单元中,使用基于非局部神经网络模型的特征感受野扩增器可以进一步提高标牌多尺度融合特征的表达能力,使得识别系统能够更好地理解标牌图像的全局上下文信息,从而提高标牌识别的准确性和鲁棒性。
继而,再将所述标牌全局多尺度融合特征图通过分类器以得到分类结果,所述分类结果用于表示待识别产品的类型标签。具体地,在本公开的技术方案中,所述分类器的标签为待识别产品的类型标签,因此,在得到所述分类结果后,可以基于所述分类结果来自动进行产品类型的识别检测,通过这样的方式,能够自动化执行物流产品识别任务,避免传统人工操作带来的低效率和低精准度问题,提高物流识别的效率和精确度。
相应地,所述产品类型识别模块140,用于:将所述标牌全局多尺度融合特征图通过分类器以得到分类结果,所述分类结果用于表示待识别产品的类型标签。
更具体地,所述产品类型识别模块140,用于:将所述标牌全局多尺度融合特征图按照行向量或者列向量展开为分类特征向量;使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
进一步地,所述的多工位智能物流输送系统,其还包括用于对所述基于第一卷积神经网络模型的浅层特征提取器、所述空间注意力模块、所述基于第二卷积神经网络模型的深层特征提取器、所述联合语义传播模块、所述基于非局部神经网络模型的特征感受野扩增器和所述分类器进行训练的训练模块。应可以理解,训练模块在多工位智能物流输送系统中起到了关键作用,它用于对系统中的各个组件进行训练,包括浅层特征提取器、空间注意力模块、深层特征提取器、联合语义传播模块、特征感受野扩增器和分类器。训练模块的主要功能如下:1.参数优化:训练模块通过对系统中各个组件的参数进行优化,使它们能够更好地适应任务需求,通过反向传播算法和梯度下降等优化方法,训练模块能够根据标注的训练数据,自动调整模型的权重和偏置,以最小化预测输出与真实标签之间的差距。2.特征学习:训练模块通过训练过程中的特征学习,使系统中的各个组件能够自动学习到对任务有用的特征表示,例如,浅层特征提取器和深层特征提取器可以通过训练模块学习到对标牌图像具有判别性的特征表示,联合语义传播模块可以学习到不同层次特征之间的语义关系,特征感受野扩增器可以学习到更广阔的感受野范围等。3.组件协同训练:训练模块可以对系统中的各个组件进行联合训练,促使它们相互协作,提高整体性能,例如,空间注意力模块可以通过与浅层特征提取器的联合训练,学习到更准确的空间注意力权重,从而提升标牌浅层特征的表达能力。通过训练模块的训练过程,系统中的各个组件可以逐步优化和提升,使得整个多工位智能物流输送系统能够更好地适应实际应用场景,提高标牌识别的准确性和鲁棒性。训练模块的作用是将模型从初始状态迭代地训练到最优状态,使其能够在实际应用中取得良好的性能。
更具体地,如图3所示,所述训练模块200,包括:训练数据采集单元210,用于获取训练数据,所述训练数据包括待识别产品的训练标牌检测图像,以及,所述待识别产品的类型标签的真实值;训练标牌图像增强单元220,用于对所述训练标牌检测图像进行双边滤波处理以得到训练增强标牌图像;训练标牌浅层特征提取单元230,用于将所述训练增强标牌图像通过所述基于第一卷积神经网络模型的浅层特征提取器以得到训练标牌浅层特征图;训练标牌特征空间显化单元240,用于将所述训练标牌浅层特征图通过所述空间注意力模块以得到训练空间显化标牌特征图;训练标牌深层特征提取单元250,用于将所述训练空间显化标牌特征图通过所述基于第二卷积神经网络模型的深层特征提取器以得到训练标牌深层特征图;训练标牌多尺度特征融合单元260,用于使用所述联合语义传播模块来融合所述训练标牌浅层特征图和所述训练标牌深层特征图以得到训练标牌多尺度融合特征图;训练标牌特征感受野扩增单元270,用于将所述训练标牌多尺度融合特征图通过所述基于非局部神经网络模型的特征感受野扩增器以得到训练标牌全局多尺度融合特征图;分类损失单元280,用于将所述训练标牌全局多尺度融合特征图通过所述分类器以得到分类损失函数值;以及,模型训练单元290,用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于第一卷积神经网络模型的浅层特征提取器、所述空间注意力模块、所述基于第二卷积神经网络模型的深层特征提取器、所述联合语义传播模块、所述基于非局部神经网络模型的特征感受野扩增器和所述分类器进行训练,其中,在所述训练的每一轮迭代中,对所述分类器的权重矩阵进行基于基准注释的外部边界约束迭代。
特别地,在本公开的技术方案中,考虑到在所述训练标牌检测图像的基于不同深度的图像语义特征提取过程当中,图像特征语义相对于图像源语义的分布会对于分类器的训练过程中的权重矩阵拟合提供图像语义拟合方向,而在将所述训练标牌多尺度融合特征图通过基于非局部神经网络模型的特征感受野扩增器的情况下,在提取全局图像语义特征的同时,得到的所述训练标牌全局多尺度融合特征图的特征分布也会在图像特征域表达上偏离所述训练标牌多尺度融合特征图的与图像源语义对应的不同深度下的多尺度局部空间关联图像语义特征,从而在分类场景下,在分类器的权重矩阵迭代过程中导致所述训练标牌全局多尺度融合特征图的类概率映射的图像语义特征域偏移,以及进一步的权重矩阵基于所述训练标牌全局多尺度融合特征图的图像语义拟合发散,从而影响模型的训练效果,以及训练好的模型得到的所述训练标牌全局多尺度融合特征图的分类结果的准确性。基于此,本公开的申请人在所述训练标牌全局多尺度融合特征图展开后得到的训练标牌全局多尺度融合特征向量通过分类器的训练过程中,进行权重矩阵的基于基准注释的外部边界约束。
相应地,在一个具体示例中,在所述训练的每一轮迭代中,以如下优化公式对所述分类器的权重矩阵进行基于基准注释的外部边界约束迭代;其中,所述优化公式为:其中,/>和/>分别是上次和本次迭代的权重矩阵,其中在首次迭代时,采用不同的初始化策略设置/>和/>,(例如,/>设置为单位矩阵而/>设置为待分类特征向量的均值对角矩阵),/>是所述训练标牌全局多尺度融合特征图展开后得到的训练标牌全局多尺度融合特征向量,且/>为列向量形式,/>表示矩阵乘法,/>表示矩阵加法,/>表示转置操作,/>表示迭代后的所述分类器的权重矩阵。
这里,通过以所述训练标牌全局多尺度融合特征向量在权重空间内的迭代关联表示来作为权重矩阵迭代的外部关联边界约1以提升模型的训练效果,以及训练好的模型得到的所述训练标牌全局多尺度融合特征图的分类结果的准确性。这样,能够自动化执行多工位物流输送系统中的物流产品识别任务,以提高物流识别的效率和精确度,实现生产流程的高效运作和信息管理。
综上,基于本公开实施例的多工位智能物流输送系统100被阐明,其可以自动化执行物流产品识别任务,避免传统人工操作带来的低效率和低精准度问题,提高物流识别的效率和精确度,实现了生产流程的高效运作和信息管理。
如上所述,根据本公开实施例的所述多工位智能物流输送系统100可以实现在各种终端设备中,例如具有多工位智能物流输送算法的服务器等。在一个示例中,多工位智能物流输送系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该多工位智能物流输送系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该多工位智能物流输送系统100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该多工位智能物流输送系统100与该终端设备也可以是分立的设备,并且该多工位智能物流输送系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图4示出根据本公开的实施例的多工位智能物流输送方法的流程图。图5示出根据本公开的实施例的多工位智能物流输送方法的系统架构的示意图。如图4和图5所示,根据本公开实施例的多工位智能物流输送方法,其包括:S110,通过摄像头采集待识别产品的标牌检测图像;S120,对所述标牌检测图像进行双边滤波处理以得到增强标牌图像;S130,通过基于深度神经网络模型的图像深浅特征提取器对所述增强标牌图像进行特征分析以得到标牌多尺度融合特征;以及,S140,基于所述标牌多尺度融合特征,确定待识别产品的类型标签。
在一种可能的实现方式中,通过基于深度神经网络模型的图像深浅特征提取器对所述增强标牌图像进行特征分析以得到标牌多尺度融合特征,包括:通过基于第一深度神经网络模型的浅层特征提取器对所述增强标牌图像进行特征提取以得到标牌浅层特征图;将所述标牌浅层特征图通过空间注意力模块以得到空间显化标牌特征图;通过基于第二深度神经网络模型的深层特征提取器对所述空间显化标牌特征图进行特征提取以得到标牌深层特征图;融合所述标牌浅层特征图和所述标牌深层特征图以得到标牌多尺度融合特征图;以及,对所述标牌多尺度融合特征图进行特征感受野扩增以得到标牌全局多尺度融合特征图作为所述标牌多尺度融合特征。
这里,本领域技术人员可以理解,上述多工位智能物流输送方法中的各个步骤的具体操作已经在上面参考图1到图3的多工位智能物流输送系统的描述中得到了详细介绍,并因此,将省略其重复描述。
图6示出根据本公开的实施例的多工位智能物流输送系统的应用场景图。如图6所示,在该应用场景中,首先,通过摄像头采集待识别产品的标牌检测图像(例如,图6中所示意的D),然后,将所述标牌检测图像输入至部署有多工位智能物流输送算法的服务器中(例如,图6中所示意的S),其中,所述服务器能够使用所述多工位智能物流输送算法对所述标牌检测图像进行处理以得到用于表示待识别产品的类型标签的分类结果。
进一步地,本公开的实施例还提供了一种落筒系统,落筒系统的标准配置为悬挂落筒机、暂存设备、丝车旋转台、卷绕设备接口、服务器、两台打印机和信息显示系统。落筒机器人是全自动落筒机系统中的关键设备,替代人工完成落筒机饼作业。当一台卷绕机满卷之后,悬挂落筒机根据呼叫指令自动运行至相应位置完成落筒机饼作业,再根据需要将丝饼自动放置到专用的转运丝车上,以供后期包装生产使用。落筒机器人采用吊轨悬于空中的安装方式并且通过载货台的旋转和提升实现设备对现场工人的避让,实现卷绕车间中央物流通道空间的最大化。悬挂落筒机是化纤行业车间空中自动化物流的必要物流装备,具备最大限度减少对地面基础要求的特点。
全自动落筒机器人采用五轴独立运行,分别执行水平行走、立柱的旋转、横移推出机构的提升、横移机构的横移和推出机构的推出5个动作;采用激光扫描安全装置和软件限位,双重保证运行范围的安全性,实现20公分内紧急制动;采用安全激光扫描装置,扫描的安全保护范围为2m到7m,可灵活适应机器周围的现场条件,可根据物料形状进行自动调整;通过双闭环控制,及时反馈系统误差,保证落筒机定位精度保持在2毫米之内;采用YOLO算法对自动落筒机的运行环境进行目标检测,速度最快可达45FPS,实现自动落筒机目标检测采样频率高的要求。该机器人不但减少了工作人员的劳动力,还可以在机器运作期间即时展开订单信息进行处理,做到货物的搬运与订单的处理两不误,大大减少了订单的时间。货物不用放置到特定的位置,落筒机器人本身就可以根据指定的定位去设置其运作的轨迹来完成替代人工搬运的自动化设备。每个独立的落筒机器人能够单独执行任务,个体的故障并不会影响到整体系统的运行,落筒机器人会利用服务器共享全局信息,可以通过全局信息自动纠错。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种多工位智能物流输送系统,其特征在于,包括:标牌图像采集模块,用于通过摄像头采集待识别产品的标牌检测图像;标牌图像增强模块,用于对所述标牌检测图像进行双边滤波处理以得到增强标牌图像;标牌多尺度特征分析模块,用于通过基于深度神经网络模型的图像深浅特征提取器对所述增强标牌图像进行特征分析以得到标牌多尺度融合特征;以及产品类型识别模块,用于基于所述标牌多尺度融合特征,确定待识别产品的类型标签。
2.根据权利要求1所述的多工位智能物流输送系统,其特征在于,所述标牌多尺度特征分析模块,包括:标牌浅层特征提取单元,用于通过基于第一深度神经网络模型的浅层特征提取器对所述增强标牌图像进行特征提取以得到标牌浅层特征图;标牌空间特征显化单元,用于将所述标牌浅层特征图通过空间注意力模块以得到空间显化标牌特征图;标牌深层特征提取单元,用于通过基于第二深度神经网络模型的深层特征提取器对所述空间显化标牌特征图进行特征提取以得到标牌深层特征图;标牌多尺度特征融合单元,用于融合所述标牌浅层特征图和所述标牌深层特征图以得到标牌多尺度融合特征图;以及标牌特征感受野扩增单元,用于对所述标牌多尺度融合特征图进行特征感受野扩增以得到标牌全局多尺度融合特征图作为所述标牌多尺度融合特征。
3.根据权利要求2所述的多工位智能物流输送系统,其特征在于,所述第一深度神经网络模型为第一卷积神经网络模型,所述第二深度神经网络模型为第二卷积神经网络模型。
4.根据权利要求3所述的多工位智能物流输送系统,其特征在于,所述标牌多尺度特征融合单元,用于:使用联合语义传播模块来融合所述标牌浅层特征图和所述标牌深层特征图以得到所述标牌多尺度融合特征图。
5.根据权利要求4所述的多工位智能物流输送系统,其特征在于,所述标牌特征感受野扩增单元,用于:将所述标牌多尺度融合特征图通过基于非局部神经网络模型的特征感受野扩增器以得到所述标牌全局多尺度融合特征图。
6.根据权利要求5所述的多工位智能物流输送系统,其特征在于,所述产品类型识别模块,用于:将所述标牌全局多尺度融合特征图通过分类器以得到分类结果,所述分类结果用于表示待识别产品的类型标签。
7.根据权利要求6所述的多工位智能物流输送系统,其特征在于,还包括用于对所述基于第一卷积神经网络模型的浅层特征提取器、所述空间注意力模块、所述基于第二卷积神经网络模型的深层特征提取器、所述联合语义传播模块、所述基于非局部神经网络模型的特征感受野扩增器和所述分类器进行训练的训练模块。
8.根据权利要求7所述的多工位智能物流输送系统,其特征在于,所述训练模块,包括:训练数据采集单元,用于获取训练数据,所述训练数据包括待识别产品的训练标牌检测图像,以及,所述待识别产品的类型标签的真实值;训练标牌图像增强单元,用于对所述训练标牌检测图像进行双边滤波处理以得到训练增强标牌图像;训练标牌浅层特征提取单元,用于将所述训练增强标牌图像通过所述基于第一卷积神经网络模型的浅层特征提取器以得到训练标牌浅层特征图;训练标牌特征空间显化单元,用于将所述训练标牌浅层特征图通过所述空间注意力模块以得到训练空间显化标牌特征图;训练标牌深层特征提取单元,用于将所述训练空间显化标牌特征图通过所述基于第二卷积神经网络模型的深层特征提取器以得到训练标牌深层特征图;训练标牌多尺度特征融合单元,用于使用所述联合语义传播模块来融合所述训练标牌浅层特征图和所述训练标牌深层特征图以得到训练标牌多尺度融合特征图;训练标牌特征感受野扩增单元,用于将所述训练标牌多尺度融合特征图通过所述基于非局部神经网络模型的特征感受野扩增器以得到训练标牌全局多尺度融合特征图;分类损失单元,用于将所述训练标牌全局多尺度融合特征图通过所述分类器以得到分类损失函数值;以及模型训练单元,用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于第一卷积神经网络模型的浅层特征提取器、所述空间注意力模块、所述基于第二卷积神经网络模型的深层特征提取器、所述联合语义传播模块、所述基于非局部神经网络模型的特征感受野扩增器和所述分类器进行训练,其中,在所述训练的每一轮迭代中,对所述分类器的权重矩阵进行基于基准注释的外部边界约束迭代。
9.根据权利要求8所述的多工位智能物流输送系统,其特征在于,在所述训练的每一轮迭代中,以如下优化公式对所述分类器的权重矩阵进行基于基准注释的外部边界约束迭代;其中,所述优化公式为:其中,/>和/>分别是上次和本次迭代的权重矩阵,/>是所述训练标牌全局多尺度融合特征图展开后得到的训练标牌全局多尺度融合特征向量,且/>为列向量形式,/>表示矩阵乘法,/>表示矩阵加法,/>表示转置操作,/>表示迭代后的所述分类器的权重矩阵。
CN202311288335.3A 2023-10-08 2023-10-08 多工位智能物流输送系统 Pending CN117292193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311288335.3A CN117292193A (zh) 2023-10-08 2023-10-08 多工位智能物流输送系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311288335.3A CN117292193A (zh) 2023-10-08 2023-10-08 多工位智能物流输送系统

Publications (1)

Publication Number Publication Date
CN117292193A true CN117292193A (zh) 2023-12-26

Family

ID=89251546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311288335.3A Pending CN117292193A (zh) 2023-10-08 2023-10-08 多工位智能物流输送系统

Country Status (1)

Country Link
CN (1) CN117292193A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967524A (zh) * 2020-08-20 2020-11-20 中国石油大学(华东) 基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
US20220147776A1 (en) * 2020-11-12 2022-05-12 Ambarella International Lp Unsupervised multi-scale disparity/optical flow fusion
CN115035371A (zh) * 2022-05-13 2022-09-09 西南石油大学 基于多尺度特征融合神经网络的井壁裂缝识别方法
CN115424313A (zh) * 2022-07-20 2022-12-02 河海大学常州校区 一种基于深浅层多特征融合的表情识别方法及装置
CN115908995A (zh) * 2022-11-01 2023-04-04 北京能工荟智机器人有限责任公司 数字仪表读数的识别方法、装置、电子设备及存储介质
CN116343015A (zh) * 2023-04-10 2023-06-27 阜外华中心血管病医院 基于人工智能的医用食物含水量测量系统
CN116580393A (zh) * 2023-05-16 2023-08-11 西安石油大学 基于改进YOLOv5的钢中非金属夹杂物识别方法及装置
CN116778180A (zh) * 2023-05-09 2023-09-19 安徽理工大学 一种基于多级特征和上下文信息融合的rgb-d显著性目标检测方法
CN116824517A (zh) * 2023-08-31 2023-09-29 安徽博诺思信息科技有限公司 基于可视化的变电站运维安全管控系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
CN111967524A (zh) * 2020-08-20 2020-11-20 中国石油大学(华东) 基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法
US20220147776A1 (en) * 2020-11-12 2022-05-12 Ambarella International Lp Unsupervised multi-scale disparity/optical flow fusion
CN115035371A (zh) * 2022-05-13 2022-09-09 西南石油大学 基于多尺度特征融合神经网络的井壁裂缝识别方法
CN115424313A (zh) * 2022-07-20 2022-12-02 河海大学常州校区 一种基于深浅层多特征融合的表情识别方法及装置
CN115908995A (zh) * 2022-11-01 2023-04-04 北京能工荟智机器人有限责任公司 数字仪表读数的识别方法、装置、电子设备及存储介质
CN116343015A (zh) * 2023-04-10 2023-06-27 阜外华中心血管病医院 基于人工智能的医用食物含水量测量系统
CN116778180A (zh) * 2023-05-09 2023-09-19 安徽理工大学 一种基于多级特征和上下文信息融合的rgb-d显著性目标检测方法
CN116580393A (zh) * 2023-05-16 2023-08-11 西安石油大学 基于改进YOLOv5的钢中非金属夹杂物识别方法及装置
CN116824517A (zh) * 2023-08-31 2023-09-29 安徽博诺思信息科技有限公司 基于可视化的变电站运维安全管控系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGLI PENG: "Bilateral attention decoder: A lightweight decoder for real-time semantic segmentation", 《NEURAL NETWORKS》, vol. 137, 30 January 2021 (2021-01-30), pages 188 - 199, XP086524085, DOI: 10.1016/j.neunet.2021.01.021 *
陈亚芳: "多尺度YOLOv5 的太阳能电池缺陷检测", 《光学精密工程》, vol. 31, no. 12, 30 June 2023 (2023-06-30), pages 1804 - 1815 *

Similar Documents

Publication Publication Date Title
Nguyen et al. Unsupervised deep homography: A fast and robust homography estimation model
CN109002824B (zh) 一种基于OpenCV的建筑图纸标签信息检测方法
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN112991447A (zh) 一种动态环境下视觉定位与静态地图构建方法及系统
CN111862119A (zh) 基于Mask-RCNN的语义信息提取方法
Chen et al. Registering georeferenced photos to a building information model to extract structures of interest
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
US20220084238A1 (en) Multiple transparent objects 3d detection
CN112541491A (zh) 基于图像字符区域感知的端到端文本检测及识别方法
CN108345835B (zh) 一种基于仿复眼感知的目标识别方法
CN111161213B (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN111167731B (zh) 一种产品分拣方法、产品分拣系统和智能分拣机器人
CN116740384A (zh) 洗地机的智能控制方法及系统
CN115384971A (zh) 透明对象料箱拾取
CN114332083A (zh) 一种基于PFNet的工业品伪装瑕疵识别方法
Rogelio et al. Object detection and segmentation using Deeplabv3 deep neural network for a portable X-ray source model
Kajabad et al. YOLOv4 for urban object detection: Case of electronic inventory in St. Petersburg
CN117292193A (zh) 多工位智能物流输送系统
CN113095235B (zh) 一种基于弱监督判别机制的图像目标检测方法、系统及装置
CN115007474A (zh) 一种基于图像识别的选煤机器人及选煤方法
CN114639013A (zh) 基于改进Orient RCNN模型的遥感图像飞机目标检测识别方法
CN114494773A (zh) 一种基于深度学习的零件分拣识别系统和方法
Yang et al. Locator slope calculation via deep representations based on monocular vision
CN113850167A (zh) 一种基于边缘计算与机器深度学习的商品识别方法及系统
CN113139946A (zh) 一种基于视觉的衬衫污渍定位设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination