CN117078604A - 无人实验室智能管理方法及系统 - Google Patents

无人实验室智能管理方法及系统 Download PDF

Info

Publication number
CN117078604A
CN117078604A CN202310950870.4A CN202310950870A CN117078604A CN 117078604 A CN117078604 A CN 117078604A CN 202310950870 A CN202310950870 A CN 202310950870A CN 117078604 A CN117078604 A CN 117078604A
Authority
CN
China
Prior art keywords
appearance
image
feature map
neural network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310950870.4A
Other languages
English (en)
Other versions
CN117078604B (zh
Inventor
童华光
陈超
冯泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Daozhi Technology Co ltd
Original Assignee
Taizhou Daozhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou Daozhi Technology Co ltd filed Critical Taizhou Daozhi Technology Co ltd
Priority to CN202310950870.4A priority Critical patent/CN117078604B/zh
Publication of CN117078604A publication Critical patent/CN117078604A/zh
Application granted granted Critical
Publication of CN117078604B publication Critical patent/CN117078604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/54Extraction of image or video features relating to texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种无人实验室智能管理方法及系统。其首先通过摄像头采集待入库物料的外观图像,接着,对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征,然后,基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。这样,可以避免操作员介入引起的低效率和地精准度的问题,从而能够及早发现物料的表面缺陷、污染或损坏等问题,以确保入库物料的表面质量符合要求,避免将质量不合格的物料用于后续实验过程,保证实验产品的质量稳定性和一致性。

Description

无人实验室智能管理方法及系统
技术领域
本申请涉及智能管理领域,且更为具体地,涉及一种无人实验室智能管理方法及系统。
背景技术
无人实验室是指利用自动化和智能化技术,通过无人值守或少人值守的方式进行实验室管理和操作的一种新型实验室模式。无人实验室可以提高实验的效率、减少人力成本,并且可以在无人值守的情况下进行长时间、连续的实验操作。
在无人实验室中,对于物料的质量检测是一个重要的环节,特别是对于物料进行表面质量检测,如电子元件、食品包装等。在物料入库前,需要将物料放置储料盘上来进行表面质量检测,这样可以及早发现物料的表面缺陷、污染或损坏等问题,从而确保入库物料的质量符合要求,避免将质量不合格的物料用于后续实验过程以带来问题和损失。
然而,在无人实验室中,传统的质检方案通常是通过摄像头采集物料表面图像,并依靠人工进行检测,由于不同操作员可能有不同的判断标准和主观偏差,导致结果的不一致性和可靠性下降。此外,由于人工操作的限制,无法实现对大批量物料的快速检测,导致生产效率受限。现有一些方案通过全自动化的方式来进行物料表面质量检测,但这种方式无法实现对物料表面缺陷、污染等细微问题进行高精度地检测和分析。
因此,期望一种优化的无人实验室智能管理方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种无人实验室智能管理方法及系统。其可以避免操作员介入引起的低效率和地精准度的问题,从而能够及早发现物料的表面缺陷、污染或损坏等问题,以确保入库物料的表面质量符合要求,避免将质量不合格的物料用于后续实验过程,保证实验产品的质量稳定性和一致性。
根据本申请的一个方面,提供了一种无人实验室智能管理方法,其包括:
通过摄像头采集待入库物料的外观图像;
对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征;以及
基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。
根据本申请的另一个方面,提供了一种无人实验室智能管理系统,其包括:
图像采集模块,用于通过摄像头采集待入库物料的外观图像;
图像特征提取模块,用于对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征;以及
表面缺陷确认模块,用于基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。
与现有技术相比,本申请提供的无人实验室智能管理方法及系统,其首先通过摄像头采集待入库物料的外观图像,接着,对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征,然后,基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。这样,可以避免操作员介入引起的低效率和地精准度的问题,从而能够及早发现物料的表面缺陷、污染或损坏等问题,以确保入库物料的表面质量符合要求,避免将质量不合格的物料用于后续实验过程,保证实验产品的质量稳定性和一致性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,以下附图并未刻意按实际尺寸等比例缩放绘制,重点在于示出本申请的主旨。
图1为根据本申请实施例的无人实验室智能管理方法的流程图。
图2为根据本申请实施例的无人实验室智能管理方法的架构示意图。
图3为根据本申请实施例的无人实验室智能管理方法的子步骤S120的流程图。
图4为根据本申请实施例的无人实验室智能管理方法的子步骤S123的流程图。
图5为根据本申请实施例的无人实验室智能管理系统的框图。
图6为根据本申请实施例的无人实验室智能管理方法的应用场景图。
图7为根据本申请实施例的AGV复合机器人。
图8为根据本申请实施例的实验架子。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
针对上述技术问题,本申请的技术构思为在物料入库前,将物料放置于储物盘上,并通过摄像头采集待入库物料的外观图像,然后,在后端引入图像处理和机器学习算法来进行物料表面质量的自动化检测,以提高检测的准确性和效率。通过这样的方式,能够避免操作员介入引起的低效率和地精准度的问题,从而能够及早发现物料的表面缺陷、污染或损坏等问题,以确保入库物料的表面质量符合要求,避免将质量不合格的物料用于后续实验过程,保证实验产品的质量稳定性和一致性。
图1为根据本申请实施例的无人实验室智能管理方法的流程图。图2为根据本申请实施例的无人实验室智能管理方法的架构示意图。如图1和图2所示,根据本申请实施例的无人实验室智能管理方法,包括步骤:S110,通过摄像头采集待入库物料的外观图像;S120,对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征;以及,S130,基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。
具体地,在本申请的技术方案中,首先,获取由摄像头采集的待入库物料的外观图像。接着,计算所述待入库物料的外观图像的轮廓点分布直方图。应可以理解,所述轮廓点分布直方图可以描述物料边缘的形状和轮廓线的变化情况,从而反映出物料表面的轮廓边缘和纹理特征。这些特征可以用来评估物料的质量,例如检测物料表面的缺陷、污染、变形等问题,因此对于判断物料的表面质量非常重要。
然后,使用在图像的局部隐含特征提取方面具有优异表现性能的基于卷积神经网络模型的图像局部特征提取器来进行所述轮廓点分布直方图的特征挖掘,以提取出所述轮廓点分布直方图中有关于所述待入库物料的外观轮廓局部纹理特征分布信息,从而得到外观轮廓图像局部特征图。
进一步地,考虑到由于卷积是典型的局部操作,其只能提取图像局部特征,而无法关注全局,会影响对于物料表面质量检测的精度。而对于所述轮廓点分布直方图中有关于所述待入库物料的外观轮廓局部纹理特征来说,图像中的各个局部区域中有关于物料的纹理和轮廓特征信息并不是独立存在的,所述轮廓点分布直方图中的各个局部区域特征分布间的关联性产生前景目标。因此,在本申请的技术方案中,为了更精准地进行物料的表面缺陷检测,使用非局部神经网络来进一步进行图像的特征提取。也就是,在本申请的技术方案中,将所述外观轮廓图像局部特征图通过基于非局部神经网络模型的图像全局特征提取器中进行特征挖掘,以通过所述非局部神经网络模型来扩展特征感受野,从而得到外观轮廓图像全局特征图。特别地,这里,所述非局部神经网络模型通过计算所述轮廓点分布直方图中有关于所述待入库物料的外观轮廓的各个局部纹理特征间的相似度捕获隐藏的依赖信息,进而建模上下文特征,使网络关注所述轮廓点分布直方图中的各个局部区域特征间的全局整体内容,进而在分类、检测任务中提升主干网络特征提取能力。
继而,还考虑到由于所述外观轮廓图像中的局部特征和全局特征都包含了对物料表面质量的重要信息。局部特征可以捕捉到物料表面的细节和局部纹理,而全局特征则反映了整体形状和结构。因此,在本申请的技术方案中,进一步再融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图以得到多尺度外观轮廓图像特征图。这样,能够融合所述轮廓点分布直方图中有关于所述待入库物料的外观轮廓局部纹理特征分布信息和全局关联特征信息,以获得更加丰富和全面的特征表示,从而能够更好地表征物料的表面质量信息,以提高检测的精度。
相应地,如图3所示,对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征,包括:S121,计算所述待入库物料的外观图像的轮廓点分布直方图;S122,通过基于第一深度神经网络模型的图像局部特征提取器对所述轮廓点分布直方图进行特征提取以得到外观轮廓图像局部特征图;S123,通过基于第二深度神经网络模型的图像全局特征提取器对所述外观轮廓图像局部特征图进行全局特征提取以得到外观轮廓图像全局特征图;以及,S124,融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图以得到多尺度外观轮廓图像特征图作为所述外观轮廓图像特征。应可以理解,在步骤S121中,计算待入库物料的外观图像的轮廓点分布直方图。轮廓是指物体边缘的形状或外形,轮廓点分布直方图描述了轮廓上各个位置的点的分布情况的目的是提取物体外观的整体形状信息,以便后续的特征提取和分析;在步骤S122中,通过基于第一深度神经网络模型的图像局部特征提取器对轮廓点分布直方图进行特征提取,得到外观轮廓图像的局部特征图的目的在于从轮廓点分布直方图中提取更具判别性的局部特征,以捕捉物体外观的细节信息;在步骤S123中,全局特征描述了整个图像的全局统计信息,能够提供更全面的物体外观信息;在步骤S124中,融合外观轮廓图像的局部特征图和全局特征图,得到多尺度的外观轮廓图像特征图的目的是将局部特征和全局特征相结合,以获得更丰富和多样化的特征表示,多尺度特征图可以提供更全面的物体外观信息,有助于后续的分类、检测或识别任务。通过以上步骤的图像特征提取过程,可以从待入库物料的外观图像中提取出具有表征性的特征,用于后续的物体识别、分类、检测等任务。这些特征可以帮助计算机系统更好地理解和处理物体的外观信息。
更具体地,所述第一深度神经网络模型为卷积神经网络模型,所述第二深度神经网络模型为非局部神经网络模型。
值得一提的是,卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,卷积神经网络的核心思想是利用卷积层(Convolutional Layer)和池化层(Pooling Layer)来提取输入数据的特征,并通过全连接层(Fully Connected Layer)进行分类或回归等任务。卷积层通过在输入数据上应用一系列的卷积核(也称为滤波器)来提取特征。卷积核是一小块权重矩阵,通过与输入数据进行逐元素乘法和求和运算,将输入数据的局部特征映射到下一层。卷积层的输出称为特征图(Feature Map)。池化层用于减小特征图的空间尺寸,并提取特征的空间不变性。常用的池化操作是最大池化(Max Pooling),它选取输入区域中的最大值作为输出。通过多次堆叠卷积层和池化层,网络可以逐渐学习到更高层次的抽象特征。最后,通过全连接层将特征图展平为一维向量,并输入到输出层进行分类或回归等任务。全连接层的每个神经元与前一层的所有神经元相连,它们的权重被学习用于将特征映射到目标类别或数值。卷积神经网络的训练过程通常使用反向传播算法(Backpropagation)和梯度下降优化方法,通过最小化损失函数来调整网络中的权重和偏置,使得网络能够学习到输入数据的有效表示和模式。换言之,卷积神经网络模型是一种用于处理具有网格结构数据的深度学习模型,通过卷积层、池化层和全连接层等组件来提取特征并进行分类或回归等任务。它在计算机视觉等领域的应用非常广泛。
值得一提的是,非局部神经网络(Non-Local Neural Network)是一种用于建模长程依赖关系的神经网络模型。与传统的卷积神经网络(CNN)不同,非局部神经网络引入了非局部操作,允许网络在任意两个位置之间进行信息交互,从而更好地捕捉全局上下文信息。非局部操作通过计算输入特征图中不同位置之间的相似性来实现。在每个位置上,非局部操作会对所有其他位置的特征进行加权汇总,以获得全局上下文信息。这种操作可以帮助网络捕捉到远距离的依赖关系,使得网络具备更大的感受野和更强的建模能力。非局部神经网络可以用于图像分类、目标检测、语义分割等任务,从而提高模型的性能和鲁棒性。
更具体地,在步骤S122中,通过基于第一深度神经网络模型的图像局部特征提取器对所述轮廓点分布直方图进行特征提取以得到外观轮廓图像局部特征图,包括:使用所述基于第一深度神经网络模型的图像局部特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述基于第一深度神经网络模型的图像局部特征提取器的最后一层输出所述外观轮廓图像局部特征图,其中,所述基于第一深度神经网络模型的图像局部特征提取器的第一层的输入为所述轮廓点分布直方图。
更具体地,在步骤S123中,如图4所示,通过基于第二深度神经网络模型的图像全局特征提取器对所述外观轮廓图像局部特征图进行全局特征提取以得到外观轮廓图像全局特征图,包括:S1231,将所述外观轮廓图像局部特征图分别输入所述基于第二深度神经网络模型的图像全局特征提取器的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图;S1232,计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图;S1233,将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图;S1234,计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图;S1235,将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图;S1236,将所述全局感知特征图通过所述基于第二深度神经网络模型的图像全局特征提取器的第四点卷积层以得到通道调整全局感知特征图;以及,S1237,计算所述通道调整全局感知特征图和所述外观轮廓图像局部特征图的按位置加权和以得到所述外观轮廓图像全局特征图。
特别地,在本申请的技术方案中,在融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图得到所述多尺度外观轮廓图像特征图的情况下,考虑到所述外观轮廓图像全局特征图是在所述外观轮廓图像局部特征图对所述轮廓点分布直方图进行局部关联图像语义特征进行提取的基础上,进一步进行全局关联图像语义特征提取得到的,因此,期望对于所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图进行基于局部关联图像语义特征和全局关联图像语义特征的用于分类的特征信息的融合。
由此,本申请的申请人对所述外观轮廓图像局部特征图,例如记为F1,和所述外观轮廓图像全局特征图,例如记为F2进行平滑响应参数化解耦融合,来获得所述多尺度外观轮廓图像特征图,例如记为Fr
相应地,在一个具体示例中,融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图以得到多尺度外观轮廓图像特征图作为所述外观轮廓图像特征,包括:以如下融合公式对所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图进行平滑响应参数化解耦融合以得到所述多尺度外观轮廓图像特征图;其中,所述融合公式为:
其中,F1和F2分别是所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图,cov(F1,F2)表示所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图之间的余弦距离,且log为以2为底的对数函数,exp(·)表示特征图的指数运算,所述特征图的指数运算表示以特征图中各个位置特征值为幂的自然指数函数值,表示按位置减法,/>表示按位置加法,⊙表示按位置点乘,Fr是所述多尺度外观轮廓图像特征图。
这里,所述平滑响应参数化解耦融合通过使用平滑参数化函数的解耦原则,基于所述外观轮廓图像局部特征图F1和所述外观轮廓图像全局特征图F2之间的余弦距离的非负对称性来编译所述外观轮廓图像局部特征图F1和所述外观轮廓图像全局特征图F2的特征之间的逐点嵌入,从而以特征之间的空间变换(transformation)来推断所述外观轮廓图像局部特征图F1和所述外观轮廓图像全局特征图F2之间的信息分布转移(informationdistribution shift),从而表达特征之间的平滑响应在分类规则下的信息结构化融合,从而提升所述多尺度外观轮廓图像特征图Fr对于所述轮廓点分布直方图的局部关联图像语义特征和全局关联图像语义特征的基于分类规则的表达效果,以提升所述多尺度外观轮廓图像特征图通过分类器得到的分类结果的准确性。这样,能够对于待入库物料的表面质量进行自动化检测,以便于能够及早发现物料的表面缺陷、污染或损坏等问题,避免将质量不合格的物料用于后续实验过程,从而减少后续实验中的问题和损失,保证实验产品的质量稳定性和一致性。
进一步地,将所述多尺度外观轮廓图像特征图通过分类器以得到分类结果,所述分类结果用于表示待入库物料是否存在表面缺陷。也就是说,以所述待入库物料的外观轮廓图像的多尺度纹理特征信息来进行分类处理,从而对于待入库物料的表面缺陷进行自动化检测,以提高检测的准确性和效率。通过这样的方式,能够及早发现物料的表面缺陷、污染或损坏等问题,以确保入库物料的表面质量符合要求,避免将质量不合格的物料用于后续实验过程。
相应地,基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷,包括:将所述多尺度外观轮廓图像特征图通过分类器以得到分类结果,所述分类结果用于表示待入库物料是否存在表面缺陷。
更具体地,将所述多尺度外观轮廓图像特征图通过分类器以得到分类结果,所述分类结果用于表示待入库物料是否存在表面缺陷,包括:将所述多尺度外观轮廓图像特征图照行向量或者列向量展开为分类特征向量;使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
也就是,在本公开的技术方案中,所述分类器的标签包括待入库物料存在表面缺陷(第一标签),以及,待入库物料不存在表面缺陷(第二标签),其中,所述分类器通过软最大值函数来确定所述多尺度外观轮廓图像特征图属于哪个分类标签。值得注意的是,这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念,实际上在训练过程当中,计算机模型并没有“待入库物料是否存在表面缺陷”这种概念,其只是有两种分类标签且输出特征在这两个分类标签下的概率,即p1和p2之和为一。因此,待入库物料是否存在表面缺陷的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布,实质上用到的是标签的自然概率分布的物理意义,而不是“待入库物料是否存在表面缺陷”的语言文本意义。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
值得一提的是,全连接层(Fully Connected Layer),也称为密集连接层或全连接层,是深度神经网络中常见的一种层类型。在全连接层中,神经元(或称为节点)与前一层的所有神经元都有连接,每个连接都有一个权重。这意味着前一层的所有输出都会作为输入传递给全连接层中的每个神经元。全连接层的主要作用是将前一层提取的特征进行组合和转换,以便进行分类、回归或其他任务。每个神经元会对输入进行加权求和,并通过激活函数(如ReLU、Sigmoid)进行非线性变换。这样可以引入非线性能力,使得网络能够学习更复杂的特征和决策边界。全连接层的输出可以用于分类任务,通过softmax函数进行类别概率的计算,或者用于回归任务,直接输出预测值。在全连接层中,网络的参数量较大,容易导致过拟合的问题。为了缓解这个问题,常常会在全连接层之前使用一些正则化方法,如Dropout、L1/L2正则化等。
综上,基于本申请实施例的无人实验室智能管理方法被阐明,其可以避免操作员介入引起的低效率和地精准度的问题,从而能够及早发现物料的表面缺陷、污染或损坏等问题,以确保入库物料的表面质量符合要求,避免将质量不合格的物料用于后续实验过程,保证实验产品的质量稳定性和一致性。
图5为根据本申请实施例的无人实验室智能管理系统100的框图。如图5所示,根据本申请实施例的无人实验室智能管理系统100,包括:图像采集模块110,用于通过摄像头采集待入库物料的外观图像;图像特征提取模块120,用于对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征;以及,表面缺陷确认模块130,用于基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。
在一个示例中,在上述无人实验室智能管理系统100中,所述图像特征提取模块120,包括:直方图计算单元,用于计算所述待入库物料的外观图像的轮廓点分布直方图;局部特征提取单元,用于通过基于第一深度神经网络模型的图像局部特征提取器对所述轮廓点分布直方图进行特征提取以得到外观轮廓图像局部特征图;全局特征提取单元,用于通过基于第二深度神经网络模型的图像全局特征提取器对所述外观轮廓图像局部特征图进行全局特征提取以得到外观轮廓图像全局特征图;以及,特征图融合单元,用于融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图以得到多尺度外观轮廓图像特征图作为所述外观轮廓图像特征。
在一个示例中,在上述无人实验室智能管理系统100中,所述第一深度神经网络模型为卷积神经网络模型,所述第二深度神经网络模型为非局部神经网络模型。
这里,本领域技术人员可以理解,上述无人实验室智能管理系统100中的各个模块的具体功能和操作已经在上面参考图1到图4的无人实验室智能管理方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的无人实验室智能管理系统100可以实现在各种无线终端中,例如具有无人实验室智能管理算法的服务器等。在一个示例中,根据本申请实施例的无人实验室智能管理系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该无人实验室智能管理系统100可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该无人实验室智能管理系统100同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该无人实验室智能管理系统100与该无线终端也可以是分立的设备,并且该无人实验室智能管理系统100可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
图6为根据本申请实施例的无人实验室智能管理方法的应用场景图。如图6所示,在该应用场景中,首先,通过摄像头(例如,图6中所示意的C)采集待入库物料的外观图像(例如,图6中所示意的D),然后,将所述待入库物料的外观图像输入至部署有无人实验室智能管理算法的服务器中(例如,图6中所示意的S),其中,所述服务器能够使用所述无人实验室智能管理算法对所述待入库物料的外观图像进行处理以得到用于表示待入库物料是否存在表面缺陷的分类结果。
进一步地,结合图7和图8,对物料入库的过程进行说明。具体地,物料入库前,先在储料盘摆放;转运盘放置于AGV复合机器人小车上,用来对物料进行位置固定的作用,其有多个格子,用于放物料;中转盘是实验架子单元组上放置物料的地方,物料转运的终点;最终,物料被放置于旋转仓库中。
更具体地,储料盘呼叫AGV复合机器人小车,盘上有8个物料,AGV复合机器人小车装载着转运盘接受储料盘命令,AGV复合机器人小车查询储料盘位置并前往储料盘位置,AGV复合机器人小车夹取储料盘上各个格子物料到转运盘相应的格子,AGV复合机器人小车装满转运盘储位后,AGV复合机器人小车查询转运盘格子的物料应该放到哪个地方,AGV复合机器人小车前往目标站点,并请求旋转仓库打开目标点位,旋转仓库打开点位,AGV复合机器人小车放置格子的物料到仓库点位。进一步地,AGV复合机器人小车的手臂会读取到瓶子的编码,获取绑定手臂验证储位的物料名称。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
上面是对本发明的说明,而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解,上面是对本发明的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种无人实验室智能管理方法,其特征在于,包括:
通过摄像头采集待入库物料的外观图像;
对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征;以及
基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。
2.根据权利要求1所述的无人实验室智能管理方法,其特征在于,对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征,包括:
计算所述待入库物料的外观图像的轮廓点分布直方图;
通过基于第一深度神经网络模型的图像局部特征提取器对所述轮廓点分布直方图进行特征提取以得到外观轮廓图像局部特征图;
通过基于第二深度神经网络模型的图像全局特征提取器对所述外观轮廓图像局部特征图进行全局特征提取以得到外观轮廓图像全局特征图;以及
融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图以得到多尺度外观轮廓图像特征图作为所述外观轮廓图像特征。
3.根据权利要求2所述的无人实验室智能管理方法,其特征在于,所述第一深度神经网络模型为卷积神经网络模型,所述第二深度神经网络模型为非局部神经网络模型。
4.根据权利要求3所述的无人实验室智能管理方法,其特征在于,通过基于第一深度神经网络模型的图像局部特征提取器对所述轮廓点分布直方图进行特征提取以得到外观轮廓图像局部特征图,包括:
使用所述基于第一深度神经网络模型的图像局部特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述基于第一深度神经网络模型的图像局部特征提取器的最后一层输出所述外观轮廓图像局部特征图,其中,所述基于第一深度神经网络模型的图像局部特征提取器的第一层的输入为所述轮廓点分布直方图。
5.根据权利要求4所述的无人实验室智能管理方法,其特征在于,通过基于第二深度神经网络模型的图像全局特征提取器对所述外观轮廓图像局部特征图进行全局特征提取以得到外观轮廓图像全局特征图,包括:
将所述外观轮廓图像局部特征图分别输入所述基于第二深度神经网络模型的图像全局特征提取器的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图;
计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图;
将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图;
计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图;
将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局感知特征图;
将所述全局感知特征图通过所述基于第二深度神经网络模型的图像全局特征提取器的第四点卷积层以得到通道调整全局感知特征图;以及
计算所述通道调整全局感知特征图和所述外观轮廓图像局部特征图的按位置加权和以得到所述外观轮廓图像全局特征图。
6.根据权利要求5所述的无人实验室智能管理方法,其特征在于,融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图以得到多尺度外观轮廓图像特征图作为所述外观轮廓图像特征,包括:
以如下融合公式对所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图进行平滑响应参数化解耦融合以得到所述多尺度外观轮廓图像特征图;
其中,所述融合公式为:
其中,和/>分别是所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图,表示所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图之间的余弦距离,且/>为以2为底的对数函数,表示特征图的指数运算,所述特征图的指数运算表示以特征图中各个位置特征值为幂的自然指数函数值,表示按位置减法,/>表示按位置加法,表示按位置点乘,/>是所述多尺度外观轮廓图像特征图。
7.根据权利要求6所述的无人实验室智能管理方法,其特征在于,基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷,包括:
将所述多尺度外观轮廓图像特征图通过分类器以得到分类结果,所述分类结果用于表示待入库物料是否存在表面缺陷。
8.一种无人实验室智能管理系统,其特征在于,包括:
图像采集模块,用于通过摄像头采集待入库物料的外观图像;
图像特征提取模块,用于对所述待入库物料的外观图像进行图像特征提取以得到外观轮廓图像特征;以及
表面缺陷确认模块,用于基于所述外观轮廓图像特征,确定待入库物料是否存在表面缺陷。
9.根据权利要求8所述的无人实验室智能管理系统,其特征在于,所述图像特征提取模块,包括:
直方图计算单元,用于计算所述待入库物料的外观图像的轮廓点分布直方图;
局部特征提取单元,用于通过基于第一深度神经网络模型的图像局部特征提取器对所述轮廓点分布直方图进行特征提取以得到外观轮廓图像局部特征图;
全局特征提取单元,用于通过基于第二深度神经网络模型的图像全局特征提取器对所述外观轮廓图像局部特征图进行全局特征提取以得到外观轮廓图像全局特征图;以及
特征图融合单元,用于融合所述外观轮廓图像局部特征图和所述外观轮廓图像全局特征图以得到多尺度外观轮廓图像特征图作为所述外观轮廓图像特征。
10.根据权利要求9所述的无人实验室智能管理系统,其特征在于,所述第一深度神经网络模型为卷积神经网络模型,所述第二深度神经网络模型为非局部神经网络模型。
CN202310950870.4A 2023-07-31 2023-07-31 无人实验室智能管理方法及系统 Active CN117078604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310950870.4A CN117078604B (zh) 2023-07-31 2023-07-31 无人实验室智能管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310950870.4A CN117078604B (zh) 2023-07-31 2023-07-31 无人实验室智能管理方法及系统

Publications (2)

Publication Number Publication Date
CN117078604A true CN117078604A (zh) 2023-11-17
CN117078604B CN117078604B (zh) 2024-03-12

Family

ID=88701448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310950870.4A Active CN117078604B (zh) 2023-07-31 2023-07-31 无人实验室智能管理方法及系统

Country Status (1)

Country Link
CN (1) CN117078604B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system
US20210089753A1 (en) * 2019-09-24 2021-03-25 Boe Technology Group Co., Ltd. Age Recognition Method, Computer Storage Medium and Electronic Device
CN114972230A (zh) * 2022-05-17 2022-08-30 武汉飞恩微电子有限公司 一种生产线上电路板缺陷检测方法及系统
CN115272203A (zh) * 2022-07-14 2022-11-01 重庆大学 一种基于深度学习的无参考图像质量评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089753A1 (en) * 2019-09-24 2021-03-25 Boe Technology Group Co., Ltd. Age Recognition Method, Computer Storage Medium and Electronic Device
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system
CN114972230A (zh) * 2022-05-17 2022-08-30 武汉飞恩微电子有限公司 一种生产线上电路板缺陷检测方法及系统
CN115272203A (zh) * 2022-07-14 2022-11-01 重庆大学 一种基于深度学习的无参考图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
庄新卿;刘志;刘晗;: "基于卷积神经网络与轮廓提取的连铸坯表面缺陷检测方法", 工业控制计算机, no. 02, 25 February 2018 (2018-02-25) *
王田;邹子龙;乔美娜;: "基于图像特征分析的物体轮廓提取", 北京航空航天大学学报, no. 08, 19 November 2015 (2015-11-19) *

Also Published As

Publication number Publication date
CN117078604B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
Lin et al. Automated defect inspection of LED chip using deep convolutional neural network
CN107944396B (zh) 一种基于改进深度学习的刀闸状态识别方法
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN112906720B (zh) 基于图注意力网络的多标签图像识别方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
Chiu et al. A novel directional object detection method for piled objects using a hybrid region-based convolutional neural network
Hu et al. LE–MSFE–DDNet: a defect detection network based on low-light enhancement and multi-scale feature extraction
Zhao et al. Toward intelligent manufacturing: label characters marking and recognition method for steel products with machine vision
CN116740384B (zh) 洗地机的智能控制方法及系统
CN117103790A (zh) 瓦楞纸板生产线及其控制方法
Bondre et al. Review on leaf diseases detection using deep learning
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
WO2024078112A1 (zh) 一种舾装件智能识别方法、计算机设备
CN113284122B (zh) 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质
CN117292193B (zh) 多工位智能物流输送系统
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN117705059A (zh) 一种自然资源遥感测绘影像定位方法及系统
CN117636045A (zh) 基于图像处理的木材缺陷检测系统
CN117485842A (zh) 门式斗轮机轮斗横梁姿态实时监测方法及其系统
CN117078604B (zh) 无人实验室智能管理方法及系统
CN114743045A (zh) 一种基于双分支区域建议网络的小样本目标检测方法
Beljadid et al. Automatic fabric defect detection employing deep learning
Trinh et al. Mangosteen Fruit Detection Using Improved Faster R-CNN
Jun et al. Two-view correspondence learning via complex information extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant