CN117132600A - 基于图像的注塑制品质量检测系统及其方法 - Google Patents

基于图像的注塑制品质量检测系统及其方法 Download PDF

Info

Publication number
CN117132600A
CN117132600A CN202311399281.8A CN202311399281A CN117132600A CN 117132600 A CN117132600 A CN 117132600A CN 202311399281 A CN202311399281 A CN 202311399281A CN 117132600 A CN117132600 A CN 117132600A
Authority
CN
China
Prior art keywords
infrared
distribution
image
temperature distribution
injection molding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311399281.8A
Other languages
English (en)
Other versions
CN117132600B (zh
Inventor
匡超
吴兆益
张涛涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lanrui New Material Technology Group Co ltd
Original Assignee
Guangdong Lanrui New Material Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Lanrui New Material Technology Group Co ltd filed Critical Guangdong Lanrui New Material Technology Group Co ltd
Priority to CN202311399281.8A priority Critical patent/CN117132600B/zh
Publication of CN117132600A publication Critical patent/CN117132600A/zh
Application granted granted Critical
Publication of CN117132600B publication Critical patent/CN117132600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Injection Moulding Of Plastics Or The Like (AREA)

Abstract

本发明公开了一种基于图像的注塑制品质量检测系统及其方法,其获取待检测注塑制品的红外温度分布图像;提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及,基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。这样,可以结合基于深度学习的人工智能技术来注塑制品的质量检测,以智能化地判断待检测注塑制品的质量是否符合预定要求。

Description

基于图像的注塑制品质量检测系统及其方法
技术领域
本发明涉及智能化质量检测技术领域,尤其涉及一种基于图像的注塑制品质量检测系统及其方法。
背景技术
在实际生产中,注塑制品的内部可能会存在大小不一、位置不定的气泡,会直接影响注塑制品的质量和可用程度。目前注塑制品的质量检测主要为抽样切片检测和X射线检测。前者由于会破坏样品,只能抽样检测,质量检测的范围不够全面,而后者速度比较慢且成本较高,不适用于工业化生产。
因此,期待一种优化的注塑制品质量检测方案。
发明内容
本发明实施例提供一种基于图像的注塑制品质量检测系统及其方法,其获取待检测注塑制品的红外温度分布图像;提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及,基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。这样,可以结合基于深度学习的人工智能技术来注塑制品的质量检测,以智能化地判断待检测注塑制品的质量是否符合预定要求。
本发明实施例还提供了一种基于图像的注塑制品质量检测方法,其包括:
获取待检测注塑制品的红外温度分布图像;
提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;
融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及
基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。
本发明实施例还提供了一种基于图像的注塑制品质量检测系统,其包括:
红外温度分布图像获取模块,用于获取待检测注塑制品的红外温度分布图像;
红外分布语义特征提取模块,用于提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;
融合模块,用于融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及
待检测注塑制品的质量确定模块,用于基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种基于图像的注塑制品质量检测方法的流程图。
图2为本发明实施例中提供的一种基于图像的注塑制品质量检测方法的系统架构的示意图。
图3为本发明实施例中提供的一种基于图像的注塑制品质量检测系统的框图。
图4为本发明实施例中提供的一种基于图像的注塑制品质量检测方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
除非另有说明,本发明实施例所使用的所有技术和科学术语与本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本发明的范围。
在本发明实施例记载中,需要说明的是,除非另有说明和限定,术语“连接”应做广义理解,例如,可以是电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
需要说明的是,本发明实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例可以除了在这里图示或描述的那些以外的顺序实施。
注塑制品是一种通过注塑工艺制造的塑料制品,广泛应用于各个领域,包括日常生活用品、电子产品、汽车零部件、医疗器械、工业设备等。注塑制品通常由热塑性塑料制成,通过将熔融的塑料材料注入模具中,经过冷却和固化后,得到所需的形状和尺寸。
注塑制品具有许多优点,注塑工艺可以生产各种形状、尺寸和复杂度的制品,从简单的盖子和容器到复杂的零部件和组件。注塑工艺具有高效率和快速生产的优势,一旦模具准备好,注塑机可以连续生产大批量的制品。注塑工艺可以实现高度精确的尺寸和形状控制,确保每个制品的一致性和质量稳定性。注塑制品可以使用多种类型的热塑性塑料,如聚丙烯、聚乙烯、聚氨酯、聚碳酸酯等,具有不同的物理性质和特性,适用于各种应用需求。注塑工艺通常具有较低的生产成本,特别是在大批量生产时,可以实现较低的单位制品成本。
在注塑制品的生产过程中,气泡是一个常见的质量问题,这些气泡可以形成于塑料熔融过程中,或者由于注塑机操作不当、模具设计不合理或材料质量问题等原因引起。气泡的大小、形状和位置可能不一致,且可能分布于注塑制品的各个部位,如内部、表面或壁厚处。
气泡对注塑制品的质量和可用程度有直接影响;气泡存在于注塑制品内部时,会降低其整体强度和刚性,使其容易发生破裂或变形;气泡在注塑制品表面形成凹陷或凸起,影响外观质量,降低产品的美观度;气泡是热的绝缘体,会降低注塑制品的导热性能,影响其在热传导方面的应用;气泡存在于密封部位时,可能导致泄漏或渗透问题,影响注塑制品的密封性能。
在注塑制品的生产过程中,质量控制和质量检测是非常重要的环节。如前文所述,注塑制品可能存在气泡、缺陷或尺寸偏差等问题,这些会直接影响制品的质量和可用性。因此,制造商通常采取各种方法来检测和确保注塑制品的质量,包括抽样切片检测、X射线检测、红外温度分布图像等技术。
目前,主要使用的两种方法是抽样切片检测和X射线检测。抽样切片检测通过从注塑制品中切取样品,并在显微镜下观察切片,来检测气泡的存在,这种方法的优点是简单易行,可以提供一定的信息。然而,由于需要破坏样品,只能进行抽样检测,无法对整个批次的注塑制品进行全面检测。因此,可能会存在漏检的情况,无法完全排除气泡存在的可能性。X射线检测利用X射线透射性能来检测注塑制品内部的气泡。通过将注塑制品放置在X射线机器下,X射线能够穿透注塑制品并形成影像。这样,操作人员可以观察影像,检测是否存在气泡。X射线检测的优点是可以对整个批次的注塑。
除了上述提到的抽样切片检测和X射线检测方法外,还有其他一些常用的质量检测方法,如可视检查、尺寸测量、拉伸测试和冲击测试等,这些方法可以帮助检测和评估注塑制品中的气泡及其他缺陷,确保产品符合设计要求和标准。
在本发明的一个实施例中,图1为本发明实施例中提供的一种基于图像的注塑制品质量检测方法的流程图。图2为本发明实施例中提供的一种基于图像的注塑制品质量检测方法的系统架构的示意图。如图1和图2所示,根据本发明实施例的基于图像的注塑制品质量检测方法,包括:110,获取待检测注塑制品的红外温度分布图像;120,提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;130,融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及,140,基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。
在所述步骤110中,使用红外热像仪或红外相机等设备来获取待检测注塑制品的红外温度分布图像。在拍摄过程中,确保红外热像仪或红外相机的正确校准和设置,以获得准确的红外温度数据;确保拍摄环境的稳定性,避免外界因素对红外图像的影响,如干扰光源、风等;保持适当的拍摄距离和角度,以获得清晰的红外温度分布图像;确保注塑制品表面的温度稳定,以避免温度梯度对图像质量的影响。
在所述步骤120中,使用计算机视觉和图像处理技术来提取红外温度分布图像的语义特征。可以采用深度学习模型,如卷积神经网络(CNN),对图像进行分析和特征提取。在提取特征时,使用经过预训练的CNN模型,如ResNet、VGG等,可以提高特征提取的准确性和效果。根据具体需求,选择合适的特征提取层或层组合,以获得红外温度分布图像的语义特征,在特征提取过程中,可以考虑使用多尺度特征融合、注意力机制等技术,以提高特征的表达能力和区分度。
在所述步骤130中,将红外分布全局语义特征向量与原始红外温度分布图像进行融合,以生成全局语义引导的注塑制品红外温度分布特征图。在融合过程中,使用适当的融合方法,如特征级融合、图像级融合等,将红外分布全局语义特征向量与红外温度分布图像进行融合。融合过程中,可以考虑利用全局语义特征向量对红外温度分布图像进行引导,以强化关键特征区域的表达和区分度,确保融合后的特征图具有良好的可解释性和区分度,以便后续的质量判断和分析。
在所述步骤140中,利用全局语义引导的注塑制品红外温度分布特征图,进行质量判断和分析。可以采用机器学习或深度学习模型,结合预先定义的质量标准和模型训练,来确定待检测注塑制品的质量是否符合预定要求。在进行质量判断时,建立合适的质量判断模型,可以是二分类模型(合格/不合格)或多分类模型(按照质量等级分类),根据具体的质量要求和标准,设置合适的阈值或分类规则,以判断注塑制品的质量。
通过以上步骤的实施,基于注塑制品的红外温度分布图像和深度学习模型,可以实现全面性、非破坏性和智能化的质量检测,提高注塑制品质量检测的准确性和效率,这种方法可以更全面地检测注塑制品中的质量问题,避免了传统方法的局限性,并适用于工业化生产的需求。
针对上述技术问题,本发明的技术构思为:考虑到注塑制品的内部存在的气泡会影响红外温度的分布,因而,在本发明的技术方案中,选择注塑制品的红外温度分布图像作为质量检测的依据,并结合基于深度学习的人工智能技术来注塑制品的质量检测,以智能化地判断待检测注塑制品的质量是否符合预定要求。
基于此,在本发明的技术方案中,首先,获取待检测注塑制品的红外温度分布图像。然后,提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量。应可以理解,若注塑制品内部出现气泡,会形成局部的高温或低温区域,从而在红外温度分布图像中显现。通过提取所述红外温度分布图像的红外分布语义特征,可以反映气泡的大小、位置、数量和形状等信息。
在本发明的一个具体示例中,提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量,包括:将所述红外温度分布图像进行图像分块处理以得到红外分布局部区域图像的序列;以及,利用基于深度学习的网络模型提取所述红外分布局部区域图像的序列的红外分布语义特征以得到所述红外分布全局语义特征向量。
通过将红外温度分布图像进行分块处理,可以将大尺寸的图像分解为多个小尺寸的局部区域图像,这样做可以更好地捕捉注塑制品中的局部特征,例如气泡的形状、边缘、颜色等。每个局部区域图像可以提供更详细和准确的局部温度分布信息,从而增强了特征的表达能力。通过对红外温度分布图像进行分块处理,可以扩大模型的感受野,每个局部区域图像都可以作为模型的输入,使模型能够更全面地感知整个注塑制品的红外温度分布情况,这种局部感知能力可以帮助模型更好地理解局部区域之间的相互关系和全局上的温度分布模式。大尺寸的红外温度分布图像可能会导致计算复杂度的增加,通过将图像分块处理,可以将计算任务分散到多个局部区域图像上,从而降低了每个局部区域图像的计算复杂度,这样可以加快特征提取和模型推理的速度,提高系统的实时性和效率。
将红外温度分布图像进行图像分块处理以得到红外分布局部区域图像的序列,以及利用基于深度学习的网络模型提取红外分布局部区域图像的序列的红外分布语义特征,可以提高特征的表达能力、感受野和局部感知能力,减少计算复杂度,并且提取更丰富、具有全局语义关系的特征,提高质量检测的准确性和泛化能力。
在本发明的一个具体实施例中,利用基于深度学习的网络模型提取所述红外分布局部区域图像的序列的红外分布语义特征以得到所述红外分布全局语义特征向量,包括:将所述红外分布局部区域图像的序列分别通过基于卷积神经网络模型的红外分布特征提取器以得到红外分布局部区域特征向量的序列;以及,分别计算所述红外分布局部区域特征向量的序列中各个红外分布局部区域特征向量的全局均值以得到所述红外分布全局语义特征向量。
其中,所述基于卷积神经网络模型的红外分布特征提取器,包括:输入层、卷积层、池化层、激活层和输出层。
这里,通过图像分块的处理方式将所述红外温度分布图像拆分为一个个图像块,使得网络模型能够关注到更加细微和局部的红外分布特征信息;然后,通过计算全局均值的处理方式将特征向量降维为特征值,以使得各个特征值构成的所述红外分布全局语义特征向量能够与所述红外温度分布图像一同作为后续模型的输入。
卷积神经网络(CNN)是一种强大的图像特征提取器,可以学习到图像中的高级语义特征,通过将红外分布局部区域图像的序列输入CNN模型,可以提取每个局部区域图像的特征向量,这些特征向量可以捕捉到注塑制品中的红外分布特征,例如温度分布的形状、纹理和局部结构等信息。红外分布局部区域图像的特征向量通常具有较高的维度,通过使用CNN模型提取特征,可以将图像的高维表示转换为低维的特征向量表示,这样可以减少存储和计算的开销,并且可以更好地表示和比较不同局部区域图像之间的特征差异。CNN模型在提取特征的过程中,会考虑局部区域图像的上下文信息,这样可以确保提取的特征向量包含了局部区域图像的重要特征,并且在一定程度上保留了图像的结构和空间关系,这对于红外分布的质量检测任务非常重要,因为局部特征的变化可能与质量问题相关。
通过计算红外分布局部区域特征向量的全局均值,可以将局部特征信息整合为一个全局特征向量,这样可以综合考虑注塑制品中不同局部区域的特征信息,得到一个更全局的语义特征表示。全局特征向量可以更好地描述注塑制品的整体质量状况,对于质量判断和分类任务具有较好的效果。计算全局均值可以将红外分布局部区域特征向量的序列压缩为一个较低维度的全局特征向量,这样可以减少特征的维度,降低存储和计算的开销,并且可以更方便地进行特征的比较、聚类和分类等任务。通过计算全局均值,可以减少局部特征的噪声和不确定性对全局特征的影响。全局均值可以平滑局部特征的变化,并且对于不同尺度和大小的注塑制品具有一定的鲁棒性和泛化能力,这样可以提高质量检测的准确性,并且对于新的注塑制品样本也具有一定的适应性。
通过基于卷积神经网络模型的红外分布特征提取器提取红外分布局部区域特征向量的序列,并计算各个特征向量的全局均值,可以提取高级语义特征、降低特征维度、保留局部特征信息,综合局部特征信息,降低维度,提高鲁棒性和泛化能力,从而得到红外分布全局语义特征向量,进一步提高质量检测的准确性和效果。
接着,将所述红外分布全局语义特征向量和所述红外温度分布图像通过基于MetaNet的诱导监督融合模块以得到全局语义引导注塑制品红外温度分布特征图。也就是,利用红外温度分布图像的红外分布全局语义信息对红外温度分布图像进行语义引导,使得注塑制品的红外温度分布特征更好地表征注塑制品的内部气泡分布信息。
在本发明的一个具体实施例中,融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图,包括:将所述红外分布全局语义特征向量和所述红外温度分布图像通过基于MetaNet的诱导监督融合模块以得到所述全局语义引导注塑制品红外温度分布特征图。
其中,将所述红外分布全局语义特征向量和所述红外温度分布图像通过基于MetaNet的诱导监督融合模块以得到所述全局语义引导注塑制品红外温度分布特征图,包括:将所述红外温度分布图像通过所述基于MetaNet的诱导监督融合模块以得到红外温度分布特征向量;以所述红外温度分布特征向量对所述红外分布全局语义特征向量进行沿通道维度加权以得到所述全局语义引导注塑制品红外温度分布特征图。
红外分布全局语义特征向量包含了注塑制品的整体质量特征,通过将全局语义特征向量与红外温度分布图像进行融合,可以将全局语义信息引导到温度分布图像中,这样可以使得温度分布图像更加注重全局质量特征,从而提高质量检测的准确性和鲁棒性。基于MetaNet的诱导监督融合模块可以将全局语义特征向量与红外温度分布图像进行关联,以生成全局语义引导的注塑制品红外温度分布特征图,这个特征图可以反映全局语义特征对于温度分布的影响,将全局语义信息与温度分布图像进行有机地结合,从而更好地理解温度分布图像中的质量信息。全局语义引导的注塑制品红外温度分布特征图可以提供更多的上下文信息和语义关联,帮助模型更准确地理解温度分布图像中的质量问题。通过引入全局语义特征,模型可以更好地捕捉到温度分布图像中的异常、缺陷或不良特征,进一步提高质量检测的准确性。全局语义引导的注塑制品红外温度分布特征图可以将抽象的全局语义特征转化为可视化的图像特征,这样可以增强特征的解释性,使人们更容易理解和分析温度分布图像中的质量问题。通过可视化的特征图,可以直观地观察到全局语义特征对于温度分布图像的影响,进一步促进质量问题的分析和判断。
通过基于MetaNet的诱导监督融合模块将红外分布全局语义特征向量和红外温度分布图像进行融合,可以结合全局语义信息,引导特征图的生成,提高质量检测的准确性,增强特征的解释性,从而得到全局语义引导的注塑制品红外温度分布特征图,这种融合方法可以提供更全面、准确和可解释的质量检测结果,对于注塑制品的质量控制具有重要的意义。
在本发明的一个实施例中,基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求,包括:对所述全局语义引导注塑制品红外温度分布特征图进行特征分布修正以得到修正后全局语义引导注塑制品红外温度分布特征图;以及,将所述修正后全局语义引导注塑制品红外温度分布特征图通过分类器以得到分类结果,所述分类结果用于表示所述待检测注塑制品的质量是否符合预定要求。
通过特征分布修正,可以识别和修正注塑制品红外温度分布特征图中的异常特征,异常特征可能是由于传感器噪声、图像采集问题或其他因素引起的,修正这些异常特征可以提高特征图的准确性和可靠性,从而更好地反映注塑制品的实际质量情况。特征分布修正可以调整特征图中不同类别之间的分布关系,使得不同类别的特征更具区分度,这有助于分类器更好地区分不同质量类别的注塑制品,提高质量检测的准确性和可靠性。特征分布修正可以去除特征图中的冗余信息,使得特征图更加精炼和紧凑,有助于减少特征的维度和存储空间,并提高分类器的计算效率。
通过对全局语义引导的注塑制品红外温度分布特征图进行特征分布修正,并通过分类器进行分类,可以修正异常特征、提高特征区分度、去除冗余信息,实现自动化质量检测,提高质量检测的准确性,并实现多类别分类,从而更好地评估注塑制品的质量是否符合预定要求。
在本发明的技术方案中,将所述红外分布全局语义特征向量和所述红外温度分布图像通过基于MetaNet的诱导监督融合模块时,首先将所述红外温度分布图像通过卷积神经网络以得到红外温度分布特征图,由此,所述红外温度分布特征图的各个特征矩阵表达所述红外温度分布图像的图像语义特征,而在通道维度上符合所述卷积神经网络的通道分布。
这里,在以所述红外分布全局语义特征向量对所述红外温度分布图像进行沿通道维度的图像语义特征空间分布权重约束时,考虑到所述红外温度分布图像在语义空间内的特征表达强度上要远高于所述红外分布全局语义特征向量,因此可能导致所述红外分布全局语义特征向量的目标分布信息损失,影响所述红外分布全局语义特征向量对所述红外温度分布图像的权重约束效果。
基于此,本发明申请人首先计算所述红外温度分布图像的每个特征矩阵的全局均值以获得红外温度分布特征向量,例如记为,再以所述红外温度分布特征向量对所述红外分布全局语义特征向量,例如记为/>进行优化,以获得优化后的红外分布全局语义特征向量,例如记为/>。表示为以如下优化公式对所述红外温度分布特征向量对所述红外分布全局语义特征向量进行优化,以获得优化后的红外分布全局语义特征向量;其中,所述优化公式为:/>其中,/>和/>分别表示所述红外温度分布特征向量/>和所述红外分布全局语义特征向量/>的全局均值的倒数,且/>是单位向量,/>是所述红外温度分布特征向量,/>是所述红外分布全局语义特征向量,/>是优化后的红外分布全局语义特征向量,/>表示按位置加法,/>表示按位置减法,/>表示按位置点乘。
也就是,在考虑到在特征分布不均衡的情况下,如果将所述红外温度分布特征向量视为所述红外分布全局语义特征向量/>的特征分布增强输入,则考虑到所述红外分布全局语义特征向量/>的目标特征在约束空间内的目标分布信息损失,可能导致约束目的损失,因此通过对特征分布相对于彼此的离群分布(outlier distribution)进行交叉惩罚的方式,可以通过特征插值式融合实现特征增强和约束鲁棒的自监督式平衡,以提升所述红外分布全局语义特征向量/>相对于强特征表达的鲁棒约束效果,这样,再以所述优化后的红外分布全局语义特征向量/>来对所述全局语义引导注塑制品红外温度分布特征图进行通道加权,就可以提升得到的所述全局语义引导注塑制品红外温度分布特征图的特征表达效果,从而提升其通过分类器得到的分类结果的准确性。
继而,将所述修正后全局语义引导注塑制品红外温度分布特征图通过分类器以得到分类结果,所述分类结果用于表示所述待检测注塑制品的质量是否符合预定要求。
通过使用分类器对修正后的特征图进行分类,可以实现对注塑制品质量的自动化检测,分类器可以根据特征图中的质量特征判断注塑制品是否符合预定要求,从而实现对质量的快速评估。分类器可以根据修正后的特征图中的质量特征进行判断,相比于直接使用原始温度分布图像,修正后的特征图更具有区分不同质量类别的能力,可以提高质量检测的准确性和可靠性。分类器可以将注塑制品分为不同的质量类别,例如合格品、次品和不良品等,这样可以提供更细粒度的质量评估,帮助制造商更好地了解注塑制品的质量状况,并采取相应的措施进行改进和调整。
综上,基于本发明实施例的基于图像的注塑制品质量检测方法被阐明,其选择注塑制品的红外温度分布图像作为质量检测的依据,并结合基于深度学习的人工智能技术来注塑制品的质量检测,以智能化地判断待检测注塑制品的质量是否符合预定要求。
图3为本发明实施例中提供的一种基于图像的注塑制品质量检测系统的框图。如图3所示,所述基于图像的注塑制品质量检测系统200,包括:红外温度分布图像获取模块210,用于获取待检测注塑制品的红外温度分布图像;红外分布语义特征提取模块220,用于提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;融合模块230,用于融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及,待检测注塑制品的质量确定模块240,用于基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。
在所述基于图像的注塑制品质量检测系统中,所述红外分布语义特征提取模块,包括:图像分块处理单元,用于将所述红外温度分布图像进行图像分块处理以得到红外分布局部区域图像的序列;以及,语义特征提取单元,用于利用基于深度学习的网络模型提取所述红外分布局部区域图像的序列的红外分布语义特征以得到所述红外分布全局语义特征向量。
在所述基于图像的注塑制品质量检测系统中,所述语义特征提取单元,包括:红外分布特征提取子单元,用于将所述红外分布局部区域图像的序列分别通过基于卷积神经网络模型的红外分布特征提取器以得到红外分布局部区域特征向量的序列;以及,全局均值计算子单元,用于分别计算所述红外分布局部区域特征向量的序列中各个红外分布局部区域特征向量的全局均值以得到所述红外分布全局语义特征向量。
本领域技术人员可以理解,上述基于图像的注塑制品质量检测系统中的各个步骤的具体操作已经在上面参考图1到图2的基于图像的注塑制品质量检测方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本发明实施例的基于图像的注塑制品质量检测系统200可以实现在各种终端设备中,例如用于基于图像的注塑制品质量检测的服务器等。在一个示例中,根据本发明实施例的基于图像的注塑制品质量检测系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于图像的注塑制品质量检测系统200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于图像的注塑制品质量检测系统200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于图像的注塑制品质量检测系统200与该终端设备也可以是分立的设备,并且该基于图像的注塑制品质量检测系统200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图4为本发明实施例中提供的一种基于图像的注塑制品质量检测方法的应用场景图。如图4所示,在该应用场景中,首先,获取待检测注塑制品的红外温度分布图像(例如,如图4中所示意的C);然后,将获取的红外温度分布图像输入至部署有基于图像的注塑制品质量检测算法的服务器(例如,如图4中所示意的S)中,其中所述服务器能够基于图像的注塑制品质量检测算法对所述红外温度分布图像进行处理,以确定所述待检测注塑制品的质量是否符合预定要求。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像的注塑制品质量检测方法,其特征在于,包括:
获取待检测注塑制品的红外温度分布图像;
提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;
融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及
基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。
2.根据权利要求1所述的基于图像的注塑制品质量检测方法,其特征在于,提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量,包括:
将所述红外温度分布图像进行图像分块处理以得到红外分布局部区域图像的序列;以及
利用基于深度学习的网络模型提取所述红外分布局部区域图像的序列的红外分布语义特征以得到所述红外分布全局语义特征向量。
3.根据权利要求2所述的基于图像的注塑制品质量检测方法,其特征在于,利用基于深度学习的网络模型提取所述红外分布局部区域图像的序列的红外分布语义特征以得到所述红外分布全局语义特征向量,包括:
将所述红外分布局部区域图像的序列分别通过基于卷积神经网络模型的红外分布特征提取器以得到红外分布局部区域特征向量的序列;以及
分别计算所述红外分布局部区域特征向量的序列中各个红外分布局部区域特征向量的全局均值以得到所述红外分布全局语义特征向量。
4.根据权利要求3所述的基于图像的注塑制品质量检测方法,其特征在于,所述基于卷积神经网络模型的红外分布特征提取器,包括:输入层、卷积层、池化层、激活层和输出层。
5.根据权利要求4所述的基于图像的注塑制品质量检测方法,其特征在于,融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图,包括:
将所述红外分布全局语义特征向量和所述红外温度分布图像通过基于MetaNet的诱导监督融合模块以得到所述全局语义引导注塑制品红外温度分布特征图。
6.根据权利要求5所述的基于图像的注塑制品质量检测方法,其特征在于,将所述红外分布全局语义特征向量和所述红外温度分布图像通过基于MetaNet的诱导监督融合模块以得到所述全局语义引导注塑制品红外温度分布特征图,包括:
将所述红外温度分布图像通过所述基于MetaNet的诱导监督融合模块以得到红外温度分布特征向量;
以所述红外温度分布特征向量对所述红外分布全局语义特征向量进行沿通道维度加权以得到所述全局语义引导注塑制品红外温度分布特征图。
7.根据权利要求6所述的基于图像的注塑制品质量检测方法,其特征在于,基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求,包括:
对所述全局语义引导注塑制品红外温度分布特征图进行特征分布修正以得到修正后全局语义引导注塑制品红外温度分布特征图;以及
将所述修正后全局语义引导注塑制品红外温度分布特征图通过分类器以得到分类结果,所述分类结果用于表示所述待检测注塑制品的质量是否符合预定要求。
8.一种基于图像的注塑制品质量检测系统,其特征在于,包括:
红外温度分布图像获取模块,用于获取待检测注塑制品的红外温度分布图像;
红外分布语义特征提取模块,用于提取所述红外温度分布图像的红外分布语义特征以得到红外分布全局语义特征向量;
融合模块,用于融合所述红外分布全局语义特征向量和所述红外温度分布图像以得到全局语义引导注塑制品红外温度分布特征图;以及
待检测注塑制品的质量确定模块,用于基于所述全局语义引导注塑制品红外温度分布特征图,确定所述待检测注塑制品的质量是否符合预定要求。
9.根据权利要求8所述的基于图像的注塑制品质量检测系统,其特征在于,所述红外分布语义特征提取模块,包括:
图像分块处理单元,用于将所述红外温度分布图像进行图像分块处理以得到红外分布局部区域图像的序列;以及
语义特征提取单元,用于利用基于深度学习的网络模型提取所述红外分布局部区域图像的序列的红外分布语义特征以得到所述红外分布全局语义特征向量。
10.根据权利要求9所述的基于图像的注塑制品质量检测系统,其特征在于,所述语义特征提取单元,包括:
红外分布特征提取子单元,用于将所述红外分布局部区域图像的序列分别通过基于卷积神经网络模型的红外分布特征提取器以得到红外分布局部区域特征向量的序列;以及
全局均值计算子单元,用于分别计算所述红外分布局部区域特征向量的序列中各个红外分布局部区域特征向量的全局均值以得到所述红外分布全局语义特征向量。
CN202311399281.8A 2023-10-26 2023-10-26 基于图像的注塑制品质量检测系统及其方法 Active CN117132600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311399281.8A CN117132600B (zh) 2023-10-26 2023-10-26 基于图像的注塑制品质量检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311399281.8A CN117132600B (zh) 2023-10-26 2023-10-26 基于图像的注塑制品质量检测系统及其方法

Publications (2)

Publication Number Publication Date
CN117132600A true CN117132600A (zh) 2023-11-28
CN117132600B CN117132600B (zh) 2024-04-16

Family

ID=88851216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311399281.8A Active CN117132600B (zh) 2023-10-26 2023-10-26 基于图像的注塑制品质量检测系统及其方法

Country Status (1)

Country Link
CN (1) CN117132600B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055237A1 (en) * 2014-08-20 2016-02-25 Mitsubishi Electric Research Laboratories, Inc. Method for Semantically Labeling an Image of a Scene using Recursive Context Propagation
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
US20210224612A1 (en) * 2020-01-17 2021-07-22 Element Al Inc. Method and system for generating a vector representation of an image
CN113361247A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN114120253A (zh) * 2021-10-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114862764A (zh) * 2022-04-12 2022-08-05 阿里巴巴达摩院(杭州)科技有限公司 瑕疵检测模型训练方法、装置、设备和存储介质
CN114880513A (zh) * 2022-05-17 2022-08-09 浙江大华技术股份有限公司 一种目标检索方法及相关装置
CN114998172A (zh) * 2022-05-27 2022-09-02 华为技术有限公司 图像处理方法及相关系统
CN115063633A (zh) * 2022-06-23 2022-09-16 桂林电子科技大学 一种基于改进的DenseNet网络的皮肤癌图像分类方法
US20220383510A1 (en) * 2021-05-31 2022-12-01 Volkswagen Aktiengesellschaft Method For Training A Neural Network For Semantic Image Segmentation
CN115546742A (zh) * 2022-10-27 2022-12-30 华南农业大学 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN116051943A (zh) * 2022-12-20 2023-05-02 中国科学院空天信息创新研究院 跨模态知识引导的小样本神经网络目标检测方法
CN116206100A (zh) * 2021-11-30 2023-06-02 荣耀终端有限公司 基于语义信息的图像处理方法及电子设备
CN116238124A (zh) * 2023-04-08 2023-06-09 河南曙光汇知康生物科技股份有限公司 注射器注塑成型生产用采集数据处理方法及系统
CN116448019A (zh) * 2023-06-14 2023-07-18 山西首科工程质量检测有限公司 建筑节能工程质量平面度智能检测装置及方法
CN116597163A (zh) * 2023-05-18 2023-08-15 广东省旭晟半导体股份有限公司 红外光学透镜及其制备方法
CN116824256A (zh) * 2023-06-30 2023-09-29 浙江钱祥工具股份有限公司 磨床的视觉检测系统及其方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055237A1 (en) * 2014-08-20 2016-02-25 Mitsubishi Electric Research Laboratories, Inc. Method for Semantically Labeling an Image of a Scene using Recursive Context Propagation
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
US20210224612A1 (en) * 2020-01-17 2021-07-22 Element Al Inc. Method and system for generating a vector representation of an image
US20220383510A1 (en) * 2021-05-31 2022-12-01 Volkswagen Aktiengesellschaft Method For Training A Neural Network For Semantic Image Segmentation
CN113361247A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN114120253A (zh) * 2021-10-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN116206100A (zh) * 2021-11-30 2023-06-02 荣耀终端有限公司 基于语义信息的图像处理方法及电子设备
CN114862764A (zh) * 2022-04-12 2022-08-05 阿里巴巴达摩院(杭州)科技有限公司 瑕疵检测模型训练方法、装置、设备和存储介质
CN114880513A (zh) * 2022-05-17 2022-08-09 浙江大华技术股份有限公司 一种目标检索方法及相关装置
CN114998172A (zh) * 2022-05-27 2022-09-02 华为技术有限公司 图像处理方法及相关系统
CN115063633A (zh) * 2022-06-23 2022-09-16 桂林电子科技大学 一种基于改进的DenseNet网络的皮肤癌图像分类方法
CN115546742A (zh) * 2022-10-27 2022-12-30 华南农业大学 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN116051943A (zh) * 2022-12-20 2023-05-02 中国科学院空天信息创新研究院 跨模态知识引导的小样本神经网络目标检测方法
CN116238124A (zh) * 2023-04-08 2023-06-09 河南曙光汇知康生物科技股份有限公司 注射器注塑成型生产用采集数据处理方法及系统
CN116597163A (zh) * 2023-05-18 2023-08-15 广东省旭晟半导体股份有限公司 红外光学透镜及其制备方法
CN116448019A (zh) * 2023-06-14 2023-07-18 山西首科工程质量检测有限公司 建筑节能工程质量平面度智能检测装置及方法
CN116824256A (zh) * 2023-06-30 2023-09-29 浙江钱祥工具股份有限公司 磨床的视觉检测系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Z¨ULFIYE K¨UT¨UK等: "Semantic_Segmentation_for_Thermal_Images_A_Comparative_Survey", 《 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, 23 August 2022 (2022-08-23), pages 285 - 294 *
万榴: "基于Faster_R-CNN算法的注塑件缺陷检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 01, 15 January 2023 (2023-01-15), pages 016 - 915 *

Also Published As

Publication number Publication date
CN117132600B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
JP2011214903A (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN115861317A (zh) 基于机器视觉的塑胶模具生产缺陷检测方法
CN108960342B (zh) 基于改进Soft-Max损失函数的图像相似度计算方法
CN106127228A (zh) 一种基于决策模板分类器融合的遥感图像船舶检测候选区鉴别方法
Meister et al. Cross-evaluation of a parallel operating SVM–CNN classifier for reliable internal decision-making processes in composite inspection
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
Bawankule et al. Visual detection of waste using YOLOv8
CN113569679B (zh) 测量断裂伸长率的方法、装置和系统
Chaddad et al. Carcinoma cell identification via optical microscopy and shape feature analysis
CN117132600B (zh) 基于图像的注塑制品质量检测系统及其方法
CN114219763A (zh) 基于Faster RCNN算法的配电设备异常发热点红外图片检测方法
CN117910073A (zh) 基于3d打印技术的工艺品包装设计优化系统及方法
CN113628252A (zh) 一种基于热成像视频的泄漏气体云团检测方法
CN117197146A (zh) 一种铸件内部缺陷自动识别方法
CN116834244A (zh) 注塑模具的图像监测报警系统及其方法
Fan et al. A novel automatic classification method based on the hybrid lightweight shunt network for sintered surfaces
CN116106319A (zh) 一种合成革瑕疵自动化检测方法及系统
CN115115578B (zh) 一种增材制造过程中的缺陷检测方法及系统
KR102558232B1 (ko) 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템
Eguchi et al. Interactive Visual Inspection of a Rough-Alignment Plastic Part Based on HLAC Features and One-Class SVM
CN114792300A (zh) 一种基于多尺度注意力x光断针检测方法
CN114092766A (zh) 一种基于特征注意力机制的机器人抓取检测方法
Mavi et al. Identify defects in gears using digital image processing
Özsoy et al. Optimization of thermal modeling using machine learning techniques in fused deposition modeling 3-D printing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant