CN117372528B - 用于手机壳体模块化装配的视觉图像定位方法 - Google Patents

用于手机壳体模块化装配的视觉图像定位方法 Download PDF

Info

Publication number
CN117372528B
CN117372528B CN202311551853.XA CN202311551853A CN117372528B CN 117372528 B CN117372528 B CN 117372528B CN 202311551853 A CN202311551853 A CN 202311551853A CN 117372528 B CN117372528 B CN 117372528B
Authority
CN
China
Prior art keywords
positioning
sequence
training
feature vector
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311551853.XA
Other languages
English (en)
Other versions
CN117372528A (zh
Inventor
胡苏阳
王克彬
崔伟
吴青
薛飞飞
陶志
梅俊
潘旭东
贾舒清
王梓轩
周泽楷
罗杨梓萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Industrial Control Robot Co ltd
Original Assignee
Nanchang Industrial Control Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Industrial Control Robot Co ltd filed Critical Nanchang Industrial Control Robot Co ltd
Priority to CN202311551853.XA priority Critical patent/CN117372528B/zh
Publication of CN117372528A publication Critical patent/CN117372528A/zh
Application granted granted Critical
Publication of CN117372528B publication Critical patent/CN117372528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于手机壳体模块化装配的视觉图像定位方法。其首先获取由CCD相机采集的手机壳体预组装定位图像，接着，获取参考图像，所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像，然后，通过基于深度神经网络模型的定位检测模型分别对所述手机壳体预组装定位图像和所述参考图像进行特征提取以得到检测定位特征图和参考定位特征图，接着，对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征，最后，基于所述定位交互对比语义特征，确定是否定位准确。这样，可以减少对人工操作的依赖，并提高产品的一致性和质量。

Description

用于手机壳体模块化装配的视觉图像定位方法
技术领域
本申请涉及手机壳体模块化装配领域，且更为具体地，涉及一种用于手机壳体模块化装配的视觉图像定位方法。
背景技术
手机壳体模块化装配是指将手机壳体的各个辅料（如按键、摄像头模块、扬声器等）预先安装到壳体上，以便后续的组装工作来形成不同的功能组合。在进行辅料预定位和安装时，确保辅料的位置和姿势符合预定样式标准非常重要，这有助于提高装配效率和产品质量。
然而，传统的手机壳体模块化装配方案通常需要依靠人工操作进行辅料的预定位和安装，这种方式容易受到人为因素的影响，如操作技巧、疲劳和注意力等，导致装配的准确性和一致性不高。并且，由于人工操作的限制，传统的装配方案通常需要较长的时间来完成辅料的预定位和安装，这对于大规模生产的手机制造商来说，会增加生产周期和成本。同时，人工操作容易引入人为误差，例如辅料的位置偏移、姿势不准确等，这些误差可能导致装配后的手机壳体存在不良的外观、功能故障或不稳定性。
因此，期望一种优化的用于手机壳体模块化装配的视觉图像定位方案。
发明内容
有鉴于此，本申请提出了一种用于手机壳体模块化装配的视觉图像定位方法，其可以实现自动化的定位和贴合过程，提高手机壳体模块化装配的效率和准确性，减少人工操作的依赖，并提高产品的一致性和质量。
根据本申请的一方面，提供了一种用于手机壳体模块化装配的视觉图像定位方法，其包括：
获取由CCD相机采集的手机壳体预组装定位图像；
获取参考图像，所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像；
通过基于深度神经网络模型的定位检测模型分别对所述手机壳体预组装定位图像和所述参考图像进行特征提取以得到检测定位特征图和参考定位特征图；
对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征；以及，基于所述定位交互对比语义特征，确定是否定位准确。
根据本申请的实施例，其首先获取由CCD相机采集的手机壳体预组装定位图像，接着，获取参考图像，所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像，然后，通过基于深度神经网络模型的定位检测模型分别对所述手机壳体预组装定位图像和所述参考图像进行特征提取以得到检测定位特征图和参考定位特征图，接着，对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征，最后，基于所述定位交互对比语义特征，确定是否定位准确。这样，可以减少对人工操作的依赖，并提高产品的一致性和质量。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位方法的流程图。
图2示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位方法的架构示意图。
图3示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位方法的子步骤S140的流程图。
图4示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位系统的框图。
图5示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位方法的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
针对上述技术问题，本申请的技术构思为在将辅料预定位于手机壳的预定安装位置时，通过CCD相机采集手机壳体预组装定位图像，并在后端引入图像处理和分析算法来进行所述预组装定位图像和参考图像的对比分析，以此来确认辅料的位置和姿势是否符合预定样式标准，以判断辅料是否定位准确，通过这样的方式，能够实现自动化的定位和贴合过程，提高手机壳体模块化装配的效率和准确性，减少人工操作的依赖，并提高产品的一致性和质量。
图1示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位方法的流程图。图2示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位方法的架构示意图。如图1和图2所示，根据本申请实施例的用于手机壳体模块化装配的视觉图像定位方法，包括步骤：S110，获取由CCD相机采集的手机壳体预组装定位图像；S120，获取参考图像，所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像；S130，通过基于深度神经网络模型的定位检测模型分别对所述手机壳体预组装定位图像和所述参考图像进行特征提取以得到检测定位特征图和参考定位特征图；S140，对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征；以及，S150，基于所述定位交互对比语义特征，确定是否定位准确。
具体地，在本申请的技术方案中，首先，获取由CCD相机采集的手机壳体预组装定位图像，并获取参考图像，所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像。接着，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来分别进行所述手机壳体预组装定位图像和所述参考图像的特征挖掘。特别地，考虑到在手机壳的辅料贴合过程中，可能实际的定位图像中有关于辅料的位置偏差较小，为了更为准确地确认辅料的位置和姿势是否符合预定样式标准，并进行辅料和手机壳预定位置的定位，在本申请的技术方案中，将所述手机壳体预组装定位图像和所述参考图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型以得到检测定位特征图和参考定位特征图。特别地，在本申请的技术方案中，所述检测定位特征图和所述参考定位特征图具有相同的网络结构，以此能够挖掘出两者图像在图像源域端差异不明显的特征信息，从而更准确地进行定位检测。
相应地，在步骤S130中，所述基于深度神经网络模型的定位检测模型为包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型，其中，所述检测定位特征图和所述参考定位特征图具有相同的网络结构。
值得一提的是，卷积神经网络（Convolutional Neural Network，简称CNN）是一种广泛应用于图像识别、计算机视觉和其他类似任务的深度学习模型。它是由神经网络中的一种特殊类型层组成的，这些层被称为卷积层（Convolutional Layer）。卷积层是卷积神经网络的核心组成部分，它通过在输入数据上应用一系列的卷积核（也称为滤波器或特征检测器）来提取输入数据的特征。每个卷积核都会在输入数据上进行滑动，并计算与卷积核权重相乘后的加权和。通过这种方式，卷积层可以检测输入数据中的不同特征，例如边缘、纹理或形状。卷积神经网络通常由多个卷积层和其他类型的层（如池化层和全连接层）交替堆叠而成。池化层用于减少特征图的尺寸，并提取出最显著的特征。全连接层用于将提取的特征映射到输出类别，并进行分类或预测。卷积神经网络在图像处理任务中表现出色，因为它们能够自动学习和提取图像中的特征，而无需手动设计特征。通过堆叠多个卷积层，卷积神经网络可以学习到更复杂、抽象的特征表示，从而提高图像识别和分类的准确性。
在手机壳体模块化装配中，所述手机壳体预组装定位图像中有关于辅料的位置和姿势以及辅料与手机壳体的预定位置是否匹配是关键的装配要素。因此，在本申请的技术方案中，为了对于辅料的各个特征进行分析以提高定位检测的精准度，需要将所述检测定位特征图和所述参考定位特征图进行特征分解以得到检测定位局部特征向量的序列和参考定位局部特征向量的序列。通过提取图像的局部特征向量的序列，可以捕捉到辅料在不同位置和姿势上的细微变化，这些局部特征向量包含辅料的形状、纹理、颜色等特征信息，能够更准确地描述辅料的特征，以进行定位检测。
在手机壳体模块化装配中，辅料的位置和姿势的准确性对于装配质量至关重要。因此，为了进一步评估辅料的定位准确性，在本申请的技术方案中，使用序列交互对比模块来分析所述检测定位局部特征向量的序列和所述参考定位局部特征向量的序列以得到定位交互对比语义特征向量。通过交互对比所述检测定位局部特征向量的序列和所述参考定位局部特征向量的序列，可以分析它们之间的相似性和差异性，这种交互对比分析可以帮助判断辅料的定位准确性。特别地，这里，所述定位交互对比语义特征向量可以综合考虑两者图像的多个局部特征向量之间的对比关联关系，这样的特征向量可以用于进一步的分类器，以确定辅料的定位准确性。
相应地，如图3所示，在步骤S140中，对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征，包括：S141，将所述检测定位特征图和所述参考定位特征图进行特征分解以得到检测定位局部特征向量的序列和参考定位局部特征向量的序列；以及，S142，使用序列交互对比模块来分析所述检测定位局部特征向量的序列和所述参考定位局部特征向量的序列以得到定位交互对比语义特征向量作为所述定位交互对比语义特征。
应可以理解，步骤S141的目的是将检测定位特征图和参考定位特征图进行特征分解，得到它们的局部特征向量的序列，这个步骤的作用是将图像中的特征分解为更小、更局部的特征表示，通过将特征图分解成局部特征向量序列，可以更好地捕捉图像中不同位置的细节信息。这种特征分解可以通过卷积操作来实现，其中每个卷积核对应一个局部特征向量。步骤S142的作用是通过比较检测定位和参考定位的局部特征向量序列，从中提取出定位交互对比的语义特征。序列交互对比模块可以使用各种方法，如循环神经网络（RNN）或注意力机制，来对两个序列进行交互和对比，以捕捉它们之间的关联和差异，最终得到的定位交互对比语义特征向量可以用于进一步的任务，如目标定位、目标跟踪等。综合来说，S141和S142步骤分别用于特征分解和序列交互对比，以从检测定位特征图和参考定位特征图中提取定位交互对比的语义特征，这些步骤的目的是通过局部特征的序列比较和交互，捕捉图像中不同位置的细节信息，并提取出与定位交互对比相关的语义特征。
其中，具体地，在步骤S142中，使用序列交互对比模块来分析所述检测定位局部特征向量的序列和所述参考定位局部特征向量的序列以得到定位交互对比语义特征向量作为所述定位交互对比语义特征，包括：以如下相关度计算公式来计算所述检测定位局部特征向量的序列中各个检测定位局部特征向量与所述参考定位局部特征向量的序列中各个参考定位局部特征向量之间的相关度，其中，所述相关度计算公式为：其中，表示所述检测定位局部特征向量的序列中第/>个检测定位局部特征向量与所述参考定位局部特征向量的序列中第/>个参考定位局部特征向量之间的相关度，/>表示所述检测定位局部特征向量的序列中第/>个检测定位局部特征向量，且/>表示参考定位局部特征向量的序列中第/>个参考定位局部特征向量，/>表示转置操作；基于所述检测定位局部特征向量的序列中各个检测定位局部特征向量与所述参考定位局部特征向量的序列中所有参考定位局部特征向量之间的相关度以及所述参考定位局部特征向量的序列中所有参考定位局部特征向量，对所述检测定位局部特征向量的序列中各个检测定位局部特征向量进行交互式更新以得到更新检测定位局部特征向量的序列；基于所述参考定位局部特征向量的序列中各个参考定位局部特征向量与所述检测定位局部特征向量的序列中所有检测定位局部特征向量之间的相关度以及所述检测定位局部特征向量的序列中所有检测定位局部特征向量，对所述参考定位局部特征向量的序列中各个参考定位局部特征向量进行交互式更新以得到更新参考定位局部特征向量的序列；融合所述检测定位局部特征向量的序列和所述更新检测定位局部特征向量的序列以得到交互融合检测定位局部特征向量的序列；融合所述参考定位局部特征向量的序列和所述更新参考定位局部特征向量的序列以得到交互融合参考定位局部特征向量的序列；以及，将所述交互融合检测定位局部特征向量的序列和所述交互融合参考定位局部特征向量的序列进行拼接以得到所述定位交互对比语义特征向量。
继而，再将所述定位交互对比语义特征向量通过分类器以得到分类结果，所述分类结果用于表示是否定位准确。也就是说，通过利用所述手机壳体预组装定位图像和所述参考图像中有关于辅料的位置和姿势等特征信息之间的交互对比关联特征来进行分类处理，以此来确认辅料的位置和姿势是否符合预定样式标准，以判断辅料是否定位准确，通过这样的方式，能够实现自动化的定位和贴合过程，提高手机壳体模块化装配的效率和准确性，减少人工操作的依赖，并提高产品的一致性和质量。
相应地，在步骤S150中，基于所述定位交互对比语义特征，确定是否定位准确，包括：将所述定位交互对比语义特征向量通过分类器以得到分类结果，所述分类结果用于表示是否定位准确。
具体地，将所述定位交互对比语义特征向量通过分类器以得到分类结果，所述分类结果用于表示是否定位准确，包括：使用所述分类器的全连接层对所述定位交互对比语义特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
也就是，在本申请的技术方案中，所述分类器的标签包括定位准确(第一标签)，以及，定位不准确(第二标签)，其中，所述分类器通过软最大值函数来确定所述定位交互对比语义特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否定位准确”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否定位准确的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否定位准确”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
进一步地，在本申请的技术方案中，所述的用于手机壳体模块化装配的视觉图像定位方法，其还包括训练步骤：用于对所述包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型、所述序列交互对比模块和所述分类器进行训练。应可以理解，训练步骤在手机壳体模块化装配的视觉图像定位方法中起着关键作用，通过训练，可以使定位检测模型、序列交互对比模块和分类器具备识别和定位手机壳体模块的能力。以下是训练步骤的作用：1.训练定位检测模型：定位检测模型是用于检测手机壳体模块的位置和边界框的模型。通过训练定位检测模型，可以使其学习到手机壳体模块的特征和位置信息，从而能够准确地检测出手机壳体模块在图像中的位置。2.训练序列交互对比模块：序列交互对比模块用于分析检测定位局部特征向量序列和参考定位局部特征向量序列，以提取定位交互对比的语义特征。通过训练序列交互对比模块，可以使其学习到如何从局部特征向量序列中提取出与手机壳体模块定位相关的语义特征。3.训练分类器：分类器用于将提取的语义特征向量映射到具体的类别，即判断手机壳体模块的类型。通过训练分类器，可以使其学习到不同类别手机壳体模块的特征表示和区分能力，从而能够对手机壳体模块进行准确的分类。通过训练这些模型和模块，可以提高手机壳体模块化装配的视觉图像定位方法的准确性和鲁棒性。训练步骤可以使用带有标注数据的训练集进行，通过反复迭代优化模型参数，使其能够更好地适应手机壳体模块的特征和变化。训练后的模型和模块可以应用于实际的手机壳体装配任务中，实现自动化的定位和装配过程。
其中，在一个示例中，所述训练步骤，包括：获取训练数据，所述训练数据包括训练手机壳体预组装定位图像，训练参考图像，以及，是否定位准确的真实值，其中，所述训练参考图像为辅料被精准地安装于手机壳体的预组装定位训练图像；通过基于深度神经网络模型的定位检测模型分别对所述训练手机壳体预组装定位图像和所述训练参考图像进行特征提取以得到训练检测定位特征图和训练参考定位特征图；将所述训练检测定位特征图和所述训练参考定位特征图进行特征分解以得到训练检测定位局部特征向量的序列和训练参考定位局部特征向量的序列；使用序列交互对比模块来分析所述训练检测定位局部特征向量的序列和所述训练参考定位局部特征向量的序列以得到训练定位交互对比语义特征向量；对所述训练定位交互对比语义特征向量的各个特征值进行优化以得到优化后训练定位交互对比语义特征向量；将所述优化后训练定位交互对比语义特征向量通过分类器以得到分类损失函数值；以及，基于所述分类损失函数值对所述包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型、所述序列交互对比模块和所述分类器进行训练。
特别地，在本申请的技术方案中，将所述训练检测定位特征图和所述训练参考定位特征图进行特征分解后，得到的所述训练检测定位局部特征向量的序列和所述训练参考定位局部特征向量的序列可以表达所述训练手机壳体预组装定位图像和所述训练参考图像的图像语义特征的空间分布本征特征表示，由此，在使用序列交互对比模块来分析所述训练检测定位局部特征向量的序列和所述训练参考定位局部特征向量的序列后，所述训练定位交互对比语义特征向量表达基于融合注意力的图像空间本征特征语义交互，也就是，所述训练定位交互对比语义特征向量具有基于图像语义空间内的跨语义空间交互关联。
因此，考虑到所述训练定位交互对比语义特征向量的这种跨语义空间交互关联会导致所述定位交互对比语义特征向量的整体特征分布的跨语义空间交互关联特征分布的分布稀疏化，从而导致将所述训练定位交互对比语义特征向量通过分类器进行类概率回归映射时，所述训练定位交互对比语义特征向量的各个特征值的回归概率的概率密度分布的收敛性差，影响通过分类器得到的分类结果的准确性。因此，优选地，对所述训练定位交互对比语义特征向量的各个特征值进行优化。
相应地，在一个示例中，对所述训练定位交互对比语义特征向量的各个特征值进行优化以得到优化后训练定位交互对比语义特征向量，包括：以如下优化公式对所述训练定位交互对比语义特征向量的各个特征值进行优化以得到所述优化后训练定位交互对比语义特征向量；其中，所述优化公式为：，其中， />是所述训练定位交互对比语义特征向量，/> 和/>是所述训练定位交互对比语义特征向量的第/>和第/>个特征值，且/>是所述训练定位交互对比语义特征向量的全局特征均值，/>示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，/>是所述优化后训练定位交互对比语义特征向量的第/>个特征值。
具体地，针对所述训练定位交互对比语义特征向量在高维特征空间内的稀疏分布导致的概率空间内概率密度分布的局部概率密度不匹配，通过正则化全局自洽类编码，来模仿所述训练定位交互对比语义特征向量的高维特征在概率空间内的编码行为的全局自洽关系，以调整在高维开放空间域内的特征流形的误差景观，实现所述训练定位交互对比语义特征向量的高维特征对显式概率空间嵌入的自洽匹配式类编码，从而提升所述训练定位交互对比语义特征向量的回归概率的概率密度分布的收敛性，改进其通过分类器得到的分类结果的准确性。这样，能够在将辅料预定位于手机壳的预定安装位置时，自动化确认辅料的位置和姿势是否符合预定样式标准，以判断辅料是否定位准确，通过这样的方式，能够实现自动化的定位和贴合过程，提高手机壳体模块化装配的效率和准确性，减少人工操作的依赖，并提高产品的一致性和质量。
进一步地，将所述优化后训练定位交互对比语义特征向量通过分类器以得到分类损失函数值，包括：使用所述分类器以如下训练分类公式对所述优化后训练定位交互对比语义特征向量进行处理以得到训练分类结果，所述训练分类公式为：，其中，/>到/>为权重矩阵，/>到/>为偏置向量，/>为所述优化后训练定位交互对比语义特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。
综上，基于本申请实施例的用于手机壳体模块化装配的视觉图像定位方法，其可以减少对人工操作的依赖，并提高产品的一致性和质量。
图4示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位系统100的框图。如图4所示，根据本申请实施例的用于手机壳体模块化装配的视觉图像定位系统100，包括：定位图像获取模块110，用于获取由CCD相机采集的手机壳体预组装定位图像；参考图像获取模块120，用于获取参考图像，所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像；特征提取模块130，用于通过基于深度神经网络模型的定位检测模型分别对所述手机壳体预组装定位图像和所述参考图像进行特征提取以得到检测定位特征图和参考定位特征图；定位交互对比分析模块140，用于对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征；以及，定位分析模块150，用于基于所述定位交互对比语义特征，确定是否定位准确。
在一种可能的实现方式中，所述基于深度神经网络模型的定位检测模型为包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型，其中，所述检测定位特征图和所述参考定位特征图具有相同的网络结构。
这里，本领域技术人员可以理解，上述用于手机壳体模块化装配的视觉图像定位系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图3的用于手机壳体模块化装配的视觉图像定位方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的用于手机壳体模块化装配的视觉图像定位系统100可以实现在各种无线终端中，例如具有用于手机壳体模块化装配的视觉图像定位算法的服务器等。在一种可能的实现方式中，根据本申请实施例的用于手机壳体模块化装配的视觉图像定位系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该用于手机壳体模块化装配的视觉图像定位系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该用于手机壳体模块化装配的视觉图像定位系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该用于手机壳体模块化装配的视觉图像定位系统100与该无线终端也可以是分立的设备，并且该用于手机壳体模块化装配的视觉图像定位系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
图5示出根据本申请的实施例的用于手机壳体模块化装配的视觉图像定位方法的应用场景图。如图5所示，在该应用场景中，首先，获取由CCD相机采集的手机壳体预组装定位图像（例如，图5中所示意的D1），以及，参考图像（例如，图5中所示意的D2），所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像，然后，将所述手机壳体预组装定位图像和所述参考图像输入至部署有用于手机壳体模块化装配的视觉图像定位算法的服务器（例如，图5中所示意的S）中，其中，所述服务器能够使用所述用于手机壳体模块化装配的视觉图像定位算法对所述手机壳体预组装定位图像和所述参考图像进行处理以得到用于表示是否定位准确的分类结果。
相应地，应可以理解，在本申请的一个示例中，还提供了一种手机壳辅料贴合生产线。在生产线的上料机处将手机壳放到传送带上后，流水线上的吸取装置会依次将手机壳搬运到指定位置贴合相应的辅料。所有需要贴合的辅料都贴合完成后，手机壳会运送到下料出被取出。手机壳辅料实现自动、高速、高精度的贴合，整条生产线由多台通讯设备连接，由CCD摄像头采集信息后处理器处理完后给出指令，实现机器的智能运作。自动辅料贴合生产线能够实现全自动模式，可以极大地节省人力资源，既可以降低成本，又可以提高生产效率。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (4)

1.一种用于手机壳体模块化装配的视觉图像定位方法，其特征在于，包括：
获取由CCD相机采集的手机壳体预组装定位图像；
获取参考图像，所述参考图像为辅料被精准地安装于手机壳体的预组装定位图像；
通过基于深度神经网络模型的定位检测模型分别对所述手机壳体预组装定位图像和所述参考图像进行特征提取以得到检测定位特征图和参考定位特征图；
对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征；
基于所述定位交互对比语义特征，确定是否定位准确；
其中，对所述检测定位特征图和所述参考定位特征图进行定位交互对比分析以得到定位交互对比语义特征，包括：
将所述检测定位特征图和所述参考定位特征图进行特征分解以得到检测定位局部特征向量的序列和参考定位局部特征向量的序列；以及
使用序列交互对比模块来分析所述检测定位局部特征向量的序列和所述参考定位局部特征向量的序列以得到定位交互对比语义特征向量作为所述定位交互对比语义特征；
其中，使用序列交互对比模块来分析所述检测定位局部特征向量的序列和所述参考定位局部特征向量的序列以得到定位交互对比语义特征向量作为所述定位交互对比语义特征，包括：
以如下相关度计算公式来计算所述检测定位局部特征向量的序列中各个检测定位局部特征向量与所述参考定位局部特征向量的序列中各个参考定位局部特征向量之间的相关度，其中，所述相关度计算公式为：
Sij＝hi Trj
其中，Sij表示所述检测定位局部特征向量的序列中第i个检测定位局部特征向量与所述参考定位局部特征向量的序列中第j个参考定位局部特征向量之间的相关度，hi表示所述检测定位局部特征向量的序列中第i个检测定位局部特征向量，且rj表示参考定位局部特征向量的序列中第j个参考定位局部特征向量，(·)T表示转置操作；
基于所述检测定位局部特征向量的序列中各个检测定位局部特征向量与所述参考定位局部特征向量的序列中所有参考定位局部特征向量之间的相关度以及所述参考定位局部特征向量的序列中所有参考定位局部特征向量，对所述检测定位局部特征向量的序列中各个检测定位局部特征向量进行交互式更新以得到更新检测定位局部特征向量的序列；
基于所述参考定位局部特征向量的序列中各个参考定位局部特征向量与所述检测定位局部特征向量的序列中所有检测定位局部特征向量之间的相关度以及所述检测定位局部特征向量的序列中所有检测定位局部特征向量，对所述参考定位局部特征向量的序列中各个参考定位局部特征向量进行交互式更新以得到更新参考定位局部特征向量的序列；
融合所述检测定位局部特征向量的序列和所述更新检测定位局部特征向量的序列以得到交互融合检测定位局部特征向量的序列；
融合所述参考定位局部特征向量的序列和所述更新参考定位局部特征向量的序列以得到交互融合参考定位局部特征向量的序列；以及
将所述交互融合检测定位局部特征向量的序列和所述交互融合参考定位局部特征向量的序列进行拼接以得到所述定位交互对比语义特征向量；
其中，还包括训练步骤：用于对包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型、序列交互对比模块和分类器进行训练；
其中，所述训练步骤，包括：
获取训练数据，所述训练数据包括训练手机壳体预组装定位图像，训练参考图像，以及，是否定位准确的真实值，其中，所述训练参考图像为辅料被精准地安装于手机壳体的预组装定位训练图像；
通过基于深度神经网络模型的定位检测模型分别对所述训练手机壳体预组装定位图像和所述训练参考图像进行特征提取以得到训练检测定位特征图和训练参考定位特征图；
将所述训练检测定位特征图和所述训练参考定位特征图进行特征分解以得到训练检测定位局部特征向量的序列和训练参考定位局部特征向量的序列；
使用序列交互对比模块来分析所述训练检测定位局部特征向量的序列和所述训练参考定位局部特征向量的序列以得到训练定位交互对比语义特征向量；
对所述训练定位交互对比语义特征向量的各个特征值进行优化以得到优化后训练定位交互对比语义特征向量；
将所述优化后训练定位交互对比语义特征向量通过分类器以得到分类损失函数值；
基于所述分类损失函数值对所述包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型、所述序列交互对比模块和所述分类器进行训练；
其中，对所述训练定位交互对比语义特征向量的各个特征值进行优化以得到优化后训练定位交互对比语义特征向量，包括：以如下优化公式对所述训练定位交互对比语义特征向量的各个特征值进行优化以得到所述优化后训练定位交互对比语义特征向量；其中，所述优化公式为：
其中，V是所述训练定位交互对比语义特征向量，vi和vj是所述训练定位交互对比语义特征向量的第i和第j个特征值，且是所述训练定位交互对比语义特征向量的全局特征均值，exp{·}表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，v′i是所述优化后训练定位交互对比语义特征向量的第i个特征值。
2.根据权利要求1所述的用于手机壳体模块化装配的视觉图像定位方法，其特征在于，所述基于深度神经网络模型的定位检测模型为包含第一卷积神经网络模型和第二卷积神经网络模型的定位检测模型，其中，所述检测定位特征图和所述参考定位特征图具有相同的网络结构。
3.根据权利要求2所述的用于手机壳体模块化装配的视觉图像定位方法，其特征在于，基于所述定位交互对比语义特征，确定是否定位准确，包括：
将所述定位交互对比语义特征向量通过分类器以得到分类结果，所述分类结果用于表示是否定位准确。
4.根据权利要求3所述的用于手机壳体模块化装配的视觉图像定位方法，其特征在于，将所述优化后训练定位交互对比语义特征向量通过分类器以得到分类损失函数值，包括：
使用所述分类器以如下训练分类公式对所述优化后训练定位交互对比语义特征向量进行处理以得到训练分类结果，所述训练分类公式为：softmax{(Wn，Bn)：...：(W1，B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述优化后训练定位交互对比语义特征向量；计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。
CN202311551853.XA 2023-11-21 2023-11-21 用于手机壳体模块化装配的视觉图像定位方法 Active CN117372528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311551853.XA CN117372528B (zh) 2023-11-21 2023-11-21 用于手机壳体模块化装配的视觉图像定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311551853.XA CN117372528B (zh) 2023-11-21 2023-11-21 用于手机壳体模块化装配的视觉图像定位方法

Publications (2)

Publication Number Publication Date
CN117372528A CN117372528A (zh) 2024-01-09
CN117372528B true CN117372528B (zh) 2024-05-28

Family

ID=89396749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311551853.XA Active CN117372528B (zh) 2023-11-21 2023-11-21 用于手机壳体模块化装配的视觉图像定位方法

Country Status (1)

Country Link
CN (1) CN117372528B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866140A (zh) * 2019-11-26 2020-03-06 腾讯科技（深圳）有限公司 图像特征提取模型训练方法、图像搜索方法及计算机设备
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN115861685A (zh) * 2022-11-16 2023-03-28 华能伊敏煤电有限责任公司 基于图像识别的自动对中控制系统及其方法
CN115909260A (zh) * 2022-09-28 2023-04-04 华能伊敏煤电有限责任公司 基于机器视觉的作业场所入侵预警方法及其系统
CN116168352A (zh) * 2023-04-26 2023-05-26 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及系统
CN116703878A (zh) * 2023-06-20 2023-09-05 滁州国恒自动化科技有限公司 家用电器壳体生产线自动检测系统及其方法
CN116777892A (zh) * 2023-07-03 2023-09-19 东莞市震坤行胶粘剂有限公司 基于视觉检测的点胶质量检测方法及其系统
CN116824481A (zh) * 2023-05-18 2023-09-29 国网信息通信产业集团有限公司北京分公司 基于图像识别的变电站巡检方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361470B2 (en) * 2019-05-09 2022-06-14 Sri International Semantically-aware image-based visual localization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866140A (zh) * 2019-11-26 2020-03-06 腾讯科技（深圳）有限公司 图像特征提取模型训练方法、图像搜索方法及计算机设备
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN115909260A (zh) * 2022-09-28 2023-04-04 华能伊敏煤电有限责任公司 基于机器视觉的作业场所入侵预警方法及其系统
CN115861685A (zh) * 2022-11-16 2023-03-28 华能伊敏煤电有限责任公司 基于图像识别的自动对中控制系统及其方法
CN116168352A (zh) * 2023-04-26 2023-05-26 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及系统
CN116824481A (zh) * 2023-05-18 2023-09-29 国网信息通信产业集团有限公司北京分公司 基于图像识别的变电站巡检方法及其系统
CN116703878A (zh) * 2023-06-20 2023-09-05 滁州国恒自动化科技有限公司 家用电器壳体生产线自动检测系统及其方法
CN116777892A (zh) * 2023-07-03 2023-09-19 东莞市震坤行胶粘剂有限公司 基于视觉检测的点胶质量检测方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卷积神经网络图像语义分割技术;田启川;孟颖;;小型微型计算机系统;20200529(06);1302-1313 *

Also Published As

Publication number Publication date
CN117372528A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN109740588B (zh) 基于弱监督和深度响应重分配的x光图片违禁品定位方法
CN110033007B (zh) 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN110619059B (zh) 一种基于迁移学习的建筑物标定方法
CN112418351B (zh) 基于全局与局部上下文感知的零样本学习图像分类方法
CN110781970A (zh) 分类器的生成方法、装置、设备及存储介质
Wang et al. Hand-drawn electronic component recognition using deep learning algorithm
CN111881958A (zh) 车牌分类识别方法、装置、设备及存储介质
CN117355038B (zh) 用于线路板软板的x型孔加工方法及其系统
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN115861246A (zh) 应用于工业互联网的产品质量异常检测方法及其系统
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN113313179B (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN117372528B (zh) 用于手机壳体模块化装配的视觉图像定位方法
CN117078007A (zh) 一种融合尺度标签的多尺度风控系统及其方法
CN112115996A (zh) 图像数据的处理方法、装置、设备及存储介质
CN116520154A (zh) 锂电池极片检测的性能评估方法及其系统
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN114663751A (zh) 一种基于增量学习技术的输电线路缺陷识别方法和系统
CN113688735A (zh) 一种图像分类方法、装置及电子设备
CN112348040B (zh) 模型训练方法、装置及设备
CN117750643B (zh) 印制电路板的表面加工方法
CN112529038B (zh) 一种主板物料的识别方法、装置及存储介质
CN112990145B (zh) 一种基于组稀疏年龄估计方法及电子设备
CN117079311A (zh) 行人检测及属性识别方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant