CN117252926B - 基于视觉定位的手机壳辅料智能装配控制系统 - Google Patents

基于视觉定位的手机壳辅料智能装配控制系统 Download PDF

Info

Publication number
CN117252926B
CN117252926B CN202311540273.0A CN202311540273A CN117252926B CN 117252926 B CN117252926 B CN 117252926B CN 202311540273 A CN202311540273 A CN 202311540273A CN 117252926 B CN117252926 B CN 117252926B
Authority
CN
China
Prior art keywords
mobile phone
phone shell
auxiliary material
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311540273.0A
Other languages
English (en)
Other versions
CN117252926A (zh
Inventor
王克彬
崔伟
胡苏阳
吴青
薛飞飞
陶志
梅俊
潘旭东
贾舒清
王梓轩
周泽楷
罗杨梓萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Industrial Control Robot Co ltd
Original Assignee
Nanchang Industrial Control Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Industrial Control Robot Co ltd filed Critical Nanchang Industrial Control Robot Co ltd
Priority to CN202311540273.0A priority Critical patent/CN117252926B/zh
Publication of CN117252926A publication Critical patent/CN117252926A/zh
Application granted granted Critical
Publication of CN117252926B publication Critical patent/CN117252926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了基于视觉定位的手机壳辅料智能装配控制系统,其通过CCD摄像头采集手机壳和辅料装配定位图像,并在后端引入图像处理和分析算法来进行该定位图像的分析,以此来判断辅料是否被准确地放置于手机壳上的预定贴合位置,以提高手机辅料的贴合生产效率,降低生产成本,提高产品的良率,从而实现自动化、高效化、精确化的装配控制。

Description

基于视觉定位的手机壳辅料智能装配控制系统
技术领域
本申请涉及智能装配控制领域,且更为具体地,涉及一种基于视觉定位的手机壳辅料智能装配控制系统。
背景技术
在手机制造过程中,手机壳通常需要搭配各种辅料(如按键、摄像头、闪光灯、扬声器等部件)进行装配。手机壳辅料的装配需要高度的精确度和稳定性,否则会影响手机的质量和用户体验。因此,确保辅料被准确地放置于手机壳上的预定贴合位置对于手机的外观质量和功能性至关重要。
然而,传统的手机壳辅料装配方式通常依赖于人工操作,人工操作容易受到人为因素的影响,如疲劳、注意力不集中等,导致装配的准确性下降。并且,人工操作的速度和效率有限,特别是在大规模生产的情况下,人工装配往往无法满足高效率的需求,导致生产效率低下。此外,由于人工操作的差异性,不同操作者之间的装配结果可能存在差异,导致装配的一致性较差,难以保证产品的质量稳定性。
因此,期望一种基于视觉定位的手机壳辅料智能装配控制系统。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于视觉定位的手机壳辅料智能装配控制系统,其通过CCD摄像头采集手机壳和辅料装配定位图像,并在后端引入图像处理和分析算法来进行该定位图像的分析,以此来判断辅料是否被准确地放置于手机壳上的预定贴合位置,以提高手机辅料的贴合生产效率,降低生产成本,提高产品的良率,从而实现自动化、高效化、精确化的装配控制。
根据本申请的一个方面,提供了一种基于视觉定位的手机壳辅料智能装配控制系统,其包括:
图像采集模块,用于获取由CCD摄像头采集的手机壳和辅料装配定位图像;
图像目标检测模块,用于将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像;
图像感兴趣区域特征分析模块,用于通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列;
感兴趣区域特征交互关联分析模块,用于对所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列进行序列交互关联分析以得到手机壳-辅料语义空间交互特征;
定位检测模块,用于基于所述手机壳-辅料语义空间交互特征,确定是否定位准确。
与现有技术相比,本申请提供的一种基于视觉定位的手机壳辅料智能装配控制系统,其通过CCD摄像头采集手机壳和辅料装配定位图像,并在后端引入图像处理和分析算法来进行该定位图像的分析,以此来判断辅料是否被准确地放置于手机壳上的预定贴合位置,以提高手机辅料的贴合生产效率,降低生产成本,提高产品的良率,从而实现自动化、高效化、精确化的装配控制。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的框图;
图2为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的系统架构图;
图3为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的训练阶段的框图;
图4为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统中图像感兴趣区域特征分析模块的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
传统的手机壳辅料装配方式通常依赖于人工操作,人工操作容易受到人为因素的影响,如疲劳、注意力不集中等,导致装配的准确性下降。并且,人工操作的速度和效率有限,特别是在大规模生产的情况下,人工装配往往无法满足高效率的需求,导致生产效率低下。此外,由于人工操作的差异性,不同操作者之间的装配结果可能存在差异,导致装配的一致性较差,难以保证产品的质量稳定性。针对上述技术问题,在本申请的技术方案中,在生产线的上料机处将手机壳放到传送带上后,流水线上的吸取装置依次将手机壳搬运到指定位置贴合相应的辅料。并且,在将手机壳搬运到指定位置后,采用基于视觉定位的手机壳辅料智能装配控制系统来检测和定位手机壳和辅料的位置,判断定位是否准确,以实现高精度的装配。
在本申请的技术方案中,提出了一种基于视觉定位的手机壳辅料智能装配控制系统。图1为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的框图。图2为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的系统架构图。如图1和图2所示,根据本申请的实施例的基于视觉定位的手机壳辅料智能装配控制系统300,包括:图像采集模块310,用于获取由CCD摄像头采集的手机壳和辅料装配定位图像;图像目标检测模块320,用于将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像;图像感兴趣区域特征分析模块330,用于通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列;感兴趣区域特征交互关联分析模块340,用于对所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列进行序列交互关联分析以得到手机壳-辅料语义空间交互特征;定位检测模块350,用于基于所述手机壳-辅料语义空间交互特征,确定是否定位准确。
特别地,所述图像采集模块310,用于获取由CCD摄像头采集的手机壳和辅料装配定位图像。值得一提的是,CCD摄像头是一种使用电荷耦合器件作为图像传感器的摄像头。CCD是一种能够将光信号转换为电信号的器件,常用于数字摄像和视频捕捉。CCD摄像头通常具有较高的图像质量和较低的噪声水平。
特别地,所述图像目标检测模块320,用于将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像。应可以理解,考虑到在实际进行辅料和手机壳的定位检测时,应更加关注于辅料的位置和边缘特征以及手机壳的预定粘合位置特征,而忽略与定位检测无关的干扰特征。因此,在本申请的技术方案中,进一步将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像。特别地,通过目标检测网络,可以将图像中的手机壳和辅料从背景中分割出来,得到它们的感兴趣区域图像。这样,能够将注意力集中在手机壳和辅料上,减少其他无关区域的干扰,提高后续处理的效率和准确性。
值得注意的是,目标检测网络是一种用于目标检测的深度学习模型,它在目标检测中起到了关键作用。在传统的目标检测方法中,通常需要对整个图像进行密集的滑动窗口扫描,这会导致计算量巨大。为了解决这个问题,目标检测网络提出了一个重要的概念:只对可能包含目标的区域进行处理,而不是对整个图像进行扫描。目标感兴趣区域检测网络的优点是能够减少计算量,只对候选框进行处理,大大提高了目标检测的效率。它在许多目标检测任务中取得了良好的性能,成为目标检测领域的重要技术之一。常见的目标感兴趣区域检测网络包括Fast R-CNN、Faster R-CNN和Mask R-CNN等。
相应的,在一种可能的实现方式中,可通过以下步骤将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像,例如:将手机壳和辅料装配定位图像输入到手机壳目标检测网络和辅料目标检测网络中;手机壳目标检测网络将对输入图像进行处理,识别和定位出所有的手机壳。它会生成一系列手机壳的边界框和对应的类别标签;辅料目标检测网络将对输入图像进行处理,识别和定位出所有的辅料。它会生成一系列辅料的边界框和对应的类别标签;根据手机壳目标检测网络生成的手机壳边界框,从输入图像中提取出手机壳的感兴趣区域图像;根据辅料目标检测网络生成的辅料边界框,从输入图像中提取出辅料的感兴趣区域图像。
特别地,所述图像感兴趣区域特征分析模块330,用于通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列。特别地,在本申请的一个具体示例中,如图4所示,所述图像感兴趣区域特征分析模块330,包括:感兴趣区域多尺度特征提取单元331,用于将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图;特征展平化单元332,用于将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列。
具体地,所述感兴趣区域多尺度特征提取单元331,用于将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图。考虑到手机壳和辅料的形状、纹理和粘合位置特征都存在不同的变化,并且手机壳和辅料的装配位置通常还会受到周围环境的影响。因此,在实际进行辅料和手机壳预定粘合位置的定位时,为了能够更为准确地进行定位检测判断,在本申请的技术方案中,进一步将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图。应可以理解,通过使用所述基于金字塔网络的图像特征提取器,可以在图像的不同深度层次上提取特征,从而捕捉到手机壳和辅料的多层次特征信息。这样可以更全面地描述手机壳和辅料的特征,提高后续处理的鲁棒性和准确性。同时,通过提取多尺度特征图,可以获得更丰富的上下文信息,包括周围区域的纹理、形状和颜色等特征。这些上下文信息可以帮助系统更好地理解手机壳和辅料的位置关系,提高定位的准确性。
值得注意的是,金字塔网络(Pyramid Network)是一种深度神经网络结构,用于处理多尺度的图像信息。它通过构建不同分辨率的特征金字塔,从而能够同时捕捉到图像中的细节和全局信息。以下是金字塔网络的基本步骤:输入金字塔构建:从输入图像开始,通过对图像进行多次下采样或上采样操作,生成不同分辨率的图像金字塔。这些金字塔层级可以通过降采样(下采样)或上采样方法得到;特征提取:对于每个金字塔层级,将图像输入到特征提取器中,通常是一个卷积神经网络(CNN)。特征提取器将提取出每个层级的特征表示,其中较低层级的特征表示包含更多的细节信息,而较高层级的特征表示则包含更多的全局语义信息;特征融合:将不同层级的特征进行融合,以综合利用不同尺度的信息。常见的融合方法包括级联、拼接、加权平均等;后续处理:根据具体任务的需求,可以在金字塔网络的输出上应用不同的后续处理方法,如分类、目标检测、分割等。金字塔网络的优势在于它能够同时处理不同尺度的信息,从而提高了对图像中不同尺度目标的检测和识别能力。
相应的,在一种可能的实现方式中,可通过以下步骤将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图,例如:将手机壳感兴趣区域图像和辅料感兴趣区域图像作为输入数据;使用金字塔构建方法对输入图像进行多次下采样或上采样操作,生成不同分辨率的图像金字塔。下采样可以通过池化操作或卷积操作实现,上采样可以通过插值方法实现;对于每个金字塔层级的图像,将其输入到金字塔网络的特征提取器中。特征提取器通常是一个卷积神经网络(CNN),可以是预训练的模型如VGG、ResNet等;对于每个金字塔层级的特征提取结果,可以得到相应的多尺度特征图。较低层级的特征图包含更多的细节信息,而较高层级的特征图包含更多的全局语义信息;将不同层级的多尺度特征图进行融合,以综合利用不同尺度的信息。常见的融合方法包括级联、拼接、加权平均等。
具体地,所述特征展平化单元332,用于将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列。也就是,在得到有关于所述手机壳的多层次特征信息和所述辅料的多层次特征信息后,为了能够进行手机壳的预定位置和辅料的定位检测,还应将这两者的特征信息进行交互关联分析。因此,在本申请的技术方案中,将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到手机壳局部特征向量的序列和辅料局部特征向量的序列,以此来将手机壳和辅料的多尺度特征转化为一维的特征表示,方便后续的特征处理和分析。
相应的,在一种可能的实现方式中,可通过以下步骤将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列,例如:获取每个特征图的尺寸(高度、宽度、通道数);对于每个特征图,将其沿通道维度展平为一个一维向量;将所有展平后的特征向量连接起来,以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列,例如:将手机壳感兴趣区域图像和辅料感兴趣区域图像作为输入数据;选择一个适用于图像特征提取的深度神经网络模型;将手机壳感兴趣区域图像输入到深度神经网络模型中,通过前向传播得到图像的特征表示;将辅料感兴趣区域图像输入到深度神经网络模型中,同样通过前向传播得到图像的特征表示;对于手机壳感兴趣区域图像的特征表示,可以将其划分为一系列局部区域,例如将图像分成网格,每个网格代表一个局部区域。然后,对于每个局部区域,可以将其特征表示转化为一个特征向量;同样地,对于辅料感兴趣区域图像的特征表示,也可以将其划分为一系列局部区域,并将每个局部区域的特征表示转化为一个特征向量。
特别地,所述感兴趣区域特征交互关联分析模块340,用于对所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列进行序列交互关联分析以得到手机壳-辅料语义空间交互特征。也就是,在本申请的技术方案中,将所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列通过局部特征序列交互模块以得到手机壳-辅料语义空间交互特征向量。通过将手机壳和辅料的局部特征向量序列进行交互,可以实现它们之间的语义空间交互,这种交互可以帮助系统更好地理解手机壳和辅料之间的位置关系和定位关联情况,提高贴合装配的准确性。具体地,将所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列通过局部特征序列交互模块以得到手机壳-辅料语义空间交互特征向量作为所述手机壳-辅料语义空间交互特征,包括:将所述手机壳局部特征向量的序列通过基于全卷积神经网络模型的手机壳局部特征提取器以得到手机壳全卷积特征向量;将所述辅料局部特征向量的序列排列为辅料全局特征向量;融合对所述手机壳全卷积特征向量和所述辅料全局特征向量以得到手机壳-辅料融合特征向量;对所述辅料局部特征向量的序列进行语义关联编码以得到辅料全局语义关联特征向量;融合所述手机壳-辅料融合特征向量和所述辅料全局语义关联特征向量以得到所述手机壳-辅料语义空间交互特征向量。
特别地,所述定位检测模块350,用于基于所述手机壳-辅料语义空间交互特征,确定是否定位准确。也就是,在本申请的技术方案中,将所述手机壳-辅料语义空间交互特征向量通过分类器以得到分类结果,所述分类结果用于表示是否定位准确。也就是,利用所述手机壳的多尺度特征和所述辅料的多尺度特征间的语义交互关联特征信息来进行分类处理,以此来进行定位检测,从而判断辅料是否被准确地放置于手机壳上的预定贴合位置,以提高手机辅料的贴合生产效率,降低生产成本,提高产品的良率,从而实现自动化、高效化、精确化的装配控制。具体地,使用所述分类器的多个全连接层对所述手机壳-辅料语义空间交互特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
分类器是指一种机器学习模型或算法,用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分,它通过学习从输入数据到输出类别的映射关系来进行分类任务。
全连接层是神经网络中常见的一种层类型。在全连接层中,每个神经元都与上一层的所有神经元相连接,每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入,并通过权重对这些输入进行加权求和,然后将结果传递给下一层。
Softmax分类函数是一种常用的激活函数,用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值,并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层,特别适用于多分类问题,因为它能够将网络输出映射为各个类别的概率分布。在训练过程中,Softmax函数的输出可以用于计算损失函数,并通过反向传播算法来更新网络参数。值得注意的是,Softmax函数的输出并不会改变元素之间的相对大小关系,只是对其进行了归一化处理。因此,Softmax函数并不改变输入向量的特性,只是将其转化为概率分布形式。
应可以理解,在利用上述神经网络模型进行推断之前,需要对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练。也就是说,根据本申请的基于视觉定位的手机壳辅料智能装配控制系统300,还包括训练阶段400,用于对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练。
图3为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的训练阶段的框图。如图3所示,训练阶段400,包括:训练数据采集单元410,用于获取训练数据,所述训练数据包括由CCD摄像头采集的训练手机壳图像和训练辅料装配定位图像;训练图像目标检测单元420,用于将所述训练手机壳图像和所述训练辅料装配定位图像分别通过手机壳目标检测网络和辅料目标检测网络以得到训练手机壳感兴趣区域图像和训练辅料感兴趣区域图像;训练感兴趣区域多尺度特征提取单元430,用于将所述训练手机壳感兴趣区域图像和所述训练辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到训练手机壳多尺度特征图和训练辅料多尺度特征图;训练特征展平化单元440,用于将所述训练手机壳多尺度特征图和所述训练辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到训练手机壳局部特征向量的序列和训练辅料局部特征向量的序列;特征交互关联分析单元450,用于将所述训练手机壳局部特征向量的序列和所述训练辅料局部特征向量的序列通过局部特征序列交互模块以得到训练手机壳-辅料语义空间交互特征向量;特征优化单元460,用于对所述训练手机壳-辅料语义空间交互特征向量进行逐位置优化以得到优化训练手机壳-辅料语义空间交互特征向量;分类损失单元470,用于将所述优化训练手机壳-辅料语义空间交互特征向量通过所述分类器以得到分类损失函数值;模型训练单元480,用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练。
其中,所述分类损失单元,用于:使用所述分类器对所述优化训练手机壳-辅料语义空间交互特征向量进行处理以得到训练分类结果;以及,计算所述训练分类结果与所述是否定位准确的真实值之间的交叉熵损失函数值作为所述分类损失函数值。
特别地,在本申请的技术方案中,所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列分别表达所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像的基于金字塔网络的多尺度多深度图像语义特征,这样,将所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列通过局部特征序列交互模块后,所述手机壳-辅料语义空间交互特征向量不仅包含所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像各自的多尺度多深度图像语义特征,还包括基于图像语义特征空间交互的交互图像语义特征,使得所述手机壳-辅料语义空间交互特征向量具有语义空间多维度下的多尺度多深度图像语义关联特征分布。由此,由于所述手机壳-辅料语义空间交互特征向量在整体上具有语义空间角度下的多维度、多尺度和多深度图像语义关联特征分布性质,这就使得在将所述手机壳-辅料语义空间交互特征向量通过分类器进行分类回归时,需要提升分类回归的效率。因此,在所述手机壳-辅料语义空间交互特征向量通过分类器进行分类回归时,对所述手机壳-辅料语义空间交互特征向量进行逐位置优化,具体表示为:
其中是所述手机壳-辅料语义空间交互特征向量的第/>个位置的特征值,/>是所述手机壳-辅料语义空间交互特征向量的所有特征值的全局均值,且/>是所述手机壳-辅料语义空间交互特征向量的最大特征值,/>()表示向量的指数运算,/>是所述优化手机壳-辅料语义空间交互特征向量。也就是,通过全局分布参数的正则化仿函数的概念,上述优化基于所述手机壳-辅料语义空间交互特征向量的全局分布的参数向量式表征,来以回归概率的正则式表达模拟代价函数,从而对所述手机壳-辅料语义空间交互特征向量在高维特征空间内的特征流形表征对于类回归概率下的基于分类器的权重矩阵的逐点回归特性进行建模,以捕获待分类的手机壳-辅料语义空间交互特征向量经由分类器模型的参数空间在高维特征流形的场景几何形状下的参数平滑式优化轨迹,提高所述手机壳-辅料语义空间交互特征向量在所述分类器的分类概率回归下的训练效率。这样,能够实现辅料是否被准确地放置于手机壳上的预定贴合位置的自动化定位检测,以提高手机辅料的贴合生产效率,降低生产成本,提高产品的良率,从而实现自动化、高效化、精确化的装配控制。
如上所述,根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统300可以实现在各种无线终端中,例如具有基于视觉定位的手机壳辅料智能装配控制算法的服务器等。在一种可能的实现方式中,根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该基于视觉定位的手机壳辅料智能装配控制系统300可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该基于视觉定位的手机壳辅料智能装配控制系统300同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该基于视觉定位的手机壳辅料智能装配控制系统300与该无线终端也可以是分立的设备,并且该基于视觉定位的手机壳辅料智能装配控制系统300可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (7)

1.一种基于视觉定位的手机壳辅料智能装配控制系统,其特征在于,包括:
图像采集模块,用于获取由CCD摄像头采集的手机壳和辅料装配定位图像;
图像目标检测模块,用于将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像;
图像感兴趣区域特征分析模块,用于通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列;
感兴趣区域特征交互关联分析模块,用于对所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列进行序列交互关联分析以得到手机壳-辅料语义空间交互特征;
定位检测模块,用于基于所述手机壳-辅料语义空间交互特征,确定是否定位准确;
其中,所述感兴趣区域特征交互关联分析模块,包括:
全卷积编码单元,用于将所述手机壳局部特征向量的序列通过基于全卷积神经网络模型的手机壳局部特征提取器以得到手机壳全卷积特征向量;
全局语义聚合单元,用于将所述辅料局部特征向量的序列排列为辅料全局特征向量;
语义融合单元,用于融合对所述手机壳全卷积特征向量和所述辅料全局特征向量以得到手机壳-辅料融合特征向量;
全局语义关联编码单元,用于对所述辅料局部特征向量的序列进行语义关联编码以得到辅料全局语义关联特征向量;
语义特征嵌入融合单元,用于融合所述手机壳-辅料融合特征向量和所述辅料全局语义关联特征向量以得到所述手机壳-辅料语义空间交互特征向量;
其中,在所述手机壳-辅料语义空间交互特征向量通过分类器进行分类回归时,对所述手机壳-辅料语义空间交互特征向量进行逐位置优化,具体表示为:,其中/>是所述手机壳-辅料语义空间交互特征向量的第/>个位置的特征值,/>是所述手机壳-辅料语义空间交互特征向量的所有特征值的全局均值,且/>是所述手机壳-辅料语义空间交互特征向量的最大特征值,/>()表示向量的指数运算,/>是所述优化手机壳-辅料语义空间交互特征向量。
2.根据权利要求1所述的基于视觉定位的手机壳辅料智能装配控制系统,其特征在于,所述图像感兴趣区域特征分析模块,包括:
感兴趣区域多尺度特征提取单元,用于将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图;
特征展平化单元,用于将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列。
3.根据权利要求2所述的基于视觉定位的手机壳辅料智能装配控制系统,其特征在于,所述感兴趣区域特征交互关联分析模块,用于:将所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列通过局部特征序列交互模块以得到手机壳-辅料语义空间交互特征向量作为所述手机壳-辅料语义空间交互特征。
4.根据权利要求3所述的基于视觉定位的手机壳辅料智能装配控制系统,其特征在于,所述定位检测模块,用于:将所述手机壳-辅料语义空间交互特征向量通过分类器以得到分类结果,所述分类结果用于表示是否定位准确。
5.根据权利要求4所述的基于视觉定位的手机壳辅料智能装配控制系统,其特征在于,还包括用于对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练的训练模块。
6.根据权利要求5所述的基于视觉定位的手机壳辅料智能装配控制系统,其特征在于,所述训练模块,包括:
训练数据采集单元,用于获取训练数据,所述训练数据包括由CCD摄像头采集的训练手机壳图像和训练辅料装配定位图像;
训练图像目标检测单元,用于将所述训练手机壳图像和所述训练辅料装配定位图像分别通过手机壳目标检测网络和辅料目标检测网络以得到训练手机壳感兴趣区域图像和训练辅料感兴趣区域图像;
训练感兴趣区域多尺度特征提取单元,用于将所述训练手机壳感兴趣区域图像和所述训练辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到训练手机壳多尺度特征图和训练辅料多尺度特征图;
训练特征展平化单元,用于将所述训练手机壳多尺度特征图和所述训练辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到训练手机壳局部特征向量的序列和训练辅料局部特征向量的序列;
特征交互关联分析单元,用于将所述训练手机壳局部特征向量的序列和所述训练辅料局部特征向量的序列通过局部特征序列交互模块以得到训练手机壳-辅料语义空间交互特征向量;
特征优化单元,用于对所述训练手机壳-辅料语义空间交互特征向量进行逐位置优化以得到优化训练手机壳-辅料语义空间交互特征向量;
分类损失单元,用于将所述优化训练手机壳-辅料语义空间交互特征向量通过所述分类器以得到分类损失函数值;
模型训练单元,用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练。
7.根据权利要求6所述的基于视觉定位的手机壳辅料智能装配控制系统,其特征在于,所述分类损失单元,用于:
使用所述分类器对所述优化训练手机壳-辅料语义空间交互特征向量进行处理以得到训练分类结果:以及
计算所述训练分类结果与所述是否定位准确的真实值之间的交叉熵损失函数值作为所述分类损失函数值。
CN202311540273.0A 2023-11-20 2023-11-20 基于视觉定位的手机壳辅料智能装配控制系统 Active CN117252926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311540273.0A CN117252926B (zh) 2023-11-20 2023-11-20 基于视觉定位的手机壳辅料智能装配控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311540273.0A CN117252926B (zh) 2023-11-20 2023-11-20 基于视觉定位的手机壳辅料智能装配控制系统

Publications (2)

Publication Number Publication Date
CN117252926A CN117252926A (zh) 2023-12-19
CN117252926B true CN117252926B (zh) 2024-02-02

Family

ID=89135428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311540273.0A Active CN117252926B (zh) 2023-11-20 2023-11-20 基于视觉定位的手机壳辅料智能装配控制系统

Country Status (1)

Country Link
CN (1) CN117252926B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510559A (zh) * 2017-07-19 2018-09-07 哈尔滨工业大学深圳研究生院 一种基于有监督多视角离散化的多媒体二值编码方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112395961A (zh) * 2020-10-31 2021-02-23 太原理工大学 一种洒水车的视觉主动行人避让及水压自适应控制方法
CN113298151A (zh) * 2021-05-26 2021-08-24 中国电子科技集团公司第五十四研究所 一种基于多级特征融合的遥感图像语义描述方法
CN114463297A (zh) * 2022-01-24 2022-05-10 西安电子科技大学 一种基于fpn与detr融合改进的芯片缺陷检测方法
CN115783923A (zh) * 2022-11-30 2023-03-14 沃克斯迅达电梯有限公司 基于大数据的电梯故障模式识别系统
CN115861685A (zh) * 2022-11-16 2023-03-28 华能伊敏煤电有限责任公司 基于图像识别的自动对中控制系统及其方法
CN116309446A (zh) * 2023-03-14 2023-06-23 浙江固驰电子有限公司 用于工业控制领域的功率模块制造方法及系统
CN116453067A (zh) * 2023-06-20 2023-07-18 广州思林杰科技股份有限公司 基于动态视觉识别的短跑计时方法
CN116509547A (zh) * 2023-05-18 2023-08-01 温州医科大学附属第二医院(温州医科大学附属育英儿童医院) 骨科机器人钉道智能规划系统及其方法
CN116533529A (zh) * 2023-05-12 2023-08-04 湖州东尼新能源有限公司 超声波焊接pc片的智能化控制方法及系统
CN116663568A (zh) * 2023-07-31 2023-08-29 腾云创威信息科技(威海)有限公司 基于优先级的关键任务识别系统及其方法
CN116765925A (zh) * 2023-06-12 2023-09-19 深圳市捷辉创科技有限公司 基于cnc的模具切割加工控制系统及其方法
CN116862877A (zh) * 2023-07-12 2023-10-10 新疆生产建设兵团医院 基于卷积神经网络的扫描图像分析系统及其方法
CN116945258A (zh) * 2023-09-14 2023-10-27 浙江蓝硕包装科技有限公司 模切机控制系统及其方法
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330296B2 (en) * 2013-03-15 2016-05-03 Sri International Recognizing entity interactions in visual media

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510559A (zh) * 2017-07-19 2018-09-07 哈尔滨工业大学深圳研究生院 一种基于有监督多视角离散化的多媒体二值编码方法
CN112395961A (zh) * 2020-10-31 2021-02-23 太原理工大学 一种洒水车的视觉主动行人避让及水压自适应控制方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113298151A (zh) * 2021-05-26 2021-08-24 中国电子科技集团公司第五十四研究所 一种基于多级特征融合的遥感图像语义描述方法
CN114463297A (zh) * 2022-01-24 2022-05-10 西安电子科技大学 一种基于fpn与detr融合改进的芯片缺陷检测方法
CN115861685A (zh) * 2022-11-16 2023-03-28 华能伊敏煤电有限责任公司 基于图像识别的自动对中控制系统及其方法
CN115783923A (zh) * 2022-11-30 2023-03-14 沃克斯迅达电梯有限公司 基于大数据的电梯故障模式识别系统
CN116309446A (zh) * 2023-03-14 2023-06-23 浙江固驰电子有限公司 用于工业控制领域的功率模块制造方法及系统
CN116533529A (zh) * 2023-05-12 2023-08-04 湖州东尼新能源有限公司 超声波焊接pc片的智能化控制方法及系统
CN116509547A (zh) * 2023-05-18 2023-08-01 温州医科大学附属第二医院(温州医科大学附属育英儿童医院) 骨科机器人钉道智能规划系统及其方法
CN116765925A (zh) * 2023-06-12 2023-09-19 深圳市捷辉创科技有限公司 基于cnc的模具切割加工控制系统及其方法
CN116453067A (zh) * 2023-06-20 2023-07-18 广州思林杰科技股份有限公司 基于动态视觉识别的短跑计时方法
CN116862877A (zh) * 2023-07-12 2023-10-10 新疆生产建设兵团医院 基于卷积神经网络的扫描图像分析系统及其方法
CN116663568A (zh) * 2023-07-31 2023-08-29 腾云创威信息科技(威海)有限公司 基于优先级的关键任务识别系统及其方法
CN116945258A (zh) * 2023-09-14 2023-10-27 浙江蓝硕包装科技有限公司 模切机控制系统及其方法
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经模糊控制的自适应图像水印算法;王琛晖, 舒志彪;计算机工程与设计(第10期);正文 *

Also Published As

Publication number Publication date
CN117252926A (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN109598268B (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN108229369B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
US9633282B2 (en) Cross-trained convolutional neural networks using multimodal images
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
CN104077579B (zh) 基于专家系统的人脸表情图像识别方法
US12002259B2 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及系统
CN111444744A (zh) 活体检测方法、装置以及存储介质
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN114581456B (zh) 一种多图像分割模型的构建方法、图像检测方法及装置
CN110115022B (zh) 图像处理系统、光学传感器、以及学习装置
CN111914762A (zh) 基于步态信息的身份识别方法及装置
CN112668410B (zh) 分拣行为检测方法、系统、电子装置和存储介质
Khurana et al. A survey on object recognition and segmentation techniques
CN111967288A (zh) 智能三维物体识别和定位系统和方法
CN108345835B (zh) 一种基于仿复眼感知的目标识别方法
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN114548253A (zh) 一种基于图像识别及动态匹配的数字孪生模型构建系统
Linda et al. Color-mapped contour gait image for cross-view gait recognition using deep convolutional neural network
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN116630828B (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN117252926B (zh) 基于视觉定位的手机壳辅料智能装配控制系统
CN112766175B (zh) 活体检测方法、装置及非易失性存储介质
CN115620403A (zh) 活体检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Intelligent assembly control system for mobile phone case accessories based on visual positioning

Granted publication date: 20240202

Pledgee: Bank of China Limited Ganjiang New Area Branch

Pledgor: NANCHANG INDUSTRIAL CONTROL ROBOT Co.,Ltd.

Registration number: Y2024980022128