CN115035032A - 神经网络训练方法、相关方法、设备、终端及存储介质 - Google Patents

神经网络训练方法、相关方法、设备、终端及存储介质 Download PDF

Info

Publication number
CN115035032A
CN115035032A CN202210494737.8A CN202210494737A CN115035032A CN 115035032 A CN115035032 A CN 115035032A CN 202210494737 A CN202210494737 A CN 202210494737A CN 115035032 A CN115035032 A CN 115035032A
Authority
CN
China
Prior art keywords
image
sharp corner
neural network
trained
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210494737.8A
Other languages
English (en)
Inventor
陈龙
王雨桐
曹沿松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optima Optics Technology Shenzhen Co ltd
Original Assignee
Optima Optics Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optima Optics Technology Shenzhen Co ltd filed Critical Optima Optics Technology Shenzhen Co ltd
Priority to CN202210494737.8A priority Critical patent/CN115035032A/zh
Publication of CN115035032A publication Critical patent/CN115035032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/82—Recycling of waste of electrical or electronic equipment [WEEE]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种神经网络训练方法、尖角检测方法、缺陷检测方法、光学检测设备、智能终端以及计算机可读存储介质，该神经网络训练方法包括：获取包括若干待训练图像的训练集，其中，待训练图像中包括电路板中尖角的标注信息；将训练集输入神经网络进行训练，得到用于检测电路板图像中尖角的神经网络。上述方法，利用输入的训练集中电路板的尖角及其尖角的标注信息来训练检测尖角的神经网络，能够提高神经网络检测的电路板图像中尖角的精准度和效率。

Description

神经网络训练方法、相关方法、设备、终端及存储介质
技术领域
本申请涉及图像处理技术领域，特别是一种神经网络训练方法、相关方法、设备、终端及存储介质。
背景技术
随着汽车电子、通讯设备、变压器、电感装置和电源模块等产品在生活中的广泛应用以及电子信息技术、通讯技术的快速发展，市场对高传输、高电压的电子产品提出了更高的要求。而作为电子元器件的基础承载部件-印刷电路板(Printed circuit board，简称PCB)，其性能的优劣直接影响电子元器安装后产品的性能。
由于PCB在生产过程中无法避免地存在大量的缺陷，并且存在的缺陷主要位于PCB的尖角处。因此，需要对存在缺陷的尖角进行检测，以根据检测结果进行后续的PCB修复工作；而PCB线路上的尖角非常小且密集，若完全进行人工标注将非常费时费力，且容易出错。如果不对尖角进行检测，而直接将存在缺陷的尖角放入下一个流程中进行制造，后续PCB的修补成本将会越来越高，且更容易报废，造成大量的浪费成本。
发明内容
为解决上述问题，本申请提供了一种神经网络训练方法、相关方法、设备、终端及存储介质，能够提高神经网络检测的电路板图像中尖角的精准度和效率。
本申请采用的一个技术方案是：一种神经网络训练方法，该方法包括：获取包括若干待训练图像的训练集，其中，待训练图像中包括电路板中尖角的标注信息；将训练集输入神经网络进行训练，得到用于检测电路板图像中尖角的神经网络。
可选地，神经网络训练方法，还包括：获取尖角模板；利用尖角模板遍历待训练图像中的电路板区域，标注待训练图像中与尖角模板相匹配的尖角区域。
可选地，获取包括若干待训练图像的训练集之后，神经网络训练方法还包括：对若干待训练图像进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理，得到若干扩展图像；利用若干扩展图像对训练集进行更新。
可选地，神经网络采用样本平衡损失函数进行迭代训练。
本申请采用的另一个技术方案是：提供一种尖角检测方法，该尖角检测方法包括：获取电路板的待检测图像；将待检测图像输入预先训练的神经网络，获取待检测图像中尖角的检测信息；其中，预先训练的神经网络通过如上所述的神经网络训练方法训练得到。
可选地，获取待检测图像中尖角的检测信息之后，尖角检测方法还包括：利用尖角的检测信息在待检测图像中生成尖角的标注框及其置信度。
本申请采用的另一个技术方案是：提供一种缺陷检测方法，该缺陷检测方法包括：获取电路板的设计图和采集图像；在采集图像中获取尖角所在区域；在尖角所在区域以外的区域匹配设计图和所述采集图像；按照设计图和采集图像的匹配结果，输出缺陷信息；其中，尖角所在区域为通过预先训练的神经网络检测得到。
可选地，在尖角所在区域以外的区域匹配设计图和采集图像，包括：获取设计图和采集图像的映射矩阵；基于映射矩阵将采集图像上的尖角所在区域映射到设计图，生成尖角掩膜；利用设计图中尖角掩膜以外的区域，与采集图像进行匹配。
本申请采用的另一个技术方案是：提供一种光学检测设备，该光学检测设备包括：图像获取模块，用于获取电路板的设计图和采集图像；区域提取模块，用于在采集图像中获取尖角所在区域；其中，尖角所在区域为通过预先训练的神经网络检测得到；区域匹配模块，用于在尖角所在区域以外的区域匹配设计图和采集图像；缺陷输出模块，用于按照设计图和采集图像的匹配结果，输出缺陷信息。
本申请采用的另一个技术方案是：提供一种智能终端，该智能终端包括：处理器以及与处理器连接的存储器，其中，存储器中存储有程序数据，处理器调取存储器存储的程序数据，以执行如上所述的神经网络训练方法、尖角检测方法或者缺陷检测方法。
本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现如上所述的神经网络训练方法、尖角检测方法或者缺陷检测方法。
区别于现有技术，本申请提供的神经网络训练方法，包括：获取包括若干待训练图像的训练集，其中，待训练图像中包括电路板中尖角的标注信息；将训练集输入神经网络进行训练，得到用于检测电路板图像中尖角的神经网络。通过上述的神经网络训练方法，利用输入的训练集中电路板的尖角及其尖角的标注信息来训练检测尖角的神经网络，能够提高神经网络检测的电路板图像中尖角的精准度和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的光学检测设备一实施例的结构示意图；
图2是本申请提供的缺陷检测方法一实施例的流程示意图；
图3是本申请中匹配设计图和采集图像一实施例的流程示意图；
图4是本申请中制作设计图和采集图像对应的映射矩阵一实施例的流程示意图；
图5是本申请提供的神经网络训练方法一实施例的流程示意图；
图6是本申请提供的电路板区域标注方法一实施例的流程示意图；
图7是本申请中获取尖角模板一实施例的流程示意图；
图8是本申请中标注操作指令对应的尖角区域一实施例的界面示意图；
图9是本申请中建立尖角模板一实施例的流程示意图；
图10是本申请中对训练集进行更新一实施例的流程示意图；
图11是本申请中利用若干扩展图像对训练集进行更新一实施例的流程示意图；
图12是本申请提供的一种尖角检测方法的流程示意图；
图13是本申请提供的一种智能终端的结构示意图；
图14是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本申请实施例中的步骤描述只是可选的顺序组合，并不代表本申请实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本申请的限制。
本申请实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，本申请中尽管多次采用术语“第一”、“第二”等来描述各种操作(或各种元件或各种应用或各种指令或各种数据)等，不过这些操作(或元件或应用或指令或数据)不应受这些术语的限制。这些术语只是用于区分一个操作(或元件或应用或指令或数据)和另一个操作(或元件或应用或指令或数据)。例如，第一电路元件模板可以被称为第二电路元件模板，第二电路元件模板也可以被称为第一电路元件模板，仅仅是其两者所包括的范围不同，而不脱离本申请的范围，第一电路元件模板和第二电路元件模板都是各种电路元件模板的集合，只是二者并不是相同的电路元件模板的集合而已。
参阅图1，图1是本申请提供的光学检测设备一实施例的结构示意图，该光学检测设备10A包括：图像获取模块11A、区域提取模块12A、区域匹配模块13A以及缺陷输出模块14A。
在一实施例中，光学检测设备10A为自动光学检测设备(Automated OpticalInspection，AOI)，其是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。当自动检测时，AOI机器通过摄像头自动扫描PCB，采集图像，测试的焊点与数据库中的合格的参数进行比较，经过图像处理，检查出PCB上缺陷，并通过显示器或自动标志把缺陷显示/标示出来，供维修人员修整。
可选地，AOI的主频CPU(Central Processing Unit/Processor，中央处理器)为Intel Core i5或更高配置处理器；内存为8GB或更高配置内存；硬盘为10G以上空闲磁盘空间；显卡为GeForce RTX 3070Ti 8G或更高配置显存；网卡为千兆网卡；显示设备为支持1280x 1024分辨率的显示器；应用软件的软件环境为Pytorch；操作系统为MicrosoftWindows 10旗舰版或专业版。
在一实施例中，图像获取模块11A用于获取电路板的设计图和采集图像。
可选地，图像获取模块11A可搭载有深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置，其可根据用户的输入，而产生对应的控制信息，以获取电路板的采集图像。
可选地，电路板的采集图像为PCB(Printed circuit boards，印制电路板)图像。其中，PCB又称印刷电路板，其板面分为电路板区域和非电路板区域。PCB可应用于诸多的电子元器件，包括诸如摄影机和录像机、移动电话、智能电话、笔记本电脑、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)等的移动终端，也可以是数字广播发送器、数字TV、台式计算机、服务器等的固定终端。
其中，在PCB的电路板区域上具有通过药剂蚀刻的PCB线路，在PCB线路上为细小且密集的电路元件及其尖角(即尖角区域自方形区域的四个直角部位向外凸起，并使方形区域相邻两直线在相互靠近的端部形成相互交叉的倾斜线，两条相邻的倾斜线相互交叉形成尖角；倾斜线称为尖角线段)。由于药剂张力的原因，因此PCB在生产过程中无法避免地存在大量的缺陷(由于制造工艺的原因，在电路板的生产过程中，难免会出现例如：缺孔、鼠式侵蚀、开路、短路、毛刺、铜渣等缺陷)，并且PCB线路上的尖角往往为假点尖角(由于尖角的孔口发亮、基材反光、局部被氧化及脏点等原因，在电路元件上会出现较多假点)。
其中，电路板的设计图为PCB对应的原理设计图，其相较于PCB，其板面上没有缺陷和尖角位置处也没有假点尖角，其为最理想状态的PCB板。
在一实施例中，区域提取模块12A用于在采集图像中获取尖角所在区域；其中，尖角所在区域为通过预先训练的神经网络检测得到。
可选地，尖角所在区域为对一种或多种类型的PCB进行预先制作，且存储在光学检测设备10A或由第三方机构(如，神经网络模型、数字处理平台、云端服务器、外部终端等)输出得到的尖角标注区域。
其中，输出的尖角标注区域包括对应尖角的空间形状(包括平面形状和曲面形状)、位置、尺寸、类型、用途等信息。
可选地，区域提取模块12A可将采集图像输入一种预先训练的神经网络进行尖角检测和标注，以获取输出的尖角标注区域。
可选地，区域提取模块12A也可基于用户的输入，而执行提取采集图像中对应的至少一个尖角标注区域。
例如，基于用户输入对应的用户期望为提取采集图像中A位置的、B尺寸的、C类型的和D用途的X个尖角标注区域，则区域提取模块12A响应于用户输入，而执行提取采集图像中对应的尖角标注区域。
在一实施例中，区域匹配模块13A用于在尖角所在区域以外的区域匹配设计图和采集图像。
可选地，区域匹配模块13A在尖角所在区域以外的区域将设计图和采集图像进行匹配，以匹配出设计图和采集图像不一致的区域，则该区域即为采集图像对应的PCB在生产过程中的产生的缺陷。
可选地，区域匹配模块13A将设计图和采集图像在尖角所在区域以外的电路板区域进行匹配，以得出在电路板区域中设计图和采集图像上各个电路元件的匹配度，并基于各个电路元件的匹配度标注对应的电路元件区域。其中，该匹配度与对应电路元件区域的空间形状(包括平面形状和曲面形状)、位置、尺寸等信息相关。
在一实施例中，缺陷输出模块14A用于按照设计图和采集图像的匹配结果，输出缺陷信息。
可选地，设计图和采集图像的匹配结果为在尖角所在区域以外的区域匹配出设计图和采集图像不一致的区域，即PCB的真实缺陷区域，其真实缺陷区域对应的缺陷信息包括对应缺陷区域的空间形状(包括平面形状和曲面形状)、位置、尺寸、类型、用途等信息。
区别于现有技术，本实施方式提供的光学检测设备，包括：图像获取模块，用于获取电路板的设计图和采集图像；区域提取模块，用于在采集图像中获取尖角所在区域；其中，尖角所在区域为通过预先训练的神经网络检测得到；区域匹配模块，用于在尖角所在区域以外的区域匹配设计图和采集图像；缺陷输出模块，用于按照设计图和采集图像的匹配结果，输出缺陷信息。通过上述的光学检测设备，一方面，利用预先训练的神经网络来获取在采集图像中尖角所在区域，能够提高在PCB图像中采集假点尖角的精准度和效率。另一方面，在尖角所在区域以外的区域对设计图和采集图像进行匹配，从而能够优化PCB图像检测真实缺陷区域的流程和减少检测成本。
可选地，将上述可选实施方式进行结合，并基于上述技术方案进一步优化与扩展，可得到本申请提供的缺陷检测方法的一种实施方式。
参阅图2，图2是本申请提供的缺陷检测方法一实施例的流程示意图。其中，该方法应用于上述实施例中的光学检测设备，以被该光学检测设备执行，该方法包括：
步骤11：获取电路板的设计图和采集图像。
具体地，光学检测设备从自身存储介质中，或者从第三方机构(如，数字处理平台、云端服务器、外部终端等)中获取电路板的设计图和采集图像。
可选地，光学检测设备自身可搭载有深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置，并根据用户的输入，而产生对应的控制信息，以获取电路板的采集图像。
可选地，电路板的采集图像为PCB(Printed circuit boards，印制电路板)图像。其中，PCB板面分为电路板区域和非电路板区域。
步骤12：在采集图像中获取尖角所在区域。
可选地，光学检测设备可将采集图像输入一种预先训练的神经网络中进行尖角检测和标注，以获取输出的并已标注的尖角所在区域。
其中，输出的尖角标注区域包括对应尖角的空间形状(包括平面形状和曲面形状)、位置、尺寸、类型、用途等信息。
可选地，光学检测设备也可基于用户的输入，而执行人工标注和提取采集图像中对应的至少一个尖角标注区域。
具体地，光学检测设备首先针对每一张原始的采集图像进行裁剪，使用Harris角点检测采集图像，以提取所有的角点。然后通过人工标注员在labelme应用程序上以标注包围框的方式将部分少量需要标注的尖角所在区域框起来，以得到尖角所在区域。
其中，光学检测设备正常运行后，在其输出文件夹下创建三个子文件夹Crop、Imgs和Pos。其中，Crop中以每个输入图片名创建文件夹，每个文件夹下存放用于后续labelme应用程序中进行标注的裁剪后图像信息。Imgs是对裁剪图像进行编号的大图。Pos中保存所有图像的所有角点坐标信息。其中，对原始的采集图像进行裁剪是因为，每一张采集图像是由原始AOI设备相机扫描实际的板面得到，其尺寸过大，直接进行人工标注或者输入神经网络时会出现标注过于复杂，不方便人工标注的问题。因此，在一实施例中将采集图像均匀裁剪为尺寸为224*224的图像。使用传统的Harris角点检测方法提取图像中所有的角。
其中，光学检测设备将原始数据预处理后生成的Crop文件夹导入开源软件labelme对电路元件尖角进行矩形标注。在标注过程并不需要标注所有电路元件尖角，只需要标注不同类型的少量电路元件尖角即可。在标注完成后，在所标注图像所在路径下生成同名的json文件。
可选地，光学检测设备将人工标注的包围框中的尖角所在区域所在的8*8方形区域提取出来，进行翻转和旋转变换，得到不同的尖角标注区域，并构成尖角模板。由于一张原始采集图像中可能由多张小板拼接而成，小板的位置可能出现旋转，因此会有很多经过旋转和翻转的相同元素，这里通过对一个尖角模板进行扩充，实现对不同角度的匹配。并且对每一张原始采集图像，将尖角模板库中的每个模板匹配实现完全标注，大大减少人工标注成本，得到准确度极高的匹配结果，同时避免漏标和误标。
步骤13：在尖角所在区域以外的区域匹配设计图和采集图像。
参阅图3，图3是本申请中匹配设计图和采集图像一实施例的流程示意图。具体而言，步骤13可以包括如下步骤：
步骤131：获取设计图和采集图像的映射矩阵。
具体地，光学检测设备可以通过自身应用程序预先制作设计图和采集图像对应的映射矩阵，并存储在存储介质中的方式来获取；光学检测设备也可以通过接收第三方机构(如，云端服务器、数据处理平台来)直接获取设计图和采集图像的映射矩阵。
参阅图4，图4是本申请中制作设计图和采集图像对应的映射矩阵一实施例的流程示意图。具体而言，步骤131可以包括如下步骤：
步骤1311：对设计图和采集图像进行单应性变换。
具体地，设计图和采集图像的单应性变换是将一个图像所在平面内的点映射到另一个平面内的二维投影变换，以得到设计图和采集图像对应的单应性坐标点(x)。
其中，平面是指图像或者三维中的平面表示。对于图像所在平面内(如，二维或者三维中的点)的点，通过齐次坐标的表示方式。其中，点的齐次坐标是基于其尺度定义的，因此，设计图和采集图像所在平面内的点x＝[x，y，w]＝[ax，ay，aw]＝[x/w，y/w，1]都表示同一个二维点。
步骤1312：基于单应性坐标点获取单应性矩阵。
具体地，根据DLT(Direct Linear Transformation，直接线性变换)将单应性坐标点(x)转换为单应性矩阵H。其中，设计图或者采集图像的完全射影变换需要具有8个自由度，根据对应单应性点约束，每个对应单应性点对可以写出两个方程，分别对应于x和y坐标。因此，计算单应性矩阵H需要4个对应单应性点对。
其中，DLT是通过Haffine_from_points函数先将单应性坐标点(x)进行归一化操作，使其均值为0，方差为1。然后使用对应单应性点对来构造矩阵A(即Ah＝0，其中A是一个具有对应点对二倍数量行数的矩阵)。因此，矩阵A的最小二乘解即为矩阵SVD分解后所得矩阵V的最后一行，该行经过变换后得到单应性矩阵H。然后对单应性矩阵H进行处理和归一化，返回输出，以获取单应性矩阵。
步骤1313：对单应性矩阵进行仿射变换，以得到设计图和采集图像对应的映射矩阵。
具体地，通过Haffine_from_points函数来对单应性矩阵进行仿射变换，以得到设计图和采集图像对应的映射矩阵。其中，由于仿射变换具有6个自由度，因此需要三个对应单应性点来仿射矩阵H。通过将最后两个元素设置为0，即h7＝h8＝0，则仿射变换通过上述的DLT算法可估计得出设计图和采集图像对应的映射矩阵。
步骤132：基于映射矩阵将采集图像上的尖角所在区域映射到设计图，生成尖角掩膜。
具体地，光学检测设备根据在采集图像中获取尖角所在区域，确定采集图像上对应的映射矩阵范围，并该对应映射矩阵范围映射到设计图中，以在设计图上生成覆盖尖角区域的掩膜(即尖角mask)。
步骤133：利用设计图中尖角掩膜以外的区域，与采集图像进行匹配。
具体地，光学检测设备在设计图中尖角掩膜以外的区域将设计图和采集图像进行匹配，以匹配出设计图和采集图像不一致的区域，则该区域即为采集图像对应的PCB在生产过程中的产生的缺陷。
可选地，光学检测设备在将设计图中尖角掩膜以外的区域将设计图和采集图像进行匹配，以得出在电路板区域中设计图和采集图像上对应各个电路元件的匹配度，并基于各个电路元件的匹配度标注对应的电路元件区域。其中，该匹配度与对应电路元件区域的空间形状(包括平面形状和曲面形状)、位置、尺寸等信息相关。
步骤14：按照设计图和采集图像的匹配结果，输出缺陷信息。
可选地，光学检测设备按照设计图和采集图像的匹配结果，输出缺陷信息。其中，设计图和采集图像的匹配结果为在尖角所在区域以外的区域匹配出设计图和采集图像不一致的区域，即PCB的真实缺陷区域。真实缺陷区域对应的缺陷信息包括对应缺陷区域的空间形状(包括平面形状和曲面形状)、位置、尺寸、类型、用途等信息。
区别于现有技术，本实施方式提供的缺陷检测方法，包括：获取电路板的设计图和采集图像；在采集图像中获取尖角所在区域；在尖角所在区域以外的区域匹配设计图和采集图像；按照设计图和采集图像的匹配结果，输出缺陷信息；其中，尖角所在区域为通过预先训练的神经网络检测得到。通过上述的缺陷检测方法，一方面，利用预先训练的神经网络来获取在采集图像中尖角所在区域，能够提高在PCB图像中采集假点尖角的精准度和效率。另一方面，在尖角所在区域以外的区域对设计图和采集图像进行匹配，从而能够优化PCB图像检测真实缺陷区域的流程和减少检测成本。
可选地，将上述可选实施方式进行结合，并基于上述技术方案进一步优化与扩展，可得到本申请提供的神经网络训练方法的一种实施方式。
参阅图5，图5是本申请提供的神经网络训练方法一实施例的流程示意图。其中，该方法应用于上述实施例中的光学检测设备，以被该光学检测设备执行，该方法包括：
步骤21：获取包括若干待训练图像的训练集，其中，待训练图像中包括电路板中尖角的标注信息。
具体地，光学检测设备获取包括若干待训练图像的训练集。其中，待训练图像的训练集为光学检测设备标注的尖角区域中与至少一个电路板区域相匹配的尖角区域。电路板中尖角的标注信息通过电路板区域标注方法进行标注。
参阅图6，图6是本申请提供的电路板区域标注方法一实施例的流程示意图。其中，该方法应用于上述实施例中的光学检测设备，以被该光学检测设备执行，该方法包括：
步骤211：获取尖角模板。
参阅图7，图7是本申请中获取尖角模板一实施例的流程示意图。具体而言，步骤211可以包括如下步骤：
步骤2111：响应于用户的操作指令，在待训练图像中的电路板区域中标注操作指令对应的尖角区域。
参阅图8，图8是本申请中标注操作指令对应的尖角区域一实施例的界面示意图。其中，在该界面中显示有待训练图像中的一块电路板区域A，在该电路板区域A中具有多个尖角区域。用户通过向光学检测设备输入相应的标注数据，或者用户利用鼠标、电子画笔或触屏输入等手动方式，以在界面中标注出多个尖角区域。如图所述，在电路板区域P中标注有操作指令对应的尖角区域P1、尖角区域P2、尖角区域P3、尖角区域P4。
步骤2112：利用操作指令对应的尖角区域，建立尖角模板。
具体地，光学检测设备对用户标注的尖角区域依次进行特征识别、特征分割、特征提取，以建立电路元件模板。
请参阅图9，图9是本申请中建立尖角模板一实施例的流程示意图。具体而言，该方法可以包括如下步骤：
步骤21121：识别标注的电路元件，以对标注的电路元件进行特征分割。
在一实施例中，光学检测设备基于已分割的电路板区域识别到对应方向、位置和角度上需要特征分割的标注的尖角区域，再利用特征提取网络(如CNN、VGG、ResNet等)对标注的尖角区域进行特征分割，以分割出对应的尖角区域。
步骤21122：将分割的电路元件转换成对应的矩阵向量。
在一实施例中，光学检测设备通过字向量嵌入(word-embedding)网络将分割的尖角区域转换成对应的N*S维的矩阵向量，且每个分割的尖角区域对应一个矩阵向量。例如，一个尖角区域转换成对应的1*S维的矩阵向量，1表示尖角区域的个数，S表示矩阵的向量维度。
步骤21123：将矩阵向量输入纠正模型中，以得获取矩阵向量对应的尖角模板。
在一实施例中，预先训练好的纠正模型可以为Transformer模型，光学检测设备将每个矩阵向量输入训练好的Transformer模型进行模板纠正，以得到每个分割的尖角区域对应的纠正模板，即建立得到每个分割的已标注的尖角区域对应的尖角区域模板。
步骤21124：将对应的尖角模板进行排序，以得到尖角模板集合。
在一实施例中，光学检测设备将得到的所有尖角区域对应的尖角模板输入图像排序网络(如基于Attention的RNN、LSTM等)中，以将图像对应方向、位置和角度上的尖角模板进行排序，以得尖角模板集合。
在另一实施例中，获取尖角模板可以是获取预存的尖角模板；其中，预存的尖角模板包括至少一种尖角区域类型的尖角区域信息。
具体地，预存的尖角模板可以基于历史待训练图像中的电路板区域制作得到，其制作方法与上述实施例相似，这里不再赘述；其中，历史待训练图像为之前光学检测设备预先获取的待训练图像。预存的尖角模板可以预存在光学检测设备的存储介质或第三方机构(如，数字处理平台、云端服务器、外部终端等)中。
步骤212：利用尖角模板遍历待训练图像中的电路板区域，标注待训练图像中与尖角模板相匹配的尖角区域。
具体地，光学检测设备将获取的尖角模板在待训练图像中的电路板区域上进行遍历匹配，以得出电路板区域上的所有尖角区域与尖角模板的匹配度，并基于匹配度标注对应的尖角区域。其中，该匹配度与对应尖角区域的空间形状(包括平面形状和曲面形状)、位置、尺寸等信息相关。
进一步地，还可以拓展待训练图像，以对训练集进行更新。
请参阅图10，图10是本申请中对训练集进行更新一实施例的流程示意图。具体而言，该方法可以包括如下步骤：
步骤2121：对若干待训练图像进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理，得到若干扩展图像。
具体地，光学检测设备可以通过自身设备搭载的图像处理程序，或者光学检测设备将提取出的若干待训练图像发送至第三方机构(如，图像处理平台、云端服务器等)，以对若干待训练图像进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理，以得到若干扩展的待训练图像。
步骤2122：利用若干扩展图像对训练集进行更新。
请参阅图11，图11是本申请中利用若干扩展图像对训练集进行更新一实施例的流程示意图。具体而言，步骤2122，具体还包括如下步骤：
步骤21221：计算若干扩展图像相互之间的相似度。
其中，光学检测设备计算图像相似度的方法可基于相关方法中的欧氏距离法、黑盒距离法、余璇距离法等等，这里不做具体限定。
步骤21222：从若干扩展图像剔除相似度大于等于相似度阈值的扩展图像。
步骤21223：将剩余若干扩展图像添加到训练集进行更新。
具体地，光学检测设备将扩展图像中相似度大于预设的相似度阈值的图像剔除掉，以减小存储电路元件模板的冗余和提升匹配电路元件信息的速率。其中，预设的相似度阈值为70％-100％，例如，75％、85％、95％等。
进一步地，将剔除后的剩余若干扩展图像添加到训练集中，以更新训练集。
步骤22：将训练集输入神经网络进行训练，得到用于检测电路板图像中尖角的神经网络。
其中，神经网络采用样本平衡损失函数进行迭代训练。
具体地，光学检测设备将获取的训练集输入UNet卷积神经网络的编解码结构中进行训练，最终训练得到稳定语义分割模型，即电路板图像中尖角的神经网络。
在一实施例中，UNet卷积神经网络的整个网络是一个“U”的形状，Unet网络可以分成两部分，一是特征提取部分，其和其他卷积神经网络一样，都是通过堆叠卷积提取图像特征，通过池化来压缩特征图。另一部分为图像还原部分，通过上采样和卷积来来将压缩的图像进行还原。特征提取部分可以使用优秀网络，例如：Resnet50，VGG等。其中，若将尖角区域作为mask(掩膜)，则其范围较小，使用样本平衡损失函数(即focal loss)作为神经网络的损失函数来平衡正负例，最终得到能够输出尖角区域图像的损失函数不再降低的稳定语义分割模型。
在一实施例中，UNet卷积神经网络通过encoder部分将224x224x3的图像变成112x112x64的特征图，再通过上采样方法将特征图放大到224x224x32。最后通过卷积将特征图的通道数调节成和类别数一样。可选地，UNet卷积神经网络使用Mobinet作为主干特征提取网络，并且加载预训练权重来提升特征提取的能力。其中，decoder的还原方式和上述图像还原部分相似。
参阅图12，图12是本申请提供的一种尖角检测方法的流程示意图，其中，该方法应用于上述实施例中的智能终端，以被该智能终端执行，该方法包括：
步骤31：获取电路板的待检测图像。
可选地，光学检测设备可以通过AOI系统选择原始输入图像和生成辅助角点的输出图像路径来获取待标注图像。其中，光学检测设备选择需要处理的图像所在的文件夹作为输入，AOI系统默认在输入文件夹上一级目录下创建名为输入文件夹+“_ouput”的文件夹作为输出路径。
其中，光学检测设备在AOI系统的程序启动后，有两种提示信息，一个是输入的文件夹中图像数据有问题，会提示报错信息输出在文本框中，一个是成功运行完代码。报错的原因包括但不限于，(1)没有指定输入和输出路径，(2)文件夹和其下图片命名不符合命名规则(例如，使用中文命名或包含特殊符号)；(3)文件夹下图片不是符合要求的尖角假点的图像数据。其中，程序启动过程中显示有进度条，进度条显示处理的进度，在输出日志中显示当前处理图像名和所用时长。
可选地，光学检测设备可搭载有深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置，其可根据用户的输入，而产生对应的控制信息，以获取待检测图像。
可选地，待检测图像为PCB图像。在电路板区域上具有通过药剂蚀刻的PCB线路，在PCB线路上为细小且密集的电路元件及其尖角。PCB可应用于诸多的电子元器件，包括诸如摄影机和录像机、移动电话、智能电话、笔记本电脑、个人数字助理(PDA，Personal DigitalAssistant)、平板电脑(PAD)等的移动终端，也可以是数字广播发送器、数字TV、台式计算机、服务器等的固定终端。
可选地，在获取到待检测图像中尖角的检测信息之后，还可以利用得到的尖角的检测信息在待检测图像中生成尖角的标注框及其置信度。
其中，待检测图像的尖角的置信度可以通过上述训练的神经网络模型根据尖角模板与尖角区域的匹配度计算得出，待检测图像的尖角的置信度也可以通过第三方机构(如，数据处理平台、云端服务器等)计算得到。
步骤32：将待检测图像输入预先训练的神经网络，获取待检测图像中电路元件的检测信息。
具体地，智能终端可以将待检测图像输入上述实施例中的预先训练的UNet卷积神经网络模型，以从该卷积神经网络模型中直接得到待检测图像中电路元件的检测信息。
在一实施例中，UNet卷积神经网络可以分成两部分，一是特征提取部分，其和其他卷积神经网络一样，都是通过堆叠卷积提取图像特征，通过池化来压缩特征图。另一部分为为图像还原部分，通过上采样和卷积来来将压缩的图像进行还原。特征提取部分可以使用优秀网络，例如：Resnet50，VGG等。其中，若将尖角区域作为mask(掩膜)，则其范围较小，使用样本平衡损失函数(即focal loss)作为神经网络的损失函数来平衡正负例，最终得到能够输出尖角区域图像的损失函数不再降低的稳定语义分割模型。
在上述实施例中，若直接使用尖角区域标注方法可以对尖角区域进行正确的标注信息。但是由于尖角模板中模板较多，且模板匹配操作在CPU上实现，导致运行速度较慢，若通过卷积神经网络训练稳定的神经网络模型，并利用训练的神经网络模型直接来标注尖角区域中与至少一个尖角模板相匹配的尖角区域，能够加快AOI的检测流程和精准度。
参阅图13，图13是本申请提供的一种智能终端的结构示意图，该智能终端100包括处理器101以及与处理器101连接的存储器102，其中，存储器102中存储有程序数据，处理器101调取存储器102存储的程序数据，以执行上述的神经网络训练方法、尖角检测方法或者缺陷检测方法。
可选地，在一实施例中，处理器101应用于光学检测设备；处理器101用于执行存储器102中存储的程序数据以实现如下方法：获取包括若干待训练图像的训练集，其中，待训练图像中包括电路板中尖角的标注信息；将训练集输入神经网络进行训练，得到用于检测电路板图像中尖角的神经网络。
通过上述的方法，一方面，利用输入的训练集中电路板的尖角及其尖角的标注信息来训练检测尖角的神经网络，能够提高神经网络的精准度和效率。另一方面，利用训练的神经网络来检测电路板图像中尖角，能够优化尖角检测的流程以及提高尖角区域检测的精准度。
其中，处理器101还可以称为CPU(Central Processing Unit，中央处理单元)。处理器101可能是一种电子芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器102可以为内存条、TF卡等，可以存储智能终端100中的全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器102中。它根据处理器101指定的位置存入和取出信息。有了存储器102，智能终端100才有记忆功能，才能保证正常工作。智能终端100的存储器102按用途可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的智能终端100的实施方式仅仅是示意性的，例如，响应于用户的操作指令，标注操作指令对应的尖角区域；对电路元件图像进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理等等，其仅仅为一种集合的方式，实际实现时可以有另外的划分方式，例如尖角图像与预存的尖角模板可以结合或者可以集合到另一个系统中，或一些特征可以忽略，或不执行。
另外，在本申请各个实施例中的各功能单元(如图像获取模块和模板提取模块等)可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
参阅图14，图14是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质110中存储有能够实现上述所有方法的程序指令111。
在本申请各个实施例中的各功能单元集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质110中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机可读存储介质110在一个程序指令111中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)、电子设备(例如MP3、MP4等，也可以是手机、平板电脑、可穿戴设备等移动终端，也可以是台式电脑等)或者处理器(processor)以执行本申请各个实施方式方法的全部或部分步骤。
可选地，在一实施例中，程序指令111应用于光学检测设备；程序指令111在被处理器执行时，用以实现如下方法：获取包括若干待训练图像的训练集，其中，待训练图像中包括电路板中尖角的标注信息；将训练集输入神经网络进行训练，得到用于检测电路板图像中尖角的神经网络。
通过上述的方法，一方面，利用输入的训练集中电路板的尖角及其尖角的标注信息来训练检测尖角的神经网络，能够提高神经网络的精准度和效率。另一方面，利用训练的神经网络来检测电路板图像中尖角，能够优化尖角检测的流程以及提高尖角区域检测的精准度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质110(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可读存储介质110实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可读存储介质110到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令111产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机可读存储介质110也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储介质110中的程序指令111产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机可读存储介质110也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的程序指令111提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一实施例中，这些可编程数据处理设备上包括处理器和存储器。处理器还可以称为CPU(Central Processing Unit，中央处理单元)。处理器可能是一种电子芯片，具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以为内存条、TF卡等，它根据处理器指定的位置存入和取出信息。存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种神经网络训练方法，其特征在于，所述神经网络训练方法包括：
获取包括若干待训练图像的训练集，其中，待训练图像中包括电路板中尖角的标注信息；
将所述训练集输入所述神经网络进行训练，得到用于检测电路板图像中尖角的神经网络。
2.根据权利要求1所述的神经网络训练方法，其特征在于，
所述神经网络训练方法，还包括：
获取尖角模板；
利用所述尖角模板遍历所述待训练图像中的电路板区域，标注所述待训练图像中与所述尖角模板相匹配的尖角区域。
3.根据权利要求1或2所述的神经网络训练方法，其特征在于，
所述获取包括若干待训练图像的训练集之后，所述神经网络训练方法还包括：
对所述若干待训练图像进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理，得到若干扩展图像；
利用所述若干扩展图像对所述训练集进行更新。
4.根据权利要求1所述的神经网络训练方法，其特征在于，
所述神经网络采用样本平衡损失函数进行迭代训练。
5.一种尖角检测方法，其特征在于，所述尖角检测方法包括：
获取电路板的待检测图像；
将所述待检测图像输入预先训练的神经网络，获取所述待检测图像中尖角的检测信息；
其中，所述预先训练的神经网络通过权利要求1至4任一项所述的神经网络训练方法训练得到。
6.根据权利要求5所述的尖角检测方法，其特征在于，
所述获取所述待检测图像中尖角的检测信息之后，所述尖角检测方法还包括：
利用所述尖角的检测信息在所述待检测图像中生成所述尖角的标注框及其置信度。
7.一种缺陷检测方法，其特征在于，所述缺陷检测方法包括：
获取电路板的设计图和采集图像；
在所述采集图像中获取尖角所在区域；
在所述尖角所在区域以外的区域匹配所述设计图和所述采集图像；
按照所述设计图和所述采集图像的匹配结果，输出缺陷信息；
其中，所述尖角所在区域为通过预先训练的神经网络检测得到。
8.根据权利要求7所述的缺陷检测方法，其特征在于，
所述在所述尖角所在区域以外的区域匹配所述设计图和所述采集图像，包括：
获取所述设计图和所述采集图像的映射矩阵；
基于所述映射矩阵将所述采集图像上的尖角所在区域映射到所述设计图，生成尖角掩膜；
利用所述设计图中尖角掩膜以外的区域，与所述采集图像进行匹配。
9.一种光学检测设备，其特征在于，所述光学检测设备包括：
图像获取模块，用于获取电路板的设计图和采集图像；
区域提取模块，用于在所述采集图像中获取尖角所在区域；其中，所述尖角所在区域为通过预先训练的神经网络检测得到；
区域匹配模块，用于在所述尖角所在区域以外的区域匹配所述设计图和所述采集图像；
缺陷输出模块，用于按照所述设计图和所述采集图像的匹配结果，输出缺陷信息。
10.一种智能终端，其特征在于，所述智能终端包括处理器以及与所述处理器连接的存储器，其中，所述存储器中存储有程序数据，所述处理器调取所述存储器存储的所述程序数据，以执行如权利要求1-4任意一项所述的神经网络训练方法、权利要求5-6任意一项所述的尖角检测方法或者权利要求7-8任意一项所述的缺陷检测方法。
11.一种计算机可读存储介质，内部存储有程序指令，其特征在于，所述程序指令被执行，以实现如权利要求1-4任意一项所述的神经网络训练方法、权利要求5-6任意一项所述的尖角检测方法或者权利要求7-8任意一项所述的缺陷检测方法。
CN202210494737.8A 2022-05-07 2022-05-07 神经网络训练方法、相关方法、设备、终端及存储介质 Pending CN115035032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210494737.8A CN115035032A (zh) 2022-05-07 2022-05-07 神经网络训练方法、相关方法、设备、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210494737.8A CN115035032A (zh) 2022-05-07 2022-05-07 神经网络训练方法、相关方法、设备、终端及存储介质

Publications (1)

Publication Number Publication Date
CN115035032A true CN115035032A (zh) 2022-09-09

Family

ID=83119538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210494737.8A Pending CN115035032A (zh) 2022-05-07 2022-05-07 神经网络训练方法、相关方法、设备、终端及存储介质

Country Status (1)

Country Link
CN (1) CN115035032A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503401A (zh) * 2023-06-26 2023-07-28 成都数联云算科技有限公司 一种pcb连板目标检测方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503401A (zh) * 2023-06-26 2023-07-28 成都数联云算科技有限公司 一种pcb连板目标检测方法、装置、设备和介质
CN116503401B (zh) * 2023-06-26 2023-09-22 成都数联云算科技有限公司 一种pcb连板目标检测方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN110008956B (zh) 发票关键信息定位方法、装置、计算机设备及存储介质
CN109948590B (zh) 姿态问题检测方法及装置
TW201915943A (zh) 對圖像內目標物體進行自動標註的方法、裝置及系統
CN111950318A (zh) 一种二维码图像的识别方法、设备及存储介质
CN113673519B (zh) 基于文字检测模型的文字识别方法及其相关设备
CN107077739A (zh) 使用单目相机的三维标记模型构建和实时跟踪
CN115035032A (zh) 神经网络训练方法、相关方法、设备、终端及存储介质
CN116152166A (zh) 基于特征相关性的缺陷检测方法及相关装置
CN115810197A (zh) 一种多模态电力表单识别方法及装置
CN112950528A (zh) 证件姿态确定方法、模型训练方法、装置、服务器及介质
CN112232315B (zh) 文本框检测方法、装置、电子设备和计算机存储介质
CN112597940B (zh) 证件图像识别方法、装置及存储介质
CN115731554A (zh) 快件面单识别方法、装置、计算机设备及存储介质
CN111325106B (zh) 生成训练数据的方法及装置
CN104881641A (zh) 基于移动设备的问卷和表格数字化识别方法及系统
Kiyokawa et al. Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers
US20220084291A1 (en) Augmented reality display method and device for chip structure, and readable storage medium
CN110717060A (zh) 图像mask的过滤方法、装置及存储介质
CN116206320A (zh) 图纸特征与数字匹配的方法、系统、设备及介质
CN112365399B (zh) 基于深度学习的风机叶片图像全景拼接方法和系统
CN114998347A (zh) 一种半导体面板角点定位方法及装置
CN115205575A (zh) 电路元件标注方法、相关方法、设备、终端及存储介质
CN114494751A (zh) 证照信息识别方法、装置、设备及介质
JP5975484B2 (ja) 画像処理装置
CN112084364A (zh) 对象分析方法、局部图像搜索方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination