CN112734706A - 电子装置及焊点检测方法 - Google Patents

电子装置及焊点检测方法 Download PDF

Info

Publication number
CN112734706A
CN112734706A CN202011619513.2A CN202011619513A CN112734706A CN 112734706 A CN112734706 A CN 112734706A CN 202011619513 A CN202011619513 A CN 202011619513A CN 112734706 A CN112734706 A CN 112734706A
Authority
CN
China
Prior art keywords
image
welding
region
preset
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011619513.2A
Other languages
English (en)
Inventor
陈文钦
詹念怡
张继兴
郭龙真
芈绍桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fu Tai Hua Precision Electronic Zhengzhou Co Ltd
Original Assignee
Fu Tai Hua Precision Electronic Zhengzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fu Tai Hua Precision Electronic Zhengzhou Co Ltd filed Critical Fu Tai Hua Precision Electronic Zhengzhou Co Ltd
Priority to CN202011619513.2A priority Critical patent/CN112734706A/zh
Publication of CN112734706A publication Critical patent/CN112734706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种焊点检测方法，包括：接收含有至少一个焊点的原始图像；对原始图像进行预处理；从经过预处理的图像提取含有至少一个焊点的感兴趣区域图像；根据感兴趣区域图像产生比对子图像；通过预设的图像分类模型判断比对子图像是否异常，进而以预设的判断规则来判断感兴趣区域图像表示的产品焊接状态是否异常；及输出判断结果。本发明还提供一种电子装置，可执行焊点检测方法。本发明通过图像分类模型对焊点图像进行分类，从而基于深度学习对焊点进行自动化检测，无需人工参与，降低了人力成本，同时提高了焊点的检测精度。

Description

电子装置及焊点检测方法
技术领域
本申请涉及焊接技术领域，尤其涉及一种电子装置及焊点检测方法。
背景技术
现如今，激光焊接技术广泛应用于3C、汽车、玩具、金属结构等产品的制造加工。在产品的激光焊接制程中，容易出现虚焊、漏焊、焊点偏位等问题，因此，焊点的焊接质量检测是激光焊接制程中重要的项目。目前通常通过人工对焊点的焊接质量进行检测，然而人工检测容易出现人为误差，如此既增加了人工成本，也降低了焊点的检测精度。
发明内容
有鉴于此，有必要提供一种电子装置及焊点检测方法，可以基于预设的深度学习模型对焊点进行自动化的质量检测。
本申请的第一方面提供一种焊点检测方法，包括以下步骤：
接收含有至少一个焊点的原始图像；
对所述原始图像进行预处理；
从经过所述预处理的图像提取含有至少一个焊点的感兴趣区域图像；
根据所述感兴趣区域图像产生比对子图像；
通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常；及
输出判断结果。
可选地，所述接收含有至少一个焊点的原始图像的步骤包括：
从外部设备接收实时拍摄或在预设时间段内拍摄的所述原始图像。
可选地，所述接收含有至少一个焊点的原始图像的步骤进一步包括：
将所述外部设备实时拍摄或在预设时间段内拍摄的所述原始图像保存在数据库或服务器中；
从所述数据库或所述服务器实时或每隔一定时段接收含有至少一个焊点的原始图像。
可选地，所述对所述原始图像进行预处理的步骤包括：
对所述原始图像进行中值滤波和二值化。
可选地，所述对所述原始图像进行预处理的步骤进一步包括：
对经过所述中值滤波和二值化的图像进行腐蚀膨胀。
可选地，所述从经过所述预处理的图像提取含有至少一个焊点的感兴趣区域图像的步骤包括：
根据所述焊点在所述经过所述预处理的图像中的位置和形状中的一者或两者提取所述感兴趣区域图像。
可选地，当所述焊点在所述经过所述预处理的图像中围绕特定圆形物件的圆周排列时，根据所述特定圆形物件的中心和半径提取所述感兴趣区域图像，所述特定圆形物件包括与所述焊点关联的圆形物件或与所述焊点共存的圆形物件。
可选地，所述根据所述感兴趣区域图像产生比对子图像的步骤包括：
通过分割所述感兴趣图像产生所述比对子图像。
可选地，所述焊点检测方法在所述通过分割所述感兴趣图像产生所述比对子图像之前，还包括：
对所述感兴趣图像进行模板匹配，排除所述感兴趣图像中不含有焊点的部分。
可选地，所述通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常的步骤包括：
根据所述焊点对应的产品的良率要求或产品的类型判断所述比对子图像是否异常，进而以所述预设的判断规则判断所述感兴趣区域图像表示的产品焊接状态是否异常。
可选地，在所述通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常的步骤之前，还包括：
对产生的比对子图像进行数据增强，产生构成训练图像集的部分训练图像；及
使用包含所述部分训练图像的训练图像集训练预先建立的图像分类模型，得到所述预设的图像分类模型，所述预设的图像分类模型具有所述预设的判断规则。
可选地，所述预设的判断规则包括：
当所述感兴趣区域图像对应的所有比对子图像满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态正常；当感兴趣区域图像对应的任一比对子图像不满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用；或
当所述感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量大于或等于预设阈值时，所述感兴趣区域图像表示的产品焊接状态正常；当所述感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量小于预设阈值时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用；或
当所述感兴趣区域图像对应的所有比对子图像中存在至少一个比对子图像满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态正常；当所述感兴趣区域图像对应的所有比对子图像都不满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用。
可选地，所述预设阈值为整数，所述预设阈值的绝对值小于或等于与所述感兴趣区域图像对应的所有比对子图像的数量。
可选地，所述焊点检测方法在所述输出判断结果之后，还包括：
发送所述判断结果至存储器和显示器中的一者或两者。
可选地，所述焊点检测方法在所述输出判断结果之后，还包括：
根据所述判断结果进行人员绩效分析、良率分析或对所述图像分类模型的反馈。
本申请的第二方面提供一种电子装置，包括：
接收器，用于接收含有至少一个焊点的原始图像；
处理器，与所述接收器通信连接，用于：
接收含有至少一个焊点的原始图像；
对所述原始图像进行预处理；
从经过所述预处理的图像提取含有至少一个焊点的感兴趣区域图像；
根据所述感兴趣区域图像产生比对子图像；
通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常；及
输出判断结果。
上述电子装置及焊点检测方法通过图像分类模型对焊点图像进行分类，从而基于深度学习对焊点进行自动化检测，无需人工参与，降低了人力成本，同时提高了焊点的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请较佳实施方式提供的焊点检测方法的应用环境架构示意图。
图2是本申请实施例一提供的焊点检测方法的流程图。
图3是本申请较佳实施方式提供的原始图像中的感兴趣图像。
图4是本申请实施例二提供的焊点检测方法的流程图。
图5是本申请实施例三提供的电子装置的结构示意图。
主要元件符号说明
电子装置 1
处理器 10
存储器 20
计算机程序 30
接收器 40
显示器 50
发送器 60
服务器 2
摄像装置 3
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1所示，为本申请较佳实施方式提供的焊点检测方法的应用环境架构示意图。
本申请中的焊点检测方法应用在电子装置1中。电子装置1与至少一个服务器2、摄像装置3通过网络建立通信连接。网络可以是有线网络，也可以是无线网络，例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。蜂窝网络可以是4G网络或5G网络。
电子装置1可以安装有焊点检测程序。电子装置1可以是个人电脑和服务器等。服务器可以是单一的服务器、服务器集群或云端服务器等。
服务器2可以是单一的服务器、服务器集群或云端服务器等，用于存储含有产品焊点的图像。摄像装置3可以集成有摄像头和光源，用于拍摄产品的焊点。
在一实施方式中，电子装置1通过通信连接与服务器2及/或摄像装置3实现数据交互，以获取含有产品焊点的图像，并对产品焊点进行检测，以实现本申请的焊点检测方法。
实施例一
请参阅图2所示，为本申请一实施例的焊点检测方法的流程图。根据不同的需求，流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤101，接收含有至少一个焊点的原始图像。
接收含有至少一个焊点的原始图像，从而根据原始图像对产品焊点的焊接状态进行检测。原始图像包括产品的所有焊点图像，可以为黑白图像，也可以为彩色图像。接收的方式可以为上述的有线网络或无线网络。
在一实施方式中，从外部设备接收实时拍摄或预设时间段内拍摄的原始图像。
在一实施方式中，步骤101进一步包括：将外部设备实时拍摄或在预设时间段内拍摄的原始图像保存在存储器的数据库或服务器2中，通过接收器从数据库或服务器2实时或每隔一定时段接收含有至少一个焊点的原始图像。其中，一定时段可以为一天。
在一实施方式中，外部设备为摄像装置3，例如CCD相机。摄像装置3设于一用于焊接产品的焊接机台，用于拍摄产品的图像。其中，摄像装置3可以是独立于焊接机台之外的单独设备，也可以是固定装配于焊接机台的设备。为了使每个摄像装置3拍摄的原始图像在图像尺寸、成像区域等方面的差异尽量小，以减少后续图像处理的数据量，提高处理效率，各个摄像装置3的拍摄条件尽量调整一致，拍摄条件例如包括辅助照明光亮度，焦距，景深等。
步骤102，对原始图像进行预处理。
对原始图像进行预处理，以去除原始图像中的噪点和降低图像的维度，从而突出目标区域，减少后续图像处理的数据量。
在一实施方式中，步骤102包括：对原始图像进行中值滤波和二值化处理。其中，中值滤波是将原始图像中每一像素点的灰度值设置为像素点邻域窗口内的所有像素点灰度值的中值，用于消除一些噪点，对原始图像进行降噪。二值化处理是将原始图像上的像素点的灰度值设置为0或255，用于对原始图像进行降维，以减少数据量，从而凸出轮廓，进而提高检测效率。其中，中值滤波处理和二值化处理的顺序可以交换。此外，预处理不限于中值滤波处理和二值化处理，还可以采用具有相同功能的其他处理方法。
在一实施方式中，步骤102进一步包括：对经过中值滤波和二值化的图像进行腐蚀膨胀处理。其中，先对图像进行腐蚀处理，再进行膨胀处理，也称为对图像执行开操作。腐蚀处理可以使目标区域范围变小，实质上是造成图像的边界收缩，以消除小且无意义的目标物，以达到进一步降噪的目的。膨胀处理使目标区域范围变大，将与目标区域接触的背景点合并到目标物中，使目标边界向外部扩张，可以填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪点，同时使目标区域的特征更加明显，便于选取。
步骤103，从经过预处理的图像提取含有至少一个焊点的感兴趣区域图像。
从经过预处理的图像提取含有至少一个焊点的感兴趣区域图像，以去除图像中不含焊点的部分图像对焊点检测的干扰，并减少图像对比的数据量，提高处理效率，进而提高检测效率。
在一实施方式中，步骤103包括：根据焊点在经过预处理的图像中的位置和形状中的一者或两者提取感兴趣区域图像。
请参阅图3所示，在一实施方式中，识别出所有焊点位于图像中圆形物件的外周侧，呈弧形排布。即，当焊点在经过预处理的图像中围绕特定圆形物件(图3中的圆形部分)的圆周排列时，确定圆形物件的中心和半径，然后根据特定圆形物件的中心和半径提取感兴趣区域图像，特定圆形物件包括与焊点关联的圆形物件或与焊点共存的圆形物件。即，感兴趣区域图像为图像中除去圆形物件所在区域所剩余的图像。
步骤104，根据感兴趣区域图像产生比对子图像。
感兴趣区域图像通常尺寸较大，不便于图像分类模型的高速处理。因此，需要根据图像分类模型对输入图像的要求，根据感兴趣区域图像产生比对子图像，以将产生的比对子图像输入到图像分类模型中进行高速处理。
在一实施方式中，步骤104包括：对感兴趣图像进行模板匹配，排除感兴趣图像中不含有焊点的部分，然后通过分割感兴趣图像产生对比子图像。
如图3所示，在一实施方式中，将焊点的模板图像与感兴趣图像进行特征匹配，保留感兴趣图像中含有焊点的部分，例如图3中的方框部分，并排除感兴趣图像中不含有焊点的部分，例如图3中方框部分之外的其他部分。然后，基于后续预设的图像分类模型的模型参数将经过模板匹配的感兴趣图像分割为多个对比子图像。
在其他实施方式中，也可以将不含有焊点的模板图像与感兴趣图像进行特征匹配，以排除感兴趣图像中不含有焊点的部分，同时保留感兴趣图像中含有焊点的部分。
在一实施方式中，步骤104进一步包括：对分割形成的对比子图像进行尺寸归一化处理。尽管每台焊接机台的焊接条件尽量调整一致，但是也不可避免由于环境光照、焊接治具安装状态等因素造成原始图像尺寸不一致，为了将对比子图像输入到图像分类模型，需要对对比子图像进行尺寸归一化处理，以统一图像尺寸。
步骤105，通过预设的图像分类模型判断比对子图像是否异常，进而以预设的判断规则来判断感兴趣区域图像表示的产品焊接状态是否异常。
通过预设的图像分类模型及预设的判断规则来判断感兴趣区域图像表示的产品焊接状态是否异常，可以根据不同的判断规则对产品焊接状态进行检测。
在一实施方式中，步骤105包括：对产生的比对子图像进行数据增强，产生构成训练图像集的部分训练图像，使用包含部分训练图像的训练图像集训练预先建立的图像分类模型，得到预设的图像分类模型。其中，预设的图像分类模型具有预设的判断规则。然后，通过预设的图像分类模型判断比对子图像是否异常，进而以预设的判断规则来判断感兴趣区域图像表示的产品焊接状态是否异常。
在一实施方式中，对比对子图像进行数据增强的方式包括翻转、旋转、缩放、裁剪、移位及高斯噪声中的一者或多者。在一实施方式中，预先建立的图像分类模型为卷积神经网络模型。使用经过数据增强的部分训练图像构成的训练图像集对卷积神经网络模型进行训练，以得到预设的图像分类模型。
在一实施方式中，根据预设的训练规则对卷积神经网络模型进行训练。预设的训练规则可以根据产品类型，质量等级等设定。例如，当产品属于使用频率较低的类型(例如蓝牙)时，预设的训练规则可以设定为标准适当降低的规则。反之，设定标准适当提高的规则。例如，当用户对产品质量要求较低时，预设的训练规则可以设定为标准适当降低的规则。反之，设定标准适当提高的规则。
在第一实施方式中，预设的训练规则为第一训练规则。在第一训练规则中，当感兴趣区域图像中的所有焊点都焊接正常时，检测结果为判定感兴趣区域图像表示的产品焊接状态正常；当感兴趣区域图像中的任一焊点焊接异常时，检测结果为判定感兴趣区域图像表示的产品焊接状态异常；当感兴趣区域图像不可用时，例如，感兴趣图像对应的比对子图像的尺寸与预设的图像分类模型不匹配，检测结果不可用。
在第二实施方式中，预设的训练规则为第二训练规则。在第二训练规则中，当感兴趣区域图像中焊接正常的焊点的数量大于或等于预设阈值时，检测结果为判定感兴趣区域图像表示的产品焊接状态正常；当感兴趣区域图像中焊接正常的焊点的数量小于预设阈值时，检测结果为判定感兴趣区域图像表示的产品焊接状态异常；当感兴趣区域图像不可用时，检测结果不可用。
在第三实施方式中，预设的训练规则为第三训练规则。在第三训练规则中，当感兴趣区域图像中存在至少一个焊点焊接正常时，检测结果为判定感兴趣区域图像表示的产品焊接状态正常；当感兴趣区域图像中的所有焊点都焊接异常时，检测结果为判定感兴趣区域图像表示的产品焊接状态异常；当感兴趣区域图像不可用时，检测结果不可用。
预设阈值为整数，预设阈值的绝对值小于或等于与感兴趣区域图像对应的所有比对子图像的数量。
对应地，所述预设的判断规则包括：当所述感兴趣区域图像对应的所有比对子图像满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态正常；当感兴趣区域图像对应的任一比对子图像不满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用；或当所述感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量大于或等于预设阈值时，所述感兴趣区域图像表示的产品焊接状态正常；当所述感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量小于预设阈值时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用；或当所述感兴趣区域图像对应的所有比对子图像中存在至少一个比对子图像满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态正常；当所述感兴趣区域图像对应的所有比对子图像都不满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用。
例如，假设所有比对子图像的数量为9，预设阈值可以是5。即，图像分类模型判定与感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量大于或等于5时，图像分类模型判定感兴趣区域图像表示的产品焊接状态正常。图像分类模型判定与感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量小于5时，图像分类模型判定感兴趣区域图像表示的产品焊接状态异常。
步骤106，输出判定结果。
通过上述步骤101-106，能够以预设的判断规则来判断感兴趣区域图像表示的产品焊接状态是否异常。通过图像分类模型对焊点图像进行分类，从而基于深度学习对焊点进行自动化检测，无需人工参与，降低了人力成本，同时提高了焊点的检测精度。
在一实施方式中，除了步骤101-106，还可以包括步骤107，通过发送器发送判定结果至存储器和/或显示器。存储器和/或显示器可以位于焊接机台本地，以便操作焊接机台的现场工作人员及时查看判定结果。替代地，存储器和/或显示器也可以位于焊接机台远端，例如中控室，以便远程监视所有判定结果，从整体上管控所有焊接机台，为改善焊接质量提供协助。
实施例二
请参阅图4所示，为本申请另一实施例的焊点检测方法的流程图。根据不同的需求，流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤201-206的操作与实施例一的步骤101-106的操作相同，为了简洁起见，将省略步骤201-206的说明。实施例二与实施例一的不同之处在于，除了步骤201-206，还包括步骤207。
步骤207，分析判定结果。
在一实施方式中，根据判定结果对人员绩效进行分析。例如，根据判定结果对白班人员各自负责操作焊接机台时的焊接异常率进行统计分析，根据判定结果对夜班人员各自负责操作焊接机台时的焊接异常率进行统计分析，根据判定结果对每个人员在一天、一周、一月内操作焊接机台时的焊接异常率进行统计分析等。
在另一实施方式中，根据判定结果对焊接机台进行良率分析。例如，根据判定结果对所有生产线的焊接机台在一天、一周、一月内焊接时的焊接异常率进行统计分析，并能够按照生产线-焊接机台-治具找出报警最多的焊接机台，以及负责治具安装、维护的操作人员。
在另一实施方式中，根据判定结果对图像分类模型进行反馈。例如，根据实际的焊接结果与图像分类模型的判定结果进行比较，计算图像分类模型的判定准确率，在准确率较低时，可以根据比较结果来进一步训练图像分类模型。
可以理解，在其他实施方式中，分析判定结果的步骤也可以在步骤206之前或同步进行。
实施例三
请参阅图5所示，为本发明一实施例提供的电子装置的结构示意图。
电子装置1包括，但不仅限于，处理器10、存储器20、存储在存储器20中并可在处理器10上运行的计算机程序30、接收器40、显示器50及发送器60。例如，计算机程序30为焊点检测程序。处理器10执行计算机程序30时实现焊点检测方法中的步骤，例如图2所示的步骤101～107，图4所示的步骤201～207。
本领域技术人员可以理解，示意图仅仅是电子装置1的示例，并不构成对电子装置1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器10也可以是任何常规的处理器等，处理器10是电子装置1的控制中心，利用各种接口和线路连接整个电子装置1的各个部分。
存储器20可用于存储计算机程序30和/或模块/单元，处理器10通过运行或执行存储在存储器20内的计算机程序和/或模块/单元，以及调用存储在存储器20内的数据，实现电子装置1的各种功能。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子装置1的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器20可以包括易失性存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
电子装置1还包括通信器，接收器40和发送器60集成于通信器。接收器40用于接收数据，发送器60用于发送数据。显示器50为LCD显示器或OLED显示器。
电子装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)等。
本申请所提供的电子装置及焊点检测方法通过图像分类模型对焊点图像进行分类，从而基于深度学习对焊点进行自动化检测，无需人工参与，降低了人力成本，同时提高了焊点的检测精度。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由同一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术用户应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (16)

1.一种焊点检测方法，包括以下步骤：
接收含有至少一个焊点的原始图像；
对所述原始图像进行预处理；
从经过所述预处理的图像提取含有至少一个焊点的感兴趣区域图像；
根据所述感兴趣区域图像产生比对子图像；
通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常；及
输出判断结果。
2.如权利要求1所述的焊点检测方法，其中所述接收含有至少一个焊点的原始图像的步骤包括：
从外部设备接收实时拍摄或在预设时间段内拍摄的所述原始图像。
3.如权利要求2所述的焊点检测方法，其中所述接收含有至少一个焊点的原始图像的步骤进一步包括：
将所述外部设备实时拍摄或在预设时间段内拍摄的所述原始图像保存在数据库或服务器中；
从所述数据库或所述服务器实时或每隔一定时段接收含有至少一个焊点的原始图像。
4.如权利要求1所述的焊点检测方法，其中所述对所述原始图像进行预处理的步骤包括：
对所述原始图像进行中值滤波和二值化。
5.如权利要求4所述的焊点检测方法，其中所述对所述原始图像进行预处理的步骤进一步包括：
对经过所述中值滤波和二值化的图像进行腐蚀膨胀。
6.如权利要求1所述的焊点检测方法，其中所述从经过所述预处理的图像提取含有至少一个焊点的感兴趣区域图像的步骤包括：
根据所述焊点在所述经过所述预处理的图像中的位置和形状中的一者或两者提取所述感兴趣区域图像。
7.根据权利要求6所述的焊点检测方法，其中当所述焊点在所述经过所述预处理的图像中围绕特定圆形物件的圆周排列时，根据所述特定圆形物件的中心和半径提取所述感兴趣区域图像，所述特定圆形物件包括与所述焊点关联的圆形物件或与所述焊点共存的圆形物件。
8.如权利要求1所述的焊点检测方法，其中所述根据所述感兴趣区域图像产生比对子图像的步骤包括：
通过分割所述感兴趣图像产生所述比对子图像。
9.如权利要求8所述的焊点检测方法，其中在所述通过分割所述感兴趣图像产生所述比对子图像之前，还包括：
对所述感兴趣图像进行模板匹配，排除所述感兴趣图像中不含有焊点的部分。
10.如权利要求1所述的焊点检测方法，其中所述通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常的步骤包括：
根据所述焊点对应的产品的良率要求或产品的类型判断所述比对子图像是否异常，进而以所述预设的判断规则判断所述感兴趣区域图像表示的产品焊接状态是否异常。
11.如权利要求1所述的焊点检测方法，其中在所述通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常的步骤之前，还包括：
对产生的比对子图像进行数据增强，产生构成训练图像集的部分训练图像；及
使用包含所述部分训练图像的训练图像集训练预先建立的图像分类模型，得到所述预设的图像分类模型，所述预设的图像分类模型具有所述预设的判断规则。
12.如权利要求1所述的焊点检测方法，其中所述预设的判断规则包括：
当所述感兴趣区域图像对应的所有比对子图像满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态正常；当感兴趣区域图像对应的任一比对子图像不满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用；或
当所述感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量大于或等于预设阈值时，所述感兴趣区域图像表示的产品焊接状态正常；当所述感兴趣区域图像对应的所有比对子图像中满足预设的比对子图像正常标准的数量小于预设阈值时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用；或
当所述感兴趣区域图像对应的所有比对子图像中存在至少一个比对子图像满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态正常；当所述感兴趣区域图像对应的所有比对子图像都不满足预设的比对子图像正常标准时，所述感兴趣区域图像表示的产品焊接状态异常；当所述感兴趣区域图像不可用时，检测结果不可用。
13.如权利要求12所述的焊点检测方法，其中所述预设阈值为整数，所述预设阈值的绝对值小于或等于与所述感兴趣区域图像对应的所有比对子图像的数量。
14.如权利要求1所述的焊点检测方法，在所述输出判断结果之后，还包括：
发送所述判断结果至存储器和显示器中的一者或两者。
15.如权利要求1所述的焊点检测方法，在所述输出判断结果之后，还包括：
根据所述判断结果进行人员绩效分析、良率分析或对所述图像分类模型的反馈。
16.一种电子装置，包括：
接收器，用于接收含有至少一个焊点的原始图像；
处理器，与所述接收器通信连接，用于：
接收含有至少一个焊点的原始图像；
对所述原始图像进行预处理；
从经过所述预处理的图像提取含有至少一个焊点的感兴趣区域图像；
根据所述感兴趣区域图像产生比对子图像；
通过预设的图像分类模型判断所述比对子图像是否异常，进而以预设的判断规则来判断所述感兴趣区域图像表示的产品焊接状态是否异常；及
输出判断结果。
CN202011619513.2A 2020-12-31 2020-12-31 电子装置及焊点检测方法 Pending CN112734706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011619513.2A CN112734706A (zh) 2020-12-31 2020-12-31 电子装置及焊点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011619513.2A CN112734706A (zh) 2020-12-31 2020-12-31 电子装置及焊点检测方法

Publications (1)

Publication Number Publication Date
CN112734706A true CN112734706A (zh) 2021-04-30

Family

ID=75608499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011619513.2A Pending CN112734706A (zh) 2020-12-31 2020-12-31 电子装置及焊点检测方法

Country Status (1)

Country Link
CN (1) CN112734706A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972350A (zh) * 2022-08-01 2022-08-30 深圳市信润富联数字科技有限公司 模具异常检测方法、装置、设备及存储介质
CN115423811A (zh) * 2022-11-04 2022-12-02 长春光华微电子设备工程中心有限公司 一种芯片上焊点的注册方法和装置
CN117095000A (zh) * 2023-10-19 2023-11-21 杭州和利时自动化有限公司 一种设备检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备
CN110596118A (zh) * 2019-08-19 2019-12-20 兰考裕富精密科技有限公司 印刷图案检测方法及印刷图案检测装置
CN111598827A (zh) * 2019-02-19 2020-08-28 富泰华精密电子（郑州）有限公司 外观瑕疵检测方法、电子装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备
CN111598827A (zh) * 2019-02-19 2020-08-28 富泰华精密电子（郑州）有限公司 外观瑕疵检测方法、电子装置及存储介质
CN110596118A (zh) * 2019-08-19 2019-12-20 兰考裕富精密科技有限公司 印刷图案检测方法及印刷图案检测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张传雷等: "《基于图像分析的植物及其病虫害识别方法研究》", 31 October 2018 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972350A (zh) * 2022-08-01 2022-08-30 深圳市信润富联数字科技有限公司 模具异常检测方法、装置、设备及存储介质
CN115423811A (zh) * 2022-11-04 2022-12-02 长春光华微电子设备工程中心有限公司 一种芯片上焊点的注册方法和装置
CN115423811B (zh) * 2022-11-04 2023-03-24 长春光华微电子设备工程中心有限公司 一种芯片上焊点的注册方法和装置
CN117095000A (zh) * 2023-10-19 2023-11-21 杭州和利时自动化有限公司 一种设备检测方法及装置
CN117095000B (zh) * 2023-10-19 2024-01-26 杭州和利时自动化有限公司 一种设备检测方法及装置

Similar Documents

Publication Publication Date Title
CN112734706A (zh) 电子装置及焊点检测方法
US9563814B1 (en) Method and apparatus for recovering a vehicle identification number from an image
US10176531B2 (en) Method and apparatus for receiving an insurance quote from an image
US10204282B2 (en) Method and apparatus for verifying vehicle ownership from an image
US20200265575A1 (en) Flaw inspection apparatus and method
US20220366544A1 (en) Method for high resolution image inpainting, processing system and associated computer program product
US20180025246A1 (en) Realtime object measurement
US10242284B2 (en) Method and apparatus for providing loan verification from an image
CN111193961B (zh) 视频编辑设备和方法
US9760776B1 (en) Method and apparatus for obtaining a vehicle history report from an image
US20110199491A1 (en) Calibration index determination device, calibration device, calibration performance evaluation device, system, method, and program
US20180012097A1 (en) Method and apparatus for receiving a broadcast radio service offer from an image
US10210417B2 (en) Method and apparatus for receiving a refinancing offer from an image
CN110569840A (zh) 目标检测方法及相关装置
US10163025B2 (en) Method and apparatus for receiving a location of a vehicle service center from an image
US10210396B2 (en) Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
US10192130B2 (en) Method and apparatus for recovering a vehicle value from an image
US20170352170A1 (en) Nearsighted camera object detection
US10572758B1 (en) Method and apparatus for receiving a financing offer from an image
CN116596903A (zh) 缺陷识别方法、装置、电子设备及可读存储介质
JP2014174803A (ja) パターン認識のためのモアレ除去方法およびこの方法を用いたモアレ除去装置ならびにプログラム
CN115880365A (zh) 一种双工位自动螺丝拧装检测方法、系统及装置
CN110012351B (zh) 标签数据获取方法、存储器、终端、车辆以及车联网系统
CN112733841A (zh) 钢卷内部紊乱判断方法、系统、设备及介质
JP2021152826A (ja) 情報処理装置、被写体分類方法、及び被写体分類プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 450016 standard workshop No.7, Henan Zhengzhou export processing zone, 9th Street, Zhengzhou Economic Development Zone, Henan Province

Applicant after: Fulian Precision Electronics (Zhengzhou) Co.,Ltd.

Address before: 450016 standard workshop No.7, Henan Zhengzhou export processing zone, 9th Street, Zhengzhou Economic Development Zone, Henan Province

Applicant before: Futaihua precision electronics (Zhengzhou) Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210430