CN113252699B - 用于压力传感器的故障诊断方法、装置、设备及存储介质 - Google Patents

用于压力传感器的故障诊断方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113252699B
CN113252699B CN202110716001.6A CN202110716001A CN113252699B CN 113252699 B CN113252699 B CN 113252699B CN 202110716001 A CN202110716001 A CN 202110716001A CN 113252699 B CN113252699 B CN 113252699B
Authority
CN
China
Prior art keywords
image
pressure sensor
welding
evaluated
gold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110716001.6A
Other languages
English (en)
Other versions
CN113252699A (zh
Inventor
王小平
曹万
梁世豪
洪鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Finemems Inc
Original Assignee
Wuhan Finemems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Finemems Inc filed Critical Wuhan Finemems Inc
Priority to CN202110716001.6A priority Critical patent/CN113252699B/zh
Publication of CN113252699A publication Critical patent/CN113252699A/zh
Application granted granted Critical
Publication of CN113252699B publication Critical patent/CN113252699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L25/00Testing or calibrating of apparatus for measuring force, torque, work, mechanical power, or mechanical efficiency
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L27/00Testing or calibrating of apparatus for measuring fluid pressure
    • G01L27/007Malfunction diagnosis, i.e. diagnosing a sensor defect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用于压力传感器的故障诊断方法、装置、设备及存储介质,该用于压力传感器的故障诊断方法包括实时通过微型影像装置获取第一方向的第一影像,所述微型影像装置设于所述压力传感器内;根据所述第一影像,确定待评估对象的轮廓图像;根据预设的区域划分规则,对所述轮廓图像进行区域划分;根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷。

Description

用于压力传感器的故障诊断方法、装置、设备及存储介质
技术领域
本发明涉及压力传感器技术领域,尤其涉及一种用于压力传感器的故障诊断方法、装置、设备及存储介质。
背景技术
传统的压力传感器的加工通常包括清洗、贴片、金丝键合等工序。以金丝键合的工序为例,现有技术中一种是人工完成金丝键合,键合完成后通过人工观察键合质量,效率低;另一种是键合机自动完成键合并粗略判断(连接与否),再辅助人工进行观察键合质量,键合机仅仅在键合过程中粗略判断,而对于键合完成后颈部塌丝等无法检测,即键合完成后需要人工再检验,效率低。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种用于压力传感器的故障诊断方法、装置、设备及存储介质,旨在提供压力传感器生产过程中或者使用过程中的故障检测。
为实现上述目的,本发明提供了一种用于压力传感器的故障诊断方法,包括:
实时通过微型影像装置获取第一方向的第一影像,所述微型影像装置设于所述压力传感器内;根据所述第一影像,确定待评估对象的轮廓图像;
根据预设的区域划分规则,对所述轮廓图像进行区域划分;
根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷。
优选地,所述待评估对象为金丝键合后的键合金丝时;
相应地,所述根据预设的区域划分规则,对所述轮廓图像进行区域划分的步骤,包括:
根据金丝键合时的起始方向,将所述键合金丝分为一焊金球、一焊颈部、金丝弧度、二焊根部、二焊锁球以及尾丝,其中,一焊金球设于起始端,一焊颈部与所述一焊金球连接,所述一焊颈部与所述金丝弧度连接,所述金丝弧度与所述二焊根部连接,所述二焊锁球压设于所述二焊根部,所述尾丝与所述二焊锁球连接。
优选地,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,包括:
根据区域划分后的所述轮廓图像,确定所述一焊金球的直径D1及厚度H1、二焊金球的直径D2及厚度H2;
判断D1、H1、D2及H2是否满足2d≤D1≤5d,0.5d≤H1≤1.5d,2d≤D2≤5d;0.5d≤H2≤1.5d,其中d为键合金丝中金丝的直径;
根据判断的第一结果,确定所述待评估对象是否存在缺陷。
优选地,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,确定所述尾丝的长度L;
判断L是否小于2倍的二焊金球的直径D2,且小于焊点距离相邻焊盘的最小间距;
根据判断的第二结果,确定所述待评估对象是否存在缺陷。
优选地,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,确定所述键合金丝的最低点的高度H3min、所述二焊根部的最低高度H4min、键合金丝的中部的高度H5、所述金丝弧度的高度H6;
判断H3min、H4min、H5以及H6是否满足H3min>H4min,H5>H6;
根据判断的第三结果,确定所述待评估对象是否存在缺陷。
优选地,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,确定所述一焊颈部与焊接面的夹角;
判断所述一焊颈部是否垂直于焊接面;
根据判断的第四结果,确定所述待评估对象是否存在缺陷。
优选地,所述根据所述第一影像,确定待评估对象的轮廓图像的步骤之前,还包括:
实时通过微型影像装置获取第二方向的第二影像;
将所述第一影像和所述第二影像进行匹配,获取其对应的通过预设规则处理后具有唯一匹配关系的两个匹配像素点;
计算每对匹配像素点的第一深度信息值;
选择第一影像或第二影像为对比影像,计算对比影像中每一像素点所对应的第二深度信息值;根据每一匹配像素点匹配的第一深度信息值和第二深度信息值,获取对比影像中每一像素点所对应的唯一的深度信息值;
根据获取的唯一的深度信息值,将对比影像中的每一像素点及属性值映射到三维空间坐标点,以获取三维图像;
相应地,所述根据所述第一影像,确定待评估对象的轮廓图像的步骤,具体包括:
根据获取的三维图像,确定待评估对象的轮廓图像;
相应地,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,获取键合金丝的线性摆动大小或者S形摆动大小;
判断线性摆动大小l是否小于或等于3倍键合金丝中金丝的直径,S形摆动大小是否小于或等于2倍键合金丝中金丝的直径;
根据判断的第五结果,确定所述待评估对象是否存在缺陷。
为了实现上述目的,本发明还提供一种用于压力传感器的故障诊断装置,所述用于压力传感器的故障诊断装置包括:
获取单元,用于实时通过微型影像装置获取第一方向的第一影像,所述微型影像装置设于所述压力传感器内;
确定单元,用于根据所述第一影像,确定待评估对象的轮廓图像;
划分单元,用于根据预设的区域划分规则,对所述轮廓图像进行区域划分;
判断单元,用于根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷。
为了实现上述目的,本发明还提供一种用于压力传感器的故障诊断设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于压力传感器的故障诊断程序,所述用于压力传感器的故障诊断程序配置为实现如上述的用于压力传感器的故障诊断方法的步骤。
为了实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有用于压力传感器的故障诊断程序,所述用于压力传感器的故障诊断程序被处理器执行时实现如上述的用于压力传感器的故障诊断方法的步骤。
本发明通过将微型影像装置设于压力传感器中,可以在压力传感器封装过程中或者封装结束,甚至在使用时进行实时监控,可以有效快速地发现压力传感器金丝键合中的缺陷,特别是在键合完成后避免出现例如金丝线塌(例如一焊颈部塌丝)等现象的故障。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的用于压力传感器的故障诊断设备的结构示意图;
图2为本发明用于压力传感器的故障诊断方法第一实施例的流程示意图;
图3为本发明用于压力传感器的故障诊断装置第一实施例的结构框图;
图4为本发明用于压力传感器的故障诊断方法中金丝键合的区域划分的示意图;
图5为图4中金丝键合颈部塌丝的示意图;
图6为图4中金丝键合颈部正常时的示意图;
图7为金丝键合时金丝过长的示意图;
图8为金丝键合线形摆动的示意图;
图9为压力芯片粘接在电路板上的示意图。
其中,
1-一焊金球;2-一焊颈部;3-金丝弧度;4-二焊根部;5-二焊锁球;6-尾丝。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的用于压力传感器的故障诊断设备结构示意图。
如图1所示,该用于压力传感器的故障诊断设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对用于压力传感器的故障诊断设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及用于压力传感器的故障诊断程序。
在图1所示的用于压力传感器的故障诊断设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明用于压力传感器的故障诊断设备中的处理器1001、存储器1005可以设置在用于压力传感器的故障诊断设备中,所述用于压力传感器的故障诊断设备通过处理器1001调用存储器1005中存储的用于压力传感器的故障诊断程序,并执行本发明实施例提供的用于压力传感器的故障诊断方法。
本发明实施例提供了一种用于压力传感器的故障诊断方法,参照图2,图2为本发明用于压力传感器的故障诊断方法第一实施例的流程示意图。
本实施例中,所述用于压力传感器的故障诊断方法包括以下步骤:
步骤S10:实时通过微型影像装置获取第一方向的第一影像,所述微型影像装置设于所述压力传感器内;
应该理解的是,本实施例的执行主体可以为具有图像处理、数据处理、网络通讯和程序运行等功能的用于压力传感器的故障诊断设备,也可以为其他具有相似功能的计算机设备等,本实施例并不加以限制。
微型影像装置可以为设于压力传感器内的微型摄像头,也可以为其他设于压力传感器内的摄像装置。通常压力芯片粘接在电路板上,在本实施例中,微型影像装置通过胶粘层粘接在电路板上且与所述压力芯片间隔设置,所述胶粘层具有预设厚度,通常在300um-350um之间,如此一方面方便调整微型影像装置的安装角度,避免出现拍摄死角,另一方面可以起到一定的隔绝作用,避免拍摄过程中产热影响其他零件。
另外,第一方向可以是对准金丝键合的键合金丝的方向,也可以是对准铝丝键合的键合铝丝的方向,具体根据待评估对象而定。微型影像装置也可以设置成可旋转型,如此可以调整拍摄方向,可以全方位的监测压力传感器内的影像,也可以是固定在电路板,具体根据要求设置。微型影像装置可以是在压力传感器生产过程中监测封装的各零件的影像,用于判断安装时的安装质量,也可以是在压力传感器封装完成后甚至是在压力传感器的使用过程中,实时监测压力传感器中的故障,方便快速准确判断故障原因。为了便于在封装完成后监测,压力传感器中可以设置光源,便于微型影像装置拍摄,也可以是微型影像装置自带光源,在此不做具体限制。
传统封装完成后使用过程中检测压力传感器故障,通常是通过测试电路测试,或者通过设置多个压力传感器比对,容易出现比对的多个压力传感器同时故障而出现误判断的情况,而本发明相较传统技术更为准确直观,不仅仅是在封装过程中实时监控,而且在封装完成后仍可以实时监控,保证可以及时准确地监测压力传感器内部故障。
步骤S20:根据所述第一影像,确定待评估对象的轮廓图像;
应该理解的是,待评估对象可以是金丝键合的键合金丝,也可以是铝丝键合的键合铝丝,还可以是粘接胶(例如用于粘接芯片,或者粘接上盖等的粘接胶,如图9所示),在此不做具体限制。
所述步骤S20中的第一影像可以是二维图像,也可以是三维图像,三维图像的获取可以是通过下述步骤S21’至步骤S25’的方法获得,也可以是采用其他常规的方式获取,在此不做具体限制。
在第一影像为二维图像时,所述步骤S20包括:
步骤S21:根据第一方向与待评估对象安装的平面的夹角,确定第一影像中需要修正的区域;应该理解的是,以金丝键合为例,待评估对象安装的平面,可以为待评估对象所在的平面,当第一方向与待评估对象所在的平面的夹角大于或小于90°时,则需要进行修正。
步骤S22:从第一影像中提取需要修正的区域,并基于中心投影变换的原理确定投影变换公式;
应该理解的是,从第一影像中提取需要修正的区域,以此确定需要变换的四边形区域的四个控制点,并确定投影变换公式,投影变换公式可以基于常规的变换公式得到,在此不做具体限制。
步骤S23:根据投影变换公式,确定修正后的图像;
应该理解的是,由于压力传感器内整体尺寸较小,且尺寸测量精度对性能影响较大,故通过修正图像,可以进一步提高整体检测精度。
步骤S24:根据修正后的图像,更新所述第一影像。
由于压力传感器体积较小,各零件对应也较小,以金丝键合为例,金丝键合为一精细的连接,图像的错位或倾斜将会导致检测结果不准确,而为了减小压力传感器的整体体积,压力传感器的壳体内空间较小,无法微型影像装置完全与待评估对象相对设置。通过设置对图像的修正,也可以增加微型影像装置监测的适用性,进一步提高故障判断的准确性。
步骤S30:根据预设的区域划分规则,对所述轮廓图像进行区域划分;
应该理解的是,请参阅图4至图7,所述待评估对象为金丝键合后的键合金丝时;步骤S30包括:
根据金丝键合时的起始方向,将所述键合金丝分为一焊金球、一焊颈部、金丝弧度、二焊根部、二焊锁球以及尾丝,其中,一焊金球设于起始端,一焊颈部与所述一焊金球连接,所述一焊颈部与所述金丝弧度连接,所述金丝弧度与所述二焊根部连接,所述二焊锁球压设于所述二焊根部,所述尾丝与所述二焊锁球连接。
需要说明的是,键合金丝的区域划分也可以是采用常规的图像识别及特征提取方式,来对键合金丝进行划分;也可以是机器学习的方式,通过输入划分好的样本训练神经网络模型(其中,划分好的样本可以为人工划分形成的样本),将预处理后的第一影像输入训练好的神经网络模型,获取区域划分后的轮廓图像,也可以是采用本领域常规的其他区域划分的手段,在此不做具体限制。
步骤S40:根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷。
应该理解的是,根据划分区域后的所述轮廓图像,针对划分后的轮廓图像判断是否存在缺陷,下面将以金丝键合为例进行描述。金丝键合的主要缺陷包括金丝连接错误、焊点脱落或金丝断裂等等。
在本发明的第一实施例中,所述步骤S40包括:
步骤S411:根据区域划分后的所述轮廓图像,确定所述一焊金球的直径D1及厚度H1、二焊金球的直径D2及厚度H2;
应该理解的是,通常将区域划分确定的一焊金球通常为类椭圆柱形状,通常将长轴的长度定义为一焊金球的直径D1,类椭圆柱形状的高度为厚度H1;类似地,通常将区域划分确定的二焊金球通常为类椭圆柱形状,通常将长轴的长度定义为二焊金球的直径D2,类椭圆柱形状的高度为厚度H2。
步骤S412:判断D1、H1、D2及H2是否满足2d≤D1≤5d,0.5d≤H1≤1.5d,2d≤D2≤5d;0.5d≤H2≤1.5d,其中d为键合金丝中金丝的直径;
应该理解的是,通过判断2d≤D1≤5d,0.5d≤H1≤1.5d,2d≤D2≤5d;0.5d≤H2≤1.5d。如此,可以判断键合金丝焊接的稳固性,D1、H1、D2、H2
步骤S413:根据判断的第一结果,确定所述待评估对象是否存在缺陷。
应该理解的是,2d≤D1≤5d,0.5d≤H1≤1.5d,2d≤D2≤5d;0.5d≤H2≤1.5d,则无缺陷,反之有缺陷。
在本发明的第二实施例中,所述步骤S40包括:
步骤S421:根据区域划分后的所述轮廓图像,确定所述尾丝的长度L;
应该理解的是,由于不同的拍摄角度,尾丝的长度影响较大,故,步骤S421之前还包括步骤S21至步骤S24,通过对图像进行修正,可以减小误差,提高检测精度。
步骤S422:判断L是否小于2倍的二焊金球的直径D2,且小于焊点距离相邻焊盘的最小间距;
步骤S423:根据判断的第二结果,确定所述待评估对象是否存在缺陷。
应该理解的是,L小于2倍的二焊金球的直径D2,且小于焊点距离相邻焊盘的最小间距,则为无缺陷,反之有缺陷。
在本发明的第三实施例中,所述步骤S40包括:
步骤S431:根据区域划分后的所述轮廓图像,确定所述键合金丝的最低点的高度H3min、所述二焊根部的最低高度H4min、键合金丝的中部的高度H5、所述金丝弧度的高度H6;
应该理解的是,由于不同的拍摄角度,各尺寸会产生一定误差,因此,在步骤S40之前,还包括步骤S21至步骤S24,通过对图像进行修正,可以减小误差,提高检测精度。
步骤S432:判断H3min、H4min、H5以及H6是否满足H3min>H4min,H5>H6;应该理解的是,通过限制H3min、H4min、H5以及H6,可以有效避免线塌等问题。
步骤S433:根据判断的第三结果,确定所述待评估对象是否存在缺陷。
应该理解的是,H3min、H4min、H5以及H6满足H3min>H4min,H5>H6,则无缺陷,反之有缺陷。
在本发明的第四实施例中,所述步骤S40包括:
步骤S441:根据区域划分后的所述轮廓图像,确定所述一焊颈部与焊接面的夹角;
步骤S442:判断所述一焊颈部是否垂直于焊接面;
应该理解的是,通过判断一焊颈部是否垂直于焊接面可以有效倒伏等问题。
步骤S443:根据判断的第四结果,确定所述待评估对象是否存在缺陷。
应该理解的是,一焊颈部垂直于焊接面则为无缺陷,反之有缺陷。
本发明通过将微型影像装置设于压力传感器中,可以在压力传感器封装过程中或者封装结束,甚至在使用时进行实时监控,可以有效快速地发现压力传感器金丝键合中的缺陷,特别是在键合完成后避免出现例如金丝线塌(例如一焊颈部塌丝)等现象的故障。
在本发明的第四实施例中,所述步骤S20的步骤之前,还包括:
步骤S21’:实时通过微型影像装置获取第二方向的第二影像;
应该理解的是,微型影像装置为至少两组,可以分别拍摄第一方向和第二方向的图像。至少两组微型影像装置可以为对称设置,也可以为平行设置。
步骤S22’:将所述第一影像和所述第二影像进行匹配,获取其对应的通过预设规则处理后具有唯一匹配关系的两个匹配像素点;
应该理解的是,将所述第一影像和所述第二影像进行匹配后去唯一匹配关系的两个匹配像素点可以是采用常规的两个图像匹配的方式,例如可以是基于区域匹配的方法,也可以是基于特征匹配的方法。
步骤S23’:计算每对匹配像素点的第一深度信息值;
应该理解的是,每对匹配像素点的第一深度信息值为先计算两个微型影像装置之间视差,再计算微型影像装置相对被评估对象的距离信息得到;
步骤S24’:选择第一影像或第二影像为对比影像,计算对比影像中每一像素点所对应的第二深度信息值;
应该理解的是,计算比对影像中每一个像素点所对应的第二深度信息值可以是采用常规的SFS方法进行计算,将对比影像进行灰度变换得到灰度图像,通过SFS方法获得的深度信息值即为第二深度信息值。
步骤S25’:根据每一匹配像素点匹配的第一深度信息值和第二深度信息值,获取对比影像中每一像素点所对应的唯一的深度信息值;
具体实现时,所述步骤S25’包括:基于两个匹配像素点在对比图像中的像素点获取对应的第一深度信息值和第二深度信息值,分别计算两个匹配像素点的深度差值;
以两个相匹配像素点对应的深度差值进行差值计算,获取对比图像中的所有像素点的深度差值;
根据对比图像中的每一像素点的深度差值和该像素点的第二深度信息值,获取对比影像中每一像素点所对应的唯一的深度信息值。
其中,获取对比影像中每一像素点所对应的唯一的深度信息值可以为每一像素点的深度差值和该像素点的第二深度信息值之和。
步骤S26’:根据获取的唯一的深度信息值,将对比影像中的每一像素点及属性值映射到三维空间坐标点,以获取三维图像;
相应地,所述步骤S30的步骤,具体包括:
步骤S31:根据获取的三维图像,确定待评估对象的轮廓图像;
相应地,所述步骤S40的步骤,请参阅图8,还包括:
步骤S451:根据区域划分后的所述轮廓图像,获取键合金丝的线性摆动大小或者S形摆动大小;
应该理解的是,请参阅图8,线性摆动大小或S形摆动大小是键合金丝与芯片和第二焊点的连线的最大距离t。
步骤S452:判断线性摆动大小是否小于或等于3倍键合金丝中金丝的直径,S形摆动大小是否小于或等于2倍键合金丝中金丝的直径;
应该理解的是,通过确定线性摆动大小可以有效确定线性是否不良,如此可以保证键合后的稳定性。
步骤S453:根据判断的第五结果,确定所述待评估对象是否存在缺陷。
应该理解的是,线性摆动大小小于或等于3倍键合金丝中金丝的直径,S形摆动大小小于或等于2倍键合金丝中金丝的直径时为无缺陷,反之有缺陷。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有用于压力传感器的故障诊断程序,所述用于压力传感器的故障诊断程序被处理器执行时实现如上文所述的用于压力传感器的故障诊断方法的步骤。
本发明实施例还提出一种用于压力传感器的故障诊断设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于压力传感器的故障诊断程序,所述用于压力传感器的故障诊断程序配置为实现如上述的用于压力传感器的故障诊断方法的步骤。
参照图3,图3为本发明用于压力传感器的故障诊断装置第一实施例的结构框图。
如图3所示,本发明实施例提出的用于压力传感器的故障诊断装置包括:
获取单元51,用于实时通过微型影像装置获取第一方向的第一影像,所述微型影像装置设于所述压力传感器内;
应该理解的是,微型影像装置可以为设于压力传感器内的微型摄像头,也可以为其他设于压力传感器内的摄像装置。通常压力芯片粘接在电路板上,在本实施例中,微型影像装置通过胶粘层粘接在电路板上且与所述压力芯片间隔设置,所述胶粘层具有预设厚度,通常在300um-350um之间,如此一方面方便调整微型影像装置的安装角度,避免出现拍摄死角,另一方面可以起到一定的隔绝作用,避免拍摄过程中产热影响其他零件。
另外,第一方向可以是对准金丝键合的键合金丝的方向,也可以是对准铝丝键合的键合铝丝的方向,具体根据待评估对象而定。微型影像装置也可以设置成可旋转型,如此可以调整拍摄方向,可以全方位的监测压力传感器内的影像,也可以是固定在电路板,具体根据要求设置。微型影像装置可以是在压力传感器生产过程中监测封装的各零件的影像,用于判断安装时的安装质量,也可以是在压力传感器封装完成后甚至是在压力传感器的使用过程中,实时监测压力传感器中的故障,方便快速准确判断故障原因。为了便于在封装完成后监测,压力传感器中可以设置光源,便于微型影像装置拍摄,也可以是微型影像装置自带光源,在此不做具体限制。
传统封装完成后使用过程中检测压力传感器故障,通常是通过测试电路测试,或者通过设置多个压力传感器比对时,容易出现比对的多个压力传感器同时故障而出现误判断的情况,而本发明相较传统技术更为准确直观,不仅仅是在封装过程中实时监控,而且在封装完成后仍可以实时监控,保证可以及时准确地监测压力传感器内部故障。
确定单元52,用于根据所述第一影像,确定待评估对象的轮廓图像;
应该理解的是,待评估对象可以是金丝键合的键合金丝,也可以是铝丝键合的键合铝丝,还可以是粘接胶(例如用于粘接芯片,或者粘接上盖等的粘接胶,如图9所示),在此不做具体限制。
所述确定单元52中的第一影像可以是二维图像,也可以是三维图像。
划分单元53,用于根据预设的区域划分规则,对所述轮廓图像进行区域划分;
应该理解的是,请参阅图4至图7,所述待评估对象为金丝键合后的键合金丝时;划分单元53具体划分包括:
根据金丝键合时的起始方向,将所述键合金丝分为一焊金球、一焊颈部、金丝弧度、二焊根部、二焊锁球以及尾丝,其中,一焊金球设于起始端,一焊颈部与所述一焊金球连接,所述一焊颈部与所述金丝弧度连接,所述金丝弧度与所述二焊根部连接,所述二焊锁球压设于所述二焊根部,所述尾丝与所述二焊锁球连接。
需要说明的是,键合金丝的区域划分也可以是采用常规的图像识别及特征提取方式,来对键合金丝进行划分;也可以是机器学习的方式,通过输入划分的样本训练神经网络模型,将预处理后的第一影像输入训练好的神经网络模型,获取区域划分后的轮廓图像,也可以是采用本领域常规的其他区域划分的手段,在此不做具体限制。
判断单元54,用于根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷。
应该理解的是,根据划分区域后的所述轮廓图像,针对划分后的轮廓图像判断是否存在缺陷,下面将以金丝键合为例进行描述。金丝键合的主要缺陷包括金丝连接错误、焊点脱落或金丝断裂等等。
本发明通过将微型影像装置设于压力传感器中,可以在压力传感器封装过程中或者封装结束,甚至在使用时进行实时监控,可以有效快速地发现压力传感器金丝键合中的缺陷,特别是在键合完成后避免出现例如金丝线塌(例如一焊颈部塌丝)等现象的故障。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种用于压力传感器的故障诊断方法,其特征在于,包括:
实时通过微型影像装置分别获取第一方向的第一影像和第二方向的第二影像,所述微型影像装置设于所述压力传感器内,所述微型影像装置为至少两组,用于分别拍摄第一方向和第二方向的图像;
将所述第一影像和所述第二影像进行匹配,获取其对应的通过预设规则处理后具有唯一匹配关系的两个匹配像素点;
计算每对匹配像素点的第一深度信息值,其中,每对匹配像素点的第一深度信息值通过先计算两个微型影像装置之间视差,再计算微型影像装置相对被评估对象的距离信息得到;
选择第一影像或第二影像为对比影像,计算对比影像中每一像素点所对应的第二深度信息值,其中,所述第二深度信息值为采用SFS方法进行计算,将对比影像进行灰度变换得到灰度图像,通过SFS方法获得的深度信息值;
根据每一匹配像素点匹配的第一深度信息值和第二深度信息值,获取对比影像中每一像素点所对应的唯一的深度信息值;
根据获取的唯一的深度信息值,将对比影像中的每一像素点及属性值映射到三维空间坐标点,以获取三维图像;
根据获取的三维图像,确定待评估对象的轮廓图像;
根据预设的区域划分规则,对所述轮廓图像进行区域划分;
根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷;
其中,所述待评估对象为金丝键合后的键合金丝时;
相应地,所述根据预设的区域划分规则,对所述轮廓图像进行区域划分的步骤,包括:
根据金丝键合时的起始方向,将所述键合金丝分为一焊金球、一焊颈部、金丝弧度、二焊根部、二焊锁球以及尾丝,其中,一焊金球设于起始端,一焊颈部与所述一焊金球连接,所述一焊颈部与所述金丝弧度连接,所述金丝弧度与所述二焊根部连接,所述二焊锁球压设于所述二焊根部,所述尾丝与所述二焊锁球连接;
其中,所述根据每一匹配像素点匹配的第一深度信息值和第二深度信息值,获取对比影像中每一像素点所对应的唯一的深度信息值的步骤,包括:
基于两个匹配像素点在对比图像中的像素点获取对应的第一深度信息值和第二深度信息值,分别计算两个匹配像素点的深度差值;
以两个相匹配像素点对应的深度差值进行差值计算,获取对比图像中的所有像素点的深度差值;
根据对比图像中的每一像素点的深度差值和该像素点的第二深度信息值,获取对比影像中每一像素点所对应的唯一的深度信息值,其中,获取对比影像中每一像素点所对应的唯一的深度信息值为每一像素点的深度差值和该像素点的第二深度信息值之和。
2.如权利要求1所述的用于压力传感器的故障诊断方法,其特征在于,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,确定所述一焊金球的直径D1及厚度H1、二焊锁球的直径D2及厚度H2;
判断D1、H1、D2及H2是否满足2d≤D1≤5d,0.5d≤H1≤1.5d,2d≤D2≤5d;0.5d≤H2≤1.5d,其中d为键合金丝中金丝的直径;
根据判断的结果,确定所述待评估对象是否存在缺陷。
3.如权利要求1所述的用于压力传感器的故障诊断方法,其特征在于,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,获取键合金丝的线性摆动大小或者S形摆动大小;
判断线性摆动大小是否小于或等于3倍键合金丝中金丝的直径,S形摆动大小是否小于或等于2倍键合金丝中金丝的直径;
根据判断的结果,确定所述待评估对象是否存在缺陷。
4.如权利要求1所述的用于压力传感器的故障诊断方法,其特征在于,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,确定所述尾丝的长度L;
判断L是否小于2倍的二焊锁球的直径D2,且小于焊点距离相邻焊盘的最小间距;
根据判断的结果,确定所述待评估对象是否存在缺陷。
5.如权利要求1所述的用于压力传感器的故障诊断方法,其特征在于,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,确定所述键合金丝的最低点的高度H3min、所述二焊根部的最低高度H4min、键合金丝的中部的高度H5、所述金丝弧度的高度H6;
判断H3min、H4min、H5以及H6是否满足H3min>H4min,H5>H6;
根据判断的结果,确定所述待评估对象是否存在缺陷。
6.如权利要求1所述的用于压力传感器的故障诊断方法,其特征在于,所述根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷的步骤,还包括:
根据区域划分后的所述轮廓图像,确定所述一焊颈部与焊接面的夹角;
判断所述一焊颈部是否垂直于焊接面;
根据判断的结果,确定所述待评估对象是否存在缺陷。
7.一种用于如权利要求1至6任意一项所述的故障诊断方法的故障诊断装置,其特征在于,所述用于压力传感器的故障诊断装置包括:
获取单元,用于实时通过微型影像装置分别获取第一方向的第一影像和第二方向的第二影像;
确定单元,用于根据所述第一影像和第二影像获取三维图像,确定待评估对象的轮廓图像;
划分单元,用于根据预设的区域划分规则,对所述轮廓图像进行区域划分;
判断单元,用于根据区域划分后的所述轮廓图像,判断所述待评估对象是否存在缺陷。
8.一种用于压力传感器的故障诊断设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于压力传感器的故障诊断程序,所述用于压力传感器的故障诊断程序配置为实现如权利要求1至6中任一项所述的用于压力传感器的故障诊断方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有用于压力传感器的故障诊断程序,所述用于压力传感器的故障诊断程序被处理器执行时实现如权利要求1至6任一项所述的用于压力传感器的故障诊断方法的步骤。
CN202110716001.6A 2021-06-28 2021-06-28 用于压力传感器的故障诊断方法、装置、设备及存储介质 Active CN113252699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110716001.6A CN113252699B (zh) 2021-06-28 2021-06-28 用于压力传感器的故障诊断方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110716001.6A CN113252699B (zh) 2021-06-28 2021-06-28 用于压力传感器的故障诊断方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113252699A CN113252699A (zh) 2021-08-13
CN113252699B true CN113252699B (zh) 2021-11-30

Family

ID=77189822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110716001.6A Active CN113252699B (zh) 2021-06-28 2021-06-28 用于压力传感器的故障诊断方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113252699B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114323432B (zh) * 2022-01-06 2024-02-02 金华科瑞达康复辅助器具有限公司 一种矫形器薄膜压力传感器的多维度测试方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0446838A2 (en) * 1990-03-12 1991-09-18 Fujitsu Limited Method of and apparatus for inspection of bonding wire
JP2003057188A (ja) * 2001-04-06 2003-02-26 Eastman Kodak Co 人工建造物の欠陥検出方法
EP1625911A1 (de) * 2004-08-11 2006-02-15 F&K Delvotec Bondtechnik GmbH Drahtbonder mit einer Kamera, einer Bildverarbeitungseinrichtung, Speichermittel und Vergleichermittel und Verfahren zum Betrieb eines solchen
CN103376259A (zh) * 2012-04-11 2013-10-30 百励科技股份有限公司 元件内部缺陷的检测装置及方法
CN108802046A (zh) * 2018-06-01 2018-11-13 中国电子科技集团公司第三十八研究所 一种混合集成电路组件缺陷光学检测装置及其检测方法
CN109048028A (zh) * 2018-08-07 2018-12-21 航天恒星科技有限公司 引线键合方法和系统
CN110082352A (zh) * 2019-05-09 2019-08-02 武汉飞恩微电子有限公司 一种集成装配、标定、测试的流水线式传感器智能生产线
CN110400285A (zh) * 2019-05-30 2019-11-01 哈尔滨工业大学(深圳) 引线键合焊点缺陷定位与分类方法
CN112857669A (zh) * 2021-03-30 2021-05-28 武汉飞恩微电子有限公司 压力传感器的故障检测方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4547330B2 (ja) * 2005-12-28 2010-09-22 株式会社新川 ワイヤボンディング装置、ボンディング制御プログラム及びボンディング方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0446838A2 (en) * 1990-03-12 1991-09-18 Fujitsu Limited Method of and apparatus for inspection of bonding wire
US5298989A (en) * 1990-03-12 1994-03-29 Fujitsu Limited Method of and apparatus for multi-image inspection of bonding wire
JP2003057188A (ja) * 2001-04-06 2003-02-26 Eastman Kodak Co 人工建造物の欠陥検出方法
EP1625911A1 (de) * 2004-08-11 2006-02-15 F&K Delvotec Bondtechnik GmbH Drahtbonder mit einer Kamera, einer Bildverarbeitungseinrichtung, Speichermittel und Vergleichermittel und Verfahren zum Betrieb eines solchen
CN103376259A (zh) * 2012-04-11 2013-10-30 百励科技股份有限公司 元件内部缺陷的检测装置及方法
CN108802046A (zh) * 2018-06-01 2018-11-13 中国电子科技集团公司第三十八研究所 一种混合集成电路组件缺陷光学检测装置及其检测方法
CN109048028A (zh) * 2018-08-07 2018-12-21 航天恒星科技有限公司 引线键合方法和系统
CN110082352A (zh) * 2019-05-09 2019-08-02 武汉飞恩微电子有限公司 一种集成装配、标定、测试的流水线式传感器智能生产线
CN110400285A (zh) * 2019-05-30 2019-11-01 哈尔滨工业大学(深圳) 引线键合焊点缺陷定位与分类方法
CN112857669A (zh) * 2021-03-30 2021-05-28 武汉飞恩微电子有限公司 压力传感器的故障检测方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A Stereo Vision System for the Inspection of IC Bonding Wires";Q. Z. Ye 等;《International Journal of Imaging Systems and Technology》;20001231;第11卷(第4期);第254-262页 *
"提高压力传感器引线键合质量的工艺研究";李颖 等;《仪表技术与传感器》;20100331;第107-110页 *
Q. Z. Ye 等."A Stereo Vision System for the Inspection of IC Bonding Wires".《International Journal of Imaging Systems and Technology》.2000,第11卷(第4期), *

Also Published As

Publication number Publication date
CN113252699A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
JP5247590B2 (ja) 情報処理装置及びキャリブレーション処理方法
JP5058686B2 (ja) 情報処理方法及び情報処理装置
CN108921907B (zh) 一种运动测试评分的方法、装置、设备及存储介质
US20180068460A1 (en) Liquid Level Detecting System and Method thereof
KR100805486B1 (ko) 디스플레이의 다각도 계측 시스템 및 방법
US8248465B2 (en) Measuring endoscope apparatus and program
CN108876714A (zh) 图像捕获装置、信息处理装置和图像处理方法
CN113252699B (zh) 用于压力传感器的故障诊断方法、装置、设备及存储介质
US10204445B2 (en) Information processing apparatus, method, and storage medium for determining a failure of position and orientation measurement of an image capturing device
CN109348129A (zh) 一种定焦摄像头的清晰度检测方法及系统
CN110880188B (zh) 用于近眼显示光学系统的标定方法、标定装置和标定系统
CN112288732A (zh) 一种点胶的检测方法、装置、设备及系统
US20180130210A1 (en) Systems and methods for providing image depth information
JP2017040549A (ja) 画像処理装置および誤差判定方法
WO2020224199A1 (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN113340405B (zh) 桥梁振型的测量方法、装置及系统
JP2007026423A (ja) 画像処理装置および画像処理方法
US8730370B2 (en) Solid-state imaging device having image pixel position correction to reduce shape distortion
JP5967470B2 (ja) 検査装置
US8805013B2 (en) Pattern position detecting method
JP2011118767A (ja) 表情モニタリング方法および表情モニタリング装置
WO2020016994A1 (ja) 画像歪み検査装置、画像歪み検査方法及びプログラム
KR101748582B1 (ko) 프로브핀의 직진도 검사 장치 및 방법
CN106572346B (zh) 一种360度单镜头视频数据校正方法及校正系统
KR102236258B1 (ko) 와이어본딩 검사방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant