CN114152200A - 芯片引脚测量方法和装置 - Google Patents
芯片引脚测量方法和装置 Download PDFInfo
- Publication number
- CN114152200A CN114152200A CN202210115398.8A CN202210115398A CN114152200A CN 114152200 A CN114152200 A CN 114152200A CN 202210115398 A CN202210115398 A CN 202210115398A CN 114152200 A CN114152200 A CN 114152200A
- Authority
- CN
- China
- Prior art keywords
- pin
- image
- chip
- detection area
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种芯片引脚测量方法和装置,在获取包含芯片主体和连接在芯片主体周侧的引脚的图像后,对图像进行旋转处理,以调整待测量芯片的方位,并划定芯片主体的任一周侧的引脚所在区域为检测区域,将检测区域内的各个像素点向预设方向进行投影,得到投影图像,最后基于投影图像中包含的像素值分布信息,确定检测区域内的引脚的引脚信息。本方案中,采用像素点的像素值投影的方式,可以直接基于像素值分布来确定引脚信息,在简化处理方式的同时,可以广泛适用于基于图像的芯片引脚测量应用中。
Description
技术领域
本申请涉及机器视觉处理技术领域,具体而言,涉及一种芯片引脚测量方法和装置。
背景技术
随着超大规模集成电路的实现,个性化、小型化和便携化已成为越来越多的电子产品的发展方向,硅芯片加工工艺逐渐向亚微米、深亚米级方向发展,主流的电子元件封装工艺已经达到0.13~0.18um。芯片制造中的后工序封装工艺更加精密,这就要求封装设备在低成本下保证与其相适应的高速度和高精度,最终实现整个封装过程的全自动化。芯片外观检测决定着后续封装工艺能否成功实现,而芯片管脚的缺陷检测是进行正确封装的必要前提。由于技术的进步和工业4.0的实现,智能工厂要求芯片尺寸参数的测量能够有更高的精度和更快的效率。
卡尺、量规、显微镜、三坐标测量仪等属于传统的尺寸检测手段,这些检测工具在传统工业生产中应用十分广泛,但面对 IC 芯片引脚测量系统高精高速的要求,传统的检测工具己经逐渐不适应生产需求。例如,量规、游标卡尺等检测工具虽然手工易操作,但体积大,需要接触检测,难以成功,且测量数量少效率低,精度不高;显微镜、轮廓仪等检测工具虽然提高了测量精度,但对检测环境要求严格,不仅使得劳动强度增大,生产效率降低,而且不能满足整个生产和检测过程实时控制的要求。
近年来机器视觉测量方法在芯片测量中的应用越来越广泛。机器视觉技术为这种苛刻的应用提供了基于图像的检测和测量。基于机器视觉的图像测量技术具有精度高、效率高、非接触测量等优点,这种测量技术逐渐成为工业生产测量和检测的关注焦点。采用机器视觉测量技术测量精密芯片是一种较好的技术解决方案。但是,由于实际工况的复杂性,传统的机器视觉测量方式,往往存在处理方式复杂、适应性较差等问题。
发明内容
本申请的目的包括,例如,提供了一种芯片引脚测量方法和装置,其能够简化引脚测量的处理方式,且广泛适用于基于图像芯片引脚测量应用中。
本申请的实施例可以这样实现:
第一方面,本申请提供一种芯片引脚测量方法,所述方法包括:
获取待测量芯片的图像,所述待测量芯片包含芯片主体和连接在所述芯片主体周侧的引脚;
对所述图像进行旋转处理,以调整所述待测量芯片的方位;
划定所述芯片主体的任一周侧的引脚所在区域为检测区域,将所述检测区域内的各个像素点向预设方向进行投影,得到投影图像;
基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息。
在可选的实施方式中,所述对所述图像进行旋转处理的步骤之前,所述方法还包括:
对所述图像进行分段线性灰度变换处理;
采用自适应中值滤波方法对变换处理后的图像进行滤波处理。
在可选的实施方式中,所述对所述图像进行旋转处理,以调整所述待测量芯片的方位的步骤,包括:
采用直线拟合方式拟合得到所述芯片主体的连接有引脚的周侧的基准线;
对所述图像进行旋转处理,以使所述基准线处于水平方向或竖直方向。
在可选的实施方式中,所述采用直线拟合方式拟合得到所述芯片主体的连接有引脚的任一周侧的基准线的步骤,包括:
针对所述芯片主体的连接有引脚的周侧,采用形态学闭操作将该周侧上连接的引脚进行去除处理;
采用边缘检测方法对所述周侧进行边缘检测,并采用直线拟合方式拟合得到所述周侧的基准线。
在可选的实施方式中,所述检测区域包括位于所述芯片主体左右两侧的区域,该检测区域内的多个引脚在竖直方向上依次排列,以及位于所述芯片主体上下两侧的区域,该检测区域内的多个引脚在水平方向上依次排列;
所述投影图像包括由检测区域内的多个引脚的像素点分别向水平方向投影的水平投影图像和向竖直方向投影的竖直投影图像。
在可选的实施方式中,得到所述水平投影图像的步骤,包括:
计算得到所述检测区域内的每一行的像素点的像素值之和;
基于像素值之和与行信息之间的关系,构建得到将所述检测区域内的各个像素点向水平方向进行投影得到的水平投影图像。
在可选的实施方式中,得到所述竖直投影图像的步骤,包括:
计算得到所述检测区域内的每一列的像素点的像素值之和;
基于像素值之和与列信息之间的关系,构建得到将所述检测区域内的各个像素点向竖直方向进行投影得到的竖直投影图像。
在可选的实施方式中,所述引脚信息包括引脚宽度、引脚间距、引脚长度和引脚数量;
所述基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息的步骤,包括:
针对位于所述芯片主体左右两侧的区域的引脚,根据所述引脚对应的水平投影图像中的像素值波谷的个数确定引脚的引脚数量;
根据所述水平投影图像中任一像素值波谷的两侧边缘之间在横轴上的距离,得到所述引脚宽度;
根据所述水平投影图像中相邻两个像素值波峰同侧边缘之间在横轴上的距离,得到所述引脚间距;
根据所述引脚的垂直投影图像中像素值波谷两侧之间在横轴上的距离,得到所述引脚长度。
在可选的实施方式中,所述基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息的步骤,包括:
基于所述投影图像中包含的像素值分布信息,得到所述检测区域内的引脚关于图像像素点的信息;
获取标定板的图像,所述标定板上包含多个标定格,每个标定格具有标定尺寸;
获得每个标定格所占的像素点数量,基于所述标定格的标定尺寸以及所占的像素点数量,计算得到每个像素点对应的尺寸;
根据所述检测区域内的引脚关于图像像素点的信息,以及每个像素点对应的尺寸,得到所述引脚关于尺寸的引脚信息。
第二方面,本申请提供一种芯片引脚测量装置,所述装置包括:
获取模块,用于获取待测量芯片的图像,所述待测量芯片包含芯片主体和连接在所述芯片主体周侧的引脚;
处理模块,用于对所述图像进行旋转处理,以调整所述待测量芯片的方位;
投影模块,用于划定所述芯片主体的任一周侧的引脚所在区域为检测区域,将所述检测区域内的各个像素点向预设方向进行投影,得到投影图像;
确定模块,用于基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息。
本申请实施例的有益效果包括,例如:
本申请提供一种芯片引脚测量方法和装置,在获取包含芯片主体和连接在芯片主体周侧的引脚的图像后,对图像进行旋转处理,以调整待测量芯片的方位,并划定芯片主体的任一周侧的引脚所在区域为检测区域,将检测区域内的各个像素点向预设方向进行投影,得到投影图像,最后基于投影图像中包含的像素值分布信息,确定检测区域内的引脚的引脚信息。本方案中,采用像素点的像素值投影的方式,可以直接基于像素值分布来确定引脚信息,在简化处理方式的同时,可以广泛适用于基于图像的芯片引脚测量应用中。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的芯片引脚测量方法的流程图;
图2为图1中步骤S102包含的子步骤的流程图;
图3为图2中步骤S1021包含的子步骤的流程图;
图4为本申请实施例提供的待测量芯片的局部图像之一;
图5为本申请实施例提供的待测量芯片的局部图像之二;
图6为图1中步骤S103包含的子步骤之一;
图7为本申请实施例提供的投影图像的示意图;
图8为图1中步骤S103包含的子步骤之二;
图9为图1中步骤S104包含的子步骤之一;
图10为图1中步骤S104包含的子步骤之二;
图11为本申请实施例提供的电子设备的结构框图;
图12为本申请实施例提供的芯片引脚测量装置的功能模块框图。
图标:110-存储介质;120-处理器;130-芯片引脚测量装置;131-获取模块;132-处理模块;133-投影模块;134-确定模块;140-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要说明的是,若出现术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
请参阅图1,为本申请实施例提供的芯片引脚测量方法的流程图,该芯片引脚测量方法有关的流程所定义的方法步骤可以由具备图像处理分析处理功能的电子设备所实现。下面将对图1所示的具体流程进行详细阐述。
S101,获取待测量芯片的图像,所述待测量芯片包含芯片主体和连接在所述芯片主体周侧的引脚。
S102,对所述图像进行旋转处理,以调整所述待测量芯片的方位。
S103,划定所述芯片主体的任一周侧的引脚所在区域为检测区域,将所述检测区域内的各个像素点向预设方向进行投影,得到投影图像。
S104,基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息。
本实施例中,可以利用图像采集装置采集待测量芯片的图像。其中,图像采集装置可以包括CMOS工业面阵相机,此外,为了提高拍摄得到的图像的效果,图像采集装置还可以包括如三色球形光源、相机支架等设备。待测量芯片可以是构建集成电路的任意一个芯片或任意多个芯片。
待测量芯片包括芯片主体以及多个引脚,其中,芯片主体的各个周侧均可连接有多个引脚,例如左侧、右侧、上侧和下侧,或者也可仅在芯片主体的左侧和右侧分别连接多个引脚。
由于拍摄得到的图像中待测量芯片其方位可能并不端正,为了便于后续可以进行引脚的测量,因此,可以先对图像旋转处理,从而调整待测量芯片的方位,例如可以将待测量芯片的方位调整为端正的状态。
本实施例中,待测量芯片中在芯片主体的各个周侧连接的多个引脚,其中,处于同一侧的多个引脚依次排列,并且,引脚是以垂直于芯片主体的周侧进行排列。因此,在待测量芯片的方位调整为端正状态后,连接在芯片主体的多个引脚的方位也被调整为端正状态。
由于本申请主要是对待测量芯片包含的引脚进行测量,因此,可以先将芯片主体所在的区域划定为检测区域,后续可以主要对该检测区域进行图像分析处理即可。
在划定出的检测区域中包含有引脚的图像信息以及除引脚之外的其他图像信息,例如背景区域等。其中,引脚的图像信息与背景区域的图像信息之间存在差异,包括如像素点的像素值之间的差异等。因此,本实施例中,可以将检测区域内的各个像素点向预设方向进行投影,得到投影图像。其中,所述的预设方向可以是水平方向或垂直方向,也即,可以将检测区域内的各个像素点向水平方向进行投影,或者向垂直方向进行投影。
其中,向水平方向进行投影,则处于同一行的像素点将得到一个综合的投影结果,向垂直方向进行投影时,处于同一列的像素点将得到一个综合的投影结果。得到的投影图像中即可包含像素值分布信息,该像素值分布信息可以体现出检测区域内行的像素点的像素值分布,以及列的像素点的像素值分布。
基于此,本实施例中,由于投影图像中可以体现出检测区域内行、列的像素点的像素值分布,而检测区域内包含引脚和引脚之外的区域的图像信息,因此,可以基于像素值分布信息确定出检测区域内的引脚的引脚信息。其中,引脚信息可以包括如引脚数量、引脚宽度、引脚间距和引脚长度等。
本实施例所提供的芯片引脚测量方法,采用像素点的像素值投影的方式,可以直接基于像素值分布来确定引脚信息,在简化处理方式的同时,可以广泛适用于基于图像的芯片引脚测量应用中。
本实施例中,在上述获取到待测量芯片的图像之后,为了提高后续芯片主体、引脚等的检测,可以先对获取到的图像进行预处理。作为一种可能的实现方式,可以通过以下方式对图像进行预处理:
对所述图像进行分段线性灰度变换处理,采用自适应中值滤波方法对变换处理后的图像进行滤波处理。
本实施例中,分段线性灰度变换处理可以包括灰度拉伸和灰度窗口变换。获取到的图像中包含待测量芯片的图像以及除待测量芯片之外的其他区域的图像。分段线性灰度变换处理,可以利用分段线性变换函数来增强图像对比度,也即增强图像中各部分之间的反差。可以实现增强图像中感兴趣的灰度区域,相对抑制不感兴趣的灰度区域。其中,感觉兴趣的区域为待测量芯片的图像区域,不感兴趣的区域为除待测量芯片之外的其他图像区域。
在上述基础上,还可以采用自适应中值滤波方法对变换处理后的图像进行滤波处理。在该步骤中,可以将图像划定为多个区域,针对各个区域内的像素点,可以按像素值从小到大的顺序进行排列构成数组。取该数组中的中值作为该区域的中心像素点的新的值。如此,在图像中存在噪声点时,则可以实现噪声点的滤除,避免噪声点带来的影响。
本实施例中,对于图像的预处理还可以包括对图像进行阈值分割处理,可以采用Otsu图像分割方法实现对图像的阈值分割。对于图像的阈值分割处理,即为将图像灰度分成不同的等级,此外还可以设置一阈值,可以将其中像素点的灰度值大于该阈值的像素点的像素值置为255,否则将像素点的像素值置为0。通过阈值分割处理,可以实现将图像的前景从背景中提取出来。
请参阅图2,在上述基础上,可以对图像进行旋转处理,本实施例中,为了便于旋转调整的执行,可以采用以下方式实现:
S1021,采用直线拟合方式拟合得到所述芯片主体的连接有引脚的周侧的基准线。
S1022,对所述图像进行旋转处理,以使所述基准线处于水平方向或竖直方向。
芯片主体往往是呈矩形或正方形,在芯片主体的方位端正时,则芯片主体的各周侧的侧边应当是呈水平或竖直状态。为了便于检测芯片主体的各周侧的侧边是否处于水平或垂直,本实施例中,可以通过拟合芯片主体的周侧的基准线,例如可以是左侧、上侧等。通过检测基准线从而判断芯片主体的方位是否端正。
本实施例中,可以对图像进行旋转,例如往顺时针方向旋转,或者往逆时针方向旋转。在旋转图像的同时,可以检测基准线是否处于水平方向或竖直方向。若将基准线旋转为水平方向或竖直方向,则表明当前芯片主体的方位端正,可停止旋转。
本实施例中,在上述拟合得到基准线的步骤中,由于引脚是连接在芯片主体的周侧,且多个引脚依次排列。为了保障在旋转之后,各个引脚的方位端正,且多个引脚呈竖直排列或水平排列。因此,拟合的基准线可以是连接芯片主体的连接引脚的周侧。请参阅图3,而为了便于基准线的拟合,避免由于连接的引脚对拟合造成的干扰,在拟合时,可以通过以下方式实现:
S10211,针对所述芯片主体的连接有引脚的周侧,采用形态学闭操作将该周侧上连接的引脚进行去除处理。
S10212,采用边缘检测方法对所述周侧进行边缘检测,并采用直线拟合方式拟合得到所述周侧的基准线。
本实施例中,芯片主体的周侧连接有多个引脚,如图4中所示。首先可以采用形态学闭操作将芯片主体的周侧上连接的引脚去除,如图5中所示。其中,形态学闭操作主要可以平滑物体轮廓,可以断开狭窄的间断和消除细小的突出物。因此,采用形态学闭操作可以将连接在芯片主体的引脚进行去除处理。
在此基础上,可以采用边缘检测方法,例如Canny算子,对芯片主体的周侧进行边缘检测,进而采用最小二乘法进行基准线的拟合,如图5中所示的竖线。拟合得到的基准线不仅可以用于检测芯片主体的角度,以检测芯片主体方位是否端正,还也可以作为后续检测区域内像素点投影时的投影基准线。
本实施例中,在将芯片主体的方位调整为端正后,可以将芯片主体的任一周侧的引脚所在区域作为检测区域。其中,划定的方式可以是利用矩形框框定引脚所在的区域。将检测区域内的像素点向预设方向进行投影。
本实施例中,由上述可知,检测区域包括位于芯片主体的左右两侧的区域,该检测区域内的多个引脚在竖直方向上依次排列,以及位于芯片主体上下两侧的区域,该检测区域内的多个引脚在水平方向上依次排列。而得到的投影图像包括由检测区域内的多个引脚的像素点分别向水平方向投影的水平投影图像和向竖直方向投影的竖直投影图像。
其中,水平投影图像即为检测区域内的多个引脚的像素点向上述的处于竖直方向的基准线进行投影得到的,竖直投影图像为检测区域内的多个引脚的像素点向上述的处于水平方向的基准线进行投影得到的。
其中,请参阅图6,得到水平投影图像的方式如下:
S1031A,计算得到所述检测区域内的每一行的像素点的像素值之和。
S1032A,基于像素值之和与行信息之间的关系,构建得到将所述检测区域内的各个像素点向水平方向进行投影得到的水平投影图像。
本实施例中,在检测区域内包含引脚的图像和其他区域的图像。检测区域内的图像由多行多列的像素点所构成。在得到水平投影图像时,从检测区域内的第一行开始直至最后一行,将每一行包含的多个像素点的像素值进行累加,也即,实现该行像素点的投影。如此,则可以得到多个行的像素值之和。以行数作为坐标轴的横轴,以像素值之和作为坐标轴的纵轴,建立像素值之和与行信息之间的关系,从而得到水平投影图像,例如,可为图7中所示。
此外,请参阅图8,得到垂直投影图像的方式可如下所示:
S1031B,计算得到所述检测区域内的每一列的像素点的像素值之和。
S1032B,基于像素值之和与列信息之间的关系,构建得到将所述检测区域内的各个像素点向竖直方向进行投影得到的竖直投影图像。
本实施例中,同样地针对包含引脚的图像和其他区域图像的检测区域,从该检测区域的第一列开始直至最后一列,将每一列包含的多个像素点的像素值进行累加,也即,实现该列像素点的投影。如此,则可以得到每一列的像素值之和。以列数作为坐标轴的横轴,以像素值之和作为坐标轴的纵轴,建立像素值之和与列信息之间的关系,从而得到垂直投影图像。在图中的坐标轴的横轴为列数时,图7所示的投影图像可以为垂直投影图像。
本实施例中,在基于投影图像得到的引脚信息包括引脚宽度、引脚间距、引脚长度和引脚数量。请参阅图9,在上述步骤S104中,可以通过以下方式得到上述的各类引脚信息。
S1041A,针对位于所述芯片主体左右两侧的区域的引脚,根据所述引脚对应的水平投影图像中的像素值波谷的个数确定引脚的引脚数量。
S1042A,根据所述水平投影图像中任一像素值波谷的两侧边缘之间在横轴上的距离,得到所述引脚宽度。
S1043A,根据所述水平投影图像中相邻两个像素值波峰同侧边缘之间在横轴上的距离,得到所述引脚间距。
S1044A,根据所述引脚的垂直投影图像中像素值波谷两侧之间在横轴上的距离,得到所述引脚长度。
通过上述投影方式得到的水平投影图像和垂直投影图像中,由于引脚对应的像素点与其他区域的像素点之间存在像素值的差异,如引脚一般为黑色,像素值为0或接近0,而其他区域为背景区域,一般为白色,其像素值一般较大。因此,在水平投影图像和垂直投影图像中像素值的分布可以体现出引脚在检测区域内的占据情况,进而可以得到引脚信息。
针对位于芯片左右两侧的区域的引脚,在其对应的水平投影图像中,从检测区域的第一行开始,若该行并未包含引脚图像,则该行的像素值之和较大,直至从某一行开始包含引脚图像时,则得到的像素值之和变小。由于引脚具有一定宽度,因此一个引脚一般会占据多行像素点。因此,会持续几行的像素值之和较小。直至统计到离开该引脚时,则像素值之和又变大,持续几行较大的像素值之和之后,在统计到下一个引脚时,则像素值之和又变小。如此,则得到的水平投影图像可以是包含多个像素值波峰和多个像素值波谷的图形。其中,每个像素值波谷的位置即对应一引脚。
而位于芯片左右两侧的区域的引脚,其对应的垂直投影图像中则一般仅包含一个像素值波峰和一个像素值波谷。其中,像素值波峰即为从竖直方向上并未包含有引脚的像素值之和的体现,而像素值波谷即为从竖直方向上包含有引脚的像素值之和的体现。
因此,针对芯片左右两侧的区域的引脚,则其水平投影图像中像素值波谷的个数即为其引脚的引脚数量。而引脚的引脚宽度,即体现为引脚所占据的行数,也即,水平投影图像中任意一个像素值波谷的两侧边缘之间的距离。
引脚的引脚间距为前一个引脚的上侧与下一个引脚的上侧之间的距离,则可以是水平投影图像中相邻两个像素值波峰同侧边缘之间的距离。
而引脚的引脚长度需要基于对应的垂直投影图像获得,垂直投影图像中的像素值波谷对应表征引脚在垂直方向上的投影,因此,像素值波谷两侧之间的距离,即对应为引脚的引脚长度。
上述是以位于芯片主体左右两侧的区域的引脚为例进行阐述,若针对位于芯片主体上下两侧的区域的引脚,则根据引脚对应的垂直投影图像中的像素值波谷的个数为引脚的引脚数量。其对应的垂直投影图像中的任一像素值波谷的两侧边缘之间在横轴上的距离,为引脚宽度。在垂直投影图像中相邻两个像素值波峰同侧边缘之间在横轴上的距离,作为引脚间距。而引脚的水平投影图像中像素值波谷两侧之间在横轴上的距离,作为引脚长度。
本实施例中,基于图像直接得到的引脚信息仅是可以体现引脚在图像上的信息。而在实际实施时,需要能够获得引脚真实的尺寸信息。因此,请参阅图10,本实施例中,在确定检测区域内的引脚的引脚信息时,可以通过以下方式实现:
S1041B,基于所述投影图像中包含的像素值分布信息,得到所述检测区域内的引脚关于图像像素点的信息。
S1042B,获取标定板的图像,所述标定板上包含多个标定格,每个标定格具有标定尺寸。
S1043B,获得每个标定格所占的像素点数量,基于所述标定格的标定尺寸以及所占的像素点数量,计算得到每个像素点对应的尺寸。
S1044B,根据所述检测区域内的引脚关于图像像素点的信息,以及每个像素点对应的尺寸,得到所述引脚关于尺寸的引脚信息。
本实施例中,基于投影图像中包含的像素值分布信息,可以得到引脚关于图像像素点的信息。例如,引脚宽度所对应的占据的像素点行数(或列数),引脚间距对应占据的像素点行数(或列数),引脚长度所占据的像素点列数(或行数)。
此外,还可以通过图像采集装置拍摄获得标定板的图像。标定板可以是棋盘式标定板。标定板中包含多个标定格,而标定格具有标定尺寸,该标定尺寸为真实尺寸,例如长度、宽度等。
其中,图像采集装置在拍摄标定板的图像和拍摄待测量芯片的图像时,保持拍摄状态的一致,如此,可以保障拍摄得到的两者的图像信息具有可比性。
在拍摄获得标定板的图像后,可以统计每个标定格所占的像素点数量,例如像素点数量n,若标定格的尺寸为一个单位尺寸1,则计算得到每个像素点对应的尺寸,也即像素当量为k=1/n。
同样地,待测量芯片的图像中每个像素点的像素当量为k,如此,则可以根据引脚关于图像像素点的信息,以及像素当量,得到引脚关于尺寸的引脚信息。例如,引脚宽度所占据的像素点行数乘以像素当量,则可以得到引脚宽度真实的尺寸。引脚间距所占据的像素点行数乘以像素当量,则可以得到引脚间距真实的尺寸。引脚长度所占据的像素点列数乘以像素当量,则可以得到引脚长度真实的尺寸。
本实施例所提供的芯片引脚测量方法,将芯片引脚的测量问题转化为基于机器视觉的智能化测量,引脚的引脚信息转换为图像中包含引脚的检测区域内像素点投影的数值分布特征问题。实现了芯片引脚测量的智能化和自动化,节省了人力,并保障了检测精度和效率,进而保障了芯片的产品性能和品质。本方案所依赖的设备成本低,技术手段简便易行,能够满足芯片引脚测量实时性要求,且可保障测量的高效率。
请参阅图11,为本申请实施例提供的电子设备的示例性组件示意图,该电子设备可包括存储介质110、处理器120、芯片引脚测量装置130及通信接口140。本实施例中,存储介质110与处理器120均位于电子设备中且二者分离设置。然而,应当理解的是,存储介质110也可以是独立于电子设备之外,且可以由处理器120通过总线接口来访问。可替换地,存储介质110也可以集成到处理器120中,例如,可以是高速缓存和/或通用寄存器。
芯片引脚测量装置130可以理解为上述电子设备,或电子设备的处理器120,也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述芯片引脚测量方法的软件功能模块。
如图12所示,上述芯片引脚测量装置130可以包括获取模块131、处理模块132、投影模块133和确定模块134。下面分别对该芯片引脚测量装置130的各个功能模块的功能进行详细阐述。
获取模块131,用于获取待测量芯片的图像,所述待测量芯片包含芯片主体和连接在所述芯片主体周侧的引脚。
可以理解,该获取模块131可以用于执行上述步骤S101,关于该获取模块131的详细实现方式可以参照上述对步骤S101有关的内容。
处理模块132,用于对所述图像进行旋转处理,以调整所述待测量芯片的方位。
可以理解,该处理模块132可以用于执行上述步骤S102,关于该处理模块132的详细实现方式可以参照上述对步骤S102有关的内容。
投影模块133,用于划定所述芯片主体的任一周侧的引脚所在区域为检测区域,将所述检测区域内的各个像素点向预设方向进行投影,得到投影图像。
可以理解,该投影模块133可以用于执行上述步骤S103,关于该投影模块133的详细实现方式可以参照上述对步骤S103有关的内容。
确定模块134,用于基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息。
可以理解,该确定模块134可以用于执行上述步骤S104,关于该确定模块134的详细实现方式可以参照上述对步骤S104有关的内容。
在一种可能的实施方式中,芯片引脚测量装置130还包括预处理模块132,该预处理模块132用于:
对所述图像进行分段线性灰度变换处理;
采用自适应中值滤波方法对变换处理后的图像进行滤波处理。
在一种可能的实施方式中,上述处理模块132可以用于:
采用直线拟合方式拟合得到所述芯片主体的连接有引脚的周侧的基准线;
对所述图像进行旋转处理,以使所述基准线处于水平方向或竖直方向。
在一种可能的实施方式中,上述处理模块132可以用于:
针对所述芯片主体的连接有引脚的周侧,采用形态学闭操作将该周侧上连接的引脚进行去除处理;
采用边缘检测方法对所述周侧进行边缘检测,并采用直线拟合方式拟合得到所述周侧的基准线。
在一种可能的实施方式中,所述检测区域包括位于所述芯片主体左右两侧的区域,该检测区域内的多个引脚在竖直方向上依次排列,以及位于所述芯片主体上下两侧的区域,该检测区域内的多个引脚在水平方向上依次排列;
所述投影图像包括由检测区域内的多个引脚的像素点分别向水平方向投影的水平投影图像和向竖直方向投影的竖直投影图像。
在一种可能的实施方式中,上述投影模块133可以用于:
计算得到所述检测区域内的每一行的像素点的像素值之和;
基于像素值之和与行信息之间的关系,构建得到将所述检测区域内的各个像素点向水平方向进行投影得到的水平投影图像。
在一种可能的实施方式中,上述投影模块133可以用于:
计算得到所述检测区域内的每一列的像素点的像素值之和;
基于像素值之和与列信息之间的关系,构建得到将所述检测区域内的各个像素点向竖直方向进行投影得到的竖直投影图像。
在一种可能的实施方式中,所述引脚信息包括引脚宽度、引脚间距、引脚长度和引脚数量,上述确定模块134可以用于:
针对位于所述芯片主体左右两侧的区域的引脚,根据所述引脚对应的水平投影图像中的像素值波谷的个数确定引脚的引脚数量;
根据所述水平投影图像中任一像素值波谷的两侧边缘之间在横轴上的距离,得到所述引脚宽度;
根据所述水平投影图像中相邻两个像素值波峰同侧边缘之间在横轴上的距离,得到所述引脚间距;
根据所述引脚的垂直投影图像中像素值波谷两侧之间在横轴上的距离,得到所述引脚长度。
在一种可能的实施方式中,上述确定模块134可以用于:
基于所述投影图像中包含的像素值分布信息,得到所述检测区域内的引脚关于图像像素点的信息;
获取标定板的图像,所述标定板上包含多个标定格,每个标定格具有标定尺寸;
获得每个标定格所占的像素点数量,基于所述标定格的标定尺寸以及所占的像素点数量,计算得到每个像素点对应的尺寸;
根据所述检测区域内的引脚关于图像像素点的信息,以及每个像素点对应的尺寸,得到所述引脚关于尺寸的引脚信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
进一步地,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有机器可执行指令,机器可执行指令被执行时实现上述实施例提供的芯片引脚测量方法。
具体地,该计算机可读存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该计算机可读存储介质上的计算机程序被运行时,能够执行上述芯片引脚测量方法。关于计算机可读存储介质中的及其可执行指令被运行时,所涉及的过程,可以参照上述方法实施例中的相关说明,这里不再详述。
综上所述,本申请实施例提供的芯片引脚测量方法和装置,在获取包含芯片主体和连接在芯片主体周侧的引脚的图像后,对图像进行旋转处理,以调整待测量芯片的方位,并划定芯片主体的任一周侧的引脚所在区域为检测区域,将检测区域内的各个像素点向预设方向进行投影,得到投影图像,最后基于投影图像中包含的像素值分布信息,确定检测区域内的引脚的引脚信息。本方案中,采用像素点的像素值投影的方式,可以直接基于像素值分布来确定引脚信息,在简化处理方式的同时,可以广泛适用于基于图像的芯片引脚测量应用中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种芯片引脚测量方法,其特征在于,所述方法包括:
获取待测量芯片的图像,所述待测量芯片包含芯片主体和连接在所述芯片主体周侧的引脚;
对所述图像进行旋转处理,以调整所述待测量芯片的方位;
划定所述芯片主体的任一周侧的引脚所在区域为检测区域,将所述检测区域内的各个像素点向预设方向进行投影,得到投影图像;
基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息。
2.根据权利要求1所述的芯片引脚测量方法,其特征在于,所述对所述图像进行旋转处理的步骤之前,所述方法还包括:
对所述图像进行分段线性灰度变换处理;
采用自适应中值滤波方法对变换处理后的图像进行滤波处理。
3.根据权利要求1所述的芯片引脚测量方法,其特征在于,所述对所述图像进行旋转处理,以调整所述待测量芯片的方位的步骤,包括:
采用直线拟合方式拟合得到所述芯片主体的连接有引脚的周侧的基准线;
对所述图像进行旋转处理,以使所述基准线处于水平方向或竖直方向。
4.根据权利要求3所述的芯片引脚测量方法,其特征在于,所述采用直线拟合方式拟合得到所述芯片主体的连接有引脚的任一周侧的基准线的步骤,包括:
针对所述芯片主体的连接有引脚的周侧,采用形态学闭操作将该周侧上连接的引脚进行去除处理;
采用边缘检测方法对所述周侧进行边缘检测,并采用直线拟合方式拟合得到所述周侧的基准线。
5.根据权利要求1所述的芯片引脚测量方法,其特征在于,所述检测区域包括位于所述芯片主体左右两侧的区域,该检测区域内的多个引脚在竖直方向上依次排列,以及位于所述芯片主体上下两侧的区域,该检测区域内的多个引脚在水平方向上依次排列;
所述投影图像包括由检测区域内的多个引脚的像素点分别向水平方向投影的水平投影图像和向竖直方向投影的竖直投影图像。
6.根据权利要求5所述的芯片引脚测量方法,其特征在于,得到所述水平投影图像的步骤,包括:
计算得到所述检测区域内的每一行的像素点的像素值之和;
基于像素值之和与行信息之间的关系,构建得到将所述检测区域内的各个像素点向水平方向进行投影得到的水平投影图像。
7.根据权利要求5所述的芯片引脚测量方法,其特征在于,得到所述竖直投影图像的步骤,包括:
计算得到所述检测区域内的每一列的像素点的像素值之和;
基于像素值之和与列信息之间的关系,构建得到将所述检测区域内的各个像素点向竖直方向进行投影得到的竖直投影图像。
8.根据权利要求5所述的芯片引脚测量方法,其特征在于,所述引脚信息包括引脚宽度、引脚间距、引脚长度和引脚数量;
所述基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息的步骤,包括:
针对位于所述芯片主体左右两侧的区域的引脚,根据所述引脚对应的水平投影图像中的像素值波谷的个数确定引脚的引脚数量;
根据所述水平投影图像中任一像素值波谷的两侧边缘之间在横轴上的距离,得到所述引脚宽度;
根据所述水平投影图像中相邻两个像素值波峰同侧边缘之间在横轴上的距离,得到所述引脚间距;
根据所述引脚的垂直投影图像中像素值波谷两侧之间在横轴上的距离,得到所述引脚长度。
9.根据权利要求1所述的芯片引脚测量方法,其特征在于,所述基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息的步骤,包括:
基于所述投影图像中包含的像素值分布信息,得到所述检测区域内的引脚关于图像像素点的信息;
获取标定板的图像,所述标定板上包含多个标定格,每个标定格具有标定尺寸;
获得每个标定格所占的像素点数量,基于所述标定格的标定尺寸以及所占的像素点数量,计算得到每个像素点对应的尺寸;
根据所述检测区域内的引脚关于图像像素点的信息,以及每个像素点对应的尺寸,得到所述引脚关于尺寸的引脚信息。
10.一种芯片引脚测量装置,其特征在于,所述装置包括:
获取模块,用于获取待测量芯片的图像,所述待测量芯片包含芯片主体和连接在所述芯片主体周侧的引脚;
处理模块,用于对所述图像进行旋转处理,以调整所述待测量芯片的方位;
投影模块,用于划定所述芯片主体的任一周侧的引脚所在区域为检测区域,将所述检测区域内的各个像素点向预设方向进行投影,得到投影图像;
确定模块,用于基于所述投影图像中包含的像素值分布信息,确定所述检测区域内的引脚的引脚信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210115398.8A CN114152200A (zh) | 2022-02-07 | 2022-02-07 | 芯片引脚测量方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210115398.8A CN114152200A (zh) | 2022-02-07 | 2022-02-07 | 芯片引脚测量方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114152200A true CN114152200A (zh) | 2022-03-08 |
Family
ID=80450050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210115398.8A Pending CN114152200A (zh) | 2022-02-07 | 2022-02-07 | 芯片引脚测量方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114152200A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR870008178A (ko) * | 1986-02-28 | 1987-09-24 | 와타리 스기이치로 | 검사 장치 |
JPH0628473A (ja) * | 1992-04-13 | 1994-02-04 | Ezel Inc | Icの傾き検出方法 |
CN101871768A (zh) * | 2010-05-12 | 2010-10-27 | 中国科学院自动化研究所 | 一种基于单目视觉的行李外观信息自动获取系统及其方法 |
CN101936708A (zh) * | 2010-08-13 | 2011-01-05 | 河海大学常州校区 | Qfp芯片的定位检测方法 |
US20130070125A1 (en) * | 2011-09-15 | 2013-03-21 | DigitalOptics Corporation Europe Limited | Registration of Distorted Images |
CN103308007A (zh) * | 2013-05-24 | 2013-09-18 | 华南理工大学 | 多级反射与光栅成像的ic引脚共面度测量系统与方法 |
CN104574367A (zh) * | 2014-12-21 | 2015-04-29 | 浙江大学 | 一种基于机器视觉的集成芯片管脚几何尺寸检测计算方法 |
CN104915963A (zh) * | 2015-06-25 | 2015-09-16 | 哈尔滨工业大学 | 一种用于plcc元件的检测与定位方法 |
CN108564637A (zh) * | 2018-04-19 | 2018-09-21 | 北京知道创宇信息技术有限公司 | 几何模型排布方法及装置 |
CN108759676A (zh) * | 2018-07-12 | 2018-11-06 | 浙江大学 | 基于棋盘格的传动箱端面大尺寸形位公差检测装置与方法 |
CN109655010A (zh) * | 2018-10-31 | 2019-04-19 | 上海畅联智融通讯科技有限公司 | 一种相机动态网格化摄物测量的方法 |
CN111370345A (zh) * | 2020-03-17 | 2020-07-03 | 广西天微电子有限公司 | 芯片检测方法、装置、电子设备和计算机可读存储介质 |
CN112161997A (zh) * | 2020-09-28 | 2021-01-01 | 南京工程学院 | 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统 |
CN112378350A (zh) * | 2020-11-16 | 2021-02-19 | 四川显石电子科技有限公司 | 一种网络变压器pin脚平整度检测方法 |
-
2022
- 2022-02-07 CN CN202210115398.8A patent/CN114152200A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR870008178A (ko) * | 1986-02-28 | 1987-09-24 | 와타리 스기이치로 | 검사 장치 |
JPH0628473A (ja) * | 1992-04-13 | 1994-02-04 | Ezel Inc | Icの傾き検出方法 |
CN101871768A (zh) * | 2010-05-12 | 2010-10-27 | 中国科学院自动化研究所 | 一种基于单目视觉的行李外观信息自动获取系统及其方法 |
CN101936708A (zh) * | 2010-08-13 | 2011-01-05 | 河海大学常州校区 | Qfp芯片的定位检测方法 |
US20130070125A1 (en) * | 2011-09-15 | 2013-03-21 | DigitalOptics Corporation Europe Limited | Registration of Distorted Images |
CN103308007A (zh) * | 2013-05-24 | 2013-09-18 | 华南理工大学 | 多级反射与光栅成像的ic引脚共面度测量系统与方法 |
CN104574367A (zh) * | 2014-12-21 | 2015-04-29 | 浙江大学 | 一种基于机器视觉的集成芯片管脚几何尺寸检测计算方法 |
CN104915963A (zh) * | 2015-06-25 | 2015-09-16 | 哈尔滨工业大学 | 一种用于plcc元件的检测与定位方法 |
CN108564637A (zh) * | 2018-04-19 | 2018-09-21 | 北京知道创宇信息技术有限公司 | 几何模型排布方法及装置 |
CN108759676A (zh) * | 2018-07-12 | 2018-11-06 | 浙江大学 | 基于棋盘格的传动箱端面大尺寸形位公差检测装置与方法 |
CN109655010A (zh) * | 2018-10-31 | 2019-04-19 | 上海畅联智融通讯科技有限公司 | 一种相机动态网格化摄物测量的方法 |
CN111370345A (zh) * | 2020-03-17 | 2020-07-03 | 广西天微电子有限公司 | 芯片检测方法、装置、电子设备和计算机可读存储介质 |
CN112161997A (zh) * | 2020-09-28 | 2021-01-01 | 南京工程学院 | 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统 |
CN112378350A (zh) * | 2020-11-16 | 2021-02-19 | 四川显石电子科技有限公司 | 一种网络变压器pin脚平整度检测方法 |
Non-Patent Citations (7)
Title |
---|
WEIHUA LIU等: "A Novel Industrial Chip Parameters Identification Method Based on Cascaded Region Segmentation for Surface-Mount Equipment", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》 * |
WEIHUA LIU等: "A Novel Industrial Chip Parameters Identification Method Based on Cascaded Region Segmentation for Surface-Mount Equipment", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》, vol. 69, no. 5, 25 May 2021 (2021-05-25), pages 5247 - 5256, XP011897012, DOI: 10.1109/TIE.2021.3082072 * |
刘韬等: "《机器视觉及其应用技术》", 30 June 2019, 北京:机械工业出版社, pages: 129 - 133 * |
吴炜等: "《基于学习的图像增强技术》", 28 February 2013, 西安:西安电子科技大学出版社, pages: 25 - 27 * |
曾庆军等: "《水下机器人控制技术》", 31 March 2020, 北京:机械工业出版社, pages: 109 - 110 * |
杨硕: "QFP/BGA芯片引脚视觉测量技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
杨硕: "QFP/BGA芯片引脚视觉测量技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 6, 15 June 2017 (2017-06-15), pages 50 - 54 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650523B2 (en) | Image segmentation method, image segmentation system and storage medium and apparatus including the same | |
Di Leo et al. | A vision system for the online quality monitoring of industrial manufacturing | |
WO2024021063A1 (zh) | 检测视觉系统稳定性的方法和装置 | |
CN108955901B (zh) | 一种红外测温方法、系统及终端设备 | |
CN104634242A (zh) | 探针补点系统及方法 | |
CN115797359B (zh) | 基于电路板上锡膏的检测方法、设备和存储介质 | |
CN115096206B (zh) | 一种基于机器视觉的零件尺寸高精度测量方法 | |
CN116165216B (zh) | 一种液晶显示屏微划伤瑕疵3d检测方法、系统及计算设备 | |
CN112233076A (zh) | 基于红色圆标靶图像处理的结构振动位移测量方法及装置 | |
CN115641337B (zh) | 一种线状缺陷检测方法、装置、介质、设备及系统 | |
WO2019001164A1 (zh) | 滤光片同心度测量方法及终端设备 | |
CN113222955A (zh) | 一种基于机器视觉的齿轮尺寸参数自动测量方法 | |
CN109148433B (zh) | 用于确定集成电路器件的尺寸的方法和设备 | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN111311671B (zh) | 一种工件测量方法、装置、电子设备及存储介质 | |
CN114152200A (zh) | 芯片引脚测量方法和装置 | |
CN114841943A (zh) | 一种零件检测方法、装置、设备及存储介质 | |
CN110298834B (zh) | 像素级边缘效应的修正方法及终端设备 | |
CN112146834A (zh) | 结构振动位移测量方法及装置 | |
CN117115233B (zh) | 一种基于机器视觉的尺寸测量方法、装置及电子设备 | |
CN113393513B (zh) | 电影银幕穿孔测量方法、测量装置及计算设备 | |
CN114234808B (zh) | 回转类磁脉冲压接件变形区域的尺寸测量方法及装置 | |
JP7113296B2 (ja) | 画像解析方法、プログラム、及び画像解析システム | |
CN111462242B (zh) | 一种基于改进的可变形部件模型的矩形引脚芯片定位方法 | |
CN116563259A (zh) | 一种印刷线路板的尺寸测量方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220308 |