CN110544229B - 一种相机处于非匀速状态下图像聚焦评估及调焦方法 - Google Patents

一种相机处于非匀速状态下图像聚焦评估及调焦方法 Download PDF

Info

Publication number
CN110544229B
CN110544229B CN201910625799.6A CN201910625799A CN110544229B CN 110544229 B CN110544229 B CN 110544229B CN 201910625799 A CN201910625799 A CN 201910625799A CN 110544229 B CN110544229 B CN 110544229B
Authority
CN
China
Prior art keywords
image
pixel
camera
focusing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910625799.6A
Other languages
English (en)
Other versions
CN110544229A (zh
Inventor
胡跃明
郭怀勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910625799.6A priority Critical patent/CN110544229B/zh
Publication of CN110544229A publication Critical patent/CN110544229A/zh
Application granted granted Critical
Publication of CN110544229B publication Critical patent/CN110544229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

本发明公开了一种相机处于非匀速状态下图像聚焦评估及调焦方法，本发明通过定位相机非匀速运动状态下采集的柔性IC基板图像关键区域，引入结构相似性指标、点锐度函数和灰度方差乘积函数计算图像的聚焦质量评估结果，去除了非匀速运动状态对图像质量评价的负面影响，并得到相机垂直位置调整依据，在保证评价效果的基础上同时实现了快速评价和自动调整相机位置的功能。

Description

一种相机处于非匀速状态下图像聚焦评估及调焦方法
技术领域
本发明涉及图像处理领域，具体涉及一种相机处于非匀速状态下图像聚焦评估及调焦方法。
背景技术
随着各类数字成像技术的飞速发展，数字图像的聚焦质量日益成为衡量数字成像系统优劣的重要指标。在IC基板表面缺陷检测领域，对采集到的数字图像进行聚焦质量评估也具有非常重要的作用。然而，如何客观有效的评价数字图像的聚焦质量，仍是研究的热点。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种相机处于非匀速状态下图像聚焦评估及调焦方法。
本发明适用于相机在非匀速状态下采集的数字图像，去除了非匀速运动状态对图像质量评价的负面影响，在保证评价效果的基础上避免了对整张图像进行计算，加快了评价速度，并得到相机垂直位置调整依据，实现了自动调整相机位置的功能。
本发明采用如下技术方案：
一种相机处于非匀速状态下图像聚焦评估及调焦方法，包括如下步骤：
S1成像系统在非匀速运动状态下采集放置于吸附平台的柔性IC基板的彩色图像；
S2以彩色图像作为输入，利用关键区域定位模型进行彩色图像关键区域定位，并给出关键区域的图像坐标，并对其进行排序；
S3对定位出的每个关键区域图像分别进行预处理，得到处理后的彩色图像；
S4针对预处理后的彩色图像，计算结构相似性指标并进行归一化，度量非匀速运动给彩色图像带来的影响程度SSIM；
S5对预处理后的彩色图像进行分割，将分割后的图像像素点分别归为边缘像素点或中心区像素点；
S6中心区像素点及边缘像素点的聚焦质量评估计算，根据评估结果对两者进行加权求和得到初步聚焦质量评价结果；
S7去除非匀速运动对聚焦质量评价的影响，得到最终的聚焦质量评价结果；
S8将定位出的关键区域进行适当的扩充但区域间不能相交，得到扩充后的新坐标；
S9将计算出的聚焦质量评价结果分别与对应的关键区域扩充坐标一起构成相机垂直位置调整系数矩阵；
S10当下次采集图像时，相机进入关键区域内的时候，系统读取系数后自动调整相机的垂直高度到合适位置，实现系统的自动调焦功能。
所述关键区域具体为金手指区域。
所述S4中影响程度SSIM计算公式如下：
Figure BDA0002127056150000021
其中，m,n代表图像像素尺寸；l(x,y)代表两个像素点的亮度对比结果，c(x,y)代表对比度比较结果，s(x,y)代表结构信息比较结果，α＝β＝γ为比例系数。
所述S6中，中心像素点的聚焦质量评估，具体为：
对中心区中每个像素点计算其八邻域内像素与该像素点的灰度值之差的绝对值，并根据距离进行加权，再采用点锐度函数计算出点锐度，最后取各点点锐度平均值为评估结果Dpoint，
Figure BDA0002127056150000022
所述S6中，所述边缘像素点的聚焦质量评估计算，具体为：
对每一像素点像素邻域两个灰度差相乘后再逐个像素累加，并进行归一化处理和取平均后，得到评价结果Dsmd；
Figure BDA0002127056150000023
所述预处理包括梯度计算和高低阈值处理。
本发明的有益效果：
通过引入结构相似性指标、点锐度函数和灰度方差乘积函数计算图像的聚焦质量评估结果，去除了非匀速运动状态对图像质量评价的负面影响，在保证评价效果的基础上避免了对整张图像进行计算，加快了评价速度，并得到相机垂直位置调整依据，实现了自动调焦的功能。
附图说明
图1是本发明的工作流程图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，一种相机处于非匀速状态下图像聚焦评估及调焦方法，适用于IC基板表面缺陷检测，硬件系统包括成像系统、运动模组及吸附平台，IC基板放置在吸附平台上，成像系统在运动模组的控制下进行非匀速运动，成像系统主要包括相机，具体包括如下步骤：
S1相机在运动模组的带动下做弓形运动，采集需要评估的柔性IC基板的彩色图像；
S2以彩色图像作为输入，利用关键区域定位模型进行彩色图像关键区域定位，并给出关键区域的图像坐标，并对其进行排序。
所述关键区域是指金手指区域，图像坐标是指电路板上金手指区域的坐标，并对定位出来的坐标进行排序。
所述关键区域定位模型是运用LBP算子，采集一定数量的正、负样本图像进行训练，然后得到的模型。
S3采用并行的方法对定位出图像关键区域进行预处理，得到处理后的彩色图像，所述预处理包括梯度计算和高低阈值处理。
S4针对预处理后的彩色图像，计算结构相似性指标并进行归一化，度量非匀速运动给彩色图像带来的影响程度SSIM即结构性指标；
Figure BDA0002127056150000031
其中，m,n代表图像像素尺寸；l(x,y)代表两个像素点的亮度对比结果，c(x,y)代表对比度比较结果，s(x,y)代表结构信息比较结果，α＝β＝γ为比例系数。
S5对预处理后的彩色图像进行分割，将分割后的图像像素点分别归为边缘像素点或中心区像素点；
S6中心区像素点及边缘像素点的聚焦质量评估计算，根据评估结果对两者进行加权求和得到初步聚焦质量评价结果；
中心区中每个像素点计算其八邻域内像素与该像素点的灰度值之差的绝对值，并根据距离进行加权，再采用点锐度函数计算出点锐度，最后取各点点锐度平均值为评估结果Dpoint。
Figure BDA0002127056150000041
其中，m,n代表中心区图像像素尺寸，df/dx为像素点边缘法向的灰度变化率。
所谓边缘区的聚焦质量评估计算，即对每一像素点像素邻域两个灰度差相乘后再逐个像素累加，并进行归一化处理和取平均后，得到评价结果Dsmd。
Figure BDA0002127056150000042
其中，m,n代表边缘区图像像素尺寸，f(x,y)代表像素点(x,y)的像素值。
所述根据评估结果对两者进行加权求和得到初步聚焦质量评价结果，所谓加权求和，即分别对中心区和边缘区求取图像面积s1和s2，并计算出占总面积S的百分比，将百分比作为权值计算出初步聚焦质量评价结果Dfocus。
Figure BDA0002127056150000043
S7去除非匀速运动对聚焦质量评价的影响，得到最终的聚焦质量评价结果Dfinal；
S8将定位出的关键区域进行适当的扩充但区域间不能相交，得到扩充后的新坐标；
扩充具体是指：将S2得到的关键区域坐标，按照事先设定的阈值进行增大或者缩小，使其表示的范围变大或缩小。增大或缩小后的坐标为扩充后的新坐标。
S9将S7中的最终的聚焦质量评价结果分别与对应的关键区域扩充坐标一起构成相机垂直位置调整系数矩阵；当下次采集图像时，相机进入关键区域内的时候，系统读取系数后自动调整相机的垂直高度到合适位置，实现系统的自动调焦功能。
每张关键区域的图像都会得到一个评估结果，加上它的扩充后的坐标，就得到对应的参数向量，把所有的关键区域图像的这些参数向量依次排列起来就可以构成矩阵。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种相机处于非匀速状态下图像聚焦评估及调焦方法，其特征在于，包括如下步骤：
S1成像系统在非匀速运动状态下采集放置于吸附平台的柔性IC基板的彩色图像；
S2以彩色图像作为输入，利用关键区域定位模型进行彩色图像关键区域定位，并给出关键区域的图像坐标，并对其进行排序,所述关键区域具体为金手指区域；
S3对定位出的每个关键区域图像分别进行预处理，得到处理后的彩色图像，所述预处理包括梯度计算和高低阈值处理；
S4针对预处理后的彩色图像，计算结构相似性指标并进行归一化，度量非匀速运动给彩色图像带来的影响程度SSIM；
所述S4中影响程度SSIM计算公式如下：
Figure FDA0003810398570000011
其中，m,n代表图像像素尺寸；l(x,y)代表两个像素点的亮度对比结果，c(x,y)代表对比度比较结果，s(x,y)代表结构信息比较结果，α＝β＝γ为比例系数；
S5对预处理后的彩色图像进行分割，将分割后的图像像素点分别归为边缘像素点或中心区像素点；
S6中心区像素点及边缘像素点的聚焦质量评估计算，根据评估结果对两者进行加权求和，所述加权求和分别对中心区和边缘区求取图像面积s1和s2，并计算出占总面积S的百分比，将百分比作为权值，得到初步聚焦质量评价结果；
所述S6中，中心像素点的聚焦质量评估，具体为：
对中心区中每个像素点计算其八邻域内像素与该像素点的灰度值之差的绝对值，并根据距离进行加权，再采用点锐度函数计算出点锐度，最后取各点点锐度平均值为评估结果Dpoint，
Figure FDA0003810398570000012
其中，df/dx为像素点边缘法向的灰度变化率；
所述S6中，所述边缘像素点的聚焦质量评估计算，具体为：
对每一像素点像素邻域两个灰度差相乘后再逐个像素累加，并进行归一化处理和取平均后，得到评价结果Dsmd；
Figure FDA0003810398570000021
其中，f(x,y)代表像素点(x,y)的像素值；
S7去除非匀速运动对聚焦质量评价的影响，得到最终的聚焦质量评价结果；
S8将定位出的关键区域进行适当的扩充但区域间不能相交，得到扩充后的新坐标；
S9将计算出的聚焦质量评价结果分别与对应的关键区域扩充坐标一起构成相机垂直位置调整系数矩阵；
S10当下次采集图像时，相机进入关键区域内的时候，系统读取系数后自动调整相机的垂直高度到合适位置，实现系统的自动调焦功能。
CN201910625799.6A 2019-07-11 2019-07-11 一种相机处于非匀速状态下图像聚焦评估及调焦方法 Active CN110544229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625799.6A CN110544229B (zh) 2019-07-11 2019-07-11 一种相机处于非匀速状态下图像聚焦评估及调焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625799.6A CN110544229B (zh) 2019-07-11 2019-07-11 一种相机处于非匀速状态下图像聚焦评估及调焦方法

Publications (2)

Publication Number Publication Date
CN110544229A CN110544229A (zh) 2019-12-06
CN110544229B true CN110544229B (zh) 2022-11-18

Family

ID=68709874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625799.6A Active CN110544229B (zh) 2019-07-11 2019-07-11 一种相机处于非匀速状态下图像聚焦评估及调焦方法

Country Status (1)

Country Link
CN (1) CN110544229B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041531B (zh) * 2023-09-04 2024-03-15 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442247A (zh) * 2013-08-15 2013-12-11 华南理工大学 一种摄像头图像清晰度评估方法及其评估系统
CN104732227A (zh) * 2015-03-23 2015-06-24 中山大学 一种基于清晰度和亮度评估的车牌快速定位方法
CN109521547A (zh) * 2018-12-21 2019-03-26 广州医软智能科技有限公司 一种变步长的自动调焦方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3493455B2 (ja) * 2001-06-06 2004-02-03 ミノルタ株式会社 オートフォーカス装置、カメラ及びオートフォーカス方法
US20190025543A1 (en) * 2017-07-19 2019-01-24 Ivan Sergeevich Shishalov Method for producing a photo- or video-image of at least one object to be recorded

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442247A (zh) * 2013-08-15 2013-12-11 华南理工大学 一种摄像头图像清晰度评估方法及其评估系统
CN104732227A (zh) * 2015-03-23 2015-06-24 中山大学 一种基于清晰度和亮度评估的车牌快速定位方法
CN109521547A (zh) * 2018-12-21 2019-03-26 广州医软智能科技有限公司 一种变步长的自动调焦方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高密度柔性基板视觉检测中的图像分割与圆孔检测技术研究;陈绪超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第1期);第138-4084页 *

Also Published As

Publication number Publication date
CN110544229A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
US11156564B2 (en) Dirt detection on screen
WO2019148739A1 (zh) 一种模糊图像综合处理方法和系统
CN105976330B (zh) 一种嵌入式雾天实时视频稳像方法
CN107845087A (zh) 液晶面板亮度不均匀缺陷的检测方法和系统
US20100246939A1 (en) Image Processing Apparatus and Method, Learning Apparatus and Method, and Program
US11093778B2 (en) Method and system for selecting image region that facilitates blur kernel estimation
CN110648330B (zh) 摄像头玻璃的缺陷检测方法
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析系统及方法
CN110110131B (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
WO2017120796A1 (zh) 路面病害的检测方法及其装置、电子设备
CN105678245A (zh) 一种基于哈尔特征的靶位识别方法
CN114998314A (zh) 一种基于计算机视觉的pcb电路板缺陷检测方法
CN112991374A (zh) 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN110807763A (zh) 一种陶瓦表面鼓包检测方法及系统
CN112381751A (zh) 一种基于图像处理算法的在线智能检测系统及方法
CN110544229B (zh) 一种相机处于非匀速状态下图像聚焦评估及调焦方法
CN112330613A (zh) 一种细胞病理数字图像质量的评价方法及系统
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN111161228B (zh) 一种基于迁移学习的纽扣表面缺陷检测方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN110853097A (zh) 一种应用于饼干表面图案打印设备的饼干识别定位方法
CN113763261B (zh) 一种海雾气象条件下的远小目标实时检测方法
CN113269763B (zh) 基于深度图复原和亮度估计的水下图像清晰度恢复方法
CN115861220A (zh) 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统
CN110021011A (zh) 一种检测芯片画胶面积的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant