CN117788306A - 一种基于多线程的多焦距极耳图像融合方法 - Google Patents
一种基于多线程的多焦距极耳图像融合方法 Download PDFInfo
- Publication number
- CN117788306A CN117788306A CN202311746498.1A CN202311746498A CN117788306A CN 117788306 A CN117788306 A CN 117788306A CN 202311746498 A CN202311746498 A CN 202311746498A CN 117788306 A CN117788306 A CN 117788306A
- Authority
- CN
- China
- Prior art keywords
- image
- multithreading
- tab
- focal
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 20
- 238000003708 edge detection Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于极耳图像融合技术领域，且公开了一种基于多线程的多焦距极耳图像融合方法，该图像融合方法步骤为：S1，变焦拍摄序列图像；S2,并行去除序列图像噪音；S3,并行提取序列图像边缘；S4,并行去除边缘图像噪音；S5,图像梯度计算并记录；S6,并行比较边缘特征；S7，提取原图像素进行融合。本发明通过采用C++语言进行编写，为了在保证算法精度的同时提升算法速度，采用多线程的方式；多线程涵盖了算法处理的大部分流程，从图像导入到最大梯度序号的标记都采用了多线程的处理方式，大大提高了算法的运行速度，实现了序列极耳图像的实时融合。
Description
技术领域
本发明属于极耳图像融合技术领域，具体为一种基于多线程的多焦距极耳图像融合方法。
背景技术
为了在极耳缺陷检测设备中获取一张细节清晰的图像，需要对极耳进行多焦距的采样。由于极耳表面凹凸不平，固定的焦距无法保证所有细节清晰。因此，需要提取每张图最清晰的部分并将图像进行融合，最终可以得到一张大景深的极耳图像。目前，传统的图像融合算法主要有两种。一种是通过对图像的算数平均或者小波变换的方法，这种方法检测速度快但精度低。另一种是通过梯度边缘检测，包括Canny算子、Prewitt算子、Sobel算子、Roberts算子、Laplacian算子等边缘检测方法。当需要融合的图像比较多时，这种方法的检测效率比较低，无法达到实时检测。在工业检测过程中，如果无法实时的进行多焦距极耳图像融合，会影响后续的极耳缺陷检测，导致软件整体运行跟不上工业生产的节奏或者出现相机丢图漏拍的现象。因此，需要开发一种高效、实时的多焦距极耳图像融合算法，以提高极耳缺陷检测的准确性和效率。
发明内容
本发明的目的在于提供一种基于多线程的多焦距极耳图像融合方法，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明提供如下技术方案：一种基于多线程的多焦距极耳图像融合方法，该图像融合方法步骤为：
S1，变焦拍摄序列图像；使用固定相机对同一极耳进行聚焦拍摄，共获得30张同一极耳但不同焦距的极耳图像；
S2,并行去除序列图像噪音；对每一张图像使用高斯滤波进行卷积，以消除其中的高斯噪声；
S3,并行提取序列图像边缘；使用拉普拉斯算子对图像进行边缘检测；
S4,并行去除边缘图像噪音；使用均值滤波对图像进行卷积，以消除其中的高频噪声；
S5,图像梯度计算并记录；在处理完每一张图像之后，将得到的梯度图像分为10组，每组包含3张图像；然后为每组图像分配一个线程，并行计算组内在同一像素处的最大梯度；标记最大梯度的所属图像序号，并记录最大梯度矩阵和图像标记矩阵；
S6,并行比较边缘特征；在同一线程中对S5步骤中保存的10个梯度图矩阵进行比较，而后标记最大梯度的图像序号并保存这些信息。
S7，提取原图像素进行融合；根据序号标记矩阵获取标记的原始图像中的对应像素进行融合，得到一张细节部分均清晰的极耳图像。
优选地，所述该融合方法采用多线程的方式提取焦点堆栈，实现图像融合算法的并行处理。
优选地，所述S1中的拍摄设备采用的是工业级CMOS相机，可对同一个极耳在不同位置进行聚焦拍摄，得到多张相同构图但焦距不同的图像。
优选地，所述S6中的比较方式是对每一张图均提取高频信息，在每一个像素点位置比较得到高频信息的最大值，而后找到最大值对应的像素值进行图像融合。
优选地，所述S5中对最大梯度进行计算的算法采用多线程并行处理的方式，在最大梯度值获取这一步根据图像的特点把图像分成多组并行进行计算，提升了整体的算法速度。
优选地，所述S2中使用高斯滤波进行卷积的步骤为：
步骤一，定义一个二维高斯核，其大小由滤波器尺寸和标准差决定；
步骤二，确定内核值，初始化输出图片大小和零值；
步骤三，通过二维高斯分布的公式以内核值大小为依据，创建一个正态分布且已经归一化的卷积核；
步骤四，通过反射来扩充原图片的边界；
步骤五，分通道进行原图片和卷积核间的卷积，输出结果图片。
优选地，所述S3中使用拉普拉斯算子对图像进行边缘检测的步骤为：
A1,计算每个像素点周围像素的二阶导数；
A2,判断该像素点是否位于边缘上；
A3,得到一个清晰的边缘图像。
优选地，所述S4中使用均值滤波对图像进行卷积以消除其中的高频噪声的步骤为：
B1,定义一个大小为3*5的矩形滤波器窗口；
B2,在图像上滑动该滤波器窗口，将窗口内所有像素的灰度值相加并求平均；
B3，将计算得到的平均值赋给窗口中心的像素，作为该像素的新灰度值；
B4，按照一定的步长移动窗口，并重复步骤2和3，直到遍历整个图像；
B5，得到了经过均值滤波处理的无高频噪声图像。
本发明的有益效果如下：
1、本发明通过采用了一张图像一个线程的方式进行并行处理，充分利用了CPU和GPU的资源，使得处理速度大大提高；在不使用多线程的情况下，处理30张图像需要大约3秒的时间；然而，通过使用多线程处理，能够将30张图像的融合时间缩短到1200毫秒，满足了现场的节拍需求；
2、本发明通过考虑到极耳图像的特点，前后三张梯度图像变化较小，将图像三张一组分成十组进行并行计算梯度最大值；然后，我们将得到的十张梯度值进行比较，找出全局的最大值。这种分组并行处理和比较的方法大大减少了运行时间，提高了整体算法的运算速度，达到了实时的图像融合效果。
3、本发明通过采用C++语言进行编写，为了在保证算法精度的同时提升算法速度，采用多线程的方式；多线程涵盖了算法处理的大部分流程，从图像导入到最大梯度序号的标记都采用了多线程的处理方式，大大提高了算法的运行速度，实现了序列极耳图像的实时融合。
附图说明
图1为本发明为待融合的30张不同焦距的极耳图像图；
图2为本发明为30张极耳图像经过高斯滤波和拉普拉斯算子提取的边缘图像图；
图3为本发明图像融合的结果图；
图4为本发明算法方法详细流程图；
图5为本发明图像融合步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图5所示，本发明实施例提供了一种基于多线程的多焦距极耳图像融合方法，该图像融合方法步骤为：
S1，变焦拍摄序列图像；使用固定相机对同一极耳进行聚焦拍摄，共获得30张同一极耳但不同焦距的极耳图像；
在实验室中，使用高精度的摄影设备使用固定相机对同一极耳进行聚焦拍摄。这个过程非常细致，我们共获得了30张同一个极耳但不同焦距的极耳图像。
S2,并行去除序列图像噪音；对每一张图像使用高斯滤波进行卷积，以消除其中的高斯噪声；
为了提高图像质量，我们决定对每一张图像进行处理。首先，我们使用高斯滤波对图像进行卷积，以消除其中的高斯噪声。高斯滤波是一种常用的图像处理技术，它通过将图像中的每个像素与其邻近的像素进行比较，并使用一个高斯函数来计算新的像素值，从而消除噪声。
S3,并行提取序列图像边缘；使用拉普拉斯算子对图像进行边缘检测；
接下来，我们使用拉普拉斯算子对图像进行边缘检测。拉普拉斯算子是一种二阶微分算子，它可以检测图像中的边缘和轮廓。通过计算每个像素点周围像素的二阶导数，我们可以确定该像素点是否位于边缘上，从而得到一个清晰的边缘图像。
S4,并行去除边缘图像噪音；使用均值滤波对图像进行卷积，以消除其中的高频噪声；
在消除噪声之后，我们使用均值滤波对图像进行卷积，以消除其中的高频噪声。均值滤波是一种简单的图像处理技术，它通过将图像中的每个像素值与其邻近的像素值进行平均计算，从而得到一个新的像素值。这种方法可以有效地消除图像中的高频噪声。
S5,图像梯度计算并记录；在处理完每一张图像之后，将得到的梯度图像分为10组，每组包含3张图像；然后为每组图像分配一个线程，并行计算组内在同一像素处的最大梯度；标记最大梯度的所属图像序号，并记录最大梯度矩阵和图像标记矩阵；
S6,并行比较边缘特征；在同一线程中对S5步骤中保存的10个梯度图矩阵进行比较，而后标记最大梯度的图像序号并保存这些信息。
S7，提取原图像素进行融合；根据序号标记矩阵获取标记的原始图像中的对应像素进行融合，得到一张细节部分均清晰的极耳图像。
其中，所述该融合方法采用多线程的方式提取焦点堆栈，实现图像融合算法的并行处理。
其中，所述S1中的拍摄设备采用的是工业级CMOS相机，可对同一个极耳在不同位置进行聚焦拍摄，得到多张相同构图但焦距不同的图像。
其中，所述S6中的比较方式是对每一张图均提取高频信息，在每一个像素点位置比较得到高频信息的最大值，而后找到最大值对应的像素值进行图像融合。
其中，所述S5中对最大梯度进行计算的算法采用多线程并行处理的方式，在最大梯度值获取这一步根据图像的特点把图像分成多组并行进行计算，提升了整体的算法速度。
多线程的出现是为了加快处理任务的效率，在操作系统层面上，线程是操作系统任务调度的最小单位，进程是资源分配的最小单位，一个进程可以包含多个线程，线程共享进程中的资源。使用多线程并行处理图像，可以对图像算法起到加速作用。
其中，所述S2中使用高斯滤波进行卷积的步骤为：
步骤一，定义一个二维高斯核(也称为滤波器)，其大小由滤波器尺寸和标准差(sigma)决定；常见的高斯核尺寸为3x3、5x5、7x7等。
步骤二，确定内核值，初始化输出图片大小和零值；
步骤三，通过二维高斯分布的公式以内核值大小为依据，创建一个正态分布且已经归一化的卷积核；
步骤四，通过反射来扩充原图片的边界；
步骤五，分通道进行原图片和卷积核间的卷积，输出结果图片。
公式如下：
On(x,y)＝In(x,y)*G(x,y,σ) (1)
其中In(x,y)为第n张输入图像，其中n∈[1,N]，N为图像的总数目，On(x,y)为第n张高斯滤波之后的图像，*为卷积运算符，Gn(x,y,σ)为第n张图像的卷积核。Gn(x,y,σ)的公式如下：
其中，W和H分别为In(x,y)的宽和高，σ为标准差。
其中，所述S3中使用拉普拉斯算子对图像进行边缘检测的步骤为：
A1,计算每个像素点周围像素的二阶导数；
A2,判断该像素点是否位于边缘上；
A3,得到一个清晰的边缘图像。
公式如下：
其中，表示拉普拉斯算子，fn(x,y)是第n张图像的灰度值，而/>和分别为第n张图像在x和y方向的二阶偏导数。通过计算这两个偏导数的和，可以找到图像的边缘和纹理特征。
其中，所述S4中使用均值滤波对图像进行卷积以消除其中的高频噪声的步骤为：
B1,定义一个大小为3*5的矩形滤波器窗口；
B2,在图像上滑动该滤波器窗口，将窗口内所有像素的灰度值相加并求平均；
B3，将计算得到的平均值赋给窗口中心的像素，作为该像素的新灰度值；
B4，按照一定的步长(通常为1个像素)移动窗口，并重复步骤2和3，直到遍历整个图像；
B5，得到了经过均值滤波处理的无高频噪声图像。
均值滤波公式如下：
Mn(x,y)＝In(x,y)*Kn(x,y)(4)
其中Mn(x,y)代表第n张图均值滤波的输出图像，In(x,y)表示第n张图经过拉普拉斯算子提取的边缘图像，Kn(x,y)表示第n张图像的卷积核，公
式如下：
其中W和H分别为In(x,y)的宽和高。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于多线程的多焦距极耳图像融合方法，其特征在于：该图像融合方法步骤为：
S1，变焦拍摄序列图像；使用固定相机对同一极耳进行聚焦拍摄，共获得30张同一极耳但不同焦距的极耳图像；
S2,并行去除序列图像噪音；对每一张图像使用高斯滤波进行卷积，以消除其中的高斯噪声；
S3,并行提取序列图像边缘；使用拉普拉斯算子对图像进行边缘检测；
S4,并行去除边缘图像噪音；使用均值滤波对图像进行卷积，以消除其中的高频噪声；
S5,图像梯度计算并记录；在处理完每一张图像之后，将得到的梯度图像分为10组，每组包含3张图像；然后为每组图像分配一个线程，并行计算组内在同一像素处的最大梯度；标记最大梯度的所属图像序号，并记录最大梯度矩阵和图像标记矩阵；
S6,并行比较边缘特征；在同一线程中对S5步骤中保存的10个梯度图矩阵进行比较，而后标记最大梯度的图像序号并保存这些信息。
S7，提取原图像素进行融合；根据序号标记矩阵获取标记的原始图像中的对应像素进行融合，得到一张细节部分均清晰的极耳图像。
2.根据权利要求1所述的一种基于多线程的多焦距极耳图像融合方法，其特征在于：所述该融合方法采用多线程的方式提取焦点堆栈，实现图像融合算法的并行处理。
3.根据权利要求1所述的一种基于多线程的多焦距极耳图像融合方法，其特征在于：所述S1中的拍摄设备采用的是工业级CMOS相机，可对同一个极耳在不同位置进行聚焦拍摄，得到多张相同构图但焦距不同的图像。
4.根据权利要求1所述的一种基于多线程的多焦距极耳图像融合方法，其特征在于：所述S6中的比较方式是对每一张图均提取高频信息，在每一个像素点位置比较得到高频信息的最大值，而后找到最大值对应的像素值进行图像融合。
5.根据权利要求1所述的一种基于多线程的多焦距极耳图像融合方法，其特征在于：所述S5中对最大梯度进行计算的算法采用多线程并行处理的方式，在最大梯度值获取这一步根据图像的特点把图像分成多组并行进行计算，提升了整体的算法速度。
6.根据权利要求1所述的一种基于多线程的多焦距极耳图像融合方法，其特征在于：所述S2中使用高斯滤波进行卷积的步骤为：
步骤一，定义一个二维高斯核，其大小由滤波器尺寸和标准差决定；
步骤二，确定内核值，初始化输出图片大小和零值；
步骤三，通过二维高斯分布的公式以内核值大小为依据，创建一个正态分布且已经归一化的卷积核；
步骤四，通过反射来扩充原图片的边界；
步骤五，分通道进行原图片和卷积核间的卷积，输出结果图片。
7.根据权利要求1所述的一种基于多线程的多焦距极耳图像融合方法，其特征在于：所述S3中使用拉普拉斯算子对图像进行边缘检测的步骤为：
A1,计算每个像素点周围像素的二阶导数；
A2,判断该像素点是否位于边缘上；
A3,得到一个清晰的边缘图像。
8.根据权利要求1所述的一种基于多线程的多焦距极耳图像融合方法，其特征在于：所述S4中使用均值滤波对图像进行卷积以消除其中的高频噪声的步骤为：
B1,定义一个大小为3*5的矩形滤波器窗口；
B2,在图像上滑动该滤波器窗口，将窗口内所有像素的灰度值相加并求平均；
B3，将计算得到的平均值赋给窗口中心的像素，作为该像素的新灰度值；
B4，按照一定的步长移动窗口，并重复步骤2和3，直到遍历整个图像；
B5，得到了经过均值滤波处理的无高频噪声图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746498.1A CN117788306A (zh) | 2023-12-18 | 2023-12-18 | 一种基于多线程的多焦距极耳图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746498.1A CN117788306A (zh) | 2023-12-18 | 2023-12-18 | 一种基于多线程的多焦距极耳图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117788306A true CN117788306A (zh) | 2024-03-29 |
Family
ID=90382648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311746498.1A Pending CN117788306A (zh) | 2023-12-18 | 2023-12-18 | 一种基于多线程的多焦距极耳图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788306A (zh) |
-
2023
- 2023-12-18 CN CN202311746498.1A patent/CN117788306A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019148739A1 (zh) | 一种模糊图像综合处理方法和系统 | |
| Hu et al. | Deblurring low-light images with light streaks | |
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| Aslantas et al. | A pixel based multi-focus image fusion method | |
| Yu et al. | Efficient patch-wise non-uniform deblurring for a single image | |
| Wang et al. | Improved scheme of estimating motion blur parameters for image restoration | |
| WO2017100971A1 (zh) | 一种失焦模糊图像的去模糊方法和装置 | |
| KR102587710B1 (ko) | 카메라 스트림용 마스크를 생성하기 위한 방법, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체 | |
| CN114529459A (zh) | 一种对图像边缘进行增强处理的方法和系统及介质 | |
| CN108234826B (zh) | 图像处理方法及装置 | |
| CN109716355B (zh) | 微粒边界识别 | |
| CN112419369A (zh) | 一种抗遮挡实时目标跟踪方法 | |
| CN113743147B (zh) | 一种基于模糊成像机理的抗模糊二维码图像及其盲复原方法 | |
| CN113628202A (zh) | 一种确定方法、清洁机器人和计算机存储介质 | |
| Wang et al. | An exposure fusion approach without ghost for dynamic scenes | |
| CN117788306A (zh) | 一种基于多线程的多焦距极耳图像融合方法 | |
| CN114972084A (zh) | 一种图像对焦准确度评价方法及系统 | |
| CN111951254B (zh) | 基于边缘引导加权平均的源相机识别方法及系统 | |
| CN114359183A (zh) | 图像质量评估方法及设备、镜头遮挡的确定方法 | |
| CN110264417B (zh) | 基于分层模型的局部运动模糊区域自动检测提取方法 | |
| CN105678761B (zh) | 一种基于方向极值的噪声图像的散焦图估计方法 | |
| WO2009090641A1 (en) | Multi-scale representation of an out of focus image | |
| CN112581411B (zh) | 一种图像去雾的方法及终端 | |
| Senel | Topological gradient operators for edge detection | |
| Chalkov et al. | Post-processing algorithm for reducing ringing artefacts in deblurred images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |