CN115035986A - 一种多聚焦图像融合方法、系统及装置 - Google Patents
一种多聚焦图像融合方法、系统及装置 Download PDFInfo
- Publication number
- CN115035986A CN115035986A CN202210679954.4A CN202210679954A CN115035986A CN 115035986 A CN115035986 A CN 115035986A CN 202210679954 A CN202210679954 A CN 202210679954A CN 115035986 A CN115035986 A CN 115035986A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- frequency
- coefficient
- frequency subband
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多聚焦图像融合方法、系统及装置,该方法包括:基于吸收强度起伏调制效应获取全场光学血管造影图像;对全场光学血管造影图像进行NSCT变换,得到图像的子带系数;基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数;根据融合图像的低频子带系数和高频子带系数进行NSCT逆变换,得到融合图像。该系统包括:获取模块、变换模块、融合模块和逆变换模块。该装置包括高功率激光器、光学移动平台、CMOS相机、电动变焦镜头、分束器、电脑、样品、存储器以及用于执行上述多聚焦图像融合方法的处理器。通过使用本发明,能够获得大景深全场光学血管成像图像。本发明可广泛应用于光学成像技术领域。
Description
技术领域
本发明涉及光学成像技术领域,尤其涉及一种多聚焦图像融合方法、系统及装置。
背景技术
血液微循环信息不仅可以用于了解身体的健康状态,而且对于深入了解癌症、心血管疾病和糖尿病视网膜病变等疾病的发病机理也是至关重要的。如高血压前期细动脉或毛细血管密度下降。因此,能够准确的描绘出血管的高分辨率全视场图像,从而提高生物学研究的可靠性十分重要。在现有的全视场光学血管成像方法中,都面临由于镜头的放大倍数和景深负相关,所以无法在保证在较大的放大倍数下获得包含所有相关焦点对象的图像。
发明内容
为了解决上述技术问题,本发明的目的是提供一种多聚焦图像融合方法、系统及装置,能够扩展景深,以获得大景深全场光学血管成像(LD-FFOA)图像,解决了由生物样品中表面和厚度不均匀性引起的全场光学血管造影(FFOA)图像散焦问题。
本发明所采用的第一技术方案是:一种多聚焦图像融合方法,包括以下步骤:
基于吸收强度起伏调制效应获取全场光学血管造影图像;
对全场光学血管造影图像进行NSCT变换,得到图像的子带系数;
基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数;
根据融合图像的低频子带系数和高频子带系数进行NSCT逆变换,得到融合图像。
进一步,所述对全场光学血管造影图像进行NSCT变换,得到图像的子带系数这一步骤,其具体包括:
采用非下采样金字塔分解方法,将全场光学血管造影图像分解,得到图像的低频子带系数和待处理高频子带系数;
基于方向滤波器对待处理高频子带系数进行分解,得到图像的高频子带系数。
进一步,所述基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数这一步骤,其具体包括:
基于梯度特征检测中的改进拉普拉斯能量和对图像的低频子带系数进行融合,得到融合图像的低频子带系数;
基于梯度特征检测中的结构张量对图像的高频子带系数进行判断,得到融合图像的高频子带系数。
进一步,所述基于梯度特征检测中的改进拉普拉斯能量和对图像的低频子带系数进行融合,得到融合图像的低频子带系数这一步骤,其具体包括:
基于图像的低频子带系数,计算低频子带系数中各点的拉普拉斯能量并构建低频拉普拉斯能量矩阵;
设置滑动窗口并结合低频拉普拉斯能量矩阵进行系数选择,得到低频改进拉普拉斯能量和矩阵。
基于低频改进拉普拉斯能量和矩阵系数选择,得到融合图像的低频子带系数。
进一步,所述拉普拉斯能量的计算公式如下:
进一步,所述低频改进拉普拉斯能量和矩阵的计算公式如下:
进一步,所述基于梯度特征检测中的结构张量对图像的高频子带系数进行判断,得到融合图像的高频子带系数这一步骤,其具体包括:
基于图像的高频子带系数和图像的结构张量,计算高频子带系数中各点的结构张量显著检测算子并构建显著检测算子矩阵;
基于显著检测算子矩阵进行系数选择,得到融合图像的高频子带系数。
进一步,所述图像的结构张量S定义如下:
本发明所采用的第二技术方案是:一种多聚焦图像融合系统,包括:
获取模块,基于吸收强度起伏调制效应获取全场光学血管造影图像;
变换模块,用于对全场光学血管造影图像进行NSCT变换,得到图像的子带系数;
融合模块,基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数;
逆变换模块,用于根据融合图像的低频子带系数和高频子带系数进行NSCT逆变换,得到融合图像。
本发明所采用的第三技术方案是:一种多聚焦图像融合装置,包括:
高功率激光器、光学移动平台、CMOS相机、电动变焦镜头、分束器、电脑和样品;
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如上所述一种多聚焦图像融合方法。
本发明方法、系统及装置的有益效果是:本发明利用梯度特征检测中的改进拉普拉斯能量和(SML)对图像的低频子带系数进行融合和利用梯度特征检测中的结构张量(SOT)来判断高频子带系数,能够有效地保留源图像的细节信息,以获得大景深全场光学血管成像。
附图说明
图1是本发明一种多聚焦图像融合方法的步骤流程图;
图2是本发明一种多聚焦图像融合系统的结构框图;
图3是本发明一种多聚焦图像融合装置的具体示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示,本发明提供了一种多聚焦图像融合方法,该方法包括以下步骤:
S1、基于吸收强度起伏调制效应获取全场光学血管造影图像;
具体地,获取的FFOA图像数量为10。在后续步骤2、3、4中,我们只介绍两张不同焦距FFOA图像进行融合的过程,对10张不同焦距FFOA图像可以由两张图片融合进行推广。
S2、对全场光学血管造影图像进行NSCT变换,得到图像的子带系数;
具体地,所述的子带系数与子带图像并无区别。
S2.1、采用非下采样金字塔分解方法,将全场光学血管造影图像分解,得到图像的低频子带系数和待处理高频子带系数;
S2.2、基于方向滤波器对待处理高频子带系数进行分解,得到图像的高频子带系数。
具体地,将两张不同焦距FFOA图像A、B进行NSCT变换,分别得到不同焦距图像的子带系数,所述子带系数包括低频子带系数和高频子带系数。在本发明实施例中,采用4阶非下采样金字塔分解,分解为一个低频子带系数和四个待处理高频子带系数;对前两个待处理高频子带系数,采用二阶方向滤波器,分解为四个高频子带系数,对后两个待处理高频子带系数,采用三阶方向滤波器,分解为八个高频子带系数。
S3、基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数;
S3.1、基于梯度特征检测中的拉普拉斯能量和对图像的低频子带系数进行融合,得到融合图像的低频子带系数;
S3.1.1、基于图像的低频子带系数,计算低频子带系数中各点的改进拉普拉斯能量和并构建低频改进拉普拉斯能量和矩阵;
具体地,对于NSCT分解得到的一对低频子带系数,主要包含了源图像的能量信息,图像中清晰目标和模糊目标之间的差异较大。梯度信息是度量图像场景画面是否清晰的重要指标,因此在本发明中,对于不同焦距FFOA图像A,B在NSCT分解尺度为L时得到低频子带系数为与首先计算图像中各个点(x,y)的拉普拉斯能量,构成图像的低频拉普拉斯能量矩阵,计算如下:
S3.1.2、设置滑动窗口并结合低频拉普拉斯能量矩阵进行系数选择,得到低频改进拉普拉斯能量和矩阵。
具体地,设置一个滑动窗口,设窗口遍历低频拉普拉斯能量矩阵到任一位置时的窗口中心为某像素点(x,y),则低频SML矩阵在(x,y)处的计算公式如下,
S3.1.3、基于低频改进拉普拉斯能量和矩阵系数选择,得到融合图像的低频子带系数。
具体的,低通子带的系数选择原则可以描述为:
S3.2、基于梯度特征检测中的结构张量对图像的高频子带系数进行判断,得到融合图像的高频子带系数。
S3.2.1、基于图像的高频子带系数和图像的结构张量,计算高频子带系数中各点的结构张量显著检测算子并构建显著检测算子矩阵;
具体地,于NSCT分解得到的高频子带系数,主要包含的是大部分详细信息,例如边缘、轮廓、纹理、线条、区域边界等。因此聚焦区域的几何结构LGS通常比散焦区域的LGS更加突出,可以利用LGS算子来检测聚焦特性,近年来,结构张量作为一种有用的LGS特征分析工具,已经成功地应用于图像融合领域。对于图像X在第g层和第l方向的带通方向子带
结构张量S是一个二阶半正定矩阵,具有两个特征值λ1和λ2,可以通过下式计算:
结构张量显著检测算子STS计算如下:
S3.2.2、基于显著检测算子矩阵进行系数选择,得到融合图像的高频子带系数。
具体地,对于不同焦距FFOA图像A,B经过NSCT分解后,第g层和第l方向的的高频子带系数分别为与为融合图像第g层和第l方向的的高频子带系数,首先利用上述STS的计算方法,计算每个的高频子带系数中各个点(x,y)的STS,构成图像的STS矩阵,将的STS矩阵称为 的STS矩阵称为高频子带系数的选择原则可以描述为:
S4、根据融合图像的低频子带系数和高频子带系数进行NSCT逆变换,得到融合图像。
如图2所示,一种多聚焦图像融合系统,包括:
获取模块,基于吸收强度起伏调制效应获取全场光学血管造影图像;
变换模块,用于对全场光学血管造影图像进行NSCT变换,得到图像的子带系数;
融合模块,基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数;
逆变换模块,用于根据融合图像的低频子带系数和高频子带系数进行NSCT逆变换,得到融合图像。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
如图3所示,一种多聚焦图像融合装置,包括:
高功率激光器、光学移动平台、CMOS相机、电动变焦镜头、分束器、电脑和样品;
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如上所述一种多聚焦图像融合方法。
具体地,高功率激光器作为光源,发射激光到分束器(BS)上,通过分束器将光分为上下传播,根据激光照射到样品表面会得到散斑图样。电动变焦镜头(EZL)由计算机控制,以在z方向上改变焦点相对于样品的位置,获得不同焦距的散斑,最后通过CMOS相机采集样品的信号,然后将信号传输到电脑里。在不同焦距的散斑图像进行处理。利用吸收强度起伏调制(AIFM)效应来获得不同焦距的10张FFOA图像。
上述方法实施例中的内容均适用于本装置实施例中,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种存储介质,其中存储有处理器可执行的指令,其特征在于:所述处理器可执行的指令在由处理器执行时用于实现如上所述一种多聚焦图像融合方法。
上述方法实施例中的内容均适用于本存储介质实施例中,本存储介质实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种多聚焦图像融合方法,其特征在于,包括以下步骤:
基于吸收强度起伏调制效应获取全场光学血管造影图像;
对全场光学血管造影图像进行NSCT变换,得到图像的子带系数;基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数;
根据融合图像的低频子带系数和高频子带系数进行NSCT逆变换,得到融合图像。
2.根据权利要求1所述一种多聚焦图像融合方法,其特征在于,所述对全场光学血管造影图像进行NSCT变换,得到图像的子带系数这一步骤,其具体包括:
采用非下采样金字塔分解方法,将全场光学血管造影图像分解,得到图像的低频子带系数和待处理高频子带系数;
基于方向滤波器对待处理高频子带系数进行分解,得到图像的高频子带系数。
3.根据权利要求1所述一种多聚焦图像融合方法,其特征在于,所述基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数这一步骤,其具体包括:
基于梯度特征检测中的改进拉普拉斯能量和对图像的低频子带系数进行融合,得到融合图像的低频子带系数;
基于梯度特征检测中的结构张量对图像的高频子带系数进行判断,得到融合图像的高频子带系数。
4.根据权利要求3所述一种多聚焦图像融合方法,其特征在于,所述基于梯度特征检测中的改进拉普拉斯能量和对图像的低频子带系数进行融合,得到融合图像的低频子带系数这一步骤,其具体包括:
基于图像的低频子带系数,计算低频子带系数中各点的拉普拉斯能量并构建低频拉普拉斯能量矩阵;
设置滑动窗口并结合低频拉普拉斯能量矩阵,得到低频改进拉普拉斯能量和矩阵。
基于低频改进拉普拉斯能量和矩阵系数选择,得到融合图像的低频子带系数。
7.根据权利要求3所述一种多聚焦图像融合方法,其特征在于,所述基于梯度特征检测中的结构张量对图像的高频子带系数进行判断,得到融合图像的高频子带系数这一步骤,其具体包括:
基于图像的高频子带系数和图像的结构张量,计算高频子带系数中各点的结构张量显著检测算子并构建显著检测算子矩阵;
基于显著检测算子矩阵进行系数选择,得到融合图像的高频子带系数。
9.一种多聚焦图像融合系统,其特征在于,包括:
获取模块,基于吸收强度起伏调制效应获取全场光学血管造影图像;
变换模块,用于对全场光学血管造影图像进行NSCT变换,得到图像的子带系数;
融合模块,基于梯度特征检测,根据图像的子带系数生成融合图像的低频子带系数和高频子带系数;
逆变换模块,用于根据融合图像的低频子带系数和高频子带系数进行NSCT逆变换,得到融合图像。
10.一种多聚焦图像融合装置,其特征在于,包括:
高功率激光器、光学移动平台、CMOS相机、电动变焦镜头、分束器、电脑和样品;
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-8任一项所述一种多聚焦图像融合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210679954.4A CN115035986A (zh) | 2022-06-15 | 2022-06-15 | 一种多聚焦图像融合方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210679954.4A CN115035986A (zh) | 2022-06-15 | 2022-06-15 | 一种多聚焦图像融合方法、系统及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115035986A true CN115035986A (zh) | 2022-09-09 |
Family
ID=83125732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210679954.4A Pending CN115035986A (zh) | 2022-06-15 | 2022-06-15 | 一种多聚焦图像融合方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115035986A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205181A (zh) * | 2022-09-15 | 2022-10-18 | 季华实验室 | 一种多聚焦图像融合方法、装置、电子设备及存储介质 |
-
2022
- 2022-06-15 CN CN202210679954.4A patent/CN115035986A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205181A (zh) * | 2022-09-15 | 2022-10-18 | 季华实验室 | 一种多聚焦图像融合方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6490219B2 (ja) | デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法 | |
JP4391698B2 (ja) | 放射波動場の位相決定 | |
CN111288925B (zh) | 一种基于数字对焦结构照明光场的三维重建方法和装置 | |
JPH10509817A (ja) | 信号復元方法および装置 | |
JPH1031745A (ja) | 自動画像解析方法 | |
US20200242732A1 (en) | Image reconstruction method, device and microscopic imaging device | |
Rajagopalan et al. | Space-variant approaches to recovery of depth from defocused images | |
CN115035986A (zh) | 一种多聚焦图像融合方法、系统及装置 | |
Piccinini et al. | Extended depth of focus in optical microscopy: Assessment of existing methods and a new proposal | |
CN111489319A (zh) | 基于多尺度双边滤波和视觉显著性的红外图像增强方法 | |
Bai et al. | Compressed blind deconvolution and denoising for complementary beam subtraction light-sheet fluorescence microscopy | |
Khan et al. | High-density single shot 3D sensing using adaptable speckle projection system with varying preprocessing | |
Ali et al. | Incorporating structural prior for depth regularization in shape from focus | |
Shim et al. | Improving depth computation from robust focus approximation | |
JPWO2019156140A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20220392031A1 (en) | Image processing method, image processing apparatus and image processing system | |
Widjanarko et al. | A post-processing technique for extending depth of focus in conventional optical microscopy | |
Tung et al. | Depth extraction from a single image and its application | |
CN114387387A (zh) | 高反射率表面彩色三维重建方法、系统、终端及介质 | |
Law et al. | 3D reconstruction of coronary artery using biplane angiography | |
AU2004201109A1 (en) | Method and apparatus for producing a phase image of an object | |
JP7504780B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
Chandran et al. | A hybrid optical technique to evaluate the instantaneous specimen shape during static and dynamic material testing | |
CN110286464B (zh) | 一种基于面积准则的自动聚焦方法 | |
JPH11135054A (ja) | 並列画像処理プロセッサを備えた荷電粒子ビーム装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |