CN118134788A - 图像融合方法、装置、存储介质以及终端 - Google Patents
图像融合方法、装置、存储介质以及终端 Download PDFInfo
- Publication number
- CN118134788A CN118134788A CN202410560141.2A CN202410560141A CN118134788A CN 118134788 A CN118134788 A CN 118134788A CN 202410560141 A CN202410560141 A CN 202410560141A CN 118134788 A CN118134788 A CN 118134788A
- Authority
- CN
- China
- Prior art keywords
- image
- gray
- clear
- pixel point
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 104
- 230000004927 fusion Effects 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 70
- 230000008569 process Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 210000002220 organoid Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000000338 in vitro Methods 0.000 description 4
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 3
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000010485 coping Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像融合方法、装置、存储介质以及终端,获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像;将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,确定像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各原始图像中确定出清晰区域图像;将各清晰区域图像中同一像素点的各像素值进行融合计算。由于清晰区域受到模糊的影响会更大,那么使得目标物在多个不同焦平面的灰度图模糊化,将模糊图像与原本的灰度图像进行对比,可以确定清晰区域,最后对各焦平面的原始图像中的清晰区域进行融合就能够在一张图中得到目标物的清晰图像。
Description
技术领域
本申请涉及计算机图像处理技术领域,尤其涉及一种图像融合方法、装置、存储介质以及终端。
背景技术
由于体外生物模型大都为三维模型,类器官等模型在三维空间中是不均匀分布的,这就导致三维模型在不同焦平面的清晰画面不同,而光学显微镜只能观察单一焦平面的图像,因此在拍摄三维模型的图像时,单张图像中也只能记录一个焦平面的画面。基于此为了捕捉不同焦平面的不同清晰区域,需要将多个不同焦平面的图像进行融合,那么就需要一种图像融合方法,使得多张图像中的清晰区域快速、准确的融合至一张图像中。
发明内容
本申请提供一种图像融合方法、装置、存储介质以及终端,可以解决相关技术中多图像融合时信息丢失严重、图像质量差的技术问题。
第一方面,本申请实施例提供一种图像融合方法,该方法包括:
获取目标物的灰度图像集,对上述灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,上述灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;
将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;
确定各差值图像中像素差值满足清晰阈值条件的目标像素点为上述目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;
将各清晰区域图像中同一像素点的各像素值进行融合计算,得到上述目标物的融合图像。
在一种可能的实现方式中,上述对上述灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,包括:对上述灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像。
在一种可能的实现方式中,上述对上述灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像,包括:将一次高斯滤波处理和一次中值滤波处理组合为一轮滤波处理流程,对上述灰度图像集中的各灰度图像进行预设数量轮次的上述滤波处理流程;对结束所有滤波处理流程的各灰度图像进行一次上述高斯滤波处理,得到各灰度图像对应的模糊图像。
在一种可能的实现方式中,上述得到各灰度图像对应的差值图像之后,还包括:对上述差值图像进行中值滤波处理。
在一种可能的实现方式中,上述确定各差值图像中像素差值满足清晰阈值条件的目标像素点为上述目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像,包括:对各差值图像进行二值化处理,将各差值图像中像素差值满足清晰阈值条件的第一像素点置为白色,将像素差值不满足上述清晰阈值条件的第二像素点置为黑色,得到上述目标物对应的各清晰区域掩码;根据各清晰区域掩码在各差值图像对应的原始图像中提取出各第一像素点所组成的清晰区域图像。
在一种可能的实现方式中,上述根据各清晰区域掩码在各灰度图像中提取出像素点为原始灰度值的清晰区域图像,包括:将各清晰区域掩码往周围扩大预设数量的像素点,得到各清晰区域掩码对应的邻域背景区域掩码;根据每个差值图像对应的清晰区域掩码以及邻域背景区域掩码,在每个差值图像各自对应的灰度图像中提取出像素点为原始灰度值的清晰区域图像。
在一种可能的实现方式中,上述得到上述目标物对应的各清晰区域掩码之后,还包括:确定上述目标物的封闭面积阈值,去除各清晰区域掩码中封闭面积小于上述封闭面积阈值的子区域。
在一种可能的实现方式中,上述将各清晰区域图像中同一像素点的各像素值进行融合计算,得到上述目标物的融合图像,包括:将各清晰区域图像中同一像素点的各像素值进行对比,选取每个像素点在各清晰区域图像中的最大像素值为每个像素点自身在融合图像中的像素值。
在一种可能的实现方式中,上述得到上述目标物的融合图像之后,还包括:将上述融合图像的当前数据类型转化为预设数据类型,对上述预设数据类型的上述融合图像中的不规范像素值调整至像素取值规范范围内;输出数据类型为上述预设数据类型的融合图像;其中,上述当前数据类型与上述预设数据类型的数据精度不同。
在一种可能的实现方式中,上述获取目标物的灰度图像集,包括:通过摄像头采集目标物的原始图像集,对上述原始图像集进行灰度处理,得到上述目标物的灰度图像集。
第二方面,本申请实施例提供一种图像融合装置,该装置包括:
滤波处理模块,用于获取目标物的灰度图像集,对上述灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,上述灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;
差值计算模块,用于将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;
清晰区域获取模块,用于确定各差值图像中像素差值满足清晰阈值条件的目标像素点为上述目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;
图像融合模块,用于将各清晰区域图像中同一像素点的各像素值进行融合计算,得到上述目标物的融合图像。
第三方面,本申请实施例提供一种计算机存储介质,上述计算机存储介质存储有多条指令,上述指令适于由处理器加载并执行上述的方法的步骤。
第四方面,本申请实施例提供一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,上述计算机程序适于由处理器加载并执行上述的方法的步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
本申请提供一种图像融合方法,获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像。由于对目标物在多个不同焦平面的灰度图进行滤波处理,使得灰度图模糊化,那么将模糊图像与原本的灰度图像进行对比之后可以发现,若像素点在受到模糊前后的变化大,说明该像素点原本是清晰区域的像素点,清晰区域受到模糊的影响会更大;而若像素点在受到模糊前后的变化小,则说明该像素点所在区域原本就是模糊区域,因此受到模糊化的影响不大;从而根据模糊图像与灰度图像之间的差值可以确定像素值变化量达到清晰阈值条件的区域就是变化明显的区域,也即清晰区域,最后对各焦平面的原始图像中的清晰区域进行融合就能够在一张图中得到目标物在不同焦平面的清晰图像,这样通过对图像进行滤波处理,可以在不改动各原始图像信息的情况下,将多张图像的不同清晰区域融合到一张图像中,更多的保留了多个焦平面的清晰区域信息,提供了更好的图像质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像融合方法的示例性系统架构图;
图2为本申请实施例提供的一种图像融合方法的流程示意图;
图3为本申请实施例提供的一种图像融合方法的流程示意图;
图4为本申请实施例提供的一种图像清晰区域确定方法的步骤流程图;
图5为本申请实施例提供的一种图像清晰区域融合方法的步骤流程图;
图6为本申请实施例提供的一种图像融合装置的结构框图;
图7为本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使得本申请的特征和优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
通常试验人员在研究微生物时,一般使用光学显微镜来观察微生物标本当显微镜对焦于某一层面时,该层面的光线能够正确地被透镜系统收集并投影到目镜或成像设备上,形成清晰的图像,使得光学显微镜的透镜系统只能聚焦在一个特定的平面上,即焦平面,所以需要调整物镜和标本之间的距离(即对焦)来使某一特定层面的图像变得清晰。
由于在体外培养的三维模型中,类器官等结构在三维空间中是不均匀分布的。这意味着这些结构在Z轴(垂直于显微镜观察平面的轴)上的不同位置都有存在。当显微镜对焦于某一焦平面时,只有该焦平面上的类器官能够被清晰成像,而其他焦平面上的类器官则因为光线没有正确聚焦而显得模糊。因此,当试验人员使用光学显微镜观察体外培养的三维模型时,他们通常只能观察到当前对焦平面中的类器官是清晰的,而其他焦平面上的类器官则呈现模糊状态。
为了完整的观察三维目标物的细节,实验人员会通过调整显微镜,来拍摄三维目标物在不同焦平面的图像,并将它们融合起来,得到一张整合多焦平面的清晰目标物信息的图像。这样,就可以更全面地了解体外培养的三维目标物的分布和形态。
目前,随着图像处理领域的高速发展,基于图像处理的多聚焦图像融合研究方法层出不穷。常见的有基于平均加权融合算法、基于频域的图像融合算法以及基于改进的拉普拉斯金字塔融合算法。对于基于平均加权融合算法,对每张图像上的像素进行加权平均得到融合图像,但不同焦平面的图像的清晰区域往往不完全相同,直接对每个像素加权平均容易导致各图像中重要的清晰区域信息丢失,并且权重的计算更加复杂,难以选择出最有利于融合各图像的权重分配方案。对于基于频域的图像融合算法,主要通过对图像进行频域变换,如傅里叶变换或小波变换等,将图像信息从空间域转换到频域,然后在频域中进行特征提取和融合,频域变换通常是对图像的整体进行变换,而不是针对图像的局部特征,因此在频域中图像的边缘信息可能无法得到很好的保留。边缘信息是图像中非常重要的特征,它包含了物体的轮廓、形状等重要信息,若频域变换导致边缘信息失真或丢失,融合后的图像可能在边缘处出现模糊、错位等问题,影响图像的质量和视觉效果。在频域中,对噪声和伪影比较敏感,噪声和伪影通常表现为高频分量,而这些分量在融合过程中可能会被误认为是图像的有效信息而被保留下来,这会导致融合后的图像中出现噪声和伪影,降低图像的质量,并且频域变换通常涉及到大量的数学运算和数据处理,需要较高的计算资源。对于基于改进的拉普拉斯金字塔融合算法,通过多尺度分解和重构来融合图像,但在金字塔分解和重构过程中,由于算法本身的特性或参数设置不当,可能导致边缘信息的损失或失真,从而使得融合后的图像边缘抖动信息不够准确。在拉普拉斯金字塔融合算法中,需要选择合适的融合策略来合并不同尺度的图像信息,然而,确定一个有效的融合策略需要考虑多种因素,如图像内容、噪声水平、光照条件,融合策略很容易设计不够合理或鲁棒性不强,就导致融合后的图像容易出现边缘失真或其他质量问题。
因此本申请实施例提供一种图像融合方法,以解决上述多图像融合时信息丢失严重、图像质量差的技术问题。
请参阅图1,图1为本申请实施例提供的一种图像融合方法的示例性系统架构图。
如图1所示,系统架构可以包括终端101、网络102和服务器103。网络102用于在终端101和服务器103之间提供通信链路的介质。网络102可以包括各种类型的有线通信链路或无线通信链路,例如:有线通信链路包括光纤、双绞线或同轴电缆的,无线通信链路包括蓝牙通信链路、无线保真(Wireless-Fidelity,Wi-Fi)通信链路或微波通信链路等。
终端101可以通过网络102与服务器103交互,以接收来自服务器103的消息或向服务器103发送消息,或者终端101可以通过网络102与服务器103交互,进而接收其他用户向服务器103发送的消息或者数据。终端101可以是硬件,也可以是软件。当终端101为硬件时,可以是各种电子设备,包括但不限于智能手表、智能手机、平板电脑、膝上型便携式计算机和台式计算机等。当终端101为软件时,可以是安装在上述所列举的电子设备中,其可以实现呈多个软件或软件模块(例如:用来提供分布式服务),也可以实现成单个软件或软件模块,在此不作具体限定。
在本申请实施例中,终端101首先获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;然后,终端101将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;基于此,终端101可以确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;最终,终端101将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像。
服务器103可以是提供各种服务的业务服务器。需要说明的是,服务器103可以是硬件,也可以是软件。当服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器103为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
或者,该系统架构还可以不包括服务器103,换言之,服务器103可以为本说明书实施例中可选的设备,即本说明书实施例提供的方法可以应用于仅包括终端101的系统结构中,本申请实施例对此不做限定。
应理解,图1中的终端、网络以及服务器的数目仅是示意性的,根据实现需要,可以是任意数量的终端、网络以及服务器。
请参阅图2,图2为本申请实施例提供的一种图像融合方法的流程示意图。本申请实施例的执行主体可以是执行图像融合的终端,也可以是执行图像融合方法的终端中的处理器,还可以是执行图像融合方法的终端中的图像融合服务。为方便描述,下面以执行主体是终端中的处理器为例,介绍图像融合方法的具体执行过程。
如图2所示,图像融合方法至少可以包括:
S202、获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像。
可选地,由于光学显微镜的成像原理,在不同焦平面下拍摄的图像中,清晰的目标物区域会不同,而清晰区域包含了一张图像中最重要的信息,那么在进行多个不同焦平面的图像融合时,若能够将各焦平面的清晰区域融合显示在一张图像上,那么就可以更多的保留多个焦平面下的目标物清晰图像信息,得到质量更好的融合图像。因此,在本申请实施例中,首先将各焦平面的图像中的清晰区域确定出来,再在对各清晰区域进行融合,最终得到包含多个焦平面清晰区域的融合图像。
可选地,首先获取目标物的图像集,考虑到与原始的彩色图像相比,灰度图像可以降低由于高内涵仪器光照变化和颜色变化导致的差异,其能够应对光照变化和颜色变化,在进行图像融合时,更能够保持类器官的纹理。并且灰度图像能够对亮度和色度进行压缩,相比于其它颜色图像有着内存占用更小、速度快的优势。因此本申请实施例在处理图像的过程中,将目标物在不同焦平面的图像转化为灰度图来处理,也即首先获取目标物的灰度图像集,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像。通常来说,图像集中的图像数量可以按照需求来选择,少则2张,多则80-100张均可,本申请对图像集中的图像数量不作具体限定。
可选地,过滤各焦平面的清晰区域时,可以依据图像的清晰区域和模糊区域的特性来实现。在图像处理方法中,存在多种滤波处理方案,能够通过滤波算法对图像进行平滑模糊,图像经过平滑模糊后,模糊区域的变化不大,而清晰区域会变模糊,因此对灰度图像集中的各灰度图像可以进行滤波处理,得到各灰度图像的模糊图像,在模糊图像中,原本清晰的区域会变得模糊,而原本模糊的区域则变化不大。
S204、将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像。
可选地,由于在模糊图像中原本清晰的区域会变得模糊,而原本模糊的区域则变化不大。那么将各灰度图像和各灰度图像自身对应的模糊图像做差值运算,具体为灰度图像和对应的模糊图像中的每一对像素点的像素值做差值运算,得到各灰度图像对应的差值图像,各差值图像中差值较大的区域就是变化明显的区域,也即清晰的区域,而差值较小的区域说明变化不明显,也就是原本模糊的区域。需要说明的是,为方便清晰像素点的选取,像素点的像素差值可以是同一像素点在差值图像和灰度图像中的差值绝对值,使用绝对值可以描述像素值的变化幅度,适于进行后续的筛选。
S206、确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像。
可选地,由于模糊区域经过模糊滤波的变化不大,而清晰区域经过模糊滤波会变模糊,那么可以预先设置一个清晰阈值,若像素点在差值图像中的变化量大于或等于清晰阈值,则说明其变化较大,原本为清晰区域的像素点,若像素点在差值图像中的变化量小于清晰阈值,则说明其变化较小,原本为模糊区域的像素点,也即确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,各清晰像素点所组成的区域也就是清晰区域,那么进而在各差值图像对应的原始图像中可以确定出各清晰像素点所组成的清晰区域图像。
可选地,在确定清晰阈值条件时,可以根据实际场景下所拍摄的目标物或者图片分析人员的实际需求为准,设定使得清晰区域足够用于观察的清晰阈值条件。例如,在清晰阈值条件中可以设定10个像素值的变化量为清晰阈值,当像素点在差值图像中的变化量大于或等于10个像素值时,说明该像素点受到模糊的影响大,原本为清晰区域的像素点;而若像素点在差值图像中的变化量小于10个像素值时,则说明其经过模糊的变化较小,原本就是比较模糊的像素点。因此,本申请实施例中,对清晰阈值条件的数值不进行具体限制,而是可以根据目标物的观察需求和图像分析需求来设定。
S208、将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像。
可选地,通过对各焦平面下的灰度图像进行模糊化,并将模糊图像与原灰度图像进行对比,提取出变化量较大的区域为清晰区域,从而确定出原图像中的清晰区域图像,这样在获得每个焦平面的清晰区域图像之后,可以融合各清晰区域图像,具体为将各清晰区域图像中同一像素点的各像素值进行融合计算,最终得到目标物的融合图像,融合图像中包括了多张不同焦平面图像各自的清晰区域,更多的保留了多个焦平面的清晰目标物信息,得到了质量更好的融合图像。
在本申请实施例中,提供一种图像融合方法,获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像。由于对目标物在多个不同焦平面的灰度图进行滤波处理,使得灰度图模糊化,那么将模糊图像与原本的灰度图像进行对比之后可以发现,若像素点在受到模糊前后的变化大,说明该像素点原本是清晰区域的像素点,清晰区域受到模糊的影响会更大;而若像素点在受到模糊前后的变化小,则说明该像素点所在区域原本就是模糊区域,因此受到模糊化的影响不大;从而根据模糊图像与灰度图像之间的差值可以确定像素值变化量达到清晰阈值条件的区域就是变化明显的区域,也即清晰区域,最后对各焦平面的原始图像中的清晰区域进行融合就能够在一张图中得到目标物在不同焦平面的清晰图像,这样通过对图像进行滤波处理,可以在不改动各原始图像信息的情况下,将多张图像的不同清晰区域融合到一张图像中,更多的保留了多个焦平面的清晰区域信息,提供了更好的图像质量。
请参阅图3,图3为本申请实施例提供的一种图像融合方法的流程示意图。
如图3所示,图像融合方法至少可以包括:
S302、通过摄像头采集目标物的原始图像集,对原始图像集进行灰度处理,得到目标物的灰度图像集。
可选地,从上述实施例的介绍可以知道,需要对目标物图像进行融合分析时,首先使用摄像头对目标物进行拍摄,采集目标物的原始图像集,考虑到灰度图像相较于原始图像更能够保持目标物的纹理、更加适合应对光照变化和颜色变化,因此需要对原始图像集进行灰度处理,得到目标物的灰度图像集。
S304、对灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像。
可选地,本申请实施例中,通过对灰度图像进行滤波处理,以使得灰度图像模糊化,从而通过模糊图像和原灰度图像的对比结果,确定变化大的区域为清晰区域,进而将各图像中的清晰区域融合在一起,获得质量更好的融合图像。那么在对灰度图像进行滤波处理时,可以使用高斯滤波算法和中值滤波算法,对灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像。其中,高斯滤波算法中使用一个预设大小的卷积核窗口,卷积核窗口滑动至每一个像素,通过计算目标像素周围邻域的加权平均值来对目标像素重新赋值,其中权重由高斯函数确定,这使得高斯滤波可以有效地平滑图像,因此高斯滤波算法可以让原图像中的清晰部分变模糊。而中值滤波算法中使用一个预设大小的卷积核窗口,卷积核窗口滑动至每一个像素,通过计算目标像素周围邻域的中值来对目标像素重新赋值,可以在处理过程中强化目标物的边缘信息,避免整图模糊化的过程中目标物边缘与背景混淆,边缘信息丢失导致后续难以识别出完整的目标物以及清晰的目标物边缘。
可选地,单次高斯滤波处理和单次中值滤波处理可能无法达到足够的模糊效果,那么可以进行多次高斯滤波和多次中值滤波,考虑到高斯滤波和中值滤波存在不同的图像模糊效果,可以将一次高斯滤波处理和一次中值滤波处理组合为一轮滤波处理流程,然后对灰度图像集中的各灰度图像进行预设数量轮次的滤波处理流程,也即穿插进行预设数量的高斯滤波处理和预设数量的中值滤波处理,以达到足够且均衡的模糊效果。预设数量轮次可以按照实际场景的图像需求来设置,随着目标物的不同以及实际场景下的图像需求不同,对图像进行滤波处理的组合方式和轮次也可以不同,例如可以设置3轮次,那么就是对灰度图像进行3次高斯滤波+中值滤波的组合处理。因此,本申请实施例中,对预设数量轮次的数值不进行具体限制,而是可以根据目标物的观察需求和图像分析需求来设定,只需要使得最终模糊图像能够满足后续图像需求即可。
进一步地,在具体实施时,考虑到中值滤波结束后会强化图像中的目标物的边缘信息,那么为了得到更稳定的整体模糊图像,可以再对图像进行一次整体的模糊处理,也即对结束所有滤波处理流程的各灰度图像再次叠加进行一次高斯滤波处理,以适当模糊最后一次中值滤波处理后被强调出的边缘信息,以得到更稳定的模糊图像,使得目标物边缘的模糊状态能更好的实现后续查找清晰区域的效果,根据上述高斯滤波和中值滤波的多种结合方式,能够得到满足差值计算条件的各灰度图像对应的模糊图像。
S306、将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像。
关于步骤S306,请参阅步骤S204中的详细记载,此处不再赘述。
S308、对差值图像进行中值滤波处理。
可选地,将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像,差值小则说明该区域在原始图像中就很模糊,差值大则说明该区域是原始清晰区域被模糊处理了。那么得到差值图像之后,可以将差值运算得到的图像再次进行中值滤波,看来恢复一部分目标物的清晰边缘信息,使得后续在目标物识别时能将目标物与目标物之外的背景区分。
S310、对各差值图像进行二值化处理,将各差值图像中像素差值满足清晰阈值条件的第一像素点置为白色,将像素差值不满足清晰阈值条件的第二像素点置为黑色,得到目标物对应的各清晰区域掩码。
可选地,得到差值图像之后,可以通过差值图像中各像素的像素差值找到变化量大的清晰区域。而为了更直观地体现各焦平面图像的清晰区域以便于后续融合计算,可对各差值图像进行二值化处理,将各差值图像中像素差值满足清晰阈值条件的第一像素点置为白色,即像素值置为255,将像素差值不满足清晰阈值条件的第二像素点置为黑色,即像素值置为0,得到目标物对应的各清晰区域掩码,在清晰区域掩码中只有黑色的模糊区域和白色的清晰区域,从而准确区分出了各焦平面图像中的清晰区域。
可选地,在确定每个焦平面的清晰区域时,请参阅图4,图4为本申请实施例提供的一种图像清晰区域确定方法的步骤流程图。如图4所示,使用摄像头对目标物采集在多个焦平面下的原始图像;然后将各原始图像拷贝为灰度图像;对各灰度图像进行高斯滤波处理和中值滤波处理;使用滤波后的图像与各自对应的灰度图像做差值运算,各像素点在差值运算时的绝对值作为各像素差值图像中各像素点的像素值;根据差值图像中各像素点的像素值对差值图像进行二值化处理,将各差值图像中像素差值满足清晰阈值条件的第一像素点置为白色,将像素差值不满足清晰阈值条件的第二像素点置为黑色,最终得到目标物对应的各清晰区域掩码。
S312、根据各清晰区域掩码在各差值图像对应的原始图像中提取出各第一像素点所组成的清晰区域图像。
可选地,各清晰区域掩码能够准确体现出各焦平面图像的清晰区域所在的位置,而在图像融合时,需要各清晰区域按照在原始图像中的像素值来进行融合计算,那么就要根据各清晰区域掩码在各差值图像对应的原始图像中提取出各第一像素点所组成的清晰区域图像。
进一步地,此时识别出的清晰区域是基于模糊化后的图像得到的,那么也可能与原本的清晰区域之间还存在一些丢失的信息,在当前识别出的清晰区域的附近也可能存在重要的清晰区域信息,因此,可以以当前清晰区域为基准,将各清晰区域掩码往周围扩大预设数量的像素点,得到各清晰区域掩码对应的邻域背景区域掩码,根据每个差值图像对应的清晰区域掩码以及邻域背景区域掩码,在每个差值图像各自对应的灰度图像中提取出像素点为原始灰度值的清晰区域图像,取包含识别出的清晰区域在内的更完整的区域,尽可能保留完整的清晰区域信息。需要说明的是,将各清晰区域掩码往周围扩大时,是按照原清晰区域的轮廓均匀的往外多取预设数量的像素点,而不是仅往某一方向扩大预设数量的像素点,以实现对原清晰区域的轮廓均匀扩大的效果,从而保证原清晰区域的轮廓信息的完整和稳定。
可选地,在具体实施场景下,不同的目标物的尺寸可能存在不同,因此选取各种目标物的清晰区域所对应的邻域大小时,还要根据实际场景下所拍摄的目标物或者图片分析人员的实际需求为准,依靠图像需求来确定清晰区域往外扩的像素点的预设数量,可以使得在领域和清晰区域的组合下,得到更完整的清晰区域信息。例如,若当前所观察的目标物在图像中占据100个像素点左右,那么外扩像素点的预设数量可以设定为10-20个像素,也即对清晰区域的扩展面积达到原清晰区域面积的百分之十到百分之二十左右,表现为对识别出的清晰区域均匀完整地包含在内即可,这样使用了根据清晰区域的邻域信息来填充融合图像的背景,可以最大程度的保留清晰区域的周边特征,提升图像的风格一致性,且运算简单,快速高效。那么,在本申请实施例中,对选取邻域背景区域时,不对预设数量的数值进行具体限制,而是可以根据目标物的观察需求和图像分析需求来设定。
S314、确定目标物的封闭面积阈值,去除各清晰区域掩码中封闭面积小于封闭面积阈值的子区域。
可选地,在拍摄目标物时,由于光学成像原理,可能会导致画面中出现一些噪点,这些噪点与背景存在强烈反差,就可能会被识别为清晰区域中的目标物,而目标物的面积是存在阈值的,若封闭面积太小则说明可能是噪点而不是目标物。因此为了过滤噪点,本申请实施例中确定目标物的封闭面积阈值,并去除各清晰区域掩码中封闭面积小于封闭面积阈值的子区域,去除明显不是目标物的噪点。
S316、将各清晰区域图像中同一像素点的各像素值进行对比,选取每个像素点在各清晰区域图像中的最大像素值为每个像素点自身在融合图像中的像素值。
可选地,将各清晰区域图像中同一像素点的各像素值进行融合计算时,可以采用最大决策法,将各清晰区域图像中同一像素点的各像素值进行对比,选取每个像素点在各清晰区域图像中的最大像素值为每个像素点自身在融合图像中的像素值,也就是在所有清晰区域中,同一个像素取其在所有图中的最大像素值,最终生成叠加融合图像,在多个焦面的相同位置都有不同的目标时,采取最大值决策融合可以保留全部焦面同一个区域中最明显的特征,避免叠加后的信息紊乱,从而提升图像质量。
S318、将融合图像的当前数据类型转化为预设数据类型,对预设数据类型的融合图像中的不规范像素值调整至像素取值规范范围内,输出数据类型为预设数据类型的融合图像。
可选地,在计算机处理图像像素值的过程中,图像的数据类型为float32,也即所有像素取值范围在[0,255]中,但输出的结果图像要转为Int8类型,也就是说需要将融合图像的当前数据类型转化为预设数据类型。float32类型是一种单精度浮点数,占32位(也就是4个字节),可以提供约7位有效数字的精度,Int8类型是一种8位有符号整数类型。那么在计算机进行数据转换的过程中,可能会由于计算原理导致Int8类型的像素值溢出,也即可能出现小于0的像素值和大于255的像素值,此时需要对预设数据类型的融合图像中的不规范像素值调整至像素取值规范范围内,将图像中所有大于255的像素值修改为255,将图像中所有小0的像素值修改为0,这样进行像素值防溢出处理,增加像素值融合的容错性。
可选地,在确定每个焦平面的清晰区域之后,请参阅图5,图5为本申请实施例提供的一种图像清晰区域融合方法的步骤流程图。如图5所示,对每个焦平面的清晰区域掩码进行扩展,获取其邻域背景区域掩码,取包含识别出的清晰区域在内的更完整的区域,尽可能保留完整的清晰区域信息;然后根据目标物的面积阈值,过滤由于光学成像原理而可能存在的一些非目标物噪点;去除噪点后,叠加全部清晰图像和背景,得到各焦平面下的清晰区域图像;以最大决策法融合所有焦平面下的清晰区域图像,并在像素值转换的过程中对各像素值进行防溢出处理,最终输出像素值取值在[0,255]的融合图像。
在本申请实施例中,提供一种图像融合方法,通过摄像头采集目标物的原始图像集,对原始图像集进行灰度处理,得到目标物的灰度图像集,灰度图像相较于原始图像更能够保持目标物的纹理、更加适合应对光照变化和颜色变化;对灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,通过两种模糊滤波,使得模糊区域经过模糊滤波的变化不大,而清晰区域经过模糊滤波会变模糊;将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,对各差值图像进行二值化处理,直观地体现各焦平面图像的清晰区域以便于后续融合计算;根据清晰区域的邻域信息来填充融合图像背景,最大程度的保留清晰区域的周边特征,提升图像的风格一致性,且运算简单,快速高效;确定目标物的封闭面积阈值,并去除各清晰区域掩码中封闭面积小于封闭面积阈值的子区域,去除明显不是目标物的噪点;将各清晰区域图像中同一像素点的各像素值进行对比,选取每个像素点在各清晰区域图像中的最大像素值为每个像素点自身在融合图像中的像素值,在多个焦面的相同位置都有不同的目标时,采取最大值决策融合可以保留全部焦面同一个区域中最明显的特征,避免叠加后的信息紊乱,从而提升图像质量;对预设数据类型的融合图像中的不规范像素值调整至像素取值规范范围内,可以在数据类型转换过程中,对像素值进行防溢出处理,增加像素值融合的容错性。
请参阅图6,图6为本申请实施例提供的一种图像融合装置的结构框图。如图6所示,图像融合装置600包括:
滤波处理模块610,用于获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;
差值计算模块620,用于将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;
清晰区域获取模块630,用于确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;
图像融合模块640,用于将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像。
可选地,滤波处理模块610,还用于对灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像。
可选地,滤波处理模块610,还用于将一次高斯滤波处理和一次中值滤波处理组合为一轮滤波处理流程,对灰度图像集中的各灰度图像进行预设数量轮次的滤波处理流程;对结束所有滤波处理流程的各灰度图像进行一次高斯滤波处理,得到各灰度图像对应的模糊图像。
可选地,图像融合装置600还包括:边缘信息恢复模块,用于对差值图像进行中值滤波处理。
可选地,清晰区域获取模块630,还用于对各差值图像进行二值化处理,将各差值图像中像素差值满足清晰阈值条件的第一像素点置为白色,将像素差值不满足清晰阈值条件的第二像素点置为黑色,得到目标物对应的各清晰区域掩码;根据各清晰区域掩码在各自对应的灰度图像中提取出像素点为原始灰度值的清晰区域图像。
可选地,清晰区域获取模块630,还用于将各清晰区域掩码往周围扩大预设数量的像素点,得到各清晰区域掩码对应的邻域背景区域掩码;根据每个差值图像对应的清晰区域掩码以及邻域背景区域掩码,在每个差值图像各自对应的灰度图像中提取出像素点为原始灰度值的清晰区域图像。
可选地,图像融合装置600还包括:噪点过滤模块,用于确定目标物的封闭面积阈值,去除各清晰区域掩码中封闭面积小于封闭面积阈值的子区域。
可选地,图像融合模块640,还用于将各清晰区域图像中同一像素点的各像素值进行对比,选取每个像素点在各清晰区域图像中的最大像素值为每个像素点自身在融合图像中的像素值。
可选地,图像融合装置600还包括:防溢出处理模块,用于将融合图像的当前数据类型转化为预设数据类型,对预设数据类型的融合图像中的不规范像素值调整至像素取值规范范围内;输出数据类型为预设数据类型的融合图像;其中,当前数据类型与预设数据类型的数据精度不同。
可选地,滤波处理模块610,还用于通过摄像头采集目标物的原始图像集,对原始图像集进行灰度处理,得到目标物的灰度图像集。
在本申请实施例中,提供一种图像融合装置,其中,滤波处理模块,用于获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;差值计算模块,用于将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;清晰区域获取模块,用于确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;图像融合模块,用于将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像。由于对目标物在多个不同焦平面的灰度图进行滤波处理,使得灰度图模糊化,那么将模糊图像与原本的灰度图像进行对比之后可以发现,若像素点在受到模糊前后的变化大,说明该像素点原本是清晰区域的像素点,清晰区域受到模糊的影响会更大;而若像素点在受到模糊前后的变化小,则说明该像素点所在区域原本就是模糊区域,因此受到模糊化的影响不大;从而根据模糊图像与灰度图像之间的差值可以确定像素值变化量达到清晰阈值条件的区域就是变化明显的区域,也即清晰区域,最后对各焦平面的原始图像中的清晰区域进行融合就能够在一张图中得到目标物在不同焦平面的清晰图像,这样通过对图像进行滤波处理,可以在不改动各原始图像信息的情况下,将多张图像的不同清晰区域融合到一张图像中,更多的保留了多个焦平面的清晰区域信息,提供了更好的图像质量。
本申请实施例还提供了一种计算机存储介质,计算机存储介质可以存储有多条指令,指令适于由处理器加载并执行如上述实施例中的任一项的方法的步骤。
请参见图7,图7为本申请实施例提供的一种终端的结构示意图。如图7所示,终端700可以包括:至少一个终端处理器701,至少一个网络接口704,用户接口703,存储器705,至少一个通信总线702。
其中,通信总线702用于实现这些组件之间的连接通信。
其中,用户接口703可以包括显示屏(Display)、摄像头(Camera),可选用户接口703还可以包括标准的有线接口、无线接口。
其中,网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,终端处理器701可以包括一个或者多个处理核心。终端处理器701利用各种接口和线路连接整个终端700内的各个部分,通过运行或执行存储在存储器705内的指令、程序、代码集或指令集,以及调用存储在存储器705内的数据,执行终端700的各种功能和处理数据。可选的,终端处理器701可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。终端处理器701可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到终端处理器701中,单独通过一块芯片进行实现。
其中,存储器705可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。可选的,该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器705可选的还可以是至少一个位于远离前述终端处理器701的存储装置。如图7所示,作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及图像融合程序。
在图7所示的终端700中,用户接口703主要用于为用户提供输入的接口,获取用户输入的数据;而终端处理器701可以用于调用存储器705中存储的图像融合程序,并具体执行以下操作:
获取目标物的灰度图像集,对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;
将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;
确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;
将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像。
在一些实施例中,终端处理器701在执行对灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像时,具体执行以下步骤:对灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像。
在一些实施例中,终端处理器701在执行对灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像时,具体执行以下步骤:将一次高斯滤波处理和一次中值滤波处理组合为一轮滤波处理流程,对灰度图像集中的各灰度图像进行预设数量轮次的滤波处理流程;对结束所有滤波处理流程的各灰度图像进行一次高斯滤波处理,得到各灰度图像对应的模糊图像。
在一些实施例中,终端处理器701在执行得到各灰度图像对应的差值图像之后,还具体执行以下步骤:对差值图像进行中值滤波处理。
在一些实施例中,终端处理器701在执行确定各差值图像中像素差值满足清晰阈值条件的目标像素点为目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像时,具体执行以下步骤:对各差值图像进行二值化处理,将各差值图像中像素差值满足清晰阈值条件的第一像素点置为白色,将像素差值不满足清晰阈值条件的第二像素点置为黑色,得到目标物对应的各清晰区域掩码;根据各清晰区域掩码在各差值图像对应的原始图像中提取出各第一像素点所组成的清晰区域图像。
在一些实施例中,终端处理器701在执行根据各清晰区域掩码在各灰度图像中提取出像素点为原始灰度值的清晰区域图像时,具体执行以下步骤:将各清晰区域掩码往周围扩大预设数量的像素点,得到各清晰区域掩码对应的邻域背景区域掩码;根据每个差值图像对应的清晰区域掩码以及邻域背景区域掩码,在每个差值图像各自对应的灰度图像中提取出像素点为原始灰度值的清晰区域图像。
在一些实施例中,终端处理器701在执行得到目标物对应的各清晰区域掩码之后,还具体执行以下步骤:确定目标物的封闭面积阈值,去除各清晰区域掩码中封闭面积小于封闭面积阈值的子区域。
在一些实施例中,终端处理器701在执行将各清晰区域图像中同一像素点的各像素值进行融合计算,得到目标物的融合图像时,具体执行以下步骤:将各清晰区域图像中同一像素点的各像素值进行对比,选取每个像素点在各清晰区域图像中的最大像素值为每个像素点自身在融合图像中的像素值。
在一些实施例中,终端处理器701在执行得到目标物的融合图像之后,还具体执行以下步骤:将融合图像的当前数据类型转化为预设数据类型,对预设数据类型的融合图像中的不规范像素值调整至像素取值规范范围内;输出数据类型为预设数据类型的融合图像;其中,当前数据类型与预设数据类型的数据精度不同。
在一些实施例中,终端处理器701在执行获取目标物的灰度图像集时,具体执行以下步骤:通过摄像头采集目标物的原始图像集,对原始图像集进行灰度处理,得到目标物的灰度图像集。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时,全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中,或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字多功能光盘(DigitalVersatile Disc,DVD))、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本申请所提供的一种图像融合方法、装置、存储介质以及终端的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种图像融合方法,其特征在于,所述方法包括:
获取目标物的灰度图像集,对所述灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,所述灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;
将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;
确定各差值图像中像素差值满足清晰阈值条件的目标像素点为所述目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;
将各清晰区域图像中同一像素点的各像素值进行融合计算,得到所述目标物的融合图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,包括:
对所述灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像。
3.根据权利要求2所述的方法,其特征在于,所述对所述灰度图像集中的各灰度图像进行高斯滤波处理和中值滤波处理,得到各灰度图像对应的模糊图像,包括:
将一次高斯滤波处理和一次中值滤波处理组合为一轮滤波处理流程,对所述灰度图像集中的各灰度图像进行预设数量轮次的所述滤波处理流程;
对结束所有滤波处理流程的各灰度图像进行一次所述高斯滤波处理,得到各灰度图像对应的模糊图像。
4.根据权利要求1所述的方法,其特征在于,所述得到各灰度图像对应的差值图像之后,还包括:
对所述差值图像进行中值滤波处理。
5.根据权利要求1所述的方法,其特征在于,所述确定各差值图像中像素差值满足清晰阈值条件的目标像素点为所述目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像,包括:
对各差值图像进行二值化处理,将各差值图像中像素差值满足清晰阈值条件的第一像素点置为白色,将像素差值不满足所述清晰阈值条件的第二像素点置为黑色,得到所述目标物对应的各清晰区域掩码;
根据各清晰区域掩码在各差值图像对应的原始图像中提取出各第一像素点所组成的清晰区域图像。
6.根据权利要求5所述的方法,其特征在于,所述根据各清晰区域掩码在各灰度图像中提取出像素点为原始灰度值的清晰区域图像,包括:
将各清晰区域掩码往周围扩大预设数量的像素点,得到各清晰区域掩码对应的邻域背景区域掩码;
根据每个差值图像对应的清晰区域掩码以及邻域背景区域掩码,在每个差值图像各自对应的灰度图像中提取出像素点为原始灰度值的清晰区域图像。
7.根据权利要求5所述的方法,其特征在于,所述得到所述目标物对应的各清晰区域掩码之后,还包括:
确定所述目标物的封闭面积阈值,去除各清晰区域掩码中封闭面积小于所述封闭面积阈值的子区域。
8.根据权利要求1所述的方法,其特征在于,所述将各清晰区域图像中同一像素点的各像素值进行融合计算,得到所述目标物的融合图像,包括:
将各清晰区域图像中同一像素点的各像素值进行对比,选取每个像素点在各清晰区域图像中的最大像素值为每个像素点自身在融合图像中的像素值。
9.一种图像融合装置,其特征在于,所述装置包括:
滤波处理模块,用于获取目标物的灰度图像集,对所述灰度图像集中的各灰度图像进行滤波处理,得到各灰度图像对应的模糊图像,所述灰度图像集中包括聚焦于多个不同焦平面的至少两个灰度图像;
差值计算模块,用于将各灰度图像和各灰度图像自身对应的模糊图像中同一像素点的像素值做差值运算,得到各灰度图像对应的差值图像;
清晰区域获取模块,用于确定各差值图像中像素差值满足清晰阈值条件的目标像素点为所述目标物的清晰像素点,在各差值图像对应的原始图像中确定出各清晰像素点所组成的清晰区域图像;
图像融合模块,用于将各清晰区域图像中同一像素点的各像素值进行融合计算,得到所述目标物的融合图像。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~8任意一项的所述方法的步骤。
11.一种终端,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1~8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410560141.2A CN118134788A (zh) | 2024-05-08 | 2024-05-08 | 图像融合方法、装置、存储介质以及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410560141.2A CN118134788A (zh) | 2024-05-08 | 2024-05-08 | 图像融合方法、装置、存储介质以及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118134788A true CN118134788A (zh) | 2024-06-04 |
Family
ID=91232083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410560141.2A Pending CN118134788A (zh) | 2024-05-08 | 2024-05-08 | 图像融合方法、装置、存储介质以及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118134788A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102388831B1 (ko) * | 2021-02-09 | 2022-04-21 | 인천대학교 산학협력단 | 지능형 다중 초점 영상 융합 장치 및 방법 |
CN114612352A (zh) * | 2022-01-29 | 2022-06-10 | 东声(苏州)智能科技有限公司 | 多聚焦图像融合方法、存储介质和计算机 |
CN116542888A (zh) * | 2023-04-27 | 2023-08-04 | 天津科技大学 | 一种多聚焦彩色图像获取方法及产品 |
CN116800909A (zh) * | 2023-06-20 | 2023-09-22 | 聚时科技(上海)有限公司 | 图像融合方法、装置、成像设备、电子设备和存储介质 |
CN117455786A (zh) * | 2023-10-30 | 2024-01-26 | 齐之明光电智能科技(苏州)有限公司 | 一种多聚焦图像融合方法、装置、计算机设备及存储介质 |
-
2024
- 2024-05-08 CN CN202410560141.2A patent/CN118134788A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102388831B1 (ko) * | 2021-02-09 | 2022-04-21 | 인천대학교 산학협력단 | 지능형 다중 초점 영상 융합 장치 및 방법 |
CN114612352A (zh) * | 2022-01-29 | 2022-06-10 | 东声(苏州)智能科技有限公司 | 多聚焦图像融合方法、存储介质和计算机 |
CN116542888A (zh) * | 2023-04-27 | 2023-08-04 | 天津科技大学 | 一种多聚焦彩色图像获取方法及产品 |
CN116800909A (zh) * | 2023-06-20 | 2023-09-22 | 聚时科技(上海)有限公司 | 图像融合方法、装置、成像设备、电子设备和存储介质 |
CN117455786A (zh) * | 2023-10-30 | 2024-01-26 | 齐之明光电智能科技(苏州)有限公司 | 一种多聚焦图像融合方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
US20180350043A1 (en) | Shallow Depth Of Field Rendering | |
JP7212554B2 (ja) | 情報処理方法、情報処理装置、及びプログラム | |
CN113992861A (zh) | 一种图像处理方法及图像处理装置 | |
CN112818732B (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN108184075B (zh) | 用于生成图像的方法和装置 | |
CN109493283A (zh) | 一种高动态范围图像鬼影消除的方法 | |
CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
CN112699885A (zh) | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 | |
CN114331946A (zh) | 一种图像数据处理方法、设备以及介质 | |
JP2007200246A (ja) | 画像処理アルゴリズムの評価方法、生成方法、装置、プログラムおよび記録媒体 | |
Ghamsarian et al. | Deblurring cataract surgery videos using a multi-scale deconvolutional neural network | |
KR102254198B1 (ko) | 다중 초점 이미지 융합 방법 | |
CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
CN110136085B (zh) | 一种图像的降噪方法及装置 | |
JP5286215B2 (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
CN118134788A (zh) | 图像融合方法、装置、存储介质以及终端 | |
CN112102216B (zh) | 自适应权重的全变差图像融合方法 | |
WO2022113367A1 (ja) | 画像変換方法、プログラム、画像処理装置 | |
CN114677393A (zh) | 深度图像处理方法、装置、摄像设备、会议系统及介质 | |
CN113379702A (zh) | 一种微循环图像的血管路径提取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |