CN112734656B - 一种基于局部对比度加权平均的显微镜图像景深合成方法及系统 - Google Patents

Abstract

本发明公开了一种基于局部对比度加权平均的显微镜图像景深合成方法及系统，方法包括获取若干张不同景深的彩色的显微镜图像；将所有显微镜图像逐一进行灰度化得到对应的灰度图像；基于预设的邻域，对所有灰度图像中的每一锚点像素计算方差；取所有灰度图像相同位置的锚点像素的方差进行求和得到总方差；将所有显微镜图像中的每一锚点像素分解为RGB三通道值；基于每一锚点像素进行景深合成得到最终的景深合成图。本发明在景深合成中细节保留充分，无重影，且对噪声具有较大的抑制作用。

Description

一种基于局部对比度加权平均的显微镜图像景深合成方法及 系统

技术领域

本申请属于显微镜图像处理技术领域，具体涉及一种基于局部对比度加权平均的显微镜图像景深合成方法及系统。

背景技术

景深(Depth of field，DOF)是指相机对焦点前后相对清晰的成像范围。景深合成是现代风光摄影、显微镜摄影、微距摄影中，被广泛应用的一种前后期技术，可以在复杂条件下也获得一张从前到后都清晰无比的照片，从而达到景深的延拓，尤其在显微镜微观成像等领域，增大景深将极大的提高成像质量。

在现有的景深合成算法中，常见的是采用锐化算子进行清晰度计算，该类算子能够突出细节内容，但同时对噪声也比较敏感，往往会增强噪声，同时在处理高频成分时易出现多轮廓效应，使得最终图像出现重影。并且目前的景深合成无法适用于任意类型的图像进行无缝合成，普适性差，极大的限制了景深的应用。

发明内容

本申请的目的在于提供一种基于局部对比度加权平均的显微镜图像景深合成方法及系统，细节保留充分，无重影，且对噪声具有较大的抑制作用。

为实现上述目的，本申请所采取的技术方案为：

一种基于局部对比度加权平均的显微镜图像景深合成方法，所述基于局部对比度加权平均的显微镜图像景深合成方法，包括：

步骤S1、获取若干张不同景深的彩色的显微镜图像；

步骤S2、将所有显微镜图像逐一进行灰度化得到对应的灰度图像；

步骤S3、基于预设的邻域，对所有灰度图像中的每一锚点像素计算方差；

步骤S4、取所有灰度图像相同位置的锚点像素的方差进行求和得到总方差；

步骤S5、将所有显微镜图像中的每一锚点像素分解为RGB三通道值；

步骤S6、基于每一锚点像素进行景深合成得到最终的景深合成图，包括：

步骤S61、取一个位置的锚点像素作为待处理锚点像素；

步骤S62、获取待处理锚点像素所在位置对应的总方差；

步骤S63、对于一组对应的显微镜图像和灰度图像，基于灰度图像中待处理锚点像素的方差以及所述总方差计算得到加权值，并根据该加权值更新显微镜图像中待处理锚点像素的RGB三通道值；

步骤S64、重复执行步骤S63直至更新所有显微镜图像中待处理锚点像素的RGB三通道值；

步骤S65、将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，将求和后的值作为待处理锚点像素景深合成后的RGB三通道值；

步骤S66、获取下一位置的锚点像素作为待处理锚点像素，并返回步骤S62，直至完成所有位置的锚点像素的景深合成得到最终的景深合成图。

作为优选，所述步骤S3，基于预设的邻域，对所有灰度图像中的每一锚点像素计算方差，包括：

步骤S31、获取灰度图像P_m中锚点像素i(x,y)邻域内的像素点集，其中m∈[0,M]，灰度图像的总数量为M+1；

步骤S32、根据像素点集计算方差：

式中，σ² _m,i表示灰度图像P_m中锚点像素i(x,y)的方差，X表示像素点集内像素点的像素值，μ表示像素点集内所有像素点的像素值的均值，N表示像素点集内像素点的个数；

步骤S33、将方差σ² _m,i保存至预设置的方差数组Arrgyσ² _i中；

步骤S34、计算每一灰度图像中锚点像素i(x,y)的方差，并保存至方差数组Arrgyσ² _i中，得到Arrgyσ² _i为[σ² _0,i,σ² _1,i,…,σ² _m,i,…,σ² _M,i]；

步骤S35、重复步骤S31～S34计算得到每一锚点像素对应的方差数组。

作为优选，所述步骤S63，对于一组对应的显微镜图像和灰度图像，基于灰度图像中待处理锚点像素的方差以及所述总方差计算得到加权值，并根据该加权值更新显微镜图像中待处理锚点像素的RGB三通道值，包括：

取显微镜图像X_m和灰度图像P_m，待处理锚点像素为i(x,y)；

获取灰度图像P_m中锚点像素i(x,y)的方差为σ² _m,i，待处理锚点像素i(x,y)所在位置对应的总方差为S_i(x,y)；

则计算得到加权值为σ² _m,i/S_i(x,y)；

因此根据加权值更新显微镜图像中待处理锚点像素的RGB三通道值，如下：

R_m,i＝[σ² _m,i/S_i(x,y)]×R_m,i

G_m,i＝[σ² _m,i/S_i(x,y)]×G_m,i

B_m,i＝[σ² _m,i/S_i(x,y)]×B_m,i

式中，R_m,i、G_m,i、B_m,i为显微镜图像X_m中待处理锚点像素i(x,y)的RGB三通道值。

作为优选，所述步骤S65，将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，将求和后的值作为待处理锚点像素景深合成后的RGB三通道值，包括：

将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，如下：

式中，为将所有显微镜图像中更新后的待处理锚点像素i(x,y)的RGB三通道值对应相加后的值；

判断是否位于0～255范围内，若是则将/>作为待处理锚点像素i(x,y)景深合成后的RGB三通道值；否则将小于0的像素值设置为0，将大于255的像素值设置为255。

本申请还提供一种基于局部对比度加权平均的显微镜图像景深合成系统，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器读取所述存储器中的计算机程序并运行以实现所述的基于局部对比度加权平均的显微镜图像景深合成方法的步骤。

本申请提供的基于局部对比度加权平均的显微镜图像景深合成方法及系统，可对不同频域分布情况的图像得到一致性效果，克服了现有算法在对不同内容类型图片处理时效果不同的问题；本图像算法具有明显的抑制噪声作用，噪声干扰作用低，可在排除噪声影响的同时得到去噪效果的高质量图像；本图像算法可非常好的解决在对大批量图片处理时高频高对比度区域容易造成的重影多轮廓效应问题，且细节能充分得到保留。

附图说明

图1为本申请的基于局部对比度加权平均的显微镜图像景深合成方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

其中一个实施例中，提供一种基于局部对比度加权平均的显微镜图像景深合成方法，可在高效处理景深合成的同时较好的抑制噪声，且能够无重影并充分保留细节内容，得到的景深合成图像在教学或检验领域的显微镜使用中起到重要作用，以此让用户更全面的了解观测物。

如图1所示，本实施例的基于局部对比度加权平均的显微镜图像景深合成方法，包括以下步骤：

步骤S1、获取若干张不同景深的彩色的显微镜图像。

获取不同景深的彩色图像M+1张，将其加入彩色图像队列ListRGB中[0,1…M]，以队列形式进行图像存储便于后续图像的取用。本实施例中采用List列表结构存储图像，图像采用OpenCV Mat对象化，图像色彩空间使用RGB模型。

步骤S2、将所有显微镜图像逐一进行灰度化得到对应的灰度图像。

将所有图像进行灰度化，将其加入灰度图像队列ListGray中[0,1…M]。同理本实施例中采用List列表结构存储灰度图像，图像采用OpenCV Mat对象化。

通过加权平均法计算RGB图像的灰度图，根据人眼对绿色的敏感最高，对蓝色敏感最低的原理，结合显微镜镜头成像特点。本实施例中灰度按照如下经验方法计算：L＝R*0.3+G*0.6+B*0.1，其中L为计算后的灰度值，R为彩色图像RGB通道中的R值，G为彩色图像RGB通道中的G值，B为彩色图像RGB通道中的B值。

步骤S3、基于预设的邻域，对所有灰度图像中的每一锚点像素计算方差。

设置邻域N大小，其作为方差权值范围计算，邻域适度增大，对比度越大，效果越清晰，但过大的邻域将导致细节的损失以及性能的降低。本实施例中优选设置邻域尺寸为经验值5x5大小。并且方差计算如下：

步骤S31、获取灰度图像P_m中锚点像素i(x,y)邻域内的像素点集，其中m∈[0,M]，灰度图像的总数量为M+1。

步骤S32、根据像素点集计算方差：

式中，σ² _m,i表示灰度图像P_m中锚点像素i(x,y)的方差，X表示像素点集内像素点的像素值，μ表示像素点集内所有像素点的像素值的均值，N表示像素点集内像素点的个数，即邻域大小。

步骤S33、将方差σ² _m,i保存至预设置的方差数组Arrgyσ² _i中。

步骤S34、计算每一灰度图像中锚点像素i(x,y)的方差，并保存至方差数组Arrgyσ² _i中，得到Arrgyσ² _i为[σ² _0,i,σ² _1,i,…,σ² _m,i,…,σ² _M,i]。

步骤S35、重复步骤S31～S34计算得到每一锚点像素对应的方差数组。以每一位置的锚点像素得到对应的一个方差数组，便于后续进行总方差计算。

在基于邻域计算方差的过程中，每个像素点需要根据边界和n两者进行判断，确定实际邻域范围，如果邻域处理边界像素，需要判断以像素点i(x,y)为中心的n×n邻域是否超出边界范围，若未超出边界则邻域大小为n×n，若在临近边界的像素点判断超出边界，则实际邻域范围会小于n×n。

步骤S4、取所有灰度图像相同位置的锚点像素的方差进行求和得到总方差。

将灰度图像队列ListGray中的所有灰度图像相同位置的锚点像素i(x,y)的所有方差进行求和得到对应于锚点像素i(x,y)的总方差S_i(x,y)。

步骤S5、将所有显微镜图像中的每一锚点像素分解为RGB三通道值(R_i,G_i,B_i)。由于彩色图像中的像素的色彩分量包含RGB三个通道的值，因此本实施例中将像素进行分解即为分别提取出RGB三个通道的值，为彩色图像中像素点的常规表示方式。

步骤S6、基于每一锚点像素进行景深合成得到最终的景深合成图，包括：

步骤S61、取一个位置的锚点像素作为待处理锚点像素，本实施例以待处理锚点像素为i(x,y)为例进行说明。由于显微镜图像和灰度图像对应设置，因此所确定的待处理锚点像素的位置在显微镜图像和灰度图像中均对应有锚点像素。

步骤S62、获取待处理锚点像素所在位置对应的总方差。

步骤S63、对于一组对应的显微镜图像和灰度图像，基于灰度图像中待处理锚点像素的方差以及所述总方差计算得到加权值，并根据该加权值更新显微镜图像中待处理锚点像素的RGB三通道值。

为了保留原图像在多张图像中的比重，提高景深合成图像的真实性，本实施例中加权的方法如下：

步骤S631、取显微镜图像X_m和灰度图像P_m，待处理锚点像素为i(x,y)。

步骤S632、获取灰度图像P_m中锚点像素i(x,y)的方差为σ² _m,i，待处理锚点像素i(x,y)所在位置对应的总方差为S_i(x,y)。

步骤S633、则计算得到加权值为σ² _m,i/S_i(x,y)。

步骤S634、因此根据加权值更新显微镜图像中待处理锚点像素的RGB三通道值，如下：

R_m,i＝[σ² _m,i/S_i(x,y)]×R_m,i

G_m,i＝[σ² _m,i/S_i(x,y)]×G_m,i

B_m,i＝[σ² _m,i/S_i(x,y)]×B_m,i

式中，R_m,i、G_m,i、B_m,i为显微镜图像X_m中待处理锚点像素i(x,y)的RGB三通道值。容易理解的是，等式右边的R_m,i、G_m,i、B_m,i为显微镜图像X_m中待处理锚点像素i(x,y)的原始的RGB三通道值，等式左边的R_m,i、G_m,i、B_m,i为显微镜图像X_m中待处理锚点像素i(x,y)的更新后的RGB三通道值。

步骤S64、重复执行步骤S63直至更新所有显微镜图像中待处理锚点像素的RGB三通道值。

步骤S65、将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，将求和后的值作为待处理锚点像素景深合成后的RGB三通道值。

本实施例中将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，如下：

式中，为将所有显微镜图像中更新后的待处理锚点像素i(x,y)的RGB三通道值对应相加后的值。

由于像素值在0～255范围(包括端点)，因此需要判断加权求和后的通道值是否符合像素值的正常范围，即加权求和后需要判断是否溢出：判断 是否位于0～255范围内，若是则将/>作为待处理锚点像素i(x,y)景深合成后的RGB三通道值；否则根据8位图像数据特性，要求像素值需要介于0～255范围内，需要进行防溢出处理，即小于0的像素值强制设为0，大于255的像素值强制设为255。

图像从频域来看有高频和低频分量，高频分量代表的是细节，即突变部分(即灰度值梯度大)，也可能是噪声，而低频分量代表整体形象(即梯度小)。现有的景深合成方法例如拉氏锐化合成算法容易受到高低频分量影响，出现细节过于明显似失真的问题。而本实施例在进行景深合成时基于局部对比度的加权平均使得景深合成不受高低频分布的影响，得到的景深合成图能够更好的反应观测物。步骤S66、获取下一位置的锚点像素作为待处理锚点像素，并返回步骤S62，直至完成所有位置的锚点像素的景深合成得到最终的景深合成图。

不同景深图像的主要特征是每张图像都有着比较明显的对比度差，对比度高的部分细节明显，对比度低的部分细节模糊。本实施例采用像素方差大小来衡量对比度高低，通过局部邻域方差的加权平均保留局部对比度高，即细节明显的部分，同时加权平均方法可以平滑噪声，达到抑制噪声的目的，从而使得最终得到景深合成图像无重影、较好的抑制噪声并能能够充分保留细节内容。

由于本实施例以锚点像素为单位进行景深合成，因此本实施例的方法可采用多线程方式对图像进行分块处理，以加快处理速度。例如对720*1080分辨率的图像按照240*1080大小分片为3部分，采用多线程进行并行处理。

在另一个实施例中，提供一种基于局部对比度加权平均的显微镜图像景深合成系统，即一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。

该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于局部对比度加权平均的显微镜图像景深合成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于局部对比度加权平均的显微镜图像景深合成方法，其特征在于，所述基于局部对比度加权平均的显微镜图像景深合成方法，包括：

步骤S1、获取若干张不同景深的彩色的显微镜图像；

步骤S2、将所有显微镜图像逐一进行灰度化得到对应的灰度图像；

步骤S3、基于预设的邻域，对所有灰度图像中的每一锚点像素计算方差；

步骤S4、取所有灰度图像相同位置的锚点像素的方差进行求和得到总方差；

步骤S5、将所有显微镜图像中的每一锚点像素分解为RGB三通道值；

步骤S6、基于每一锚点像素进行景深合成得到最终的景深合成图，包括：

步骤S61、取一个位置的锚点像素作为待处理锚点像素；

步骤S62、获取待处理锚点像素所在位置对应的总方差；

步骤S63、对于一组对应的显微镜图像和灰度图像，基于灰度图像中待处理锚点像素的方差以及所述总方差计算得到加权值，并根据该加权值更新显微镜图像中待处理锚点像素的RGB三通道值；

步骤S64、重复执行步骤S63直至更新所有显微镜图像中待处理锚点像素的RGB三通道值；

步骤S65、将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，将求和后的值作为待处理锚点像素景深合成后的RGB三通道值；

步骤S66、获取下一位置的锚点像素作为待处理锚点像素，并返回步骤S62，直至完成所有位置的锚点像素的景深合成得到最终的景深合成图。

2.如权利要求1所述的基于局部对比度加权平均的显微镜图像景深合成方法，其特征在于，所述步骤S3，基于预设的邻域，对所有灰度图像中的每一锚点像素计算方差，包括：

步骤S31、获取灰度图像P_m中锚点像素i(x，y)邻域内的像素点集，其中m∈[0，M]，灰度图像的总数量为M+1；

步骤S32、根据像素点集计算方差：

式中，σ² _m，i表示灰度图像P_m中锚点像素i(x，y)的方差，X表示像素点集内像素点的像素值，μ表示像素点集内所有像素点的像素值的均值，N表示像素点集内像素点的个数；

步骤S33、将方差σ² _m，i保存至预设置的方差数组Arrgyσ² _i中；

步骤S34、计算每一灰度图像中锚点像素i(x，y)的方差，并保存至方差数组Arrgyσ² _i中，得到Arrgyσ² _i为[σ² _0，i，σ² _1，i，...，σ² _m，i，...，σ² _M，i]；

步骤S35、重复步骤S31～S34计算得到每一锚点像素对应的方差数组。

3.如权利要求2所述的基于局部对比度加权平均的显微镜图像景深合成方法，其特征在于，所述步骤S63，对于一组对应的显微镜图像和灰度图像，基于灰度图像中待处理锚点像素的方差以及所述总方差计算得到加权值，并根据该加权值更新显微镜图像中待处理锚点像素的RGB三通道值，包括：

取显微镜图像X_m和灰度图像P_m，待处理锚点像素为i(x，y)；

获取灰度图像P_m中锚点像素i(x，y)的方差为σ² _m，i，待处理锚点像素i(x，y)所在位置对应的总方差为S_i(x，y)；

则计算得到加权值为σ² _m，i/S_i(x，y)；

因此根据加权值更新显微镜图像中待处理锚点像素的RGB三通道值，如下：

R_m，i＝[σ² _m，i/S_i(x，y)]×R_m，i

G_m，i＝[σ² _m，i/S_i(x，y)]×G_m，i

B_m，i＝[σ² _m，i/S_i(x，y)]×B_m，i

式中，R_m，i、G_m，i、B_m，i为显微镜图像X_m中待处理锚点像素i(x，y)的RGB三通道值。

4.如权利要求3所述的基于局部对比度加权平均的显微镜图像景深合成方法，其特征在于，所述步骤S65，将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，将求和后的值作为待处理锚点像素景深合成后的RGB三通道值，包括：

将所有显微镜图像中更新后的待处理锚点像素的RGB三通道值按照通道进行对应求和，如下：

式中，为将所有显微镜图像中更新后的待处理锚点像素i(x，y)的RGB三通道值对应相加后的值；

判断是否位于0～255范围内，若是则将/>作为待处理锚点像素i(x，y)景深合成后的RGB三通道值；否则将小于0的像素值设置为0，将大于255的像素值设置为255。

5.一种基于局部对比度加权平均的显微镜图像景深合成系统，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器读取所述存储器中的计算机程序并运行以实现权利要求1～4任一项所述的基于局部对比度加权平均的显微镜图像景深合成方法的步骤。