CN115760654A - 一种工业显微镜图像处理系统 - Google Patents

Abstract

本发明公开一种工业显微镜图像处理系统，包括图像采集处理模块、反光干扰分析模块、光强优化处理模块、图像反光降素处理模块和图像异区定位补偿模块。本发明通过分析出环境照明光对样本表面材质所造成的反射互干扰系数，以分析出显微镜进行图像采集时的最优灰度值，并根据最优灰度值调整显微镜照明光强，并对照明光强调节后的样本图像中的反光区域内所有像素点进行降素处理以及对样本图像中各像素点的灰度值小于设定的下限灰度值阈值的像素点的灰度值进行补偿，能够保证显微镜照明光强下所采集的样本图像能同时反光区域和暗区的采集需求，提高了显微镜采集图像的准确性和真实性。

Description

一种工业显微镜图像处理系统

技术领域

本发明属于图像处理技术，涉及到一种工业显微镜图像处理系统。

背景技术

显微镜在工业上对待检测样本进行采集时，表面反射率以及所处环境光的强度等影响，会造成待检测样本表面出现过饱和像素点，无法清楚地采集到待检测样本表面的形貌特征，致使测量结果发生偏差，同时存在采集的样本图像表面存在暗区，影响对待检测样本图像采集的准确性，在显微镜测量的过程中，由于无法准确地获得显微镜所采集的最佳灰度值，难以排除待检测样本表面材质以及环境光强度等因素对图像采集的干扰，同时，对采集的图像信息中降素处理的饱和像素点所对应的反光区和灰度值补偿处理后的暗区的特征在融合的过程中存在融合效率差以及融合品质差的问题。

发明内容

本发明的目的在于提供的一种工业显微镜图像处理系统，解决了现有技术中存在的问题。

本发明的目的可以通过以下技术方案实现：

一种工业显微镜图像处理系统，包括图像采集处理模块、反光干扰分析模块、光强优化处理模块、图像反光降素处理模块和图像异区定位补偿模块；

图像采集处理模块采用超景深显微镜以预设照明光强度对待检测样本进行图像采集，对采集的样本图像进行图像过滤处理；

反光干扰分析模块用于获取显微镜对待检测样本表面进行图像采集时的照明光强度以及提取待检测样本表面的材质，从样本材质数据库中筛选出当前待检测样本表面的材质所对应的光强干扰比例因子，采用表面反射互干扰模型，分析出环境照明光对样本表面材质所造成的反射互干扰系数；

光强优化处理模块用于提取预设照明光强度下所采集经图像过滤处理的样本图像，对样本图像进行过饱和像素点筛选，提取所有过饱和像素点中的最大灰度值，并获取经反光干扰分析模块分析出的环境照明光强对样本表面所造成的反射互干扰系数，采用预设照明光强度下采集的样本图像中的最大灰度值以及环境照明光强对样本表面所造成的反射互干扰系数进行优化处理，获取显微镜进行图像采集时的最优灰度值，并根据最优灰度值调整显微镜照明光强；

图像反光降素处理模块用于获取显微镜照明光强调节后所采集的样本图像，并对样本图像进行反光定位，分析出样本图像中处于反光区域内的位置坐标，同时对样本图像中的反光区域内的所有像素点进行降素处理；

图像异区定位补偿模块用于获取显微镜照明光强调节后所采集的样本图像，判断样本图像中各像素点的灰度值是否小于设定的下限灰度值阈值，若小于下限灰度值阈值，则定位小于设定的下限灰度值阈值的样本图像中各像素点的位置，并逐级提高照明光强直至所有小于设定的下限灰度值阈值的各像素点的灰度值大于设定的下限灰度值阈值。

进一步地，所述表面反射互干扰模型的计算公式：

，

表示为待检测样本表面的材质所对应的光强干扰比例因子，对于待检测样本表面的材质种类数量大于1时，需采用各材质所对应的光强干扰比例因子进行表面反射互干扰模型的计算，

表示为选用的相机感光度与设定的最大感光度间的比值，

表示为显微镜上相机的曝光时间，单位为s，

表示为待检测样本上坐标

的像素点反射的最大光强度。

进一步地，所述光强优化处理模块进行优化处理所采用的最优灰度值计算公式为：

，E为显微镜采集的最佳灰度值，

为所有饱和像素点中的最大灰度值，T为环境光强度与样本表面的互反射影响系数，

为噪声干扰系数，取值0.35。

进一步地，所述图像反光调节模块对样本图像进行处理，具体步骤如下：

步骤1、提取样本图像，并将提取的样本图像转换成灰度图像；

步骤2、判断灰度图像中各像素点

的灰度值是否大于设定的灰度阈值W,若大于设定的灰度阈值W，则该像素点为饱和像素点；

步骤3、构建饱和像素点的位置集

，

，m为饱和像素点的个数；

步骤4、筛选出所有饱和像素点中的最大灰度值，分析出所有饱和像素点中的降素调控系数

，

，

为所有饱像素点中的最大灰度值；

步骤5、依次采用步骤4中的降素调控系数对采集的样本图像中的所有饱和像素点的灰度值进行降素处理。

进一步地，还包括图像分析融合模块；

所述图像分析融合模块用于提取经灰度值补偿后的小于设定的下限灰度值阈值的各像素点的像素值以及样本图像中反光区域内经降素处理后的各像素点的像素值，采用小于设定的下限灰度值阈值的各像素点的位置和经降素处理后的各像素点的位置对经优化处理后显微镜照明光强下所采集样本图像进行融合处理。

进一步地，所述图像处理系统还包括融合轮廓分析模块，融合轮廓筛选模块用于获取经灰度值补偿后的小于设定的下限灰度值阈值的各像素点的位置以及经降素处理后的各像素点的位置坐标，筛选出经灰度值补偿后的小于设定的下限灰度值阈值的各像素点与经优化处理后的照明光强下所采集的样本图像的融合轮廓上各像素点位置坐标、以及经降素处理后的各像素点的位置坐标与经优化处理后的照明光强下所采集的样本图像的融合轮廓上各像素点位置坐标。

进一步地，所述图像融合评估模块用于提取融合轮廓上各像素点位置坐标，提取融合轮廓上各像素点两侧连续若干像素点的灰度值，评估补偿后的各像素点以及降素处理后的各像素点分别与该像素点左侧或右侧连续若干像素点的灰度值间的融合差异阶梯系数，若融合轮廓上像素点与该像素点左侧和右侧连续若干像素点间的灰度值间的融合差异阶梯系数均大于设定的阈值，则提取融合轮廓上各像素点所对应的灰度值并调节该像素点的灰度值。

进一步地，所述融合差异阶梯系数的表达式为：

，

为待检测的融合轮廓上像素点与左侧连续若干像素点的灰度值间的融合差异阶梯系数，

为待检测的融合轮廓上像素点与右侧连续若干像素点的灰度值间的融合差异阶梯系数，且

，

，b为左侧或右侧连续选取的像素点个数，

表示为坐标（i，j+w）的像素点的灰度值，

、

、和

的含义同理。

本发明的有益效果：

本发明提供的工业显微镜图像处理系统，通过对待检测样本表面材质以及待检测样本进行图像采集时的照明光强度进行分析，以分析出环境照明光对样本表面材质所造成的反射互干扰系数，并根据环境照明光下所采集图像中的最大灰度值以及反射互干扰系数优化出显微镜进行图像采集时的最优灰度值，并根据最优灰度值调整显微镜照明光强，实现对显微镜照明光强的调节，能够削弱待检测样本表面材质以及环境光强度等因素对采集图像的干扰，进一步地提高采集图像的品质。

本发明通过对照明光强调节后的样本图像中的反光区域内所有像素点进行降素处理，使得样本图像中的反光区域内所有像素点均处于不饱和状态，排除饱和像素点所对应的灰度值对采集的样本图像中特征的干扰，避免反光区域内的待检测样本特征丢失；并对样本图像中各像素点的灰度值小于设定的下限灰度值阈值的像素点的灰度值进行补偿，可满足对经照明光强调节后所采集的样本图像中的暗区进行补偿，使得样本图像中的暗区特征进行显示。

本发明通过降素处理的反光区域以及暗区与经优化处理后显微镜照明光强下所采集样本图像进行融合处理，能够保证显微镜照明光强下所采集的样本图像能同时反光区域和暗区的采集需求，排除显微镜照明光强下样本图像中所存在的暗区和反光区问题，提高了显微镜采集图像的准确性和真实性。

本发明通过对融合轮廓上各像素点所对应的灰度值与该像素点左侧或右侧连续若干像素点的灰度值间进行融合质量评估，以对融合效果差的轮廓区域内各像素点进行调整，消除融合轮廓上各像素点与该像素点两侧像素点所对应的灰度值间的差异化，提高暗区和反光区内的图像融合效果。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种工业显微镜图像处理系统，包括图像采集处理模块、反光干扰分析模块、光强优化处理模块、图像反光降素处理模块、图像异区定位补偿模块和图像分析融合模块。

图像采集处理模块采用超景深显微镜以预设照明光强度对待检测样本进行图像采集，对采集的样本图像进行图像过滤处理，保证采集的样本图像的清晰度。

在采集的过程中由于测量平台发生振动或测量高度变化无法对焦以及相机表面的浮尘、空气中小颗粒等因素，使得图像像素中夹杂较多噪声，图像质量大大降低，影响采集图像的清晰度，为了减少干扰因素对图像质量的影响，需对图像进行过滤处理去除其中的无用信息，提高样本图像特征的利用率。

反光干扰分析模块用于获取显微镜对待检测样本表面进行图像采集时的照明光强度以及提取待检测样本表面的材质，从样本材质数据库中筛选出当前待检测样本表面的材质所对应的光强干扰比例因子，采用表面反射互干扰模型，分析出环境照明光对样本表面材质所造成的反射互干扰系数。

所述样本材质数据库中记载了不同待检测样本材质对应的光强干扰比例因子，不同材质表面的光强干扰比例因子由实验数据获得。

其中，表面反射互干扰模型的计算公式：

，

表示为待检测样本表面的材质所对应的光强干扰比例因子，对于待检测样本表面的材质种类数量大于1时，需采用各材质所对应的光强干扰比例因子进行表面反射互干扰模型的计算，

表示为选用的相机感光度与设定的最大感光度间的比值，

表示为显微镜上相机的曝光时间，单位为s，

表示为待检测样本上坐标（i，j）的像素点反射的最大光强度。

不同待检测样本受表面材质、表面反射率以及所处环境光的强度等影响，会造成待检测样本表面出现过饱和像素点，无法清楚地采集到待检测样本表面的形貌特征，致使测量结果发生偏差，影响采集的待检测样本表面图像的准确性，在显微镜测量的过程中，由于无法准确地获得显微镜所采集的最佳灰度值，进而难以确定根据待检测样本以及环境光和待检测样本表面下显微镜在图像采集时所对应的最佳光强度，进而无法排除待检测样本表面材质以及环境光强度等因素对图像采集的干扰。

光强优化处理模块用于提取预设照明光强度下所采集经图像过滤处理的样本图像，对样本图像进行过饱和像素点筛选，提取所有过饱和像素点中的最大灰度值，并获取经反光干扰分析模块分析出的环境照明光强对样本表面所造成的反射互干扰系数，采用预设照明光强度下采集的样本图像中的最大灰度值以及环境照明光强对样本表面所造成的反射互干扰系数进行优化处理，获取显微镜进行图像采集时的最优灰度值，并根据最优灰度值调整显微镜照明光强，实现对显微镜照明光强的调节，能够削弱待检测样本表面材质以及环境光强度等因素对采集图像的干扰，进一步地提高采集图像的品质。

优灰度值计算公式为：

，E为显微镜采集的最佳灰度值，

为所有饱和像素点中的最大灰度值，T为环境光强度与样本表面的互反射影响系数，

为噪声干扰系数，取值0.35，为实验数据，由显微镜本身所决定。

当显微镜采集的样本图像上像素点灰度值等于且不超过显微镜所能采集的最大光强（显微镜所能检测到的最大像素点灰度值对应最大的强度值）时，显微镜所采集的灰度值是最优灰度值。

图像反光降素处理模块用于获取显微镜照明光强调节后所采集的样本图像，并对样本图像进行反光定位，分析出样本图像中处于反光区域内的位置坐标，同时对样本图像中的反光区域内的所有像素点进行降素处理，使得反光区域内的所有像素点处于不饱和状态。

所述图像反光调节模块对样本图像进行处理，具体步骤如下：

步骤1、提取样本图像，并将提取的样本图像转换成灰度图像；

步骤2、判断灰度图像中各像素点

的灰度值是否大于设定的灰度阈值W,若大于设定的灰度阈值W，则该像素点为饱和像素点；

步骤3、构建饱和像素点的位置集

，

，m为饱和像素点的个数；

步骤4、筛选出所有饱和像素点中的最大灰度值，分析出所有饱和像素点中的降素调控系数

，

，

为所有饱像素点中的最大灰度值；

步骤5、依次采用步骤4中的降素调控系数对采集的样本图像中的所有饱和像素点的灰度值进行降素处理（具体降素处理的计算方法是将所有饱和像素点的灰度值与降素调控系数相乘，获得降素后的各饱和像素点的灰度值），以对样本图像中各像素点的灰度值大于设定的灰度值阈值W的各像素点的灰度值进行降素处理，保证样本图像中的所有饱和像素点处于不饱和状态。

对各像素点的灰度值与设定的灰度阈值W进行对比，筛选出反光区域内的饱和像素点，并提取所有饱和像素点中的最大灰度值与设定的灰度阈值进行对比，获得降素调控系数，并采用降素调控系数对所有饱和像素点进行降素处理，使得获取的样本图像中的所有饱和像素点均处于不饱和状态，减小饱和像素点所对应的灰度值对图像的干扰。

图像异区定位补偿模块用于获取显微镜照明光强调节后所采集的样本图像，判断样本图像中各像素点的灰度值是否小于设定的下限灰度值阈值，若小于下限灰度值阈值，则定位小于设定的下限灰度值阈值的样本图像中各像素点的位置，并逐级提高照明光强直至所有小于设定的下限灰度值阈值的各像素点的灰度值大于设定的下限灰度值阈值，实现对样本图像采集过程中照明光强进行逐级调节，满足对小于设定的下限灰度值阈值的各像素点的灰度值进行灰度值补偿，可对经照明光强调节后所采集的样本图像中的暗区进行补偿，使得样本图像中的暗区特征进行显示。

图像分析融合模块用于提取经灰度值补偿后的小于设定的下限灰度值阈值的各像素点的像素值以及样本图像中反光区域内经降素处理后的各像素点的像素值，采用小于设定的下限灰度值阈值的各像素点的位置和经降素处理后的各像素点的位置对经优化处理后显微镜照明光强下所采集样本图像进行融合处理，避免样本图像采集的过程中无法同时满足反光区域和暗区的采集需求，能够排除显微镜照明光强下样本图像中所存在的暗区和反光区问题，提高了显微镜采集图像的准确性和真实性。

另外，本实施例还包括融合轮廓分析模块和图像融合评估模块，可对经灰度值补偿后的小于设定的下限灰度值阈值的各像素点所对应的灰度值根据像素点的位置以及经降素处理后的各像素点所对应的灰度值根据该像素点的位置融合至经优化处理后的照明光强下所采集的样本图像进行融合质量评估，能够判断经灰度值补偿后的小于设定的下限灰度值阈值的各像素点和经降素处理后的各像素点的融合效果，并对融合效果差的轮廓区域内各像素点进行调整，提高暗区和反光区内的图像融合效果。

融合轮廓筛选模块用于获取经灰度值补偿后的小于设定的下限灰度值阈值的各像素点的位置以及经降素处理后的各像素点的位置坐标，筛选出经灰度值补偿后的小于设定的下限灰度值阈值的各像素点与经优化处理后的照明光强下所采集的样本图像的融合轮廓上各像素点位置坐标、以及经降素处理后的各像素点的位置坐标与经优化处理后的照明光强下所采集的样本图像的融合轮廓上各像素点位置坐标，能够确定灰度值补偿后的各像素点与样本图像融合的交接处的像素点位置坐标以及确定降素处理后的各像素点与样本图像融合的交接处的像素点位置坐标。

图像融合评估模块用于提取融合轮廓上各像素点位置坐标，提取融合轮廓上各像素点两侧连续若干像素点的灰度值，评估补偿后的各像素点以及降素处理后的各像素点分别与该像素点左侧或右侧连续若干像素点的灰度值间的融合差异阶梯系数，若融合轮廓上像素点与该像素点左侧和右侧连续若干像素点间的灰度值间的融合差异阶梯系数均大于设定的阈值，则提取融合轮廓上各像素点所对应的灰度值，调节该像素点的灰度值，保证灰度值调节后的该像素点与左侧或右侧连续若干像素点间的灰度值间的融合差异阶梯系数小于设定的阈值，实现对图像融合后的效果评估，消除融合轮廓上各像素点与该像素点两侧像素点所对应的灰度值间的差异化。

所述融合差异阶梯系数的表达式为：

，u1为待检测的融合轮廓上像素点与左侧连续若干像素点的灰度值间的融合差异阶梯系数，u2为待检测的融合轮廓上像素点与右侧连续若干像素点的灰度值间的融合差异阶梯系数，且

，

，b为左侧或右侧连续选取的像素点个数，

表示为坐标（i，j+w）的像素点的灰度值，

、

、和

的含义同理。

以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种工业显微镜图像处理系统，包括图像采集处理模块，其特征在于，所述图像采集处理模块采用超景深显微镜以预设照明光强度对待检测样本进行图像采集，对采集的样本图像进行图像过滤处理；

图像处理系统还包括反光干扰分析模块、光强优化处理模块、图像反光降素处理模块和图像异区定位补偿模块；

反光干扰分析模块用于获取显微镜对待检测样本表面进行图像采集时的照明光强度以及提取待检测样本表面的材质，从样本材质数据库中筛选出当前待检测样本表面的材质所对应的光强干扰比例因子，采用表面反射互干扰模型，分析出环境照明光对样本表面材质所造成的反射互干扰系数；

光强优化处理模块用于提取预设照明光强度下所采集经图像过滤处理的样本图像，对样本图像进行过饱和像素点筛选，提取所有过饱和像素点中的最大灰度值，并获取经反光干扰分析模块分析出的环境照明光强对样本表面所造成的反射互干扰系数，采用预设照明光强度下采集的样本图像中的最大灰度值以及环境照明光强对样本表面所造成的反射互干扰系数进行优化处理，获取显微镜进行图像采集时的最优灰度值，并根据最优灰度值调整显微镜照明光强；

图像反光降素处理模块用于获取显微镜照明光强调节后所采集的样本图像，并对样本图像进行反光定位，分析出样本图像中处于反光区域内的位置坐标，同时对样本图像中的反光区域内的所有像素点进行降素处理；

图像异区定位补偿模块用于获取显微镜照明光强调节后所采集的样本图像，判断样本图像中各像素点的灰度值是否小于设定的下限灰度值阈值，若小于下限灰度值阈值，则定位小于设定的下限灰度值阈值的样本图像中各像素点的位置，并逐级提高照明光强直至所有小于设定的下限灰度值阈值的各像素点的灰度值大于设定的下限灰度值阈值。

2.根据权利要求1所述的一种工业显微镜图像处理系统，其特征在于，所述表面反射互干扰模型的计算公式：

，

表示为待检测样本表面的材质所对应的光强干扰比例因子，对于待检测样本表面的材质种类数量大于1时，需采用各材质所对应的光强干扰比例因子进行表面反射互干扰模型的计算，

表示为选用的相机感光度与设定的最大感光度间的比值，

表示为显微镜上相机的曝光时间，单位为s，

表示为待检测样本上坐标

的像素点反射的最大光强度。

3.根据权利要求1所述的一种工业显微镜图像处理系统，其特征在于，所述光强优化处理模块进行优化处理所采用的最优灰度值计算公式为：

，E为显微镜采集的最佳灰度值，

为所有饱和像素点中的最大灰度值，T为环境光强度与样本表面的互反射影响系数，

为噪声干扰系数，取值0.35。

4.根据权利要求3所述的一种工业显微镜图像处理系统，其特征在于，所述图像反光调节模块对样本图像进行处理，具体步骤如下：

步骤1、提取样本图像，并将提取的样本图像转换成灰度图像；

步骤2、判断灰度图像中各像素点

的灰度值是否大于设定的灰度阈值W,若大于设定的灰度阈值W，则该像素点为饱和像素点；

步骤3、构建饱和像素点的位置集

，

，m为饱和像素点的个数；

步骤4、筛选出所有饱和像素点中的最大灰度值，分析出所有饱和像素点中的降素调控系数

，

,

为所有饱像素点中的最大灰度值；

步骤5、依次采用步骤4中的降素调控系数对采集的样本图像中的所有饱和像素点的灰度值进行降素处理。

5.根据权利要求1所述的一种工业显微镜图像处理系统，其特征在于，还包括图像分析融合模块；

所述图像分析融合模块用于提取经灰度值补偿后的小于设定的下限灰度值阈值的各像素点的像素值以及样本图像中反光区域内经降素处理后的各像素点的像素值，采用小于设定的下限灰度值阈值的各像素点的位置和经降素处理后的各像素点的位置对经优化处理后显微镜照明光强下所采集样本图像进行融合处理。

6.根据权利要求1所述的一种工业显微镜图像处理系统，其特征在于，所述图像处理系统还包括融合轮廓分析模块，融合轮廓筛选模块用于获取经灰度值补偿后的小于设定的下限灰度值阈值的各像素点的位置以及经降素处理后的各像素点的位置坐标，筛选出经灰度值补偿后的小于设定的下限灰度值阈值的各像素点与经优化处理后的照明光强下所采集的样本图像的融合轮廓上各像素点位置坐标、以及经降素处理后的各像素点的位置坐标与经优化处理后的照明光强下所采集的样本图像的融合轮廓上各像素点位置坐标。

7.根据权利要求6所述的一种工业显微镜图像处理系统，其特征在于，图像融合评估模块用于提取融合轮廓上各像素点位置坐标，提取融合轮廓上各像素点两侧连续若干像素点的灰度值，评估补偿后的各像素点以及降素处理后的各像素点分别与该像素点左侧或右侧连续若干像素点的灰度值间的融合差异阶梯系数，若融合轮廓上像素点与该像素点左侧和右侧连续若干像素点间的灰度值间的融合差异阶梯系数均大于设定的阈值，则提取融合轮廓上各像素点所对应的灰度值并调节该像素点的灰度值。

8.根据权利要求7所述的一种工业显微镜图像处理系统，其特征在于，所述融合差异阶梯系数的表达式为：

，

为待检测的融合轮廓上像素点与左侧连续若干像素点的灰度值间的融合差异阶梯系数，

为待检测的融合轮廓上像素点与右侧连续若干像素点的灰度值间的融合差异阶梯系数，且

，

，b为左侧或右侧连续选取的像素点个数，

表示为坐标（i，j+w）的像素点的灰度值，

、

、和

的含义同理。