CN114972127B - 一种摩尔纹消除方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明提供一种摩尔纹消除方法、装置、设备及可读存储介质。该方法包括：由像素位移矩阵得到路径规划以及低通滤波卷积核；控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；通过低通滤波卷积核对拍摄得到的图像进行反卷积。通过本发明实现了在源头上对摩尔纹的有效消除以及精确控制低通滤波程度。

Description

一种摩尔纹消除方法、装置、设备及可读存储介质

技术领域

本发明涉及光学技术领域，尤其涉及一种摩尔纹消除方法、装置、设备及可读存储介质。

背景技术

目前各种泛半导体器件已经广泛应用到人们生活的各种场景中，成为人们生活中不可缺少的一部分。这些泛半导体器件在生产时都需要被集中在一片晶圆上进行批量检测，目前市场都是使用相机飞拍技术拍摄晶圆上的泛半导体器件集合，然后对相机拍摄得到的图像进行分析，从而得出晶圆上各种缺陷、脏污等外观检测结果。但是由于晶圆上泛半导体器件按阵列周期存在，相机拍摄出的图像会大概率存在摩尔纹，这严重影响图像的质量，从而影响外观导致检测结果的精准性。

目前主流的摩尔纹消除方法有：改变焦距、焦点、拍摄角度以及光圈组合从而达到低通滤波器的效果，但其中低通滤波程度难以被精确控制，极易过度滤波或滤波程度欠缺从而起不到有效消除摩尔纹的效果；或者使用软件进行处理，如使用Nikon Capture或Photoshop等插件消除图像上出现的摩尔纹，但该类方法在去除摩尔纹的同时难免会对图像真实信号带来不可逆的篡改。因此，亟需一种既能有效消除摩尔纹又不会篡改图像真实信号的方法。

发明内容

为解决上述技术问题，本发明的主要目的在于提供一种摩尔纹消除方法、装置、设备及可读存储介质。

第一方面，本发明提供一种摩尔纹消除方法，所述摩尔纹消除方法包括：

由像素位移矩阵得到路径规划以及低通滤波卷积核；

控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；

通过低通滤波卷积核对拍摄得到的图像进行反卷积。

可选的，在所述由像素位移矩阵得到路径规划以及低通滤波卷积核的步骤之前，还包括：

对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵。

可选的，在所述对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵的步骤之前，还包括：

基于待拍摄对象的空间频谱得到预设频域滤波图像。

可选的，像素位移矩阵由m×n个元素构成，每个元素的值表示相机感光元件在每个元素对应的每个位置点邻域网格内的停留时长，其中所有元素的值之和对应的总停留时长等于一帧曝光时长，由像素位移矩阵得到路径规划，包括：

确定以m×n矩阵形式排列的m*n个位置点；

以m*n个位置点的中心位置点为相机视野中心点，以预设比例的像素间隔为位置点之间的水平间隔以及垂直间隔，确定每个位置点的位置；

基于每个位置点的位置生成移动轨迹，所述移动轨迹遍历所有位置点；

基于所述移动轨迹以及相机感光元件每个位置点邻域网格内的停留时长得到路径规划。

可选的，由像素位移矩阵得到低通滤波卷积核，包括：

对像素位移矩阵进行傅立叶正变换，得到低通滤波卷积核。

第二方面，本发明还提供一种摩尔纹消除装置，所述摩尔纹消除装置包括：

矩阵处理模块，用于由像素位移矩阵得到路径规划以及低通滤波卷积核；

拍摄模块，用于控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；

图像处理模块，用于通过低通滤波卷积核对拍摄得到的图像进行反卷积。

可选的，所述摩尔纹消除装置还包括矩阵生成模块，用于：

对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵。

可选的，像素位移矩阵由m×n个元素构成，每个元素的值表示相机感光元件在每个元素对应的每个位置点邻域网格内的停留时长，其中所有元素的值之和对应的总停留时长等于一帧曝光时长，矩阵处理模块，用于：

确定以m×n矩阵形式排列的m*n个位置点；

以m*n个位置点的中心位置点为相机视野中心点，以预设比例的像素间隔为位置点之间的水平间隔以及垂直间隔，确定每个位置点的位置；

基于每个位置点的位置生成移动轨迹，所述移动轨迹遍历所有位置点；

基于所述移动轨迹以及相机感光元件每个位置点邻域网格内的停留时长得到路径规划。

第三方面，本发明还提供一种摩尔纹消除设备，所述摩尔纹消除设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的摩尔纹消除程序，其中所述摩尔纹消除程序被所述处理器执行时，实现如上所述的摩尔纹消除方法的步骤。

第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有摩尔纹消除程序，其中所述摩尔纹消除程序被处理器执行时，实现如上所述的摩尔纹消除方法的步骤。

本发明中，由像素位移矩阵得到路径规划以及低通滤波卷积核；控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；通过低通滤波卷积核对拍摄得到的图像进行反卷积。本发明中利用空间位移实现了对被拍摄对象在传感器成像面上的空间光强信号的低通滤波，从而让超出Nyquist采样定理所定义的最高频率的高频信号的强度大大降低，而正常信号部分衰减有限。因此在发生混叠后，混叠的摩尔纹强度相对于正常信号部分足够低，从而实现了在源头上对摩尔纹的有效消除；且由于低通滤波基于相机感光元件位移特性实现，而相机感光元件的位移可通过像素位移矩阵进行精确控制，因此可以精确控制低通滤波程度。

附图说明

图1为本发明实施例方案中涉及的摩尔纹消除设备的硬件结构示意图；

图2为本发明摩尔纹消除方法一实施例的流程示意图；

图3为以矩阵形式排列的位置点的示意图；

图4为移动方向的示意图；

图5为相机感光元件固定不动进行拍摄时的图像信号示意图；

图6为相机感光元件基于高斯分布的高斯分布的像素位移矩阵移动进行拍摄时的图像信号示意图；

图7为本发明摩尔纹消除装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

第一方面，本发明实施例提供一种摩尔纹消除设备，所述设备为拍摄装置。

参照图1，图1为本发明实施例方案中涉及的摩尔纹消除设备的硬件结构示意图。本发明实施例中，摩尔纹消除设备可以包括处理器1001（例如中央处理器CentralProcessing Unit，CPU），通信总线1002，相机感光元件1003，位移控制器1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；位移控制器1004用于带动相机感光元件1003移动；存储器1005可以是高速随机存取存储器（random access memory，RAM），也可以是稳定的存储器（non-volatile memory），例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及摩尔纹消除程序。其中，处理器1001可以调用存储器1005中存储的摩尔纹消除程序，并执行本发明实施例提供的摩尔纹消除方法。

第二方面，本发明实施例提供了一种摩尔纹消除方法。

一实施例中，参照图2，图2为本发明摩尔纹消除方法一实施例的流程示意图。如图2所示，摩尔纹消除方法包括：

步骤S10，由像素位移矩阵得到路径规划以及低通滤波卷积核；

本实施例中，相机感光元件的移动基于像素位移矩阵（简称PS矩阵）控制，可预先基于实际需要构建像素位移矩阵，再由像素位移矩阵得到路径规划。例如，高斯分布的像素位移矩阵。需要说明的是，高斯分布的像素位移矩阵仅为对像素位移矩阵的举例说明，实际上像素位移矩阵的实例是无穷多个的。其中，路径规划用于控制相机感光元件在一帧曝光时长内如何移动。

进一步地，一实施例中，像素位移矩阵由m×n个元素构成，每个元素的值表示相机感光元件在每个元素对应的每个位置点邻域网格内的停留时长，其中所有元素的值之和对应的总停留时长等于一帧曝光时长，由像素位移矩阵得到路径规划，包括：

确定以m×n矩阵形式排列的m*n个位置点；以m*n个位置点的中心位置点为相机视野中心点，以预设比例的像素间隔为位置点之间的水平间隔以及垂直间隔，确定每个位置点的位置；基于每个位置点的位置生成移动轨迹，所述移动轨迹遍历所有位置点；基于所述移动轨迹以及相机感光元件每个位置点邻域网格内的停留时长得到路径规划。

本实施例中，以m、n分别为5为例，即像素位移矩阵是5×5的形式，则位置点也是如此排列。参照图3，图3为以矩阵形式排列的位置点的示意图。如图3所示，每个圆圈代表每个位置点，以25个位置点的中心位置点为相机视野中心点，即在以相机视野中心点为原点构建的坐标系中，第三排第三列的位置点的位置为（0，0）。若预设比例为0.1，像素间隔记为a，则第一排第一列的位置点的位置为（-0.2a，0.2a）、第一排第二列的位置点的位置为（-0.1a，0.2a），以此类推，即可确定每个位置点的位置。

移动方向可基于实际需要进行设置，例如移动方向为从第一排第一列的位置点开始，依次经过到第一排第二列、第三列、第四列的位置点，到达第一排第五列的位置点，再由第一排第五列的位置点移动到第二排第五列的位置点，再由第二排第五列的位置点依次经过到第二排第四列、第三列、第二列的位置点，到达第二排第一列的位置点，以此类推，直至到达第五排第五列的位置点。参照图4，图4为移动方向的示意图。基于此，生成的移动轨迹即为：（-0.2a，0.2a）→（-0.1a，0.2a）→（0，0.2a）→（0.1a，0.2a）→（0.2a，0.2a）→（0.2a，0.1a）→......→（0.2a，-0.2a）。

进一步地，由于像素位移矩阵中每个元素的值表示相机感光元件在每个元素对应的每个位置点邻域网格内的停留时长，即可确定相机感光元件在每个位置点上的停留时长T_ij。例如，第1行第1列的元素的值为X₁₁，即表明由第1行第1列的位置点按照移动轨迹移动到下一个位置点的时长为X₁₁，第1行第2列的元素的值为X₁₁，即表明由第1行第2列的位置点按照移动轨迹移动到下一个位置点的时长为X₁₂，以此类推。

考虑到移动预设比例的像素间隔（例如0.1a）需要一定时间t（移动间距是固定的0.1a，移动速度也是固定的，即t是固定值），以25个位置点为例，从第一个位置点移动到最后一个位置点中间需要经过24次移动，则移动所需的总时长为24t，而元素的值之和对应的总停留时长等于一帧曝光时长，则可在一帧曝光时长的基础上减去24t，再基于得到的差值确定相机感光元件在每个位置点上的停留时长。例如将差值除以25，得到的值为各个位置点上的停留时长；或者按照其他方式将得到的差值分配成25份，作为各个位置点上的停留时长，在此不做限制。

基于此，根据移动轨迹以及相机感光元件在各个位置点上的停留时长，即可得到路径规划。例如路径规划为：

在移动轨迹上的第一个位置点停留T₁₁，然后移动到移动轨迹上的第二个位置点并停留T₁₂，以此类推，直至移动到移动轨迹上的最后一个位置点并停留T₅₅。

进一步地，一实施例中，由像素位移矩阵得到低通滤波卷积核，包括：

对像素位移矩阵进行傅立叶正变换，得到低通滤波卷积核。

本实施例中，对像素位移矩阵进行傅立叶正变换，即可得到低通滤波卷积核。

步骤S20，控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；

本实施例中，控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于上述路径规划移动。

步骤S30，通过低通滤波卷积核对拍摄得到的图像进行反卷积。

本实施例中，通过步骤S10得到的低通滤波卷积核对按照步骤S20拍摄得到的图像进行反卷积，即可得到有效消除了摩尔纹的图像。

参照图5，图5为相机感光元件固定不动进行拍摄时的图像信号示意图。如图5中左图所示，相机的视野中心为一个点时，在此情况下的频域滤波效果为全通滤波。在此频域中，f_N频率范围为图5中中间图里的小方框所示，边框外的高频信号会混叠至小方框内从而形成摩尔纹。参照图6，图6为相机感光元件基于高斯分布的高斯分布的像素位移矩阵移动进行拍摄时的图像信号示意图。从图6可以看出其低通滤波效果很明显，f_N频率范围外的信号相对于DC分量至少有100倍的衰减。而低通滤波导致的f_N频率范围内的信号失真很容易恢复，具体操作是根据基于PS矩阵得到的低通滤波卷积核进行反卷积。

屏体像素在空间上是周期性离散阵列图案，因此其频谱覆盖了从空间频域直流到高频的极宽范围。而相机像素在空间上也是周期性离散阵列，根据Nyquist采样定理，其能采集到的最高频率f_N为对应的相机空间采样频率的一半。因此相机在拍摄屏体画面时，难免会有超出f_N的部分，这些高频信号（f> f_N）将与原本图像正常信号（f≤f_N）产生混合，即频域混叠，形成摩尔纹。摩尔纹的频谱在DC~ f_N频域范围内的分布无固定的规律，因此其在空间上也没有固定的的形状规律。传统的克服摩尔纹的方法是给图像做低通处理，包含使用低通滤镜，数码过滤，像素合并处理等，但由于摩尔纹频谱和信号频谱是叠加的，这种操作会降低图像的锐度并且不能有效消除摩尔纹。因此，本实施例中，由像素位移矩阵得到路径规划以及低通滤波卷积核；控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；通过低通滤波卷积核对拍摄得到的图像进行反卷积。通过本实施例，利用空间位移实现了对被拍摄对象在传感器（相机感光元件）成像面上的空间光强信号的低通滤波，从而让超出Nyquist采样定理所定义的最高频率的高频信号的强度大大降低，而正常信号部分衰减有限。因此在发生混叠后，混叠的摩尔纹强度相对于正常信号部分足够低，从而实现了在源头上对摩尔纹的有效消除；且由于低通滤波基于相机感光元件位移特性实现，而相机感光元件的位移可通过像素位移矩阵进行精确控制，因此可以精确控制低通滤波程度。

进一步地，一实施例中，在步骤S10之前，还包括：

步骤S01，对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵。

本实施例中，可按照实际需要构建预设频域滤波图像，然后对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，从而得到像素位移矩阵。其中，实数非负值域映射处理即先对虚数部分滤除，再对整个数值加一个统一的最小正数使得所有值都是非负的。

进一步地，一实施例中，在步骤S01之前，还包括：

步骤S02，基于待拍摄对象的空间频谱得到预设频域滤波图像。

本实施例中，例如若待拍摄对象的空间频谱位于[fa，fb]（fa、fb为预设值）的圆环区域内，则构建预设频域滤波图像的过程为：在该圆环区域内设置为较小值（例如0.001），而在f_N频域范围内设置为1，在其余范围可为介于前面二者值之间的任意值。

第三方面，本发明实施例还提供一种摩尔纹消除装置。

一实施例中，参照图7，图7为本发明摩尔纹消除装置一实施例的功能模块示意图。如图7所示，摩尔纹消除装置包括：

矩阵处理模块10，用于由像素位移矩阵得到路径规划以及低通滤波卷积核；

拍摄模块20，用于控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；

图像处理模块30，用于通过低通滤波卷积核对拍摄得到的图像进行反卷积。

进一步地，一实施例中，摩尔纹消除装置还包括矩阵生成模块，用于：

对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵。

进一步地，一实施例中，摩尔纹消除装置还包括图像生成模块，用于：

基于待拍摄对象的空间频谱得到预设频域滤波图像。

进一步地，一实施例中，像素位移矩阵由m×n个元素构成，每个元素的值表示相机感光元件在每个元素对应的每个位置点邻域网格内的停留时长，其中所有元素的值之和对应的总停留时长等于一帧曝光时长，矩阵处理模块10，具体用于：

确定以m×n矩阵形式排列的m*n个位置点；

以m*n个位置点的中心位置点为相机视野中心点，以预设比例的像素间隔为位置点之间的水平间隔以及垂直间隔，确定每个位置点的位置；

基于每个位置点的位置生成移动轨迹，所述移动轨迹遍历所有位置点；

基于所述移动轨迹以及相机感光元件每个位置点邻域网格内的停留时长得到路径规划。

进一步地，一实施例中，矩阵处理模块10，具体用于：

对像素位移矩阵进行傅立叶正变换，得到低通滤波卷积核。

其中，上述摩尔纹消除装置中各个模块的功能实现与上述摩尔纹消除方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

第四方面，本发明实施例还提供一种可读存储介质。

本发明可读存储介质上存储有摩尔纹消除程序，其中所述摩尔纹消除程序被处理器执行时，实现如上述的摩尔纹消除方法的步骤。

其中，摩尔纹消除程序被执行时所实现的方法可参照本发明摩尔纹消除方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种摩尔纹消除方法，其特征在于，所述摩尔纹消除方法包括：

由像素位移矩阵得到路径规划以及低通滤波卷积核；

控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；

通过低通滤波卷积核对拍摄得到的图像进行反卷积；

像素位移矩阵由m×n个元素构成，每个元素的值表示相机感光元件在每个元素对应的每个位置点邻域网格内的停留时长，其中所有元素的值之和对应的总停留时长等于一帧曝光时长，由像素位移矩阵得到路径规划，包括：

确定以m×n矩阵形式排列的m*n个位置点；

以m*n个位置点的中心位置点为相机视野中心点，以预设比例的像素间隔为位置点之间的水平间隔以及垂直间隔，确定每个位置点的位置；

基于每个位置点的位置生成移动轨迹，所述移动轨迹遍历所有位置点；

基于所述移动轨迹以及相机感光元件每个位置点邻域网格内的停留时长得到路径规划。

2.如权利要求1所述的摩尔纹消除方法，其特征在于，在所述由像素位移矩阵得到路径规划以及低通滤波卷积核的步骤之前，还包括：

对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵。

3.如权利要求2所述的摩尔纹消除方法，其特征在于，在所述对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵的步骤之前，还包括：

基于待拍摄对象的空间频谱得到预设频域滤波图像。

4.如权利要求1所述的摩尔纹消除方法，其特征在于，由像素位移矩阵得到低通滤波卷积核，包括：

对像素位移矩阵进行傅立叶正变换，得到低通滤波卷积核。

5.一种摩尔纹消除装置，其特征在于，所述摩尔纹消除装置包括：

矩阵处理模块，用于由像素位移矩阵得到路径规划以及低通滤波卷积核；

拍摄模块，用于控制相机对待拍摄对象进行拍摄，且在一帧曝光时长内控制相机感光元件基于所述路径规划移动；

图像处理模块，用于通过低通滤波卷积核对拍摄得到的图像进行反卷积；

像素位移矩阵由m×n个元素构成，每个元素的值表示相机感光元件在每个元素对应的每个位置点邻域网格内的停留时长，其中所有元素的值之和对应的总停留时长等于一帧曝光时长，矩阵处理模块，用于：

确定以m×n矩阵形式排列的m*n个位置点；

以m*n个位置点的中心位置点为相机视野中心点，以预设比例的像素间隔为位置点之间的水平间隔以及垂直间隔，确定每个位置点的位置；

基于每个位置点的位置生成移动轨迹，所述移动轨迹遍历所有位置点；

基于所述移动轨迹以及相机感光元件每个位置点邻域网格内的停留时长得到路径规划。

6.如权利要求5所述的摩尔纹消除装置，其特征在于，所述摩尔纹消除装置还包括矩阵生成模块，用于：

对预设频域滤波图像进行离散傅里叶逆变换以及实数非负值域映射处理，得到像素位移矩阵。

7.一种摩尔纹消除设备，其特征在于，所述摩尔纹消除设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的摩尔纹消除程序，其中所述摩尔纹消除程序被所述处理器执行时，实现如权利要求1至4中任一项所述的摩尔纹消除方法的步骤。

8.一种可读存储介质，其特征在于，所述可读存储介质上存储有摩尔纹消除程序，其中所述摩尔纹消除程序被处理器执行时，实现如权利要求1至4中任一项所述的摩尔纹消除方法的步骤。

Images