CN113242416A - 数字投影仪灰度非线性的校正方法、存储介质和投影系统 - Google Patents

Abstract

本发明提供了一种数字投影仪灰度非线性的校正方法、存储介质和投影系统，方法包括使用计算机生成理想灰度图像序列、用相机采集灰度图像、N组实际灰度图像求实际灰度均值I_k、绘制包括线性部分和非线性部分的灰度均值曲线并对灰度均值曲线进行拟合、得到理想投影灰度和校正后理想灰度的映射关系、获取不同电流值下的实际灰度的取值表、建立以电流校正前理想灰度为变量的二维校正后理想灰度校正查找表、用校正后的理想灰度值生成正弦曲线并投影。本发明的方法可直接对投影仪的投影图像进行非线性校正，并且在投影仪亮度改变时同样适用，提高了采集条纹图像灰度的准确性，从而大大提高相位信息的求解准确性。

Description

数字投影仪灰度非线性的校正方法、存储介质和投影系统

技术领域

本发明涉及图像数据处理和光学三维测量技术领域，具体涉及一种数字投影仪灰度非线性的校正方法、存储介质和投影系统，可应用于IC元件封装、半导体硅片加工制造过程中的三维量检测等领域。

背景技术

条纹投影三维测量技术是光学三维测量领域中的研究热点之一，其具有非接触、快速、准确性高等优点。测量时一般使用数字投影仪将光强呈正弦变化的条纹投影到被测物体表面，再由采集到经被测物体高度调制的形变条纹图像求解出视场中的相位信息，从而求解出被测物体的三维高度信息。因此，高精度的相位信息是获得高精度三维信息的保证。然而，在实际测量中，受到数字投影仪的gamma畸变、相机的非线性相应和环境光强等因素的影响，采集到的正弦条纹图像灰度存在着非线性的畸变，需要对其进行校正，才能获取真实的相位信息。

现有的校正方法仅在特定条件(如投影条纹周期等)下对采集到的条纹图像进行非线性误差补偿。这限制了投影效果，导致条纹图像灰度采集准确性以及相位信息求解准确度都较低等问题。

发明内容

为在不同测量条件下投影出线性响应的正弦图像，本发明提出了一种数字投影仪灰度非线性的校正方法、存储介质和投影系统，修正投影仪投出的条纹图像，以解决上述问题。

一种数字投影仪灰度非线性的校正方法，校正方法包括以下步骤：

步骤S1、使用计算机生成理想灰度图像序列，所述理想灰度图像序列包括256张为理论灰度Ic的灰度图像；

步骤S2、使用投影仪投影步骤S1中生成的256张灰度图像，用相机采集灰度图像，每组采集256张图像，共采集N组，N为≥2的正整数；

步骤S3、对采集到的N组实际灰度图像中对应相同理想投影灰度的图像求均值作为实际灰度均值I_k，

式中，i和j表示像素所处图像中的行、列数，h和w分别表示图像的水平、竖直方向的像素数；

步骤S4、绘制包括线性部分和非线性部分的灰度均值曲线，并对灰度均值曲线进行拟合；

步骤S5、建立查找函数LUT，得到理想投影灰度和校正后理想灰度的映射关系；

步骤S6、在不同电流C下投影不同灰度图像，获得实际灰度均值I_k与电流C的电流-灰度曲线，从而生成在对应电流和投影灰度下，实际灰度的取值表；

步骤S7、再次重复步骤S4和S5，并据步骤S6得到的电流-灰度曲线，建立以电流、校正前理想灰度为变量的二维校正后理想灰度校正查找表；

步骤S8、用校正后的理想灰度值生成正弦曲线并投影，即可采集灰度线性响应的正弦条纹。

本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。

本发明还提供了一种图像灰度非线性校正的数字投影系统，所述数字投影系统包括计算机、投影仪、相机和漫反射陶瓷平板，其中，所述投影仪和相机与所述计算机电讯连接，所述投影仪的光轴与相机的光轴呈夹角δ设置；投影图像时，使用计算机向投影仪发送序列指令，投影仪发送同步信号触发相机同步采集漫反射陶瓷平板上的投影图像；所述计算机包括预存储模块、中继存储模块、图像处理模块和图像输出模块；

其中，在所述预存储模块中存储带有特征信息的正弦条纹图像、序列指令、同步信号和系统参数，并将正弦条纹图像和序列指令发送给投影仪投影，将同步信号发送给相机进行图像采集，将系统参数发送给图像处理模块；

其中，在所述中继存储模块中存储由相机按序列指令采集漫反射陶瓷平板上经投影后的图像；

其中，图像处理模块对中继存储模块采集的条纹图像进行图像数据处理，运行前述的方法对正弦条纹图像的灰度进行非线性校正，已获得相机投影出图像灰度呈线性响应的正选条纹图像。

相比现有技术，本发明的有益效果在于：本方法可直接对投影仪的投影图像进行非线性校正，并且在投影仪亮度改变时同样适用，提高了采集条纹图像灰度的准确性，从而大大提高相位信息的求解准确性，可广泛应用于IC元件封装、半导体硅片加工制造过程中的三维量检测等领域。

附图说明

图1为本发明数字投影仪灰度非线性的校正方法的流程图；

图2为图像灰度非线性校正的数字投影系统示意图；

图3为正弦条纹投影灰度图像拟合示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

第一实施例

一种数字投影仪灰度非线性的校正方法，参见图1，校正方法包括以下步骤。

步骤S1、使用计算机生成理想灰度图像序列，所述理想灰度图像序列包括256张为理论灰度Ic的灰度图像；其中，所述理想灰度图像序列为8bit、0～255范围内、灰度变化间隔为1。

步骤S2、使用投影仪投影步骤S1中生成的256张灰度图像，用相机采集灰度图像，每组采集256张图像，共采集N组，N为≥2的正整数；

步骤S3、对采集到的N组实际灰度图像中对应相同理想投影灰度的图像求均值作为实际灰度均值I_k，

式中，i和j表示像素所处图像中的行、列数，h和w分别表示图像的水平、竖直方向的像素数。

步骤S4、绘制包括线性部分和非线性部分的灰度均值曲线，参见图3，并对灰度均值曲线进行拟合。具体的，灰度线性变化部分的理想灰度变化区间为[a，b]，和非线性部分的理想灰度变化区间为[c，d]。

其中，灰度均值曲线的线性部分采用一次函数进行拟合，得到线性部分实际灰度I′_K与理想投影灰度I的表达式：

I′_K＝α₁I+α₂………………………………式2；

式中，α₁和α₂为线性函数拟合获得的拟合系数。

其中，灰度均值曲线的非线性部分采用三次多项式进行拟合，得到非线性部分实际灰度I″_K与理想投影灰度I的表达式：

I″_K＝β₁I³+β₂I²+β₃I+β₄…………………………式3；

式中，β₁、β₂、β₃、β₄为三次多项式拟合获得的拟合系数。

步骤S5、建立查找函数LUT，得到理想投影灰度和校正后理想灰度的映射关系；具体的，步骤S5包括以下步骤。

S51、先在域[0，255]建立拟合前后关系式：

式中，I表示校正前的灰度，I_corr表示校正后的灰度。

S52、再代入步骤4获得的拟合系数α₁，α₂，β₁，β₂，β₃，β₄，获得查找函数LUT：

式中，a、b、c、d为灰度区间值。

步骤S6、在不同电流C下投影不同灰度图像，获得实际灰度均值I_k与电流C的电流-灰度曲线，从而生成在对应电流和投影灰度下，实际灰度的取值表；具体的，步骤S6包括以下步骤。

S61、投影灰度固定的图像，改变数字投影仪的电流，在2000mA～5000mA的范围内，每隔50mA采集一张图像，每组采集61张图像；

S62、在[0，255]的灰度范围内改变图像的灰度值，重复步骤S61，共采集256组图像；

S63、计算每组图像中每张图像的实际灰度均值I_k，用对数函数拟合实际灰度均值I_k与电流C的变化曲线函数：

I_k＝γ_k1ln(γ_k2C+γ_k3)…………………………………式6；

式中，γ_k1、γ_k2、γ_k3为对数函数拟合获得的拟合系数。

S64、将2000mA～5000mA的电流范围内间隔为1mA的电流值代入变化曲线函数，得到电流范围内每个电流值下投影对应的实际灰度，以生成在对应电流和投影灰度下，实际灰度的取值表。

步骤S7、再次重复步骤S4和S5，并据步骤S6得到的电流-灰度曲线，建立以电流、校正前理想灰度为变量的二维校正后理想灰度校正查找表；

步骤S8、用校正后的理想灰度值生成正弦曲线并投影，即可采集灰度线性响应的正弦条纹。

第二实施例

本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。其中，所述方法请参见前述部分的详细介绍，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请各部分操作所需的方法，其计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

第三实施例

一种图像灰度非线性校正的数字投影系统，参见图2，所述数字投影系统包括计算机1、投影仪2、相机3和漫反射陶瓷平板4，其中，所述投影仪2和相机3与所述计算机1电讯连接，所述投影仪2的光轴与相机3的光轴呈夹角δ设置；投影图像时，使用计算机1向投影仪2发送序列指令，投影仪2发送同步信号触发相机3同步采集漫反射陶瓷平板4上的投影图像。

所述计算机1包括预存储模块、中继存储模块、图像处理模块和图像输出模块；其中，在所述预存储模块中存储带有特征信息的正弦条纹图像、序列指令、同步信号和系统参数，并将正弦条纹图像和序列指令发送给投影仪3投影，将同步信号发送给相机3进行图像采集，将系统参数发送给图像处理模块。其中，在所述中继存储模块中存储由相机2按序列指令采集漫反射陶瓷平板4上经投影后的图像。其中，图像处理模块对中继存储模块采集的条纹图像进行图像数据处理，运行第一实施例所述的方法对正弦条纹图像的灰度进行非线性校正，已获得相机3投影出图像灰度呈线性响应的正选条纹图像。

具体的，假设投影的理想正弦条纹光强沿水平方向变化，光强分布为：

式中，A(x,y)表示背景光强，B(x,y)表示正弦条纹的对比度，T表示投影条纹的周期，

表示图像中每个像素对应的相位值。实际测量中，受投影仪的gamma畸变、相机的非线性响应等因素的影响，相机实际采集到的条纹灰度分布并不与式7完全一致，而是存在一定的非线性畸变。因此，为了获得准确的相位信息，提高测量精度，必须对系统进行非线性校正。

(1).如图2所示构建投影系统。其中，投影仪2的光轴与相机3的光轴呈一定的夹角δ放置。设与相机3感光元件距离为L且与相机3感光元件平行的一平面为基准平面，用Y表示。投影图像时，使用计算机1向投影仪2发送序列指令，投影仪2发送同步信号触发相机3同步采集图像。

(2).设定投影仪3的投影电流5000mA，使用计算机生成灰度变化区间0～255，变化间隔为1的256张8bit的理论灰度为Ic的理想灰度图像，使用投影仪将这些灰度图像投影到一块均匀的漫反射陶瓷平板4上，并用相机3同步采集。控制投影仪2和相机3的曝光时间，保证当投影仪2投影灰度为255的图像时相机3采集到的图像中不存在过曝现象并令灰度值尽可能贴近255。每投影一次0～255的灰度图所采集到的图像为一组，共采集N组图像。

(3).计算相机1所采集图像的灰度均值，再对N组图像中对应同一投影灰度的N张图像的灰度取均值，得到一组与投影灰度值对应的实际灰度值，并绘制两者的对应曲线。其中，实际灰度均值I_k的计算公式如式1所示。

式中，i和j表示像素所处图像中的行、列数，h和w分别表示图像的水平、竖直方向的像素数。

(4).将上一步绘制的灰度曲线分为线性部分和非线性部分。对呈线性变化的部分(对应的投影灰度区间为[a,b])使用线性函数I'_K拟合。

I′_K＝α₁I+α₂………………………………式2；

式中，α₁和α₂为线性函数拟合获得的拟合系数。

对呈非线性变化的部分(对应的投影灰度区间为[c,d])使用三阶多项式I"_K进行拟合。

I″_K＝β₁I³+β₂I²+β₃I+β₄…………………………式3；

式中，β₁、β₂、β₃、β₄为三次多项式拟合获得的拟合系数。

如图3所示。其中，I_k表示采集到的实际灰度均值，I表示投影仪投影出的理想灰度值。

(5).建立方程

其中，I表示校正前的灰度值、也即投影仪投出的理论灰度值，I_corr表示校正后的灰度值。代入经上一步拟合得到的系数α₁、α₂、β₁、β₂、β₃、β₄进行计算，可以得到投影灰度和校正后的灰度的映射，称之为查找函数LUT，由下式5给出：

式中，a、b、c、d为灰度区间值。

(6).改变投影仪的电流，投影同一张灰度图像，在2000mA～5000mA的范围内，控制曝光时间一致，每隔50mA进行一次采集，设在同一投影灰度下采集到的图像为一组，则每组采集61张图像。再改变图像的灰度值，重复上述步骤。投影灰度值的变化区间为[0，255]，共采集256组。

用式1计算256组图像中每张图像的灰度均值I_k，使用对数函数拟合实际灰度均值I_k与电流C之间的函数曲线，由下式6给出：

I_k＝γ_k1ln(γ_k2C+γ_k3)………………………………式6；

式中，γ_k1、γ_k2、γ_k3为对数函数拟合获得的拟合系数。

(7).重复步骤(4)～(5)，根据步骤(6)得到的电流-灰度曲线，最终建立以电流、校正前理想灰度为变量的二维校正后理想灰度校正查找表。

(8).使用计算机生成原始正弦条纹，用查找表中校正后的灰度值代替原始正弦条纹中的灰度，并使用投影仪投影，此时相机采集到的正弦条纹图像灰度呈线性响应。

需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种数字投影仪灰度非线性的校正方法，其特征在于，校正方法包括以下步骤：

步骤S1、使用计算机生成理想灰度图像序列，所述理想灰度图像序列包括256张理论灰度Ic的灰度图像；

步骤S2、使用投影仪投影步骤S1中生成的256张灰度图像，用相机采集灰度图像，每组采集256张图像，共采集N组，N为≥2的正整数；

步骤S3、对采集到的N组实际灰度图像中对应相同理想投影灰度的图像求均值作为实际灰度均值I_k，

式中，i和j表示像素所处图像中的行、列数，h和w分别表示图像的水平、竖直方向的像素数；

步骤S4、绘制包括线性部分和非线性部分的灰度均值曲线，并对灰度均值曲线进行拟合；

步骤S5、建立查找函数LUT，得到理想投影灰度和校正后理想灰度的映射关系；

步骤S6、在不同电流C下投影不同灰度图像，获得实际灰度均值I_k与电流C的电流-灰度曲线，从而生成在对应电流和投影灰度下，实际灰度的取值表；

步骤S7、再次重复步骤S4和S5，并据步骤S6得到的电流-灰度曲线，建立以电流、校正前理想灰度为变量的二维校正后理想灰度校正查找表；

步骤S8、用校正后的理想灰度值生成正弦曲线并投影，即可采集灰度线性响应的正弦条纹。

2.根据权利要求1所述的校正方法，其特征在于：在步骤S1中，所述理想灰度图像序列为8bit、0～255范围内、灰度变化间隔为1。

3.根据权利要求1所述的校正方法，其特征在于：在步骤S4中，灰度均值曲线的线性部分采用一次函数进行拟合，得到线性部分实际灰度I'_K与理想投影灰度I的表达式：

I'_K＝α₁I+α₂………………………………式2；

式中，α₁和α₂为线性函数拟合获得的拟合系数；

灰度均值曲线的非线性部分采用三次多项式进行拟合，得到非线性部分实际灰度I"_K与理想投影灰度I的表达式：

I"_K＝β₁I³+β₂I²+β₃I+β₄…………………………式3；

式中，β₁、β₂、β₃、β₄为三阶多项式拟合获得的拟合系数。

4.根据权利要求3所述的校正方法，其特征在于，步骤S5包括以下步骤：

S51、先在域[0,255]建立拟合前后关系式：

式中，I表示校正前的灰度，I_corr表示校正后的灰度；

S52、再代入步骤4获得的拟合系数α₁,α₂,β₁,β₂,β₃,β₄，获得查找函数LUT：

式中，a、b、c、d为灰度区间值。

5.根据权利要求4所述的校正方法，其特征在于，步骤S6包括以下步骤：

S61、投影灰度固定的图像，改变数字投影仪的电流，在2000mA～5000mA的范围内，每隔50mA采集一张图像，每组采集61张图像；

S62、在[0,255]的灰度范围内改变图像的灰度值，重复步骤S61，共采集256组图像；

S63、计算每组图像中每张图像的实际灰度均值I_k，用对数函数拟合实际灰度均值I_k与电流C的变化曲线函数：

I_k＝γ_k1ln(γ_k2C+γ_k3)…………………………………式6；

式中，γ_k1、γ_k2、γ_k3为对数函数拟合获得的拟合系数。

S64、将2000mA～5000mA的电流范围内间隔为1mA的电流值代入变化曲线函数，得到电流范围内每个电流值下投影对应的实际灰度，以生成在对应电流和投影灰度下，实际灰度的取值表。

6.一种计算机可读存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求1-5任一项所述的方法。

7.一种图像灰度非线性校正的数字投影系统，其特征在于：所述数字投影系统包括计算机(1)、投影仪(2)、相机(3)和漫反射陶瓷平板(4)，其中，所述投影仪(2)和相机(3)与所述计算机(1)电讯连接，所述投影仪(2)的光轴与相机(3)的光轴呈夹角δ设置；投影图像时，使用计算机(1)向投影仪(2)发送序列指令，投影仪(2)发送同步信号触发相机(3)同步采集漫反射陶瓷平板(4)上的投影图像；

所述计算机(1)包括预存储模块、中继存储模块、图像处理模块和图像输出模块；

其中，在所述预存储模块中存储带有特征信息的正弦条纹图像、序列指令、同步信号和系统参数，并将正弦条纹图像和序列指令发送给投影仪(3)投影，将同步信号发送给相机(3)进行图像采集，将系统参数发送给图像处理模块；

其中，在所述中继存储模块中存储由相机(3)按序列指令采集漫反射陶瓷平板(4)上经投影后的图像；

其中，图像处理模块对中继存储模块采集的条纹图像进行图像数据处理，运行权利要求1-5任一项所述的方法对正弦条纹图像的灰度进行非线性校正，已获得相机(3)投影出图像灰度呈线性响应的正选条纹图像。

Images