CN104545815B - 一种基于多光谱视频的面部光谱反射率复原方法 - Google Patents

Abstract

基于多光谱视频的面部光谱反射率复原方法属于医学图像处理领域，针对肤色颜色判断过程中出现的同色异谱现象提出。该方法利用同步控制电路控制光源组合的切换及相机快门的触发，实现在不同光源谱的光照下，面部多光谱信息的采集。基于光谱反射率的有限维理论，面部光谱反射率可采用有限维正交光谱基的线性模型表示。该方法针对面部肤色在颜色空间的分布相对集中的特点，确定最佳光源组合及面部光谱反射率正交基。在确定光源功率谱和正交光谱基的情况下，可根据成像模型，由多光谱视频各点的数值序列计算该点的正交光谱基系数，从而完成面部各点光谱反射率的复原。该方法为中医辨证施治提供更精确的诊断信息，有利于提高中医面诊的客观性。

Description

一种基于多光谱视频的面部光谱反射率复原方法

技术领域

本发明涉及一种基于多光谱视频的面部光谱反射率复原方法，可以实现对面部的多光谱信息采集及近似光谱反射率复原，进而得到面部光谱反射率视频。

背景技术

近年来，面诊的客观化研究受到了普遍重视，并取得了一些成果。颜色信息的采集与描述是其中的最关键内容。一些单位采用颜色测量仪器采集面部颜色，如色差计等。但这类仪器通常仅可采集局部色度值或光谱反射率，无法得到面部整体颜色分布情况。而采用数字成像的方式，虽然可以获得人脸面部颜色的整体分布，但仅能用RGB三通道值表示颜色。物体通过反射照明光谱在人眼中产生颜色感觉，因此物体表面的光谱反射率是其颜色的本质(由在可见光谱范围380nm——780nm反射系数组成)。而由RGB空间描述的颜色仅能满足一定环境下与人眼的视觉匹配。相比连续的面部光谱反射率数据，RGB三原色组合所包含的信息量较少，会出现RGB值相同而面部光谱反射率不同的情况，因此在此数据基础上对面部颜色属性进行的分析与判断不够准确和全面。综上所述，在中医面诊的客观化研究领域，获得面部光谱反射率的描述及其整体分布有客观必要性。

发明内容

本发明针对基于仪器的方法及数字成像的方法的局限性，提出了一种基于多光谱视频的面部光谱反射率复原方法。本发明可以实现对面部多光谱信息的采集及近似光谱反射率复原，进而得到面部光谱反射率视频。

本发明由高速摄像机和图像采集卡完成在变光源下对面部多光谱视频的采集。变光源系统由两个复合光源组成，两个复合光源可通过多色LED组合切换提供不同的光源光谱组合。同步控制电路产生两组信号，控制光源组合的切换和摄像机的同步拍摄。

本发明采用基于模型的光谱反射率复原技术对面部进行光谱反射率复原。该技术是一种通过确定模型基函数的数目和对应基系数实现物体表面光谱反射率复原的方法。其基本原理是物体表面的光谱反射率可用一个线性模型近似。在确定光源功率谱和光谱基函数的情况下，可根据成像模型，由多光谱视频各点的数值序列计算该点的光谱基系数，从而完成物体表面各点光谱反射率的近似复原。本发明针对面部肤色，确定最佳光源组合，确定肤色光谱基函数。在此基础上采用基于模型的光谱反射率复原技术实现对面部进行光谱反射率复原。

1.搭建基于多光谱视频的面部光谱反射率复原信息采集装置

本装置包括一个矩形箱体，一个颌托，一个升降台，一个脸型遮光罩，一个相机遮光罩，一个变光源系统(2个复合光源，2个底座组成)，一个图像采集系统(由一个高速摄像机、一个图像采集卡组成)，一个同步控制系统，一个光源功率谱采集系统(光谱辐射度计)及一个图像处理系统(计算机)。为避免环境光照的影响，相机遮光罩，脸型遮光罩和矩形箱体共同组成了封闭的采集环境，阻挡了外界光线进入拍摄箱体。矩形箱体上开两个孔，一个是用于安装图像采集装置的摄像孔，另一个是受试面部伸进孔，两个孔分别位于箱体两端的中心处。为保证可以拍摄到整个面部，受试面部伸进孔的大小为30CM×25CM。在摄像孔的外面安装有相机遮光罩，受试面部伸进孔的外面安装有脸型遮光罩。在脸型遮光罩的外面有一颌托，用于支撑受试者下颌。两个相同的复合光源通过两个底座固定在摄像孔的两侧。为减少镜面反射影响，两侧复合光源照明的方向与拍摄方向成45°角。两个复合光源由多色LED组成，且排布相同，通过多色LED组合的切换得到不同照明光谱。此外，箱体可以从一侧箱体打开，用于对箱体内部的光源等部件进行检修。

人体面部自然状态下与水平面近似垂直，尺寸大约为20×15厘米。根据面部的这一特点，调节摄像机焦距、光圈，达到最清晰的拍摄效果。对于要拍摄的人体面部会有各种原因的移动，为了捕捉到相对静止的面部图像，利用高速摄像机和图像采集卡进行图像采集。高速摄像机拍摄频率至少为60FPS，选择外部信号触发的方式对相机快门进行触发。图像采集卡直接插入计算机PCI插槽中，将模拟信号经A/D转换成数字信号送入计算机，供计算机做处理、存储和传输。图像采集卡配备一个外部信号连接排线，可接入外部信号以触发相机快门，与高速摄像系统配合得到多光谱视频。高速摄像机通过数据传输线与图像采集卡相连。

基于单片机的同步控制电路完成光源组合的切换和相机拍摄的同步。在确定的拍摄频率f下(如60FPS)，通过同步控制电路产生两组信号，一组是周期为t＝1/f秒的TTL信号，此信号低电平使光源点亮，高电平使光源熄灭，用于控制不同光源组合的切换，另一组是和此信号周期相同相位不同的TTL信号，用下降沿触发相机快门。为保证在光源点亮的情况下对面部进行拍摄，对两组信号的时序进行了调整。首先将光源熄灭并将相机触发信号置为高电平，然后点亮需要点亮的光源组合。在光源组合开始点亮之后0.5×t秒，给摄像机一个触发信号，即将相机触发信号置为低电平，摄像机拍摄一帧图像。再过0.25×t秒将光源组合熄灭，并将相机触发信号置为高电平。再过0.25×t秒再次点亮需要点亮的光源组合，进入下一次循环，进行下一帧图像的拍摄。至此完成面部多光谱信息的同步采集。

2.最佳光源组合的确定

(1)获得高速摄像机每个颜色通道的光谱响应。用高速摄像机拍摄GretagMacbeth标准色板的一帧图片。相机m通道在某个像素点的测量值为I_m。根据成像原理，测量值I_m满足以下关系：

I_m＝∫s(λ)c_m(λ)p(λ)dλ (1)

其中p(λ)为光源的光源功率谱，c_m(λ)为相机各颜色通道光谱响应，s(λ)为物体表面的光谱反射率。标准色板的光谱反射率为s(λ)已知，用光谱辐射度计测得光源的光源功率谱p(λ)，再利用(1)式所满足的关系计算出相机各颜色通道的光谱响应c_m(λ)。

(2)将可见光波段的光谱分为b段，同时设置b种颜色的光源。通过从b种颜色的光源选择组合来提供a个光源组合。由高速相机的拍摄频率f来确定所需要光源组合的数目，其中表示取整符号。拍摄频率f至少为60FPS，则a≥2。因为相机各颜色通道的光谱响应波段不同，只选择一种颜色光源或选择相邻谱段的光源进行组合，会导致其他谱段反射率信息的丢失。因此选择不相邻谱段的组合，构成每个光源组合的光源颜色数目为2。因此对于a个光源组合，则需要b＝2a个谱段光源。再设置一个全光谱光源，全光谱光源不参与谱段的分配，只与a个光源组合中的一个组合，用以增强该组光源功率。由于本系统针对的对象是面部肤色，从GretagMacbeth标准色板的肤色色块的反射率可知，肤色块在380—500nm波段的光谱反射率低于500—730nm波段的光谱反射率。因此全光谱光源与光源组合中提供380—500nm波段光源的组合进行组合，至此完成最佳光源组合的确定。

实施例高速相机的拍摄频率为60FPS，需要的光源组合数目为2。实施例采用两个相同的复光源进行实验，记为复光源一、复光源二。两个复光源均由红、绿、蓝、琥珀、白五色LED组成。红、绿、蓝、琥珀四色LED可以提供4个波段的可见光。白色LED为设置的全光谱光源。通过从红、绿、蓝、琥珀4种颜色LED选择LED进行组合，来提供2个不同的照明光谱。基于上述光谱不相连组合原则，选择不相连的颜色组合，即组合一：红、绿，组合二：琥珀、蓝组合。

再考虑肤色的光谱反射率特点，肤色块380—500nm波长段的光谱反射率低于500—730nm波长段的光谱反射率。组合二中的蓝色LED提供380—500nm波长段的光谱，因此白色LED与琥珀、蓝组合以增强380—500nm波长段的光强。最后确定最佳的复合光源组合为：一个光源组合为为红、绿色LED组合，另一个光源组合为白、蓝、琥珀色LED组合。

3.面部光谱基函数的确定

面部的光谱反射率可近似为一个线性模型。这个模型由一组正交光谱基函数组成，这组正交光谱基函数用b_k(λ)表示。

模型写为：

其中s_F(λ)表示面部的光谱反射率，而K_s为构成面部光谱反射率基函数的数目，σ_k为与面部光谱基函数b_k(λ)对应的基系数。

对面部光谱基函数进行确定的步骤如下：

(1)面部肤色样本采集。用光谱辐射度计测量正常面色及赤、白、黄、青、黑五种面色的光谱反射率。正常面色及赤、白、黄、青、黑五种面色的样本数目之和W，W个面色的光谱反射率构成一个样本集。

(2)计算面部光谱的基函数序列。这个样本集的协方差矩阵为Σ：

X＝[x₁-μ，x₂-μ，…，x_i-μ，…，x_W-μ]

x_i为第i个样本向量，W为样本数目，其中1≤i≤W；μ为样本集的平均向量，通过对样本集求解平均向量得到。对X进行奇异分解得到正交矩阵U和V，使得：

U和V分别为XX^T和X^TX的特征向量矩阵。

求解XX^T的特征值，构成特征值矩阵R：

R＝diag[λ₁,λ₂,…,λ_l,…,λ_L],

λ_l为矩阵XX^T的l个特征值，1≤l≤L。

U是XX^T特征向量矩阵，U＝[u₁,u₂,…,u_l,…,u_L]，u_l是XX^T对应特征值λ_l特征向量，1≤l≤L。U就是面部光谱反射率基函数序列。

(3)对用于面部光谱的基函数数目进行确定。前j个特征值的能量之和与特征值的总能量的百分比为ρ，其中表示特征值的总能量，表示前j个特征值的能量之和。从l＝1时开始计算，直到第一个使ρ大于99％的特征值数目j，停止计算。j就是面部光谱反射率复原基函数的数目K_s。前j个特征值对应的特征向量就是对应的面部光谱反射率复原基函数b_k(λ)。

4.面部光谱反射率的近似复原

将高速相机的拍摄频率设置为f，拍摄时间为t_f秒。在最佳光源组合下对人体面部进行拍摄，此时的光源组合数目为a。拍摄得到f×t_f帧面部多光谱图像。连续a帧面部多光谱图像作为一组，共组。

提取某组多光谱图像各点的像素数值序列I_mn。根据成像原理，测量值I_mn满足以下关系：

I_mn＝∫s_F(λ)c_m(λ)p_n(λ)dλ (3)

其中p_n(λ)为第n个光源组合的光源功率谱，c_m(λ)为相机各颜色通道光谱响应，s_F(λ)为面部的光谱反射率。

再将(2)代入(3)式中：

相机各颜色通道响应c_m(λ)已知，用光谱辐射度计测得光源功率谱p_n(λ)，面部光谱反射率基函数b_k(λ)及基函数数目K_s确定，利用(4)式满足的关系计算出正交光谱基系数σ_k，再利用(2)式得出面部的光谱反射率，从而完成面部光谱反射率的近似复原。对组多光谱图像均进行上述处理，得到面部光谱反射率视频。

有益效果

本系统可以实现对面部的多光谱信息采集及近似光谱反射率复原。本发明针对面部肤色的特点，确定硬件系统采用的变光源系统复光源组合，再利用搭建的硬件系统对面部的多光谱信息进行采集。针对面部肤色在颜色空间的分布相对集中的特点，确定面部光谱反射率正交基函数。在此基础上，利用基于模型的方法实现面部光谱反射率的复原。相对于目前基于仪器的方法及数字图像的方法，面部光谱反射率既可以得到面部颜色的整体分布信息，又可以为面部颜色提供连续的光谱反射率信息。采用本方法选择的光源进行照明，再利用本方法确定的基函数对肤色光谱反射率复原，复原效果良好。面部光谱反射率为中医辨证施治提供更精确的诊断信息，有利于推动中医面诊的客观化研究进程。

附图说明

图1基于多光谱视频的面部光谱反射率复原信息采集装置整体结构示意图

图2相机各颜色通道响应示意图

图3复合光源示意图

图4复合光源中各色LED功率谱示意图

图5肤色块光谱反射率曲线示意图

图6面部肤色复原效果示意图

具体实施方式

下面结合附图对本发明作进一步说明：

(1)图1为基于多光谱视频的面部光谱反射率复原信息采集装置整体结构示意图。如图1所示，本实施例主体采用矩形箱体结构，包括矩形箱体1，颌托10，升降台3，相机遮光罩2，脸型遮光罩6，一个变光源系统(2个复合光源9，2个底座8)，图像采集系统(由一个高速摄像机、一个图像采集卡组成)，一个同步控制系统，一个光源功率谱采集系统(光谱辐射度计)及图像处理系统(计算机)。矩形箱体1通过底座5置于升降台3上。在矩形箱体的左侧面处开一个摄像孔4，摄像孔略大于相机镜头尺寸，用于安装摄像机。摄像孔外面安装有相机遮光罩2。2个复合光源分别通过底座8固定在摄像孔两侧。在摄像孔对面的右左侧面处设有矩形开孔，该孔用于伸入面部，称为面部进入孔7，两个孔在同一水平线上。校准相机的位置，调节相机焦距，待面部清晰的出现在显示屏幕时，调节光圈，使得面部图像亮度适中。

把图像采集卡插入计算机内，通过数据传输线与高速摄像机相连。两个复合光源的LED颜色控制端分别接入同步控制电路板的十个控制端。选择任意一个单片机的I/O口，作为高速摄像机触发信号的输出口，称这个I/O口为触发口。将触发口与图像采集卡外部信号连接排线的输入端相连，使触发口产生的TTL信号可以触发相机的快门。实施例中高速相机的拍摄频率为60FPS，因此TTL信号的周期为t₁，t₁＝1/60秒。在单片机控制程序中，设置两个复合光源初始状态为高电平，即熄灭状态，并将触发口设置为高电平，为高速摄像机的拍摄做准备。采用单片机的定时器功能在程序中设置每隔0.25×t₁秒进入一次定时中断，第一次进入中断时，将两个复光源上需要点亮的LED状态置为低电平，即亮状态，第二次进入中断后不进行操作。第三次进入中断时将触发口设置为低电平，这样就产生一个触发信号——下降沿，高速摄像机拍摄一帧图片。第四次进入中断后将将当前光源的状态置为低电平，即熄灭状态，并将单片机I/O口置为高电平，为下一次拍摄做准备。四次中断为一个周期，周期为t₁＝1/60秒。如此循环该周期，即可实现两个光源组合的依次点亮及面部多光谱视频的采集。由这两组信号的时序关系可知在每个光源点亮之后的0.5×t₁秒处，相机快门被触发，实现了同步拍摄，并保证在复光源点亮时进行面部图像采集。

由于人体面部不可能绝对静止，会有不同原因的移动。实施例中将高速相机的帧频设置为60FPS，拍摄时间为1秒。这个速度远大于面部的移动速度，所以可以完成动态面部多光谱信息的采集。设置完成后，利用相机控制软件对拍摄界面进行设置，设置相机触发方式为外部触发，所采集的图像大小设置为640*480。

2.对最佳复光源组合进行确定，具体步骤如下：

(1)获得高速摄像机每个颜色通道的光谱响应。在D65光源下，用高速摄像机拍摄一帧GretagMacbeth标准色板的图像。用MATLAB读取图像每个色块中任意一个像素点的RGB值，得到相机R、G、B通道在每个色块中某个像素点测量值，记为I_m。GretagMacbeth标准色板每个色块的光谱反射率s(λ)已知，用光谱辐射度计测得D65光源的光源功率谱p(λ)，再利用(1)式所满足的关系计算出相机各颜色通道的光谱响应c_m(λ)。相机各颜色通道的光谱响应如图2所示。

(2)实施例中高速相机的拍摄频率为60FPS，光源组合数目为2。实施例采用两个相同的复合光源进行实验，记为复光源一、复光源二。采用的复光合源如图3所示。图3为复合光源示意图，21为PCB电路板，11到15为红、绿、蓝、琥珀、白五色LED灯组合控制端，16到20为琥珀、绿、蓝、红、白五色LED。琥珀、绿、蓝、红、白五色LED各16个，均匀集成在PCB电路板上。五色LED可使复合光源在整个可见光谱上为连续光谱，且红、绿、蓝、琥珀色LED光谱不同。图4为复合光源中各色LED的功率谱示意图。

从图4中可以看出红、绿、蓝、琥珀、四色LED可以提供4个波段的可见光。白色LED为设置的全光谱光源。通过从红、绿、蓝、琥珀4种颜色LED选择LED进行组合，提供2个不同的光源功率谱。观察图2相机各颜色通道的响应曲线，相机各颜色通道的响应波段不同。不能只选择一种颜色的LED构成组合光源，而且每种颜色光源的光源只选择一次。选择的光源组合为：光源组合一点亮2种颜色的LED，光源组合二点亮剩余2种颜色的LED。这样就有三种组合方式。方式一：光源组合一点亮红、绿色的LED，光源组合二点亮蓝、琥珀色的LED。方式二：光源组合一点亮红、蓝色的LED，复光源组合二点亮绿、琥珀色的LED。方式三：光源组合一点亮红、琥珀色的LED，光源组合二点亮绿、蓝色的LED。方式二绿、琥珀色的光源光谱相连，会导致在该复光源下相机蓝色通道采集的信息丢失。方式三红、琥珀色的光源光谱相连，会导致在该复光源下相机绿色、蓝色通道采集的信息丢失；绿、蓝色的光源光谱相连，会导致在该复光源下相机红色通道采集的信息丢失。选择不相连的颜色组合，即方式一。

再考虑白色LED点亮，有两种组合方式。方式一：光源组合一点亮红、绿色的LED，光源组合二点亮蓝、琥珀、白色的LED。方式二：光源组合一点亮红、绿、白色的LED，光源组合二点亮蓝、琥珀色的LED。再考虑肤色的光谱反射率特点，如图五为肤色块光谱反射率曲线示意图，肤色块380—500nm波长段的光谱反射率低于500—730nm波长段的光谱反射率。蓝色LED提供380—500nm波长段的光谱，因此白色LED与琥珀、蓝组合以增强380—500nm波长段的光强。即选择方式一。最后确定最佳的复合光源组合为：光源组合一为红、绿色LED组合，光源组合二为白、蓝、琥珀色LED组合。

3.对面部光谱基函数及基函数数目进行确定，具体过程如下：

(1)面部肤色样本采集

用光谱辐射度计测量健康人及面色呈赤、白、黄、青、黑面色的人的面部光谱反射率。采集样本各100例，测量的样本数目之和为W，W＝600。W个面色的光谱反射率构成一个样本集。测得的光谱范围为380-730nm，每隔10nm进行测量，共测量了36个波长点的光谱发射率。W个肤色样本色块的光谱反射率构成一个样本集，并写成矩阵形式，这个样本集矩阵记为E_36×600。

(2)计算面部光谱的基函数序列

求矩阵E_36×600的平均向量，即对E_36×600的每一行求均值，得到E_36×600的平均向量μ_36×1。E_36×600的每列均与平均向量μ_36×1做减法，得到的矩阵记为X_36×600，X_36×600＝[x₁-μ，x₂-μ，…，x_i-μ，…，x_W-μ]。其中x_i为第i个样本向量，1≤i≤W，W＝600。对X_36×600进行奇异分解得到正交矩阵U和V。U和V分别为X_36×600X_36×600 ^T和X_36×600 ^TX_36×600的特征向量矩阵。

求解X_36×600X_36×600 ^T的特征值R，R＝diag[λ₁,λ₂,…,λ_l,…,λ_L]，λ_l为矩阵X_{36× 600}X_36×600 ^T的第l个特征值，1≤l≤L,L＝36。U是X_36×600X_36×600 ^T特征向量矩阵，U＝[u₁,u₂,…,u_l,…,u_L]。其中u_l是X_36×600X_36×600 ^T对应特征值λ_l特征向量就是面部光谱反射率基函数。U就是面部光谱反射率基函数序列。

(3)确定用于复原面部光谱的基函数数目

首先利用计算出36个特征值的总能量，利用计算前j个特征值的能量之和。当j＝1时，ρ为83.94％；当j＝2时，ρ为86.55％；j＝3时，ρ为94.07％；j＝4时，ρ为97.94％；j＝5时，ρ为98.96％；当j＝6时，ρ为99.80％。j为6时，ρ第一次大于99％。所以面部光谱反射率基函数数目K_s＝6，前6个特征值对应的特征向量就是用于复原面部光谱反射率基函数b_k(λ)。

4.面部光谱反射率的近似复原

将高速相机的拍摄速度即帧频设置为60FPS，拍摄时间为1秒。在最佳光源组合下对人体面部进行拍摄。拍摄得到60帧面部多光谱图像。根据拍摄时的光源光源不同，将面部多光谱图像分组，得到30组图像。

(1)用MATLAB读取某组图像中任意一个像素点的RGB值，得到相机R、G、B通道在任意一个像素点测量值，即图像各点的数值序列记为I_mn。

(2)已知图像各点的数值序列I_mn，

构成面部光谱反射率基函数的数目为K_s＝6，基函数为b_k(λ)已知，用光谱辐射度计测得第n个光源的功率谱p_n(λ)。令f_mnk＝∫b_k(λ)c_m(λ)p_n(λ)dλ，并将其写成便于处理的矩阵形式：Fσ＝I，检验F^TF是否可逆，检查结果F^TF可逆。求得一个最小二乘解σ，σ＝(F^TF)^-1F^TI。σ就是基系数。

(3)已知构成面部光谱反射率基函数的数目为K_s＝6，基函数为b_k(λ)，基系数为σ。面部的光谱反射率为s_F(λ)，至此实现了面部近似光谱反射率的复原。图6为采用本方法对面部肤色进行复原的效果示意图。

对30组面部多光谱图像均按照上述(1)(2)(3)的过程处理，得到面部光谱反射率视频。

Claims (1)

1.一种基于多光谱视频的面部光谱反射率复原方法，其特征在于：

1).搭建基于多光谱视频的面部光谱反射率复原信息采集装置

本装置包括一个矩形箱体，一个颌托，一个升降台，一个脸型遮光罩，一个摄像机遮光罩，一个变光源系统，变光源系统包括2个复合光源和2个底座，一个图像采集系统，一个图像采集系统由一个高速摄像机和一个图像采集卡组成，一个同步控制系统，一个光源功率谱采集系统及一个图像处理系统；为避免环境光照的影响，摄像机遮光罩，脸型遮光罩和矩形箱体共同组成了封闭的采集环境，阻挡了外界光线进入矩形箱体；矩形箱体上开两个孔，一个是用于安装图像采集系统的摄像孔，另一个是受试面部伸进孔，两个孔分别位于箱体两端的中心处；在摄像孔的外面安装有摄像机遮光罩，受试面部伸进孔的外面安装有脸型遮光罩；在脸型遮光罩的外面有一颌托，用于支撑受试者下颌；两个相同的复合光源通过两个底座固定在摄像孔的两侧；为减少镜面反射影响，两侧复合光源照明的方向与拍摄方向成45°角；两个复合光源由多色LED组成，且排布相同，通过多色LED组合的切换得到不同照明光谱；

高速摄像机拍摄频率至少为60FPS，选择外部信号触发的方式对摄像机快门进行触发；图像采集卡直接插入计算机PCI插槽中，将模拟信号经A/D转换成数字信号送入计算机，供计算机做处理、存储和传输；图像采集卡配备一个外部信号连接排线，接入外部信号以触发摄像机快门，与高速摄像机配合得到多光谱视频；高速摄像机通过数据传输线与图像采集卡相连；

基于单片机的同步控制电路完成光源组合的切换和摄像机拍摄的同步；在确定的拍摄频率f下，通过同步控制电路产生两组信号，一组是周期为t＝1/f秒的TTL信号，此信号低电平使光源点亮，高电平使光源熄灭，用于控制不同光源组合的切换，另一组是和此信号周期相同相位不同的TTL信号，用下降沿触发摄像机快门；为保证在光源点亮的情况下对面部进行拍摄，对两组信号的时序进行了调整；首先将光源熄灭并将摄像机触发信号置为高电平，然后点亮需要点亮的光源组合；在光源组合开始点亮之后0.5×t秒，给摄像机一个触发信号，即将摄像机触发信号置为低电平，摄像机拍摄一帧图像；再过0.25×t秒将光源组合熄灭，并将摄像机触发信号置为高电平；再过0.25×t秒再次点亮需要点亮的光源组合，进入下一次循环，进行下一帧图像的拍摄；至此完成面部多光谱信息的同步采集；

2).最佳光源组合的确定

(1)获得高速摄像机每个颜色通道光谱响应；用高速摄像机拍摄GretagMacbeth标准色板的一帧图片；摄像机m通道在某个像素点的测量值为I_m；根据成像原理，测量值I_m满足以下关系：

I_m＝∫s(λ)c_m(λ)p(λ)dλ (1)

其中λ为光源的光谱，p(λ)为光源的光源功率谱，c_m(λ)为摄像机各颜色通道光谱响应，s(λ)为物体表面的光谱反射率；标准色板的光谱反射率为s(λ)已知，用光谱辐射度计测得光源的光源功率谱p(λ)，再利用(1)式所满足的关系计算出摄像机各颜色通道光谱响应c_m(λ)；

(2)将可见光波段的光谱分为b段，同时设置b种颜色的光源；通过从b种颜色的光源选择组合来提供a个光源组合；由高速摄像机的拍摄频率f来确定所需要光源组合的数目，其中表示取整符号；拍摄频率f至少为60FPS，则a≥2；对于a个光源组合，则需要b＝2a个谱段光源；再设置一个全光谱光源，全光谱光源不参与谱段的分配，只与a个光源组合中的一个组合，用以增强该组合的光源功率；全光谱光源与光源组合中提供380—500nm波段光源的组合进行组合，至此完成最佳光源组合的确定；

3).面部光谱基函数的确定

面部的光谱反射率可近似为一个线性模型；这个模型由一组正交光谱基函数组成，这组正交光谱基函数用b_k(λ)表示；

模型写为：

其中s_F(λ)表示面部的光谱反射率，而K_s为构成面部光谱基函数的数目，σ_k为与面部光谱基函数b_k(λ)对应的基系数；

对面部光谱基函数进行确定的步骤如下：

(1)面部肤色样本采集；用光谱辐射度计测量正常面色及赤、白、黄、青、黑五种面色的光谱反射率；正常面色及赤、白、黄、青、黑五种面色的样本数目之和W，W个面色的光谱反射率构成一个样本集；

(2)计算面部光谱基函数序列；这个样本集的协方差矩阵为Σ：

$\Σ=\frac{1}{W}\underset{i=1}{\overset{W}{\Σ}}(x_i-\mathrm{\μ}){(x_i-\mathrm{\μ})}^T=\frac{1}{W}{\mathrm{XX}}^T$

X＝[x₁-μ，x₂-μ，…，x_i-μ，…，x_W-μ]

x_i为第i个样本向量，W为样本数目，其中1≤i≤W；μ为样本集的平均向量，通过对样本集求解平均向量得到；对X进行奇异分解得到正交矩阵U和V，使得：

$X={\mathrm{UW}}^{\frac{1}{2}}{V}^T,$

U和V分别为XX^T和X^TX的特征向量矩阵；

求解XX^T的特征值，构成特征值矩阵R：

R＝diag[λ₁,λ₂,…,λ_l,…,λ_L],

λ_l为矩阵XX^T的第l个特征值，1≤l≤L；

U是XX^T特征向量矩阵，U＝[u₁,u₂,…,u_l,…,u_L]，u_l是XX^T对应特征值λ_l特征向量，1≤l≤L；U就是面部光谱基函数序列；

(3)对用于面部光谱基函数数目进行确定；前j个特征值的能量之和与特征值的总能量的百分比为ρ，其中表示特征值的总能量，表示前j个特征值的能量之和；从l＝1时开始计算，直到第一个使ρ大于99％的特征值数目j，停止计算；所述第一个使ρ大于99％的特征值数目j就是面部光谱反射率复原基函数的数目K_s；前j个特征值对应的特征向量就是对应的面部光谱反射率复原基函数b_k(λ)；

4).面部光谱反射率的近似复原

将高速摄像机的拍摄频率设置为f，拍摄时间为t_f秒；在最佳光源组合下对人体面部进行拍摄，此时的光源组合数目为a；拍摄得到f×t_f帧面部多光谱图像；连续a帧面部多光谱图像作为一组，共组；

提取某组多光谱图像各点的像素数值序列I_mn；根据成像原理，测量值I_mn满足以下关系：

I_mn＝∫s_F(λ)c_m(λ)p_n(λ)dλ (3)

其中p_n(λ)为第n个光源组合的光源功率谱，c_m(λ)为摄像机各颜色通道光谱响应，s_F(λ)为面部的光谱反射率；

再将(2)式代入(3)式中：

$I_{mn}=\underset{k=1}{\overset{K_s}{\Σ}}{\mathrm{\σ}}_k\∫b_k\left(\mathrm{\λ}\right)c_m\left(\mathrm{\λ}\right)p_n\left(\mathrm{\λ}\right)d\mathrm{\λ}---\left(4\right)$

摄像机各颜色通道光谱响应c_m(λ)已知，用光谱辐射度计测得光源功率谱p_n(λ)，面部光谱基函数b_k(λ)及基函数数目K_s确定，利用(4)式满足的关系计算出正交光谱基系数σ_k，再利用(2)式得出面部的光谱反射率，从而完成面部光谱反射率的近似复原；对组多光谱图像均进行处理，得到面部光谱反射率视频。