CN107392187A - 一种基于梯度方向直方图的人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种基于梯度方向直方图的人脸活体检测方法，包括以下步骤：1)构建训练样本集；2)提取各训练样本图像的梯度方向直方图特征H；3)分别计算训练样本图像的HOG特征H与各真实人脸灰度图的平均HOG特征HT_mean及各照片人脸灰度图的平均HOG特征HF_mean之间的相似度P_T及P_F；4)构建训练用特征向量{H,P_T,P_F}，再将全部训练用特征向量{H,P_T,P_F}对SVM分类器进行训练，最后用训练好的SVM分类器完成基于梯度方向直方图的人脸活体检测。该方法无需检测者配合，并且对光照变化要求低，不需要增加额外的设备，成本较低，同时检测的准确率较高。

Description

一种基于梯度方向直方图的人脸活体检测方法

技术领域

本发明属于图像处理领域，涉及一种人脸活体检测方法，具体涉及一种基于梯度方向直方图的人脸活体检测方法。

背景技术

在门禁、考勤等身份认证和安防领域中，生物特征得到高度关注，指纹识别、语音识别、虹膜识别、人脸识别等身份认证技术成为研究热点并开始广泛应用。基于人脸识别的身份认证系统以其智能化、自动化等特点，得到广大用户的青睐。但在实际应用中，以照片、视频或三维模型等手段进行恶意欺骗的现象不断出现，给用户带来安全隐患，其中，照片以代价小、实施简单成为最常见的攻击方式。

针对以上问题国内外研究者先后提出了不同的人脸活体检测方法，大致分为以下四类：

(1)基于运动信息的分析方法。人脸运动信息主要有两种模式，一是人脸区域内的运动，包括眨眼、唇动和表情变化等；二是人脸区域与背景之间的相对运动。真实人脸是复杂刚性物体，照片人脸是非刚性物体，很难模仿真实人脸的运动，用光流法即可对图像进行动态分析来区分真假人脸。对于录制的视频，则可通过人机交互的方式来检测；另外，真实人脸与背景区域的运动完全不同，伪造人脸存在边框，利用人脸和边框外背景之间的相对运动差异可分辨出真假人脸。但此类方法需要测试者做动作配合，会影响系统实时性和用户体验。

(2)多光谱分析法。该方法通过光谱仪分析真实人脸与照片人脸的表面光谱反射率特性，根据多光谱图像上灰度比值、梯度等多光谱特征进行人脸活体检测。另外，采用红外成像综合比较热红外和可见光波段下的人脸图像也可实现活体检测。这类方法可抗击多种欺骗手段，但数据采集条件比较严格，拍摄距离和光照变化都会对系统造成影响，且此类方法需额外增加滤光镜、红外成像设备、多光谱光源等附加设备，系统构成复杂。

(3)多模态分析法。这类方法会结合眼睛、嘴唇、耳朵、语音、指纹或虹膜等多模态特征进行活体检测，可大大提高检测的准确率，但实际环境中，缺乏多模态生物特征训练库，另外，涉及的特征模态各异，也需要添加额外设备，使系统成本变大。

(4)基于纹理信息的分析方法。照片人脸是在真实人脸图像的基础上再次成像获得的，因此二次成像后的人脸图像在质量、纹理等方面与真实人脸图像相比细节将会丢失很多。根据真实人脸与照片人脸的纹理细节差异可对其进行有效的识别，但在复杂环境中(如光照变化等)检测准确率会有所降低。

综上所述，目前人脸活体检测技术研究成果较多，但这些方法或是在检测中需要测试者主动配合，或是需要附加额外设备，未能满足低成本、实时、可靠的人脸活体检测需求。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于梯度方向直方图的人脸活体检测方法，该方法无需检测者配合，并且对光照变化要求低，不需要增加额外的设备，成本较低，同时检测的准确率较高。

为达到上述目的，本发明所述的基于梯度方向直方图的人脸活体检测方法包括以下步骤：

1)构建训练样本集，其中，训练样本集由m+n幅训练样本图像构成，其中，n幅训练样本图像为真实人脸灰度图，通过所述n幅真实人脸灰度图构建正样本集A＝{A₁,A₂,...,A_n}；m幅训练样本图像为照片人脸灰度图，通过所述m幅照片人脸灰度图构建负样本集B＝{B₁,B₂,...,B_m}；

2)提取各训练样本图像的梯度方向直方图HOG特征H；

3)分别计算训练样本图像的梯度方向直方图HOG特征H与各真实人脸灰度图的平均梯度方向直方图HOG特征HT_mean及各照片人脸灰度图的平均梯度方向直方图HOG特征HF_mean之间的相似度P_T、P_F；

4)构建训练用特征向量{H,P_T,P_F}，再将所有训练用特征向量{H,P_T,P_F}输入到以径向基为核函数的SVM分类器中，对SVM分类器进行训练，得到SVM分类参数，然后通过训练好的SVM分类器完成基于梯度方向直方图的人脸活体检测。

步骤2)的具体操作为：

2a)将训练样本图像分为2×2的q个子图，使训练样本图像中的眼睛、鼻子及嘴巴分布于不同的子图中，其中，q＝1,2,3,4；

2b)对每个子图用[1 0 -1]及[1 0 -1]^T算子计算子图中各像素点I(x,y)的梯度g(x,y)及梯度方向角α(x,y)；

2c)将0°～360°的方向角划分为k个等间隔的方向区间，其中，k＝1,2,......,12，再以梯度g(x,y)为权重系数对其梯度方向角α(x,y)进行加权，对方向区间内的梯度方向角α(x,y)求加权和，得到该方向区间的梯度直方图分量b_k，然后根据各方向区间的直方图分量b_k构建子图的梯度方向直方图h_q，其中，

h_q＝{b₁,b₂,......,b_k}

2d)将各子图的梯度方向直方图h_q串联，得训练样本图像的p维HOG特征向量H′，其中，p＝k×q，再对训练样本图像的p维HOG特征向量H′做归一化处理，得到训练样本图像的梯度方向直方图HOG特征H。

步骤2b)中子图中各像素点I(x,y)的梯度g(x,y)及梯度方向角α(x,y)为：

其中，

训练样本图像的梯度方向直方图HOG特征H为：

其中，为H′的2阶范数，ε为避免分母为零的极小化标准常量。

步骤3)的具体操作为：

3a)计算各真实人脸灰度图的梯度方向直方图HOG特征H的均值HT_mean，同时计算各照片人脸灰度图的梯度方向直方图HOG特征H的均值HF_mean，其中，

3b)然后计算训练样本图像的梯度方向直方图HOG特征H与各真实人脸灰度图的平均梯度方向直方图HOG特征HT_mean、各照片人脸灰度图的平均梯度方向直方图HOG特征HF_mean之间的相似度P_T、P_F。

步骤3b)中P_T及P_F的表达式为：

本发明具有以下有益效果：

本发明所述的基于梯度方向直方图的人脸活体检测方法在具体操作时，通过计算各真实人脸灰度图的平均梯度方向直方图HOG特征HT_mean及各照片人脸灰度图的平均梯度方向直方图HOG特征HF_mean，再计算训练样本图像的梯度方向直方图HOG特征H与平均梯度方向直方图HOG特征HT_mean及HF_mean之间的相似度P_T、P_F，最后构成训练用特征向量{H,P_T,P_F}进行SVM分类器训练，因此对光照变化具有一定的鲁棒性，检测的准确率较高，且计算复杂度较低。另外，需要说明的是，本发明可直接内嵌于现有人脸识别系统中，无需添加额外设备，同时采用非接触式检测，无需检测者配合，并且不依赖复杂的三维重建及人脸特征点提取，在降低系统成本的同时，满足对人脸活体检测的实时、便利的要求，具有较高的推广及应用价值。

附图说明

图1为本发明的训练处理流程图；

图2为本发明的人脸活体检测处理流程图；

图3为本发明的梯度方向特征提取步骤的示意图；

图4为本发明的梯度方向特征提取处理的流程图；

图5为实施例一中提取的4个子图HOG特征直方图；

图6为实施例一中提取的训练图像48维HOG特征直方图；

图7a为实施例一中2000幅正样本的平均HOG参考特征分布图；

图7b为实施例一中2000幅负样本的平均HOG参考特征分布图；

图8a为实施例一中样本与HT_mean的相似度分布图；

图8b为实施例一中样本与HF_mean的相似度分布图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参考图1，本发明所述的基于梯度方向直方图的人脸活体检测方法包括以下步骤：

1)构建训练样本集，其中，训练样本集由m+n幅训练样本图像构成，其中，n幅训练样本图像为真实人脸灰度图，标记为正样本集A＝{A₁,A₂,...,A_n}；m幅训练样本图像为照片人脸灰度图，标记为负样本集B＝{B₁,B₂,...,B_m}；

2)提取各训练样本图像的梯度方向直方图特征H；

步骤2)的具体操作为：

2a)将训练样本图像分为2×2的q个子图，使训练样本图像中的眼睛、鼻子及嘴巴分布于不同的子图中，其中，q＝1,2,3,4；

2b)对每个子图用[1 0 -1]及[1 0 -1]^T算子计算该子图中各像素点I(x,y)的梯度g(x,y)及梯度方向角α(x,y)，其中，

2c)将0°～360°的方向角划分为k个等间隔的方向区间，其中，k＝1,2,......,12，再以梯度g(x,y)为权重系数对梯度方向角α(x,y)进行加权，对方向区间内的梯度方向角α(x,y)求加权和，得到该方向区间所属的直方图分量b_k，然后根据各方向区间的直方图分量b_k构建子图的梯度方向直方图h_q，其中，

h_q＝{b₁,b₂,......,b_k}

2d)将各子图的梯度方向直方图h_q串联，得训练样本图像的p维HOG特征向量H′，其中，p＝k×q，最后对训练样本图像的p维HOG特征向量H′进行归一化处理，得训练样本图像的梯度方向直方图特征H，其中，

为H′的2阶范数，ε为避免分母为零的极小化标准常量。

3)分别计算训练样本图像的HOG特征H与各真实人脸灰度图的平均HOG特征HT_mean及各照片人脸灰度图的平均HOG特征HF_mean之间的相似度P_T、P_F；

步骤3)的具体操作为：

3a)计算各真实人脸灰度图的平均HOG特征HT_mean，同时计算各照片人脸灰度图的平均HOG特征HF_mean，其中，

3b)然后计算训练样本图像的HOG特征H与各真实人脸灰度图平均HOG特征HT_mean及各照片人脸灰度图平均HOG特征HF_mean之间的相似度P_T、P_F，其中，

4)构建训练用特征向量{H,P_T,P_F}，将全部训练用特征向量{H,P_T,P_F}输入到以径向基为核函数的SVM分类器中，对SVM分类器进行训练，得到SVM分类参数，最后通过训练好的SVM分类器完成基于梯度方向直方图的人脸活体检测。

实施例一

参照图1，选用南京航空航天大学的NUAA图像库进行人脸活体检测的训练及试验，从样本库中随机选取15个人在不同时期、不同条件下采集的真实人脸图像2500张和由这些人脸图像翻拍而来的照片人脸图像2500张作为样本，其中，12组真实人脸图像2000张和照片人脸图像2000张分别作为训练的正样本及负样本，剩余图像作为测试样本。

本发明的具体操作过程为：

1)对训练样本集中的真实人脸灰度图和照片人脸灰度图进行正样本及负样本的标记，2000个正样本训练集为A＝{A₁,A₂,......,A₂₀₀₀}，2000个负样本训练集为B＝{B₁,B₂,......,B₂₀₀₀}；

2)提取每个训练样本图像的HOG特征H，特征提取步骤及处理流程如图3、图4，具体包括：

2a)将每个人脸样本图像分成2×2的4个子图，使眼睛、鼻子、嘴巴分布在不同的子图中；

2b)在每个子图中用[1 0 -1]和[1 0 -1]^T算子按下式计算各像素点I(x,y)的梯度g(x,y)及梯度方向角α(x,y)；

其中

2c)将每个子图的梯度方向角划分为12个等间隔的方向区间，以梯度g(x,y)为权重系数对该梯度方向角α(x,y)进行加权，对方向区间内的梯度方向角求加权和，得到12个方向的直方图分量，图5绘制了每个子图的梯度方向直方图h_q：

h_q＝{b₁,b₂,......,b₁₂} q＝1,2,3,4

2d)将图5中每个子图的梯度方向直方图串联，得到图6中训练样本图像的48维HOG特征向量H′，然后对训练样本图像的48维HOG特征向量H′用二范式归一化，得H，其中，为H′的2阶范数，ε＝0.001。

3)计算训练样本图像的HOG特征H与正样本平均HOG特征及负样本平均HOG特征之间的相似度，具体操作为：

3a)用步骤2)得到的2000*2个正样本及负样本的HOG特征H计算HT_mean及HT_mean，图7a及图7b分别绘制了2000幅正样本及对应2000幅负样本的平均HOG特征，其中，

3b)以HT_mean及HF_mean作为参考特征，用直方图相交法计算每个训练样本图像的H与参考特征HT_mean和HF_mean之间的相似度P_T及P_F，图8a及图8b为2000*2个样本与参考特征的相似度分布图。

4)构建训练用特征向量{H,P_T,P_F}，再将全部训练用特征向量{H,P_T,P_F}送入以径向基为核函数的SVM分类器中，通过调节正则化参数及核参数，得训练后的SVM分类模型；

5)最后利用训练后的SVM分类模型进行人脸活体检测，具体的，先计算待检测图像所谓HOG特征H与参考特征HT_mean和HF_mean之间的相似度P_T、P_F；最后，将待检测图像的组合特征{H,P_T,P_F}送入训练后的SVM分类器，SVM分类器的输出即为人脸活体的检测结果。

对比实验为仅用HOG特征进行活体检测的效果，根据表1可以看出本发明与对比试验相比，特征维数仅增加2，但准确率却提高3.60％。

表1

为进一步验证本发明的检测有效性，本发明还与基于几何特征或纹理特征的4种常见方法进行了对比实验，这4种常见方法分别是为：文献“Gao X,Ng T T,Qiu B,etal.Single-view recaptured image detection based on physics-based features[J].IEEE Transactions on image processing.2010:1469-1474.”提出的基于几何特征活体检测方法；文献“Jukka Maatta,Abdenour Hadid,Matti Pietikainen.Face spoofingdetection from single image using texture and local shape analysis[J].IETBiometrics,2012,1(1):3-10.”提出的纹理特征检测方法；文献“Gahyun，Sungmin Eum，JaeKyu Suhr.Face liveness detection based on texture and frequency analyses[C]//Proc.of the 5th IAPR International Conference on Biometrics.New Delhi,India,2012:67-72.”提出的频谱结合纹理的检测方法；文献“曹瑜,涂玲,毋立芳.身份认证中灰度共生矩阵和小波分析的活体人脸检测算法[J].信号处理,2014,30(7):830-835.”提出的灰度共生矩阵结合小波分析的方法。

实验结果如表2，本发明在几种方法中具有最高的人脸活体检测准确率，且提取的特征维数较少，能满足实时性要求。虽然灰度共生矩阵结合小波分析的方法特征维数最低，但必须进行待测图像的小波变换并计算能量、熵、惯性矩及相关性等参数，因此计算复杂度极高。

表2

Claims (6)

1.一种基于梯度方向直方图的人脸活体检测方法，其特征在于，包括以下步骤：

1)构建训练样本集，其中，训练样本集由m+n幅训练样本图像构成，其中，n幅训练样本图像为真实人脸灰度图，通过所述n幅真实人脸灰度图构建正样本集A＝{A₁,A₂,...,A_n}；m幅训练样本图像为照片人脸灰度图，通过所述m幅照片人脸灰度图构建负样本集B＝{B₁,B₂,...,B_m}；

2)提取各训练样本图像的梯度方向直方图HOG特征H；

3)分别计算训练样本图像的梯度方向直方图HOG特征H与各真实人脸灰度图的平均梯度方向直方图HOG特征HT_mean及各照片人脸灰度图的平均梯度方向直方图HOG特征HF_mean之间的相似度P_T、P_F；

4)构建训练用特征向量{H,P_T,P_F}，再将所有训练用特征向量{H,P_T,P_F}输入到以径向基为核函数的SVM分类器中，对SVM分类器进行训练，得到SVM分类参数，然后通过训练好的SVM分类器完成基于梯度方向直方图的人脸活体检测。

2.根据权利要求1所述的基于梯度方向直方图的人脸活体检测方法，其特征在于，步骤2)的具体操作为：

2a)将训练样本图像分为2×2的q个子图，使训练样本图像中的眼睛、鼻子及嘴巴分布于不同的子图中，其中，q＝1,2,3,4；

2b)对每个子图用[1 0 -1]及[1 0 -1]^T算子计算子图中各像素点I(x,y)的梯度g(x,y)及梯度方向角α(x,y)；

2c)将0°～360°的方向角划分为k个等间隔的方向区间，其中，k＝1,2,......,12，再以梯度g(x,y)为权重系数对其梯度方向角α(x,y)进行加权，对方向区间内的梯度方向角α(x,y)求加权和，得到该方向区间的梯度直方图分量b_k，然后根据各方向区间的直方图分量b_k构建子图的梯度方向直方图h_q，其中，

h_q＝{b₁,b₂,......,b_k}

2d)将各子图的梯度方向直方图h_q串联，得训练样本图像的p维HOG特征向量H′，其中，p＝k×q，再对训练样本图像的p维HOG特征向量H′做归一化处理，得到训练样本图像的梯度方向直方图HOG特征H。

3.根据权利要求2所述的基于梯度方向直方图的人脸活体检测方法，其特征在于，步骤2b)中子图中各像素点I(x,y)的梯度g(x,y)及梯度方向角α(x,y)为：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>g</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>g</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>arctan</mi> <mfrac> <mrow> <msub> <mi>g</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>g</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，

4.根据权利要求3所述的基于梯度方向直方图的人脸活体检测方法，其特征在于，训练样本图像的梯度方向直方图HOG特征H为：

<mrow> <mi>H</mi> <mo>=</mo> <mfrac> <msup> <mi>H</mi> <mo>&amp;prime;</mo> </msup> <msqrt> <mrow> <mo>|</mo> <mo>|</mo> <msup> <mi>H</mi> <mo>&amp;prime;</mo> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </msqrt> </mfrac> </mrow> 1

其中，为H′的2阶范数，ε为避免分母为零的极小化标准常量。

5.根据权利要求4所述的基于梯度方向直方图的人脸活体检测方法，其特征在于，步骤3)的具体操作为：

3a)计算各真实人脸灰度图的梯度方向直方图HOG特征H的均值HT_mean，同时计算各照片人脸灰度图的梯度方向直方图HOG特征H的均值HF_mean，其中，

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>HT</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>H</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>HF</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mi>H</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

3b)然后计算训练样本图像的梯度方向直方图HOG特征H与各真实人脸灰度图的平均梯度方向直方图HOG特征HT_mean、各照片人脸灰度图的平均梯度方向直方图HOG特征HF_mean之间的相似度P_T、P_F。

6.根据权利要求5所述的基于梯度方向直方图的人脸活体检测方法，其特征在于，步骤3b)中P_T及P_F的表达式为：

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>P</mi> <mi>T</mi> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>&amp;times;</mo> <mi>q</mi> </mrow> </munderover> <mi>min</mi> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>HT</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>&amp;times;</mo> <mi>q</mi> </mrow> </munderover> <msub> <mi>HT</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>P</mi> <mi>F</mi> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>&amp;times;</mo> <mi>q</mi> </mrow> </munderover> <mi>min</mi> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>HF</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>&amp;times;</mo> <mi>q</mi> </mrow> </munderover> <msub> <mi>HF</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow> 2